如何确定最适合数据集的机器学习算法-白红宇

如何确定最适合数据集的机器学习算法

阅读量：6992 次

发布时间：2019-06-27

本文共 10114 字，大约阅读时间需要 33 分钟。

原文：http://datartisan.com/article/detail/86.html

如何确定最适合数据集的机器学习算法

抽查(Spot checking)机器学习算法是指如何找出最适合于给定数据集的算法模型。

本文中我将介绍八个常用于抽查的机器学习算法，文中还包括各个算法的 R 语言代码，你可以将其保存并运用到下一个机器学习项目中。

适用于你的数据集的最佳算法

你无法在建模前就知道哪个算法最适用于你的数据集。

你必须通过反复试验的方法来寻找出可以解决你的问题的最佳算法，我称这个过程为 spot checking。

我们所遇到的问题不是我应该采用哪个算法来处理我的数据集？，而是我应该抽查哪些算法来处理我的数据集？

抽查哪些算法？

首先，你可以思考哪些算法可能适用于你的数据集。

其次，我建议尽可能地尝试混合算法并观察哪个方法最适用于你的数据集。

尝试混合算法(如事件模型和树模型)

尝试混合不同的学习算法(如处理相同类型数据的不同算法)

尝试混合不同类型的模型(如线性和非线性函数或者参数和非参数模型)

让我们具体看下如何实现这几个想法。下一章中我们将看到如何在 R 语言中实现相应的机器学习算法。

如何在 R 语言中抽查算法？

R 语言中存在数百种可用的机器学习算法。

如果你的项目要求较高的预测精度且你有充足的时间，我建议你可以在实践过程中尽可能多地探索不同的算法。

通常情况下，我们没有太多的时间用于测试，因此我们需要了解一些常用且重要的算法。

本章中你将会接触到一些 R 语言中经常用于抽查处理的线性和非线性算法，但是其中并不包括类似于boosting和bagging的集成算法。

每个算法都会从两个视角进行呈现：

1.常规的训练和预测方法

2.caret包的用法

你需要知道给定算法对应的软件包和函数，同时你还需了解如何利用caret包实现这些常用的算法，从而你可以利用caret包的预处理、算法评估和参数调优的能力高效地评估算法的精度。

本文中将用到两个标准的数据集：

1.回归模型：BHD(Boston Housing Dataset)

2.分类模型: PIDD(Pima Indians Diabetes Dataset)

本文中的算法将被分成两组进行介绍：

1.线性算法：简单、较大的偏倚、运算速度快

2.非线性算法：复杂、较大的方差、高精确度

下文中的所有代码都是完整的，因此你可以将其保存下来并运用到下个机器学习项目中。

线性算法

这类方法对模型的函数形式有严格的假设条件，虽然这些方法的运算速度快，但是其结果偏倚较大。

这类模型的最终结果通常易于解读，因此如果线性模型的结果足够精确，那么你没有必要采用较为复杂的非线性模型。

线性回归模型

stat包中的lm()函数可以利用最小二乘估计拟合线性回归模型。

# load the librarylibrary(mlbench)# load datadata(BostonHousing)# fit modelfit <- lm(mdev~>, BostonHousing)# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, BostonHousing)# summarize accuracymse <- mean((BostonHousing$medv - predictions)^2)print(mse)# caret# load librarieslibrary(caret)library(mlbench)# load datasetdata(BostonHousing)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.lm <- train(medv~., data=BostonHousing, method="lm", metric="RMSE", preProc=c("center", "scale"), trControl=control)# summarize fitprint(fit.lm)

罗吉斯回归模型

stat包中glm()函数可以用于拟合广义线性模型。它可以用于拟合处理二元分类问题的罗吉斯回归模型。

# load the librarylibrary(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# fit modelfit <- glm(diabetes~., data=PimaIndiansDiabetes, family=binomial(link='logit'))# summarize the fitprint(fit)# make predictionsprobabilities <- predict(fit, PimaIndiansDiabetes[,1:8], type='response')predictions <- ifelse(probabilities > 0.5,'pos','neg')# summarize accuracytable(predictions, PimaIndiansDiabetes$diabetes)# caret# load librarieslibrary(caret)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.glm <- train(diabetes~., data=PimaIndiansDiabetes, method="glm", metric="Accuracy", preProc=c("center", "scale"), trControl=control)# summarize fitprint(fit.glm)

线性判别分析

MASS包中的lda()函数可以用于拟合线性判别分析模型。

# load the librarieslibrary(MASS)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# fit modelfit <- lda(diabetes~., data=PimaIndiansDiabetes)# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, PimaIndiansDiabetes[,1:8])$class# summarize accuracytable(predictions, PimaIndiansDiabetes$diabetes)# caret# load librarieslibrary(caret)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.lda <- train(diabetes~., data=PimaIndiansDiabetes, method="lda", metric="Accuracy", preProc=c("center", "scale"), trControl=control)# summarize fitprint(fit.lda)

正则化回归

glmnet包中的glmnet()函数可以用于拟合正则化分类或回归模型。

分类模型：

# load the librarylibrary(glmnet)library(mlbench)# load datadata(PimaIndiansDiabetes)x <- as.matrix(PimaIndiansDiabetes[,1:8])y <- as.matrix(PimaIndiansDiabetes[,9])# fit modelfit <- glmnet(x, y, family="binomial", alpha=0.5, lambda=0.001)# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, x, type="class")# summarize accuracytable(predictions, PimaIndiansDiabetes$diabetes)# caret# load librarieslibrary(caret)library(mlbench)library(glmnet)# Load the datasetdata(PimaIndiansDiabetes)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.glmnet <- train(diabetes~., data=PimaIndiansDiabetes, method="glmnet", metric="Accuracy", preProc=c("center", "scale"), trControl=control)# summarize fitprint(fit.glmnet)

回归模型：

# load the librarieslibrary(glmnet)library(mlbench)# load datadata(BostonHousing)BostonHousing$chas <- as.numeric(as.character(BostonHousing$chas))x <- as.matrix(BostonHousing[,1:13])y <- as.matrix(BostonHousing[,14])# fit modelfit <- glmnet(x, y, family="gaussian", alpha=0.5, lambda=0.001)# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, x, type="link")# summarize accuracymse <- mean((y - predictions)^2)print(mse)# caret# load librarieslibrary(caret)library(mlbench)library(glmnet)# Load the datasetdata(BostonHousing)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.glmnet <- train(medv~., data=BostonHousing, method="glmnet", metric="RMSE", preProc=c("center", "scale"), trControl=control)# summarize fitprint(fit.glmnet)

非线性算法

非线性算法对模型函数形式的限定较少，这类模型通常具有高精度和方差大的特点。

k近邻法

caret包中的knn3()函数并没有建立模型，而是直接对训练集数据作出预测。它既可以用于分类模型也可以用于回归模型。

分类模型：

# knn direct classification# load the librarieslibrary(caret)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# fit modelfit <- knn3(diabetes~., data=PimaIndiansDiabetes, k=3)# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, PimaIndiansDiabetes[,1:8], type="class")# summarize accuracytable(predictions, PimaIndiansDiabetes$diabetes)# caret# load librarieslibrary(caret)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.knn <- train(diabetes~., data=PimaIndiansDiabetes, method="knn", metric="Accuracy", preProc=c("center", "scale"), trControl=control)# summarize fitprint(fit.knn)

回归模型：

# load the librarieslibrary(caret)library(mlbench)# load datadata(BostonHousing)BostonHousing$chas <- as.numeric(as.character(BostonHousing$chas))x <- as.matrix(BostonHousing[,1:13])y <- as.matrix(BostonHousing[,14])# fit modelfit <- knnreg(x, y, k=3)# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, x)# summarize accuracymse <- mean((BostonHousing$medv - predictions)^2)print(mse)# caret# load librarieslibrary(caret)data(BostonHousing)# Load the datasetdata(BostonHousing)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.knn <- train(medv~., data=BostonHousing, method="knn", metric="RMSE", preProc=c("center", "scale"), trControl=control)# summarize fitprint(fit.knn)

朴素贝叶斯算法

e1071包中的naiveBayes()函数可用于拟合分类问题中的朴素贝叶斯模型。

# load the librarieslibrary(e1071)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# fit modelfit <- naiveBayes(diabetes~., data=PimaIndiansDiabetes)# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, PimaIndiansDiabetes[,1:8])# summarize accuracytable(predictions, PimaIndiansDiabetes$diabetes)# caret# load librarieslibrary(caret)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.nb <- train(diabetes~., data=PimaIndiansDiabetes, method="nb", metric="Accuracy", trControl=control)# summarize fitprint(fit.nb)

支持向量机算法

kernlab包中的ksvm()函数可用于拟合分类和回归问题中的支持向量机模型。

分类模型：

# Classification Example:# load the librarieslibrary(kernlab)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# fit modelfit <- ksvm(diabetes~., data=PimaIndiansDiabetes, kernel="rbfdot")# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, PimaIndiansDiabetes[,1:8], type="response")# summarize accuracytable(predictions, PimaIndiansDiabetes$diabetes)# caret# load librarieslibrary(caret)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.svmRadial <- train(diabetes~., data=PimaIndiansDiabetes, method="svmRadial", metric="Accuracy", trControl=control)# summarize fitprint(fit.svmRadial)

回归模型：

# Regression Example:# load the librarieslibrary(kernlab)library(mlbench)# load datadata(BostonHousing)# fit modelfit <- ksvm(medv~., BostonHousing, kernel="rbfdot")# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, BostonHousing)# summarize accuracymse <- mean((BostonHousing$medv - predictions)^2)print(mse)# caret# load librarieslibrary(caret)library(mlbench)# Load the datasetdata(BostonHousing)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.svmRadial <- train(medv~., data=BostonHousing, method="svmRadial", metric="RMSE", trControl=control)# summarize fitprint(fit.svmRadial)

分类和回归树

rpart包中的rpart()函数可用于拟合CART分类树和回归树模型。

分类模型：

# load the librarieslibrary(rpart)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# fit modelfit <- rpart(diabetes~., data=PimaIndiansDiabetes)# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, PimaIndiansDiabetes[,1:8], type="class")# summarize accuracytable(predictions, PimaIndiansDiabetes$diabetes)# caret# load librarieslibrary(caret)library(mlbench)# Load the datasetdata(PimaIndiansDiabetes)# trainset.seed(7)control <- trainControl(method="cv", number=5)fit.rpart <- train(diabetes~., data=PimaIndiansDiabetes, method="rpart", metric="Accuracy", trControl=control)# summarize fitprint(fit.rpart)

回归模型：

# load the librarieslibrary(rpart)library(mlbench)# load datadata(BostonHousing)# fit modelfit <- rpart(medv~., data=BostonHousing, control=rpart.control(minsplit=5))# summarize the fitprint(fit)# make predictionspredictions <- predict(fit, BostonHousing[,1:13])# summarize accuracymse <- mean((BostonHousing$medv - predictions)^2)print(mse)# caret# load librarieslibrary(caret)library(mlbench)# Load the datasetdata(BostonHousing)# trainset.seed(7)control <- trainControl(method="cv", number=2)fit.rpart <- train(medv~., data=BostonHousing, method="rpart", metric="RMSE", trControl=control)# summarize fitprint(fit.rpart)