“ 简单的介绍 ”

  • 初次接触XGBoost

相信大部分接触过数模、机器学习的朋友都对XGBoost有所耳闻，巨弱我第一次接触它是在2021年12月第一次参加数模比赛时，当时自己的代码水平还只是入门，作为write 论文和分担部分建模的我为了能够给队友搭建的XGBoost进行表面润色和提升，巨弱只能一个劲地翻找各种资料、教程去理解关于XGBoost的原理。

由于刚接触统计学不到半年，从它的底层架构决策树、GBDT梯度提升树再到XGBoost一个个慢慢消化，这阶段属实花了巨弱大量的时间。最后在将模型的内部结构、数学推导基本理解后，结合大佬队友的最优建模拿到了全国一等奖（当然我认为获奖主要的原因还是在解决另一个问题时用到了复杂的纯数学推导和概率论建模）。

因此不可否认XGBoost作为“机器学习大杀器”的魅力所在。

  • XGBoost基本介绍 XGBoost

XGBoost由GBDT优化而成，XGBoost在GBDT的基础之上，在损失函数中加入正则项，并对损失函数进行二阶泰勒展开、剔除常数项，最后使用贪心算法计算增益后对其树的最佳分割点进行分割，极大程度提高了目标的优化效率，减少了内存的消耗；而GBDT又是由多棵迭代的回归树累加构成，每一棵回归树学习的是之前所有树的结论和残差，拟合得到一个当前的残差回归树，残差的公式：残差 = 真实值 - 预测值。

具体的原理介绍如下：XGBoost的基本介绍(出自知乎)

“ python代码的介绍 ”

本次代码源于巨弱前段时间在解决一些低维数据分类的问题上多次使用到XGBoost，并且效果非常不错，微调参数之后准确率大部分都达到了 95% 以上，因此巨弱将其进行再封装，方便以后使用时能减少时间，提升效率。代码如下：

  • 导入包
1
2
3
4

from xgboost import plot_importance
from sklearn.model_selection import train_test_split # 划分训练集测试集
from xgboost import XGBRegressor
from sklearn.preprocessing import StandardScaler
  • 只需要准备好df_x，df_y，分别为自变量集和输出值的数据集，即可运行分装好的XGBoost模型
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69

X_train, X_test, y_train, y_test = train_test_split(df_x,
                                                    df_y,
                                                    test_size=0.3,
                                                    random_state=7) #7

def R_2(y, y_pred):
    y_mean = mean(y)
    sst = sum([(x-y_mean)**2 for x in y])
    ssr = sum([(x-y_mean)**2 for x in y_pred])
    sse = sum([(x-y)**2 for x,y in zip(y_pred, y)])
    return 1-sse/sst

def xgboost_plot(i = '数值', n=0, y_train, y_test, x_train, x_test, model_output = False, m=False, scale = False):
	
	# i 为输出变量名称，可以进行修改
	# n为输出变量在df_y中第几列,默认是第一列
	# model_ouput是否返回model
	# m是否改变模型参数
	# scale是否对特征值进行标准化

	scaler = StandardScaler()
	if scale == True:
        x_train = scaler.fit_transform(x_train)
        x_test = scaler.transform(x_test)

    if m == True:
        xgb = XGBRegressor(n_estimators=1000, learning_rate=0.05, n_jobs = 4)
        y_train = y_train.iloc[:, n]
        y_test = y_test.iloc[:, n]
        model_xgb = xgb.fit(x_train, y_train, early_stopping_rounds=5,
                            eval_set=[(x_test, y_test)], verbose=False)

    else:
        xgb = XGBRegressor()
        y_train = y_train.iloc[:, n]
        y_test = y_test.iloc[:, n]
        model_xgb = xgb.fit(x_train, y_train) # 是否使用标准化，xgboost 结果都一样
    y_pred = model_xgb.predict(x_test)
    y_pred_train = model_xgb.predict(x_train)

    predictions = [round(value) for value in y_pred]
    plt.figure(figsize=(30,9),dpi = 200)
    plt.subplot(1,2,1)
    ls_x_train = [x for x in range(1, len(y_pred_train.tolist())+1)]
    plt.plot(ls_x_train, y_pred_train.tolist(), label = '训练集的预测值' , marker = 'o')
    plt.plot(ls_x_train, y_train.tolist(), label = '训练集的真实值',linestyle='--', marker = 'o' )
    plt.ylabel(i, fontsize = 15)
    plt.legend(fontsize = 15)
    plt.xticks(fontsize = 12)
    plt.yticks(fontsize = 12)
    
    plt.subplot(1,2,2)
    ls_x = [x for x in range(1, len(y_pred.tolist())+1)]
    plt.plot(ls_x, y_pred.tolist(), label = '验证集的预测值' , marker = 'o')
    plt.plot(ls_x, y_test.tolist(), label = '验证集的真实值',linestyle='--',marker = 'o')
    plt.ylabel(i, fontsize = 15)
    plt.xticks(fontsize = 12)
    plt.yticks(fontsize = 12)
    plt.legend(fontsize = 15)
    
    # 绘制特征值图
    plot_importance(model_xgb)
    plt.show()
    r2_train = R_2(y_train, y_pred_train)
    r2_test = R_2(y_test, y_pred)
    print([r2_train, r2_test])

    if model_output==True:
        return model_xgb
  • 大家可以根据需求自行修改其中的参数，以此优化模型效果。
1

model = xgboost_plot(i = '数值', n=0, y_train, y_test, x_train, x_test, model_output = False, m=False, scale = False)

下面放一张巨弱使用xgboost建立的一次工业模型图，由图可见模型在训练集和验证集上的拟合度高达 99.9% ，实在是强，大家可以手动试一试：