元数据
深入理解XGBoost：高效机器学习算法与进阶
- 书名： 深入理解XGBoost：高效机器学习算法与进阶
- 作者： 何龙
- 简介： 本书主要介绍：XGBoost相关的机器学习基础算法；XGBoost安装编译与简单使用；XGBoost的实现原理与理论证明；XGBoost基于CPU多线程的实现以及分布式训练方法；剖析XGBoost源码，从代码层面洞彻XGBoost的实现原理，以及XGBoost的应用与调优，通过典型示例为读者提供使用参考，掌握实战技能。通过阅读本书，不仅能使读者理解XGBoost的原理，将XGBoost应用到业务场景中，更能从源码的角度深入学习XGBoost的并行化和分布式实现等优化技术，以更短的时间训练出高准确度的模型，使XGBoost成为学习和工作中的一把利剑。
- 出版时间 2020-01-01 00:00:00
- ISBN： 9787111642626
- 分类： 计算机-人工智能
- 出版社： 机械工业出版社
高亮划线
1.2 集成学习发展与XGBoost提出
-
📌 Boosting会训练一系列的弱学习器，并将所有学习器的预测结果组合起来作为最终预测结果，在学习过程中，后期的学习器更关注先前学习器学习中的错误。 ^27371398-6-1129-1202
- ⏱ 2021-12-30 11:45:06
-
📌 Gradient Boosting是Boosting思想的另外一种实现方法，由Friedman于1999年提出。 ^27371398-6-1314-1370
- ⏱ 2021-12-30 11:47:13
-
📌 它将损失函数梯度下降的方向作为优化的目标，新的学习器建立在之前学习器损失函数梯度下降的方向 ^27371398-6-1438-1483
- ⏱ 2021-12-30 11:47:35
-
📌 一般认为，Boosting可以有效提高模型的准确性，但各个学习器之间只能串行生成，时间开销较大。 ^27371398-6-1524-1572
- ⏱ 2021-12-30 11:48:44
-
📌 Stacking的思想是通过训练集训练好所有的基模型，然后用基模型的预测结果生成一个新的数据，作为组合器模型的输入，用以训练组合器模型，最终得到预测结果。组合器模型通常采用逻辑回归。 ^27371398-6-1979-2070
- ⏱ 2021-12-30 11:50:22
-
📌 Bagging（Bootstrap Aggregating）对数据集进行有放回采样，得到多个数据集的随机采样子集，用这些随机子集分别对多个学习器进行训练（对于分类任务，采用简单投票法；对于回归任务采用简单平均法），从而得到最终预测结果。随机森林是Bagging最具代表性的应用，将Bagging的思想应用于决策树，并进行了一定的扩展。 ^27371398-6-1665-1832
- ⏱ 2021-12-30 11:52:14