在跑XGBoost之前,我们必须设置三种类型的参数:general parameters、booster parameters和task parameters。

  • General parameters关系到我们选择哪个booster来做boosting,通常是树模型和线性模型。
  • Booster parameters取决于你选择的哪个booster。
  • Learning Task parameters决定了学习场景,举个例子,回归任务在做排序任务时可能用不同的参数。
  • Command line parameters和xgboost的CLI版本有关。

    Read More

什么是推荐系统

  • 推荐系统的任务就是联系用户和信息,一方面帮助用户发现对自己有价值的信息,另一方面让信息能够展现在对它感兴趣的用户面前,从而实现信息消费者和信息生产者的双赢。
  • 推荐系统就是自动联系用户和物品的一种工具,它能够在信息过载的环境中帮助用户发现令他们感兴趣的信息,也能将信息推送给对它们感兴趣的用户。

    Read More

Boosted Trees的介绍

XGBoost是”Extreme Gradient Boosting”的简写,术语”Gradient Boosting”在Friedman的论文” Greedy Function Approximation: A Gradient Boosting Machine”中被提出。XGBoost是基于这个原始模型的。这是篇gradient boosted trees的指导文档,并且大部分内容是基于这些xgboost的作者做的幻灯片的。

GBM(梯度上升树)已经出现了相当一段时间了,有很多关于这个话题的材料。这篇教程尝试用一种独立的方式(使用监督学习的元素)去解释boosted trees。我们认为这个解释是更简洁、正式的并且促进了xgboost相对于GBM的改进。

Read More