在广告投放中，为进一步提高广告点击率，我们通常会使用一些机器学习算法（比如常见的逻辑回归算法（Logistic Regression），梯度提升决策树算法GBDT（Gradient Boosting Decision Tree））进行CTR预估。而CTR预估结果的准确性，很大程度取决于训练数据特征的有效性。

信息熵

信息增益

数据测试

我们用某广告投放一段时间后获得的日志数据，来进行计算它的信息熵和信息增益。

信息熵&信息增益

广告整体信息熵：0.0501020793776

每个广告对应的信息增益：

AUC&Logloss

我们使用LR算法进行模型训练，对比去掉部分特征之后模型的AUC和Logloss：

结论

• 信息增益为0的特征，对模型无任何价值（可以直接删掉）；
• 对比去掉信息增益 top5 与 last5 的特征可以发现：信息增益越大，对模型产生的效果越明显；
• 要提升AUC，必需寻找信息增益比较大的特征加入到模型中进行训练；

参考：

• 《网络广告投放算法的研究》霍艳（东北大学硕士学位论文）
• 信息熵：https://en.wikipedia.org/wiki/Entropy_(information_theory)
• 信息增益：https://en.wikipedia.org/wiki/Information_gain_ratio