特征工程: 交叉特征 + 统计比率
baseline: 交叉特征 + 统计比率 + gbdt
单模型调优:
模型融合: stacking 4-folds .
gbdt 有效
模型融合有效
特征工程决定最终效果上限 ;过多特征造成 模型调优困难
NN 耗费资源,单NN效果可能略好于调好的 gbdt; relu造成节点萎缩,慎用 ; feature_size * nn_size 容易OOM , nn_size 第一层一般为 512 256
输入: 原始数据
输出: libsvm样本
一般步骤:
- 特征ID化
- 朴素特征
- 交叉特征
- 统计特征 这里需要注意,要能够方便的进行 高低频截断 ; 出现次数过少 或过多的特征 就需要截断去掉
- 基于ID化的特征,与 原始数据一起 生成libsvm 格式的 样本
上述样本构造出来以后,可以作为baseline 训练,查验基本的auc,logloss等指标
特征工程做不扎实,直接影响后续的 模型效果
各项维度的 统计均值 是工程难点