将bert预训练模型(chinese_L-12_H-768_A-12)放到当前目录下,下载地址:https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip
抽取bert句向量特征,接全连接层。 训练命令:python bert_fc.py
抽取bert字向量特征,后面接LSTM/GRU和全连接层。 训练命令:python bert_lstm.py
分类任务:微博情感分析
训练样本: 25000条
测试样本:5000条
textcnn accuracy: 93.6%
bert_fc accuracy: 94.2%
bert_lstm accuracy: 96.8%
bert-DSSM