数据是从nlpcc
数据中进行分词并取其中词数小于600的作为训练和预测数据命名为sample,数据处理脚本详见data\sample.py
模型的rouge评分如图所示,或者core\eval.txt
:
具体脚本详见core\eval.py
,decode是对greedy search
的结果进行decode
模型服务返回结果如下图:
生成采用的beam search
,并未进行细致调参
预训练模型使用的是追一科技开源的t5-pegasus pytorch small版本,以mT5为基础架构和初始权重,通过类似PEGASUS的方式进行预训练。