Language Understanding Evaluation benchmark for Chinese: datasets, baselines, pre-trained models, corpus and leaderboard
中文语言理解测评基准,包括代表性的数据集、基准(预训练)模型、语料库、排行榜。
我们会选择一系列有一定代表性的任务对应的数据集,做为我们测试基准的数据集。这些数据集会覆盖不同的任务、数据量、任务难度。
排行榜会定期更新 数据来源: https://github.com/CLUEbenchmark/CLUE
模型 | Score | 参数 | AFQMC | TNEWS' | IFLYTEK' | CMNLI-m | CMNLI-mm | XNLI | COPA | WSC | CSL |
---|---|---|---|---|---|---|---|---|---|---|---|
BERT-base | - | 108M | 73.01% | 55.58% | 60.29% | 79.39% | 79.76% | 77.8% | 57.40% | 62.0% | 80.36% |
BERT-wwm-ext | - | 108M | 73.68% | 56.84% | 59.43% | 81.41% | 80.67% | 78.7% | 61.40% | 61.1% | 80.63% |
ERNIE-base | - | 108M | 73.83% | 58.23% | 58.96% | 79.65% | 80.70% | 78.6% | 65.00% | 60.8% | 79.1% |
RoBERTa-large | - | 334M | 74.02% | 57.05% | 62.55% | - | - | 79.9% | 61.40% | 72.7% | 81.36% |
XLNet-mid | - | 200M | - | 56.24% | 57.85% | 78.15% | 76.93% | 78.7% | 53.80% | - | 81.26% |
ALBERT-xxlarge | - | 59M | - | - | - | - | - | - | - | - | - |
ALBERT-tiny | - | 4M | 69.92% | 53.35% | 36.18% | 72.71% | 72.72% | 69.5% | 49.80% | 58.5% | 74.56% |
RoBERTa-wwm-ext | - | 108M | 73.60% | 56.86% | 60.31% | 81.09% | 81.38% | 79.3% | 63.60% | 67.8% | 81.0% |
RoBERTa-wwm-large | - | 330M | 76.55% | 58.61% | 62.98% | 83.4% | 83.42% | 80.0% | 59.40% | 74.6% | 82.13% |
注:' 代表对原数据集筛选后获得,数据集与原数据集不同;AFQMC:蚂蚁语义相似度(Acc);TNEWS:文本分类(Acc);
IFLYTEK:长文本分类(Acc); CMNLI-m/mm: MNLI自然语言推理中文版-matched/mismatched; XNLI:自然语言推理(Acc); COPA: 因果推断; WSC: Winograd模式挑战中文版; CSL: **科学文献数据集
Score是通过计算1-9数据集得分平均值获得;
模型 | Score | 参数 | DRCD | CMRC2018 | CHID |
---|---|---|---|---|---|
BERT-base | 79.08 | 108M | 85.49 | 69.72 | 82.04 |
BERT-wwm-ext | 81.09 | 108M | 87.15 | 73.23 | 82.90 |
ERNIE-base | 80.54 | 108M | 86.03 | 73.32 | 82.28 |
RoBERTa-large | 83.32 | 334M | 89.35 | 76.11 | 84.50 |
XLNet-mid | 77.75 | 209M | 83.28 | 66.51 | 83.47 |
ALBERT-xlarge | 81.52 | 59M | 89.78 | 75.22 | 79.55 |
ALBERT-xxlarge | - | - | - | - | - |
ALBERT-tiny | 55.73 | 1.8M | 70.08 | 53.68 | 43.53 |
RoBERTa-wwm-ext | 81.88 | 108M | 88.12 | 73.89 | 83.62 |
RoBERTa-wwm-large | 84.22 | 330M | 90.70 | 76.58 | 85.37 |
DRCD、CMRC2018: 繁体、简体抽取式阅读理解(F1, EM);CHID:成语多分类阅读理解(Acc);
注:阅读理解上述指标中F1和EM共存的情况下,取EM为最终指标
为更好的服务中文语言理解、任务和产业界,做为通用语言模型测评的补充,通过完善中文语言理解基础设施的方式来促进中文语言模型的发展
*** 2019-10-13: 新增评测官网入口; INEWS基线模型 ***
Why do we need a benchmark for Chinese lanague understand evaluation?
首先,中文是一个大语种,有其自身的特定、大量的应用。
如中文使用人数近14亿,是联合国官方语言之一,产业界有大量的的朋友在做中文的任务。
中文是象形文字,有文字图形;字与字之间没有分隔符,不同的分词(分字或词)会影响下游任务。
其次,相对于英文的数据集,中文的公开可用的数据集还比较少。
很多数据集是非公开的或缺失基准测评的;多数的论文描述的模型是在英文数据集上做的测试和评估,那么对于中文效果如何?不得而知。
再次,语言理解发展到当前阶段,预训练模型极大的促进了自然语言理解。
不同的预训练模型相继产生,但不少最先进(state of the art)的模型,并没有官方的中文的版本,也没有对这些预训练模型在不同任务上的公开测试,
导致技术的发展和应用还有不少距离,或者说技术应用上的滞后。
那么,如果有一个中文任务的基准测试,包含一批大众能广泛使用和测评的数据集、适用中文任务的特点、能紧跟当前世界技术的发展,
能缓解当前中文任务的一些问题,并促进相关应用的发展。
Language Understanding Evaluation benchmark for Chinese(ChineseGLUE) got ideas from GLUE, which is a collection of
resources for training, evaluating, and analyzing natural language understanding systems. ChineseGLUE consists of:
A benchmark of several sentence or sentence pair language understanding tasks. Currently the datasets used in these tasks are come from public. We will include datasets with private test set before the end of 2019.
A public leaderboard for tracking performance. You will able to submit your prediction files on these tasks, each task will be evaluated and scored, a final score will also be available.
baselines for ChineseGLUE tasks. baselines will be available in TensorFlow,PyTorch,Keras and PaddlePaddle.
A huge amount of raw corpus for pre-train or language modeling research purpose. It will contains around 10G raw corpus in 2019;
In the first half year of 2020, it will include at least 30G raw corpus; By the end of 2020, we will include enough raw corpus, such as 100G, so big enough that you will need no more raw corpus for general purpose language modeling. You can use it for general purpose or domain adaption, or even for text generating. when you use for domain adaption, you will able to select corpus you are interested in.
数据量:训练集(34334)验证集(4316)测试集(3861)
例子:14870 蚂蚁借呗等额还款可以换成先息后本吗 借呗有先息到期还本吗 0
每行为一条数据, 以\tab分割的4个字段,从前往后分别是 ID, 第一个句子,第二个句子,类别
数据量:训练集(266,000),验证集(57,000),测试集(57,000)
例子:
6552431613437805063_!_102_!_news_entertainment_!_谢娜为李浩菲澄清网络谣言,之后她的两个行为给自己加分_!_佟丽娅,网络谣言,快乐大本营,李浩菲,谢娜,观众们
每行为一条数据,以_!_分割的个字段,从前往后分别是 新闻ID,分类code,分类名称,新闻字符串(仅含标题),新闻关键词
该数据集共有1.7万多条关于app应用描述的长文本标注数据,包含和日常生活相关的各类应用主题,共119个类别:"打车":0,"地图导航":1,"免费WIFI":2,"租车":3,….,"女性":115,"经营":116,"收款":117,"其他":118(分别用0-118表示)。
数据量:训练集(12,133),验证集(2,599),测试集(2,600)
例子:
17_!_休闲益智_!_玩家需控制一只酷似神龙大侠的熊猫人在科技感十足的未来城市中穿越打拼。感觉很山寨功夫熊猫,自由度非常高,可以做很多你想做的事情......
每行为一条数据,以_!_分割字段,从前往后分别是 类别ID,类别名称,文本内容。
ChineseMNLI数据对原始MNLI数据进行中英文转化,数据来自于fiction,telephone,travel,government,slate等,用于判断给定的两个句子之间属于蕴涵、中立、矛盾关系。
数据量:train(391,783),matched(9336),mismatched(8,870)
例子:
{"sentence1": "新的权利已经足够好了", "sentence2": "每个人都很喜欢最新的福利", "gold_label": "neutral"}
跨语言理解的数据集,给定一个前提和假设,判断这个假设与前提是否具有蕴涵、对立、中性关系。
数据量:训练集(392,703),验证集(2,491),测试集(5,011)
例子:
1.从 概念 上 看 , 奶油 收入 有 两 个 基本 方面 产品 和 地理 .[分隔符] 产品 和 地理 是 什么 使 奶油 抹 霜 工作 . [分隔符] neutral
2.我们 的 一个 号码 会 非常 详细 地 执行 你 的 指示 [分隔符] 我 团队 的 一个 成员 将 非常 精确 地 执行 你 的 命令 [分隔符] entailment
原始的XNLI覆盖15种语言(含低资源语言)。我们选取其中的中文,并将做格式转换,使得非常容易进入训练和测试阶段。
TODO
TODO
中文科技文献数据集包含中文核心论文摘要及其关键词。 用tf-idf生成伪造关键词与论文真实关键词混合,生成摘要-关键词对,关键词中包含伪造的则标签为0。
数据量:训练集(20,000),验证集(3,000),测试集(3,000)
例子:
通过研究Windows环境下USB设备的工作原理,应用操作系统与USB设备驱动通信获取设备描述和设备ID等信息的机制,提出了一种实用有效的USB设备监控技术。实现了在开机前后两种情况下对USB设备的实时监控,有效地避免了其他监控技术的漏洞。实验结果证明,该方法是可靠有效的。 设备描述 设备ID Windows环境 安全监控 1
通过研究Windows环境下USB设备的工作原理,应用操作系统与USB设备驱动通信获取设备描述和设备ID等信息的机制,提出了一种实用有效的USB设备监控技术。实现了在开机前后两种情况下对USB设备的实时监控,有效地避免了其他监控技术的漏洞。实验结果证明,该方法是可靠有效的。 设备 技术 安全监控 设备描述 0
https://hfl-rc.github.io/cmrc2018/
数据量:训练集(短文数2,403,问题数10,142),试验集(短文数256,问题数1,002),开发集(短文数848,问题数3,219)
例子:
{
"version": "1.0",
"data": [
{
"title": "傻钱策略",
"context_id": "TRIAL_0",
"context_text": "工商协进会报告,12月消费者信心上升到78.1,明显高于11月的72。另据《华尔街日报》报道,2013年是1995年以来美国股市表现最好的一年。这一年里,投资美国股市的明智做法是追着“傻钱”跑。所谓的“傻钱”策略,其实就是买入并持有美国股票这样的普通组合。这个策略要比对冲基金和其它专业投资者使用的更为复杂的投资方法效果好得多。",
"qas":[
{
"query_id": "TRIAL_0_QUERY_0",
"query_text": "什么是傻钱策略?",
"answers": [
"所谓的“傻钱”策略,其实就是买入并持有美国股票这样的普通组合",
"其实就是买入并持有美国股票这样的普通组合",
"买入并持有美国股票这样的普通组合"
]
},
{
"query_id": "TRIAL_0_QUERY_1",
"query_text": "12月的消费者信心指数是多少?",
"answers": [
"78.1",
"78.1",
"78.1"
]
},
{
"query_id": "TRIAL_0_QUERY_2",
"query_text": "消费者信心指数由什么机构发布?",
"answers": [
"工商协进会",
"工商协进会",
"工商协进会"
]
}
]
}
]
}
台達閱讀理解資料集 Delta Reading Comprehension Dataset (DRCD)(https://github.com/DRCKnowledgeTeam/DRCD) 屬於通用領域繁體中文機器閱讀理解資料集。 本資料集期望成為適用於遷移學習之標準中文閱讀理解資料集。
数据量:训练集(8,016个段落,26,936个问题),验证集(1,000个段落,3,524个问题),测试集(1,000个段落,3,493个问题)
例子:
{
"version": "1.3",
"data": [
{
"title": "基督新教",
"id": "2128",
"paragraphs": [
{
"context": "基督新教與天主教均繼承普世教會歷史上許多傳統教義,如三位一體、聖經作為上帝的啟示、原罪、認罪、最後審判等等,但有別於天主教和東正教,新教在行政上沒有單一組織架構或領導,而且在教義上強調因信稱義、信徒皆祭司, 以聖經作為最高權威,亦因此否定以教宗為首的聖統制、拒絕天主教教條中關於聖傳與聖經具同等地位的教導。新教各宗派間教義不盡相同,但一致認同五個唯獨:唯獨恩典:人的靈魂得拯救唯獨是神的恩典,是上帝送給人的禮物。唯獨信心:人唯獨藉信心接受神的赦罪、拯救。唯獨基督:作為人類的代罪羔羊,耶穌基督是人與上帝之間唯一的調解者。唯獨聖經:唯有聖經是信仰的終極權威。唯獨上帝的榮耀:唯獨上帝配得讚美、榮耀",
"id": "2128-2",
"qas": [
{
"id": "2128-2-1",
"question": "新教在教義上強調信徒皆祭司以及什麼樣的理念?",
"answers": [
{
"id": "1",
"text": "因信稱義",
"answer_start": 92
}
]
},
{
"id": "2128-2-2",
"question": "哪本經典為新教的最高權威?",
"answers": [
{
"id": "1",
"text": "聖經",
"answer_start": 105
}
]
}
]
}
]
}
]
}
数据格式和squad相同,如果使用简体中文模型进行评测的时候可以将其繁转简(本项目已提供)
https://arxiv.org/abs/1906.01265
成语完形填空,文中多处成语被mask,候选项中包含了近义的成语。
数据量:训练集(84,709),验证集(3,218),测试集(3,231)
例子:
{
"content": [
# 文段0
"……在热火22年的历史中,他们已经100次让对手得分在80以下,他们在这100次中都取得了胜利,今天他们希望能#idiom000378#再进一步。",
# 文段1
"在轻舟发展过程之中,是和业内众多企业那样走相似的发展模式,去#idiom000379#?还是迎难而上,另走一条与众不同之路。诚然,#idiom000380#远比随大流更辛苦,更磨难,更充满风险。但是有一条道理却是显而易见的:那就是水往低处流,随波逐流,永远都只会越走越低。只有创新,只有发展科技,才能强大自己。",
# 文段2
"最近十年间,虚拟货币的发展可谓#idiom000381#。美国著名经济学家林顿·拉鲁什曾预言:到2050年,基于网络的虚拟货币将在某种程度上得到官方承认,成为能够流通的货币。现在看来,这一断言似乎还嫌过于保守……",
# 文段3
"“平时很少能看到这么多老照片,这次图片展把新旧照片对比展示,令人印象深刻。”现场一位参观者对笔者表示,大多数生活在北京的人都能感受到这个城市#idiom000382#的变化,但很少有人能具体说出这些变化,这次的图片展按照区域发展划分,展示了丰富的信息,让人形象感受到了60年来北京的变化和发展。",
# 文段4
"从今天大盘的走势看,市场的热点在反复的炒作之中,概念股的炒作#idiom000383#,权重股走势较为稳健,大盘今日早盘的震荡可以看作是多头关前的蓄势行为。对于后市,大盘今日蓄势震荡后,明日将会在权重和题材股的带领下亮剑冲关。再创反弹新高无悬念。",
# 文段5
"……其中,更有某纸媒借尤小刚之口指出“根据广电总局的这项要求,2009年的荧屏将很难出现#idiom000384#的情况,很多已经制作好的非主旋律题材电视剧想在卫视的黄金时段播出,只能等到2010年了……"],
"candidates": [
"百尺竿头",
"随波逐流",
"方兴未艾",
"身体力行",
"一日千里",
"三十而立",
"逆水行舟",
"日新月异",
"百花齐放",
"沧海一粟"
]
}
更多数据集添加中,如果你有定义良好的数据集,请与我们取得联系 [email protected]
或使用命令: wget
Evaluation of Dataset for Different Models
AFQMC TODO
TNEWS' TODO
模型 | 开发集(dev) | 测试集(test) | 训练参数 |
---|---|---|---|
ALBERT-xlarge | 61.94 | 61.34 | batch_size=32, length=128, epoch=3 |
ALBERT-tiny | 44.83 | 44.62 | batch_size=32, length=256, epoch=3 |
BERT-base | 63.57 | 63.48 | batch_size=32, length=128, epoch=3 |
BERT-wwm-ext-base | 63.83 | 63.75 | batch_size=32, length=128, epoch=3 |
ERNIE-base | 61.75 | 61.80 | batch_size=24, length=256, epoch=3 |
RoBERTa-large | 63.80 | 63.91 | batch_size=32, length=128, epoch=3 |
XLNet-mid | 60.16 | 60.04 | batch_size=16, length=128, epoch=3 |
RoBERTa-wwm-ext | 64.18 | - | batch_size=16, length=128, epoch=3 |
RoBERTa-wwm-large-ext | 65.19 | 65.10 | batch_size=32, length=128, epoch=3 |
模型 | matched | mismatched | 训练参数 |
---|---|---|---|
BERT-base | 79.39 | 79.76 | batch=32, length=128, epoch=3 lr=2e-5 |
BERT-wwm-ext-base | 81.41 | 80.67 | batch=32, length=128, epoch=3 lr=2e-5 |
ERNIE-base | 79.65 | 80.70 | batch=32, length=128, epoch=3 lr=2e-5 |
ALBERT-xxlarge | - | - | - |
ALBERT-tiny | 72.71 | 72.72 | batch=32, length=128, epoch=3 lr=2e-5 |
RoBERTa-large | - | - | - |
xlnet-mid | 78.15 | 76.93 | batch=16, length=128, epoch=3 lr=2e-5 |
RoBERTa-wwm-ext | 81.09 | 81.38 | batch=32, length=128, epoch=3 lr=2e-5 |
RoBERTa-wwm-large-ext | 83.4 | 83.42 | batch=32, length=128, epoch=3 lr=2e-5 |
模型 | 开发集(dev) | 测试集(test) | 训练参数 |
---|---|---|---|
ALBERT-xlarge | 79.6 | 78.7 | batch_size=64, length=128, epoch=2 |
BERT-base | 77.80 | 77.80 | batch_size=64, length=128, epoch=2 |
BERT-wwm-ext-base | 79.4 | 78.7 | batch_size=64, length=128, epoch=2 |
ERNIE-base | 79.7 | 78.6 | batch_size=64, length=128, epoch=2 |
RoBERTa-large | 80.2 | 79.9 | batch_size=64, length=128, epoch=2 |
XLNet-mid | 79.2 | 78.7 | batch_size=64, length=128, epoch=2 |
RoBERTa-wwm-ext | 79.56 | 79.28 | batch_size=64, length=128, epoch=2 |
RoBERTa-wwm-large-ext | 80.20 | 80.04 | batch_size=16, length=128, epoch=2 |
注:ALBERT-xlarge,在XNLI任务上训练暂时还存在有问题
COPA TODO
模型 | 开发集(dev) | 测试集(test) | 训练参数 |
---|---|---|---|
ALBERT-xxlarge | |||
ALBERT-tiny | 57.7(52.9) | 58.5(52.1) | |
BERT-base | 59.6(56.7) | 62.0(57.9) | |
BERT-wwm-ext-base | 59.4(56.7) | 61.1(56.2) | |
ERNIE-base | 58.1(54.9) | 60.8(55.9) | |
RoBERTa-large | 68.6(58.7) | 72.7(63.6) | |
XLNet-mid | |||
RoBERTa-wwm-ext | 67.2(57.7) | 67.8(63.5) | |
RoBERTa-wwm-large-ext | 69.7(64.5) | 74.6(69.4) | |
注:ALBERT-xlarge,在XNLI任务上训练暂时还存在有问题 |
CSL TODO
模型 | 开发集(dev) | 测试集(test) | 训练参数 |
---|---|---|---|
BERT-base | F1:92.30 EM:86.60 | F1:91.46 EM:85.49 | batch=32, length=512, epoch=2 lr=3e-5 warmup=0.1 |
BERT-wwm-ext-base | F1:93.27 EM:88.00 | F1:92.63 EM:87.15 | batch=32, length=512, epoch=2 lr=3e-5 warmup=0.1 |
ERNIE-base | F1:92.78 EM:86.85 | F1:92.01 EM:86.03 | batch=32, length=512, epoch=2 lr=3e-5 warmup=0.1 |
ALBERT-large | F1:93.90 EM:88.88 | F1:93.06 EM:87.52 | batch=32, length=512, epoch=3 lr=2e-5 warmup=0.05 |
ALBERT-xlarge | F1:94.63 EM:89.68 | F1:94.70 EM:89.78 | batch_size=32, length=512, epoch=3 lr=2.5e-5 warmup=0.06 |
ALBERT-tiny | F1:81.51 EM:71.61 | F1:80.67 EM:70.08 | batch=32, length=512, epoch=3 lr=2e-4 warmup=0.1 |
RoBERTa-large | F1:94.93 EM:90.11 | F1:94.25 EM:89.35 | batch=32, length=256, epoch=2 lr=3e-5 warmup=0.1 |
xlnet-mid | F1:92.08 EM:84.40 | F1:91.44 EM:83.28 | batch=32, length=512, epoch=2 lr=3e-5 warmup=0.1 |
RoBERTa-wwm-ext | F1:94.26 EM:89.29 | F1:93.53 EM:88.12 | batch=32, length=512, epoch=2 lr=3e-5 warmup=0.1 |
RoBERTa-wwm-large-ext | F1:95.32 EM:90.54 | F1:95.06 EM:90.70 | batch=32, length=512, epoch=2 lr=2.5e-5 warmup=0.1 |
模型 | 开发集(dev) | 测试集(test) | 训练参数 |
---|---|---|---|
BERT-base | F1:85.48 EM:64.77 | F1:87.17 EM:69.72 | batch=32, length=512, epoch=2 lr=3e-5 warmup=0.1 |
BERT-wwm-ext-base | F1:86.68 EM:66.96 | F1:88.78 EM:73.23 | batch=32, length=512, epoch=2 lr=3e-5 warmup=0.1 |
ERNIE-base | F1:87.30 EM:66.89 | F1:89.62 EM:73.32 | batch=32, length=512, epoch=2 lr=3e-5 warmup=0.1 |
ALBERT-large | F1:87.86 EM:67.75 | F1:90.17 EM:73.66 | epoch3, batch=32, length=512, lr=2e-5, warmup=0.05 |
ALBERT-xlarge | F1:88.66 EM:68.90 | F1:90.92 EM:75.22 | epoch3, batch=32, length=512, lr=2e-5, warmup=0.1 |
ALBERT-tiny | F1:73.95 EM:48.31 | F1:75.73 EM:53.68 | epoch3, batch=32, length=512, lr=2e-4, warmup=0.1 |
RoBERTa-large | F1:88.61 EM:69.94 | F1:90.94 EM:76.11 | epoch2, batch=32, length=256, lr=3e-5, warmup=0.1 |
xlnet-mid | F1:85.63 EM:65.31 | F1:86.09 EM:66.51 | epoch2, batch=32, length=512, lr=3e-5, warmup=0.1 |
RoBERTa-wwm-ext | F1:87.28 EM:67.89 | F1:89.74 EM:73.89 | epoch2, batch=32, length=512, lr=3e-5, warmup=0.1 |
RoBERTa-wwm-large-ext | F1:89.42 EM:70.59 | F1:91.56 EM:76.58 | epoch2, batch=32, length=512, lr=2.5e-5, warmup=0.1 |
模型 | 开发集(dev) | 测试集(test) | 训练参数 |
---|---|---|---|
BERT-base | 82.20 | 82.04 | batch=24, length=64, epoch=3, lr=2e-5, warmup=0.06 |
BERT-wwm-ext-base | 83.36 | 82.9 | batch=24, length=64, epoch=3, lr=2e-5, warmup=0.06 |
ERNIE-base | 82.46 | 82.28 | batch=24, length=64, epoch=3, lr=2e-5, warmup=0.06 |
ALBERT-xlarge | 79.44 | 79.55 | batch=24, length=64, epoch=3, lr=2e-5, warmup=0.06 |
ALBERT-tiny | 43.47 | 43.53 | batch=24, length=64, epoch=3, lr=2e-5, warmup=0.06 |
RoBERTa-large | 85.31 | 84.50 | batch=24, length=64, epoch=3, lr=2e-5, warmup=0.06 |
xlnet-mid | 83.76 | 83.47 | batch=24, length=64, epoch=3, lr=2e-5, warmup=0.06 |
RoBERTa-wwm-ext | 83.78 | 83.62 | batch=24, length=64, epoch=3, lr=2e-5, warmup=0.06 |
RoBERTa-wwm-large-ext | 85.81 | 85.37 | batch=24, length=64, epoch=3, lr=2e-5, warmup=0.06 |
我们为您提供了可以“一键运行”的脚本来辅助您更快的在指定模型上运行特定任务。 以在 Bert 模型上运行“BQ 智能客服问句匹配”任务为例,您可以直接在 chineseGLUE/baselines/models/bert/ 下运行 run_classifier_bq.sh 脚本。
cd chineseGLUE/baselines/models/bert/
sh run_classifier_bq.sh
该脚本将会自动下载“BQ 智能客服问句匹配”数据集(保存在chineseGLUE/baselines/glue/chineseGLUEdatasets/bq/ 文件夹下)和Bert模型(保存在 chineseGLUE/baselines/models/bert/prev_trained_model/ 下)。
具体内容详见:基准模型-模型训练
开放测评提交入口:我要提交
可用于语言建模、预训练或生成型任务等,数据量超过10G,主要部分来自于nlp_chinese_corpus项目
当前语料库按照【预训练格式】处理,内含有多个文件夹;每个文件夹有许多不超过4M大小的小文件,文件格式符合预训练格式:每句话一行,文档间空行隔开。
包含如下子语料库(总共14G语料):
1、新闻语料: 8G语料,分成两个上下两部分,总共有2000个小文件。
2、社区互动语料:3G语料,包含3G文本,总共有900多个小文件。
3、维基百科:1.1G左右文本,包含300左右小文件。
4、评论数据:2.3G左右文本,含有811个小文件,合并ChineseNLPCorpus的多个评论数据,清洗、格式转换、拆分成小文件。
这些语料,你可以通过上面这两个项目,清洗数据并做格式转换获得;
你也可以通过邮件申请(chineseGLUE#163.com)获得单个项目的语料,告知单位或学校、姓名、语料用途;
如需获得ChineseGLUE项目下的所有语料,需成为ChineseGLUE组织成员,并完成一个(小)任务。
1、成功**第一个中文任务基准测评的创始会员
2、能与其他专业人士共同贡献力量,促进中文自然语言处理事业的发展
3、参与部分工作后,获得已经清洗并预训练的后的、与英文wiki & bookCorpus同等量级、大规模的预训练语料,用于研究目的。
4、优先使用state of the art的中文预训练模型,包括各种体验版或未公开版本
发送邮件 chineseGLUE#163.com,简要介绍你自己、背景、工作或研究方向、你的组织、在哪方面可以为社区贡献力量,我们评估后会与你取得联系你。
1、搜集、挖掘1个有代表性的数据集,一般为分类或句子对任务 (需要额外5个数据集)
2、阅读理解任务转化成句子对任务(如线索与问题或答案),并做测评,数据应拆分成训练、验证和测试集。
3、基线模型baselises在特定任务模型的训练、预测的方法和脚本(支持PyTorch、Keras);
4、对当前主流模型(如bert/bert_wwm_ext/roberta/albert/ernie/ernie2.0等),结合ChineseGLUE的数据集,做准确率测试。
如: XLNet-mid在LCQMC数据集上做测试
5、是否还有没有参与测评的模型?
6、排行榜landing页
7、介绍中文语言理解测评基准(ChineseGLUE)
8、测评系统主要功能开发
2019-10-20 to 2019-12-31: beta version of ChineseGLUE
2020.1.1 to 2020-12-31: official version of ChineseGLUE
2021.1.1 to 2021-12-31: super version of ChineseGLUE
Share your data set with community or make a contribution today! Just send email to chineseGLUE#163.com,
or join QQ group: 836811304
张俊林,**中文信息学会理事,中科院软件所博士,新浪微博机器学习团队AI Lab负责人。技术书籍《这就是搜索引擎:核心技术详解》(该书荣获全国第十二届优秀图书奖)、《大数据日知录:架构与算法》的作者。
崔一鸣,哈工大讯飞联合实验室(HFL)资深级研究员。中文机器阅读理解CMRC系列评测发起者,负责多个中文预训练模型项目,所领导的团队多次在SQuAD、CoQA、QuAC、HotpotQA等国际阅读理解评测中荣登榜首。
徐亮,brightmart,中文任务基准测评ChineseGLUE发起人。杭州实在智能算法专家,多个预训练模型中文版、文本分类开源项目作者。
Danny Lan,CMU博士、google AI 研究员,SOTA语言理解模型AlBERT第一作者。
徐国强,MIT博士,平安集团上海Gammalab负责人。
张轩玮,毕业于北京大学,目前在爱奇艺从事nlp有关的工作,之前做过热点聚合,文本分类,标签生成,机器翻译方面的工作。
谢炜坚,百度大数据部,算法工程师,从事NLP相关工作,包括任务驱动型对话、检索式问答、语义匹配、文本分类、情感分析等工作。
曹辰捷,平安金融壹账通,算法工程师,负责阅读理解和预训练相关业务,CMRC2019阅读理解冠军团队成员。
喻聪,来自杭州实在智能,主要研究多轮对话,意图识别,实体抽取,知识问答相关任务。
谢恩宁,大搜车,围绕汽车领域语对话机器人,负责NLU部分。
李露,华中师范大学研究生,曾参与筹备中文自然语言推理的数据集;暑期在平安科技实习,主要负责利用自然语言处理模型进行序列标注和情感分类任务。
董倩倩,来自中科院自动化所,phd在读,主要研究语音翻译,曾参与多个中文NLP项目。
王荣钊,北京大学数学科学学院读研究生,目前在微软NLP Group参与实习。做过一些NLU的相关任务,熟悉常见的模型,训练过一些LU的任务以及一些机器翻译的任务,对pytorch比较熟悉。
田垠,毕业于浙江大学,杭州实在智能算法工程师,方向主要为基于知识图谱的推理引擎、文字检测。
刘伟棠,大华,albert_pytorch项目作者。
陈哲乾,浙江大学计算机学院博士,一知智能联合创始人,2017年代表一知智能参加斯坦福大学的举办SQuAD机器阅读理解比赛,获得单模型组世界第二、多模型组世界第三的优异成绩。主导设计一知智能大脑项目。
叶琛,浙江大学研究生,一知智能算法实习生。目前在做模型预训练 & 蒸馏、阅读理解方面工作。
更多创始会员,陆续添加中。。。
许皓天,清华电子系毕业,目前在阿里cro线,负责模型蒸馏、领域自适应、相似检索、多语言迁移、弱监督学习等相关工作。
胡锦毅,清华大学计算机系,大三,在清华大学自然语言处理与社会人文计算实验室研究学习,导师是孙茂松教授;“九歌”人工智能诗歌创作系统2.0,获CCL2019最佳系统展示奖。
盛泳潘,电子科技大学博士(即将毕业),后续将尝试用中文领域的data做知识图谱构建以及语义依存分析等问题。
杜则尧,GPT2-Chinese作者。
更多志愿者,陆续添加中。。。
1、GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding
2、SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems
4、XNLI: Evaluating Cross-lingual Sentence Representations
5、TNES: toutiao-text-classfication-dataset
6、nlp_chinese_corpus: 大规模中文自然语言处理语料 Large Scale Chinese Corpus for NLP
8、ALBERT: A Lite BERT For Self-Supervised Learning Of Language Representations
9、BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
10、RoBERTa: A Robustly Optimized BERT Pretraining Approach
注:阅读理解上述指标中F1和EM共存