需要把unprocessed data处理成processed data才能运行aug.py吗？ about cil

[antct]

这也是个历史遗留问题了。
对于NYT10这些老数据集，在opennre里面你可以发现他的做法经历了从（1）以test集合作为dev集合 -> （2）手动划分出dev集(9/1划分) -> （3）回归以test集合作为dev集合的历程。这主要的原因是因为这些数据集当时都是比较早的并无dev集，而一些早期的文章也就直接沿用了test集合作为dev集合，opennre最后的回归也是为了让pcnn这些基线的指标能对标那些早期的论文。
关于这个问题我的建议是：
（1）如果你仍然需要使用这些无dev的老数据集合，我建议你要么遵循9/1的比例将训练集随机划分，或者直接用test集合作为dev集合，两者都可以。只要你check一下你所有需要compare的baselines在相同的设置下即可，并且附加说明，这些老数据集的做法其实并没有一个统一的标准。
（2）更好的方案应该是选取opennre释放出来的两个新的数据集，NYT10m和Wiki20m，这两个新的数据集更完善。

[antct]

对，你可以自己写个脚本将这些原始论文数据转换成opennre的数据格式。

[ShellingFord221]

另外看了下只有gds的数据是有dev的，其他的都只有train和test，想问下这个要怎么划分出来呢？（比如多少比例，怎么选取数据），谢谢