關於tusimple的訓練和測試 about pytorch-auto-drive

[voldemortX]

@q36101 tusimple是有普遍接受的train/val/test分配的, 详见 https://github.com/voldemortX/pytorch-auto-drive/blob/master/docs/datasets/TUSIMPLE.md

[q36101]

我遇到一些問題想請問一下，車道線論文上tusimple有都有94-96%的f1-score，而我自己用訓練scnn-tensorflow網路測試test(2782)只有81%，用val(358)測試有94.2。
我測試f1-score時是使用像素級的計算，用兩張png計算f1-score，而非tusimple的benchmark(因為我不知道如何將生成的特徵圖png轉成json)。
請問您是如何計算f1-score，是用json評估或是png評估?計算時是用test(2782)，還是val(358)?

[voldemortX]

我遇到一些問題想請問一下，車道線論文上tusimple有都有94-96%的f1-score，而我自己用訓練scnn-tensorflow網路測試test(2782)只有81%，用val(358)測試有94.2。
我測試f1-score時是使用像素級的計算，用兩張png計算f1-score，而非tusimple的benchmark(因為我不知道如何將生成的特徵圖png轉成json)。
請問您是如何計算f1-score，是用json評估或是png評估?計算時是用test(2782)，還是val(358)?

我们的repo使用官方的json关键点评测脚本。val和test都支持。

[q36101]

我知道了，謝謝。

[q36101]

為甚麼val和test都支持，兩個dataset不是不一樣嗎?

[voldemortX]

為甚麼val和test都支持，兩個dataset不是不一樣嗎?

。。。调参用val，评测用test。功能上不是都要支持么