[질문] 정확도 비교? about khaiii

[krikit]

F-Score를 측정하려면 정답 코퍼스가 있어야 할텐데, 아마도 세종 코퍼스가 가장 적합할 것 같습니다. 기존에 발표된 많은 논문들이 이 세종 코퍼스에서 실험하여 성능을 발표하였습니다.

그러나 세종 코퍼스는 오류가 많고 아마도 연구자들마다 각자 오류를 수정하여 실험을 했을 것입니다. 리더보드 같은 것이 있어서 모두 같은 테스트 데이터로 공정하게 비교하면 좋겠지만 그렇게까지는 하지 않는 것으로 알고 있습니다.

그래서 제 생각에 데이터의 다양성 및 데이터의 오류로 인해 1~2% 정도는 성능에 오차가 있을 것으로 생각합니다. 많은 논문들이 약 97~98% 정도의 성능을 발표하고 있습니다.

khaiii는 large 모델이 97% 이상, base 모델이 95% 이상으로 "맞추고"있습니다. 이는 모델 크기를 키우면 얼마든지 높일 수 있는 수치라 생각하지만 그만큼 속도가 많이 느려질 것으로 생각하기 때문에 무작정 정확도를 추구하지는 않습니다.

또한 세종 코퍼스에서의 성능이 현실 세계에서의 성능을 말하지 않습니다. khaiii가 97%의 성능이 나온다고 하더라도, 이미 많이 사용하고 튜닝된 다른 형태소 분석기들과 비교하면 아직 갈 길이 멀다고 생각합니다.

[ykim362]

@krikit 자세한 설명 감사드립니다!