sooftware / nlp-tasks

Natural Language Processing Tasks and Examples.

I'm Soohwan Kim

Career

• Co-founder & A.I. team leader at TUNiB 2021.03 ~ present
• A.I. Engineer at Kakao Brain 2020.08 ~ 2021.03

Service

• Dearmate : A.I. SNS platform with a variety of characters with unique personas
• TUNiBridge : NLP Cloud API Services

nlp-tasks's Issues

NER 데이터 전처리 관련하여 궁금한 것이 있습니다.

코드를 봤는데, NER 데이터 전처리 시에
만일 label이 PER-B이면, word를 tokenizing한 token들 모두에 PER에 해당되는 entity label을 부여하여 학습을 진행하는 것 같은데요,

모든 token들이 아닌, 맨 앞 token만 label을 줘서 학습하는 것과 차이가 클까요?
https://github.com/wzhouad/NLL-IE/blob/main/ner/prepro.py
-> 이 분 NER 코드는 맨 앞 token만 entity label을 줘서 처리하는 것 같더라구요.

제가 생각했을 때는 맨 앞 token만 학습에 활용하는 것이 맞지 않나.. 생각이 들어서
이 부분에 대해 아시는 것이 있으신지 궁금해서 issue남깁니다.