kimwoonggon / publicservant_ai

김웅곤 - 텐서플로우와 케라스로 구현한 NLP 기초 (2020년 버전)

publicservant_AI

소개

텐서플로우와 HUGGINGFACE 라이브러리를 활용해서
트랜스포머 계열인 BERT, GPT 등을 활용한 자연어 처리 기법 실무 활용 방법을 다룹니다.
구글 Colaboratory로 직접 실행해 보면서 할 수 있게 만들었습니다.

BERT, GPT 등을 활용하여 자연어 처리 실무 적용의 기초를 익히고 최종적으로 Q&A나 챗봇, 추천시스템을 구축하는 방법을 공유하고자 합니다.
텐서플로우로 구현하였으며, HuggingFace를 활용하였습니다.
웬만하면 HuggingFace 버전을 실행해주시기 바랍니다

목차

1. BERT로 영화 댓글 감성 분류하기
2. BERT로 Q&A 구현하기
3. BERT로 개체명 인식 구현하기
4. BERT로 실전 데이터 분류해 보기
5. 어텐션의 이해
6. GPT 실제로 구현해 보기

주로 응용 사례 위주로 올리고 있으나, 심화 내용에 레이어를 기초부터 쌓는 방법도 올릴 예정입니다.

자료를 활용할 시 출처 남겨주시길 부탁드리겠습니다
2021년 4월 8일 김웅곤 드림

publicservant_ai's Issues

NotImplementedError

IndexError: list index out of range

제공해주신 keras bert (04-squad,05-korquad ipynb) 코드를 실행하다보면

layer_num = 12
model = load_trained_model_from_checkpoint(
config_path,
checkpoint_path,
training=False,
trainable=True,
seq_len=SEQ_LEN,)
model.summary()

부분에서

seq_len 부분에서 IndexError: list index out of range 에러가 발생하는데요.
일단 올려놓으신 코드 그대로 실행하였습니다. 무엇이 잘못된걸까요?

pad_token_id 관련 이슈

안녕하세요:)

청와대 민원 분류 코드에서 아래와 같은 함수가 있는데, KoBERT에서는 [UNK]가 0, [PAD]가 1로 매핑이 되어 있는 것으로 알고 있습니다.

def convert_data(data_df):
    global tokenizer
    
    SEQ_LEN = 512 #SEQ_LEN : 버트에 들어갈 인풋의 길이
    
    tokens, masks, segments, targets = [], [], [], []
    
    for i in tqdm(range(len(data_df))):
        # token : 문장을 토큰화함
        token = tokenizer.encode(data_df[DATA_COLUMN][i], max_length=SEQ_LEN, pad_to_max_length=True)
       
        # 마스크는 토큰화한 문장에서 패딩이 아닌 부분은 1, 패딩인 부분은 0으로 통일
        num_zeros = token.count(0)
        mask = [1]*(SEQ_LEN-num_zeros) + [0]*num_zeros

위의 코드의 num_zeros = token.count(0)을 num_zeros = token.count(tokenizer.pad_token_id) 로 바꾸는게 맞을 것 같아 이슈 올리게 되었습니다.

혹시나 잘못된 부분이 있거나 하면 알려주세요!

좋은 코드 감사합니다:)

out of range error

While I am building a model using pre-trained Bert model, the following errors happen. There were no errors issued before the processing. I could successfully generate train and test data.

lay_num=12
model = load_trained_model_from_checkpoint(config_path, check_point_path, training=True, trainable=True, seq_len=Seq_len)

---

OutOfRangeError Traceback (most recent call last)
in ()
1 lay_num=12
----> 2 model = load_trained_model_from_checkpoint(config_path, check_point_path, training=True, trainable=True, seq_len=Seq_len)

4 frames
/tensorflow-1.15.2/python3.6/tensorflow_core/python/pywrap_tensorflow_internal.py in get_tensor(self, tensor_str)
913 from tensorflow.python.util import compat
914
--> 915 return CheckpointReader_GetTensor(self, compat.as_bytes(tensor_str))
916
917 swig_destroy = _pywrap_tensorflow_internal.delete_CheckpointReader

OutOfRangeError: Read less bytes than requested