- 기간 : 23.04.06 ~ 23.04.13
-
API 연결
### .env 파일 OPENAI_API_KEY = {OPENAI_API_KEY}
-
실행
python -m generate_instruction generate_instruction_following_data
-
trouble shooting
typeerror: 'type' object is not subscriptable
from typing import Optional, Sequence, Union, Dict def openai_completion( # prompts: Union[str, Sequence[str], Sequence[dict[str, str]], dict[str, str]], ### 타입 어노테이션 오류 ! prompts: Union[str, Sequence[str], Sequence[Dict[str, str]], Dict[str, str]], decoding_args: OpenAIDecodingArguments, model_name="text-davinci-003", sleep_time=2, batch_size=1, max_instances=sys.maxsize, max_batches=sys.maxsize, return_text=False, **decoding_kwargs, ) -> Union[Union[StrOrOpenAIObject], Sequence[StrOrOpenAIObject], Sequence[Sequence[StrOrOpenAIObject]],]:
-
KoAlpaca
- 영어로 데이터셋 생성 → Instruction과 Input 번역 → output 생성 ⇒ 52k 한국어 데이터셋
- 즉, 영어로 데이터셋을 생성하는 과정은 동일
- input / output 확인
- generation instruction dataset in specific domain (code Q&A)
- Alpaca model FT