dataset

• 지금 original & generated dataset 구축이 완료됨
• 이걸 기반으로 웹사이트 제작하면 됨

todo

• 웹사이트 제작
• 금요일에 내용 다 포함해서 발표영상 촬영하기 (맥북 섭외?)
• 제출서류 서명

dataset

• generated 된 문제 개수 : data.json 80개 txt 40개 총 120개
• solution은 검증을 아직 안해봄..
• original data / generated data 분리해서 업로드하기
• generated된 solution을 확인해보고, 만들어진 5개의 generated solution에 대해서
• solution이 맞으면 genratable이라고 labeling을 하기
• 만일 solution이 제대로 나오지 않는다면 generatable하지 않는 것으로 판단
• original만 answer가 있음, 검증하면서 answer 내용 채워넣기
• 'Prove that' type의 질문은 solution 생성이 제대로 안됨..

발표자료

• 현재 etc에 ppt자료로 정리해 놓은 상태
• 금요일에 동영상 촬영 예정
• 추가 수정내용 건의 사항 있으면 말해주기
• 영어/한글 issue는 연락 오는대로 전달

웹 페이지

• 우선은 online examination을 baseline으로 사용
• 추후에 고정 사이트로 연결할 수 있도록
• 문제 & solution 다 결정되면 그에 맞춰서 수정 할 수 있도록

대부분의 문제는 few-shot 을 통해 풀이의 간단함, 정답의 존재여부는 차치하고 비슷한 문제를 많이 뽑아낼 수 있음을 확인.

Few-shot 사용예시:

1. Example로 원본 문제와 그것의 변형 문제를 1, 2개 정도 제시.
2. 많이 뽑아낸다.

예선 제출 시 (webpage)

• main page : 문제 list만 주어짐 (사람마다 다르게)

  
  

- submission page : submit을 할 수 있는 창

• feedback page : 채점결과, 문제에 대한 정보, 각 문제에 대한 해설, 복습용 링크

  
  

예선 제출 시 (db)

• hw : 챕터, 문제 내용, 답안

  
  

• ch : 챕터, 챕터 이름, 유튜브 링크

  
  

• generated problem & answer

본선 진출시

• 틀린 문제에 대해서 집중적으로 제공되는 문제

---

다음 미팅 : 금요일(08/25)

TODO

• fewshot test : 수현
• generated problem : 수현
• solution : 수현
• 문제 유형 파악 (변형 or fix) : 수현, 지훈
• form 채워넣기 : 지훈
• youtube 정보 추가 update : 지훈
• ppt 제작 : 지훈

Dataset

• 증명문제에 대한 generation
  • 참이 아닌 문제가 생김, 참인 비율도 낮음
  • 이런 유형의 문제는 fix 하는 걸로
• 계산문제에 대한 generation
  • 생각보다 generation이 잘 됨
  • 이를 푸는 solution quality도 좋음
• Dataset 형식
  • 기존 data : No, Ch.No, Problem, Answer, Solution, Generatable (30개)
  • Generated data : No, GenNo, Problem, Answer, Solution (25 * 5 = 125개)

미팅일정

• 28일 : 2시 미팅, dataset 구축 및 발표자료 만들기
• 30일 : 10시 미팅, 웹사이트 구축
• 1일 : 3시 미팅, 영상 찍고 제출

Todo

• 각 Generated Problem 별 solution, Answer 검수하기.
• Original Problem, Generated Problem Dataset 따로 분리하기.
• 검수 후 이상한 문제 있으면 지우고 새로 Generate 해서 채워넣기.

GPT 3.5 turbo 사용
Chain of thoughts Prompting을 통해 Zero-shot으로도 이정도의 문제는 완벽한 답안을 주는것을 확인