sinyeong10 / sc2ai

newbi

1. burnysc2 라이브러리로 환경 구성

1-1. 가스와 관련된 문제 해결

일꾼 수 인식 문제, 가스 짓는 중을 일하고 있는 것으로 인식한 문제, 가스로 채취를 안하는 문제

2. 프레임 단위로 PPO 알고리즘으로 학습

하지만 여러 프레임에서 실행되지 않는 명령이 많아 제대로 학습되었다고 판단하기 어려움!

3. 명령 단위로 학습 시도

3-0. 환경의 종료 조건

1. 테크수준 0인데 2,3을 하는 경우

2. 테크 수준 1인데 3을 하는 경우

3. 인구수가 부족한데 0,3을 하는 경우

4. 일꾼 수 제한 16의 2배를 넘는 데 0을 하는 경우

5. 앞서 명령 3이 목표 횟수만큼 나오지 않았는데 9를 하는 경우

6. action 0 : 인구수가 부족한 경우, 과충족인경우

7. action 2 : 테크수준 0인 경우

8. action 3 : 테크수준 1이하인 경우

3-1. Q-learning, 사전에 연구된 방식을 먼저 가이드라인으로 활용

질럿 2 목표 등 한 경우만 가능 (질럿 3 목표를 질럿 2 목표로 학습시켰을 때 효율 감소) 딥러닝으로 한 모델에서 여러 경우를 다 처리할 수 있게 시도

3-2. 다음 프레임의 예상 채취량 다변량 회귀분석으로 계산

강화학습의 입력 값의 차원을 축소

4. 중간 시점에서 새로운 명령을 기준으로 탐색 시도

첫 번째 명령 달성 후 다음 명령을 사용자가 할당하였을 때 현재 상태를 기반으로 탐색해 감

* 감가율은 최종 보상을 4000(최종 iteration이 대체로 다름)으로 나눈 값에 현재 iteration을 곱한 값으로 가정!