cun-bjy / rl-paper-review

road-map & paper review for Reinforcement Learning

Junyeob Baek

rl-paper-review's Issues

[TD3] 4.1 Overestimation Bias in Actor-Critic

rl-paper-review/reviews/TD3.md

Lines 97 to 103 in e838336

	1. 충분히 작은 error <img src="https://latex.codecogs.com/gif.latex?\epsilon_1" title="\epsilon_1" />이 존재(<img src="https://latex.codecogs.com/gif.latex?\alpha\ge\epsilon_1" title="\alpha\ge\epsilon_1" />)한다고 할 때, <img src="https://latex.codecogs.com/gif.latex?\pi_\text{approx}" title="\pi_\text{approx}" />의 approximate value는 <img src="https://latex.codecogs.com/gif.latex?\pi_\text{true}" title="\pi_\text{true}" /> approximate value보다 작거나 같다.
	<img src="../img/td3_14.png"/>
	2. 마찬가지로 충분히 작은 error <img src="https://latex.codecogs.com/gif.latex?\epsilon_2" title="\epsilon_2" />이 존재(<img src="https://latex.codecogs.com/gif.latex?\alpha\ge\epsilon_2" title="\alpha\ge\epsilon_2" />)한다고 할 때, <img src="https://latex.codecogs.com/gif.latex?\pi_\text{true}" title="\pi_\text{true}" />의 true value는 <img src="https://latex.codecogs.com/gif.latex?\pi_\text{approx}" title="\pi_\text{approx}" />의 true value보다 작거나 같다.
	<img src="../img/td3_15.png"/>

• 97줄: 논문에 "the approximate value of π_approx will be bounded below by the approximate value of π_true"라고 되어있으므로 해석을 "크거나 같다"라고 해야 할 것 같습니다. 그래야 식의 의미와도 일치한다고 생각합니다.
• 101줄: 마찬가지입니다.

LaTex 수식 인식문제

Typora를 통해서는 인식이 잘 되지만 GitHub md 에서는 LaTex 수식이 인식되지않아 convert 모듈을 이용해아함.

• readme2tex

현재 컴파일 에러중..

[TD3] 5. Addressing Variance

rl-paper-review/reviews/TD3.md

Line 191 in e838336

기존 Sutton & Barto의 논문에서 밝혀졌듯이 learning speed를 줄이는 것은 variance를 줄일수는 있지만 실제로 performance에 영향을 줄 수 있다. 해당 논문에서는 **estimation error 최소화의 중요성**을 다시금 강조하고, **target network와 estimation error를 연관지어 variance를 줄일 수 있는 개선된 actor-critic 학습 과정을 제시**하려한다.

• Sutton & Barto, 1998
  • 논문이 아니고 책입니다^^ 강화학습의 교과서라고 불리지요ㅎㅎ 2018년엔 2쇄본이 나왔습니다 (https://a.co/d/fv54CBn)

RL Roadmap 만들기