In this assignment, we will use Monte-Carlo (MC) Methods and Temporal Difference (TD) Learning on couple of games and toy problems. The problems as given below:
- Train an agent that plays the Tic-Tac-Toe using Monte-Carlo Methods.
- Train an agent that generates the optimal policy through TD-Methods in the Frozen-Lake Environment.
- Build a Deep Q-Learning Network (DQN) which can play Atari Breakout and get the best scores. I was not able to implement this component of the assignment, so instead I build a DQN which can play the cart-pole game.
Details of the problems are included in the respective folders.
.
โโโ Q_1
โย ย โโโ Mc_OffPolicy_agent.dat
โย ย โโโ Mc_OnPolicy_agent
โย ย โโโ Monte-Carlo_Methods(3).html
โย ย โโโ Monte-Carlo_Methods.ipynb
โย ย โโโ __pycache__
โย ย โโโ base_agent.py
โย ย โโโ best_td_agent.dat
โย ย โโโ gym-tictactoe
โย ย โโโ human_agent.py
โย ย โโโ mc_agents.py
โย ย โโโ td_agent.py
โโโ Q_2
โย ย โโโ Expected_Sarsa.py
โย ย โโโ Frozen_Lake_Through_TD_Methods.html
โย ย โโโ Frozen_Lake_Through_TD_Methods.ipynb
โย ย โโโ Q_Learning.py
โย ย โโโ Sarsa.py
โย ย โโโ __pycache__
โย ย โโโ frozen_lake.py
โโโ Q_3
โย ย โโโ DQN_Agent.py
โย ย โโโ Function_Approximation_DQN.html
โย ย โโโ Function_Approximation_DQN.ipynb
โย ย โโโ __pycache__
โย ย โโโ cartpole-dqn.h5
โโโ README.md
โโโ assignment.pdf
7 directories, 21 files
- Q_* - Contains files for respective problems along with trained models.
- assignment.pdf - contains the all the problems statements of the assignment.
At the time of doing the assignment, I did't have sufficient knowledge of DL to implement the last part of the assignment. I would like to complete this part of the assignment now.