seong-hun / rlcmrac

RL-Based Composite MRAC

Installation

You need to install a python package, the FDCL NRF Fym. There are two ways to install this package.

1. Using an enclosed submodule

First, you can clone this repository with a fym submodule.

$ git clone --recurse-submodules https://github.com/seong-hun/rlcmrac.git

Then, create a virtual environment. We recommend to use conda to install the virtual environment with a provided environment.yml file.

$ conda env create -n rlcmrac -f environment.yml
$ conda activate rlcmrac

Now change to the submodule directory and install the fym package.

$ cd submodules/fym
$ pip install -e .

2. Directly clone the Fym repository

TBD

Run the Simulation

1. MRAC

$ python main.py --env mrac

2. FeCmrac

$ python main.py --env FeCmrac

3. RlCmrac

$ python main.py --env RlCmrac --agent SAC

If you want to plot the result after the running, you can use --plot option.

$ python main.py --all --plot

Data

You can download the data from my Goole Drive

rlcmrac's Issues

min eigval 나 추종 에러 등 info 내용 가시화

Minimum eigenvalue, 추종 에러 등은 시간에 대한 실수함수로 표현가능하기 때문에 (분포가 아님) 상태변수, 제어입력 그래프 등과 함께 가시화가 가능하다.

기존 CMRAC 기법들이 잘 동작하지 않는 조건 찾기

• 노이즈가 섞인 상황
• 파라미터가 변하는 상황

N. Cho 기법이나 CL MRAC 기법 애니메이션 가시화

• N. Cho 기법 가시화
• CL MRAC 기법 가시화

두 기법 모두 후처리를 통해 가시화를 해야하기 때문에 info 에 필요한 정보를 잘 선정하여 담아야 한다.