eleurent / phd-thesis

My PhD thesis. I defended on the 30th of October, 2020! See https://github.com/eleurent/phd-defense/

Safe and Efficient Reinforcement Learning for Behavioural Planning in Autonomous Driving

This repository holds the LaTeX code of my PhD Thesis.

• Read the pdf file (for display on a screen 💻);
• or the print version (for printing on paper 📖).

Publications in this thesis

Robust-Adaptive Control of Linear Systems: beyond Quadratic Costs Edouard Leurent, Denis Efimov, and Odalric-Ambrym Maillard NeurIPS 2020

Monte-Carlo Graph Search: the Value of Merging Similar States Edouard Leurent and Odalric-Ambrym Maillard ACML 2020

Robust-Adaptive Interval Predictive Control for Linear Uncertain Systems Edouard Leurent, Denis Efimov, and Odlaric-Ambrym Maillard CDC 2020

Budgeted Reinforcement Learning in Continuous State Space Nicolas Carrara,* Edouard Leurent,* Romain Laroche, Tanguy Urvoy, Odalric-Ambrym Maillard, and Olivier Pietquin NeurIPS 2019

Social Attention for Autonomous Decision-Making in Dense Traffic Edouard Leurent and Jean Mercat ML4AD Workshop at NeurIPS 2019

Interval Prediction for Continuous-Time Systems with Parametric Uncertainties Edouard Leurent, Denis Efimov, Tarek Raïssi, and Wilfrid Perruquetti CDC 2019

Practical Open-Loop Optimistic Planning Edouard Leurent and Odalric-Ambrym Maillard ECML-PKDD 2019

* Equal contribution.

Defense

I defended on the 30th of October 2020, in front of the jury composed of:

• Lucian Buşoniu
• Jorge Villagra
• Luce Brotcorne
• Marc Deisenroth
• Denis Efimov
• Odalric-Ambrym Maillard

The slides 📰 that I used are also available online, and open-source.

How to build the PDF?

I recommend using latexmk to build this project.

latexmk -pdf PhD_thesis__Edouard_Leurent.tex

It is used e.g. in the latex-action of the automatic build workflow. LaTeX editors such as Texstudio can be configured to use latexmk as the default compiler.

Credits

The template is inspired from @Naereen/phd-thesis, also released under the MIT License.

phd-thesis's Issues

Chap. 1 : Introduction

Sections principales:

• Intro: Moral philosophy / ethics and the science of decision-making
• Nuts and bolts of AD
• Context and Scope: Quel est le problème, quels sont nos objectifs ? (décisions moyen terme) Où se situe la difficulté ? (incertitude, interactions) Pour cela, quelles sont nos armes ?
• Contributions: comment avons-nous approché le problème ? Quels obstacles avons-nous franchi ?
• Outline

Solve all TODOs

Change the color of leftbars

Especially that of theorembar?

Remove any mention of the following terms

• in this paper
• in this work
• supplementary material
• Q^*, V^*, pi^* (use \star)
• i.e., e.g., etc. (use macros)
• \ref

Chap. 3: Problem Statement

Reprendre la checklist du Chap 2, en précisant les choix pris dans cette thèse (par opposition au SOTA)

• State: positions et vitesses des objets, voies, potentiellement toute information.
• Actions: on ne veut pas optimiser le contrôle bas-niveau (e.g. confort), mais des objectifs sémantiques court terme. Structure discrète.
• Dynamique: modèle cinématique bicycle. Modèles de comportement pour les autres agents, issus de la simulation du traffic. Ils doivent pouvoir réagir au comportement du véhicule. Contrôleur retour d'état pour l'égo.
• Récompense: la plus simple possible: velocity et collision. En particulier, on ne veut pas spécifier tous les aspects du comportement par la reward (e.g. distance de sécurité). Si possible, on ne donne que nos objectifs finaux et on souhaite voir le comportement adéquat émerger (la distance de sécurité est nécessaire et optimale à cause de l'incertitude sur le comportement du véhicule de devant, en particulier en cadre worst case vs en cadre average)
• Implémentation: quelques mots sur highway-env, et renvoi en annexe.

Leftbar environments break to next page after the first line.

Instead of wrapping nicely, or breaking before first line.

Chap. 2: Literature Review

Tour d'horizon: comment les chercheurs ont-ils approché ce problème ?
Quels obstacles ont-ils rencontrés, et comment ont-ils essayé d'y répondre ?

Idée: un cadre général, et à chaque étape de modélisation un obstacle pratique: le réel est difficilement réductible à un MDP.

• Motion planning
• Imitation learning
• Reinforcement learning
• State and partial observability
• Actions and temporal abstraction
• Rewards and IRL
• Dynamics, simulation and transfer sim2real
• Optimisation criterion and safety

Il faudrait parler des approches contrôle / motion planning bas niveau. A quel endroit ?