vitaliyradchenko / rd-nlp-course

Robot dreams. NLP, Deep Dive.

NLP. Deep Dive

Чтобы установить виртуальную среду, вы должны остаться в корневой папке и выполнить следующую команду: python3.6 -m venv venv.
После этого активируйте среду source venv/bin/activate.
Посе активации установите необходимые пакеты requirements.txt. Для этого нужно запустить данную команду pip install -r requirements.txt
Для комфортной работы с jupyter ноутбуками вам следует установить kernel для своей среды:

ipython kernel install --user --name=nlp-course

Lectures

1. Знакомство с NLP, настройка окружения, использование NLTK и SpaCy
2. Базовые подходы к обработке текста
3. Word embeddings
4. Знакомство с pytorch, тренировка простых нейронных сетей
5. Recurrent neural networks
6. Использование предобученных векторов слов
7. Использование рекуррентных нейронных сетей
8. Языковая модель и архитектура transformer
9. Токенизация и ознакомление с библиотекой transformers
10. Генерация речи
11. Разбор SOTA архитектур основанных на трансформерах
12. Подходы к файнтюнингу
13. Технические модификации тренировки и инференса
14. Ner воркшоп
15. Conversation Ai. Чатботы
16. Анализ и интерпертация результатов
17. Оптимизация моделей. Дистилляция. Подготовка модели ученика для дистилляции