elityaev / scrapy_parser_pep

Парсинг списка документации Python и количества статусов PEP с сайта https://peps.python.org/

Парсинг списка документации Python и количества статусов PEP

Описание

Парсер выводит данные со списком всех РЕР (файл c префиксом `pep_` в папке `results/`) и таблицу с количеством РЕР в каждом статусе (файл c префиксом `status_summary_` в папке `results/`)

Используемые технологии:

• Python
• Scrapy

Запуск

Клонировать репозиторий и перейти в него в командной строке:

[email protected]:elityaev/scrapy_parser_pep.git

cd scrapy_parser_pep

Cоздать и активировать виртуальное окружение:

python -m venv env

.\venv\Scripts\activate

Установить зависимости из файла requirements.txt:

python -m pip install --upgrade pip

pip install -r requirements.txt

Использование

Что бы запустить парсер необходимо выполнить команду

scrapy crawl pep 

Автор Литяев Евгений