wrawka / unwind-test

тестовое для unwind

Тестовое unwinddigital

Что это

uparser - это парсер (одного конкретного xD) Google Sheets документа.

Как это работает

ВАЖНО: для доступа к API Google используется service account. Данный аккаунт требует наличия разрешений не менее Browser, а также доступ на чтение к документу (задаётся в настройках "Share" документа).

Файл с ключом к service account должен помещаться в папке uparser/credentials. Полное имя файла следует указать в параметре SERVICE_ACCOUNT_FILE внутри .env-файла.

Контейнер PostgreSQL разварачивается с некотрыми предустановленными данными (расписание django_q, аккаунт администратора "test_admin : AAA123321")

ETL-процесс запускается по расписанию Django Q. По-умолчанию источник в Google Sheets читается каждые 2 минуты. Настройка расписания доступна в админке django.

Для просроченных заказов, можно (опционально) отправлять сообщения в Телеграм через бота. Для этого в .env-файле необходимо указать токен для бота и id чата пользователя.

"Серые зоны" ТЗ

• Как обрабытывать противоречивые данные в исходной таблице? Текущая реализация принимает за первичный признак пару полей "№ - заказ №". Если в исходных данных присутствует несколько противоречивых данных с одинаковым первичным ключом, в БД будет записано только последнее считанное значение.

• Как обрабатывать неполные или некорректные данные в исходной таблице? Пытаться сохранить в базу неполную запись? Игнорировать? Останавливать работу? Текущая реализация не записывает (игнорирует) данные, не прошедшие валидацию на уровне модели и пишет ошибку в лог.

Как это запустить

1. Скопировать json-файл с ключами от Google service accout в папку uparser/credentials.
2. Переименовать файл uparser/.env-sample > .env, отредактировать при необходимости параметры (SERVICE_ACCOUNT_FILE, BOT_TOKEN, CHAT_ID etc.).
3. Выполнить из корневой директории проекта (нужен установленный Docker).

   docker-compose up

4. После запуска контейнеров перейти на http://localhost:8000/
5. В правом верхнем углу страницы есть кнопки для перехода в админку django и для принудительного запуска ETL.