k0rsakov / scd_dag_factory

Фабрика DAG через SCD-таблицу с конфигурациями

Таблица-справочник – генератор DAG? А что так можно было?

Фабрика DAG через SCD-таблицу с конфигурациями.

Статья на habr

Установка Airflow через Docker

Для того чтобы развернуть Airflow, выполните команду:

docker-compose up -d

Airflow будет доступен по адресу – http://0.0.0.0:8080/home

• Login: airflow
• Password: airflow

Создания виртуального окружения

Для создания корректного виртуального окружения выполните следующие команды:

python3.11 -m venv venv

source venv/bin/activate 

pip install --upgrade pip

pip install -r requirements.txt

---

Если вам необходима консультация/менторство/мок-собеседование и другие вопросы по дата-инженерии, то вы можете обращаться ко мне. Все контакты указаны по ссылке.