nayyarabernardo / twitter-data-pipeline-airflow

Neste projeto, foi criado uma DAG simples usando o Airflow, este projeto é para entender o funcionamento do Airflow e das DAG

Apache Airflow: extração de dados da API do Twitter

O Apache Airflow (ou simplesmente Airflow) é uma plataforma para criar, agendar e monitorar fluxos de trabalho de forma programática.

Quando os fluxos de trabalho são definidos como código, eles se tornam mais fáceis de manter, versáveis, testáveis e colaborativos. Use o Airflow para criar fluxos de trabalho como gráficos acíclicos direcionados (DAGs) de tarefas. O agendador do Airflow executa suas tarefas em uma matriz de trabalhadores enquanto segue as dependências especificadas. Utilitários avançados de linha de comando facilitam a realização de cirurgias complexas em DAGs.

Índice

• Ferramentas Utilizadas
• Instalação
• Links

Arquitetura de referência

Ferramentas Utilizadas

	Master version
Python	3.9
Airflow	1.10.2

Instalação

pip install apache-airflow==1.10.12 \
 --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-1.10.12/constraints-3.7.txt"

Links

• Documentation Apache Airflow
• Documentation API Twitter
• More