Sobre • Funcionalidades • ETL • Tecnologias • Autor •
📟 ETL com Python - Para este projeto foi utilizada uma base dados que contem a relação de usuários, seus tipos de planos, taxa de cancelamento, entre outras informações. O objetivo aqui é realizar um processo de ETL, visando analisar e transformar os dados para encontrar as causas de cancelamento.
Você pode encontrar os códigos feitos pelo colab aqui.
Devido ao grande número de usuários, a base de dados pode ser acessada apenas dentro do próprio código.
Projeto desenvolvido durante o Bootcamp de Ciência de Dados com Python da DIO. Esse bootcamp é uma experiência online, um programa com mais de 80 horas de experiência prática nas principais tecnologias que norteiam o Python, também oferece desafios de código e projetos individuais.
- Extração, Analise, Transformação e Carregamento de dados;
Durante a extração, o ETL identifica os dados e os copia de suas origens, de forma que possa transportar os dados para o armazenamento de dados de destino. Os dados podem vir de fontes estruturadas e não estruturadas, incluindo documentos, emails, aplicações de negócios, bancos de dados, equipamentos, sensores, terceiros e muito mais. Antes de serem transformados, os dados precisam ser cuidadosamente analisados afim de eliminar quaisquer redundancias, valores nulos, ou até mesmo dados que não nos ajudem a chegar a uma conclusão satisfatória.
Como os dados extraídos são brutos em sua forma original, eles precisam ser mapeados e transformados para prepará-los para o armazenamento de dados eventual. No processo de transformação, o ETL valida, autentica, desduplica e/ou agrega os dados de formas que tornam os dados resultantes confiáveis e consultáveis.
O ETL move os dados transformados para o armazenamento de dados de destino. Esta etapa pode implicar o carregamento inicial de todos os dados de origem ou pode ser o carregamento de alterações incrementais nos dados de origem. Você pode carregar os dados em tempo real ou em lotes programados.
As seguintes ferramentas foram usadas na construção do projeto:
Lucas Henrique Proença
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent