Sobre • Funcionalidades • ETL • Tecnologias • Autor •
📟 ETL com Python - Para este projeto foi utilizada uma base dados que contem a relação de usuários, seus tipos de planos, taxa de cancelamento, entre outras informações. O objetivo aqui é realizar um processo de ETL, visando analisar e transformar os dados para encontrar as causas de cancelamento.
Você pode encontrar os códigos feitos pelo colab aqui.
Devido ao grande número de usuários, a base de dados pode ser acessada apenas dentro do próprio código.
Projeto desenvolvido durante o Bootcamp de Ciência de Dados com Python da DIO. Esse bootcamp é uma experiência online, um programa com mais de 80 horas de experiência prática nas principais tecnologias que norteiam o Python, também oferece desafios de código e projetos individuais.
- Extração, Analise, Transformação e Carregamento de dados;
Durante a extração, o ETL identifica os dados e os copia de suas origens, de forma que possa transportar os dados para o armazenamento de dados de destino. Os dados podem vir de fontes estruturadas e não estruturadas, incluindo documentos, emails, aplicações de negócios, bancos de dados, equipamentos, sensores, terceiros e muito mais. Antes de serem transformados, os dados precisam ser cuidadosamente analisados afim de eliminar quaisquer redundancias, valores nulos, ou até mesmo dados que não nos ajudem a chegar a uma conclusão satisfatória.
Como os dados extraídos são brutos em sua forma original, eles precisam ser mapeados e transformados para prepará-los para o armazenamento de dados eventual. No processo de transformação, o ETL valida, autentica, desduplica e/ou agrega os dados de formas que tornam os dados resultantes confiáveis e consultáveis.
O ETL move os dados transformados para o armazenamento de dados de destino. Esta etapa pode implicar o carregamento inicial de todos os dados de origem ou pode ser o carregamento de alterações incrementais nos dados de origem. Você pode carregar os dados em tempo real ou em lotes programados.
As seguintes ferramentas foram usadas na construção do projeto:
![](https://private-user-images.githubusercontent.com/106993403/255078146-9abf8ee7-9527-42f8-9151-04ccd3db2d97.jpg?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjQzODcxNjksIm5iZiI6MTcyNDM4Njg2OSwicGF0aCI6Ii8xMDY5OTM0MDMvMjU1MDc4MTQ2LTlhYmY4ZWU3LTk1MjctNDJmOC05MTUxLTA0Y2NkM2RiMmQ5Ny5qcGc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjQwODIzJTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI0MDgyM1QwNDIxMDlaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT1iMmQ0MjBhZDRmOWJhMTViYzkwYmY4YjhhMDEwYWNmYzMxMDdhNzY4ZDVkYmJlNDhhMmRjMGJlZjc4ZDg1NzhkJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCZhY3Rvcl9pZD0wJmtleV9pZD0wJnJlcG9faWQ9MCJ9.sIFLyJqHzpwNduaa5le-BvQqBtDIyuwSjERbJcqE42M)
Lucas Henrique Proença