terto17 / desafio-dataside

Desafio Dataside

Neste desafio, desenvolvi um notebook que será responsável por extrair dados de previsão do tempo das cidades do Vale do Paraíba, região onde se localiza a Dataside. Com esses dados usando Pyspark, gerei um data frame com os dados de previsão adquiridos pela API Hg Weather » e a partir dele uma temp view. Por fim exportei a tabela em csv usando Pandas.

Este projeto consiste em:
1 - Consultar municípios do Vale do Paraíba, gerar um data frame e criar uma temp view com esses dados.
2 - Consultar dados do tempo para cada município, gerar um data frame e criar uma outra temp view.
3 - Utilizar Spark SQL para gerar os data frames da Tabelas 1.
4 - Exportar o data frame para CSV.

Tenologias usadas

• Python
• PySpark
• Pandas
• API IBGE
• API Hg Weathers
• Biblioteca Requests, Datetime, Time , pyspark.sql, Json, Itertools e pyspark.sql.window.

Exemplo de saida do csv: