AlertaDengueCaptura

Rotinas para captura de dados.

Este repo contém uma framework para a captura automática de dados de forma distribuída em dois diferentes aplicativos. Esta framework usa a bilbioteca Celery.

1-Crawlclima
2-Downloader App

No diretório notebooks há alguns notebooks experimentais para testar os acessos e visualizar os dados.

Crawlclima

Captura de series tweets no servidor do observatório da dengue/UFMG.

Requisitos (Ubuntu)

Para fazer o restore da base de dados baixe o projeto Data para executar os aplicativos com os dados do banco de dados de demonstração.
Veja: https://github.com/AlertaDengue/Data

Clonar o repositório AlertaDengueCaptura

git clone https://github.com/AlertaDengue/AlertaDengueCaptura.git

Mover e renomear o arquivo env_sample para o diretório AlertaDengueCaptura/crawlclima/

Modificar as variáveis de ambiente para a conexão com a base de dados demo no arquivo ".env".

$ mv  AlertaDengueCaptura/env_sample  AlertaDengueCaptura/crawlclima/.env

A partir de este passo todos os comandos devem ser executados no diretório do repo AlertaDengueCaptura$

Install essentials and rabbitmq-server

$ sudo apt update -y \
&& sudo apt install build-essential libpq-dev \
&& git make wget vim \
&& rabbitmq-server

Criando e configurando o ambiente conda

Installing Miniconda https://docs.conda.io/projects/conda/en/latest/user-guide/install/linux.html

Após a instalação do miniconda execute:

$ conda create --name env_crawlclima pip

$ conda activate env_crawlclima

$ pip install -e .

Iniciando o Celery

$ celery -A crawlclima.fetchapp worker --loglevel=info

Iniciando a captura

Para executar as tarefas abra uma nova janela de terminal no diretório raiz do projeto AlertaDengueCaptura$:

Ativar o environment criado anteriormente
$ conda activate env_crawlclima
Executar a tarefa Pegatweets
$ python crawlclima/pegatweets.py
Executar a tarefa Pegatemperatura
$ python crawlclima/pegatemperatura.py
Para captura automática via CRON use o arquivo crontab
$ crontab -u $(whoami) crawlclima/crontab
Para editar o crontab
$ crontab -e

Manual crontab.

Rodar o Crawlclima App em container(Docker)

Para build e deploy via docker consulte o README no diretório docker/crawlclima.

Downloader App

As rotinas disponíveis neste pacote são projetadas para capturar e processar imagens de satélite de forma fácil e conveniente. Além disso, existem rotinas para combinar dados raster com camadas de shapefiles para imagens mais informativas mais....

Verifique o notebook examples.ipynb para ver como funciona em detalhes.

Requisitos

Para configurar o ambiente e instalar a app veja o README no diretório downloader_app.

Rodar o Downloader App em container(Docker)

Consulte o README no diretório docker/satellite.

Esta app encontra-se em fase de desenvolvimento.

besugos / alertadenguecaptura Goto Github PK