Projeto desenvolvido por Jonathan R. Andrade na Trybe.
Projeto de uma ferramenta escrita em Python capaz de coletar noticias sobre tecnologia. As notícias são obtidas por meio de raspagem do blog da Trybe e são salvas no banco de dados MongoDB para serem consultadas posteriormente.
- Utilizar o terminal interativo do Python;
- Escrever meus próprios módulos e importá-los em outros códigos;
- Aplicar técnicas de raspagem de dados;
- Extrair dados de conteúdo HTML;
- Armazenar os dados obtidos no banco de dados MongoDB.
Siga os passos abaixo executando os comandos no terminal.
-
Clone o repositório.
- Exemplo com Git + HTTPS
git clone https://github.com/Jonathan-R-Andrade/tech-news.git
- Exemplo com Git + SSH
git clone [email protected]:Jonathan-R-Andrade/tech-news.git
- Usando GitHub CLI
gh repo clone Jonathan-R-Andrade/tech-news
Entre na pasta do repositório clonado.
- Exemplo com Git + HTTPS
-
Crie um arquivo
.env
na raiz do projeto com as variáveis de ambiente necessárias para o banco de dados.- No Windows, execute o comando abaixo no terminal.
copy .env.example .env
- No Unix/Linux, execute o comando abaixo no terminal.
cp .env.example .env
- No Windows, execute o comando abaixo no terminal.
-
Prepare o ambiente usando Docker Compose ou o Python e o MongoDB instalados localmente.
-
Usando Docker Compose.
Para rodar esse projeto usando Docker Compose eu utilizei o Docker na versão 23.0.1 e o Docker Compose na versão 2.16.0.
- Inicie a aplicação.
docker compose up -d --build
- Entre no container da aplicação.
docker exec -it tech_news bash
-
Usando Python e MongoDB instalados localmente.
Para rodar esse projeto localmente eu utilizei o Python na versão 3.8.16 e o MongoDB na versão 5.0.14.
- Crie o ambiente virtual.
python3 -m venv .venv
- Ative o ambiente virtual.
source .venv/bin/activate
- Instale as dependências.
python3 -m pip install -r dev-requirements.txt
Verifique se o MongoDB está rodando e as variáveis de ambiente estão corretas no arquivo
.env
.
-
-
Execute o script.
tech-news-analyzer
Além do que foi solicitado no projeto, eu adicionei a possibilidade de executar o script com os seguintes argumentos:
-
--option
ou-o
: Executa o script com a opção desejada sem exibir o menu.tech-news-analyzer --option 5
-
--width
ou-w
: Define a largura máxima das colunas da tabela (padrão: 100).tech-news-analyzer --width 50