Este projeto tem o objetivo de gerar um índice invertido de palavras contidas em vários arquivos, de forma que seja possível a busca rápida por todos os arquivos que contem a palavra desejada.
O projeto foi desenvolvido em python com o uso da biblioteca PySpark.
O projeto usa pipenv para gerenciamento de dependências e criação de ambientes virtuais, logo é necessário tê-lo instalado.
Caso não o tenha execute o comando no terminal: pip install pipenv
Feito isso execute o comando pipenv install para criar o ambiente virtual e instalar as dependências.
Por fim basta executar python main.py na raiz do projeto.
Serão criados dois arquivos, dictionary e inverted_index. O primeiro contem o dicionario de palavras e seus Ids, o segundo contem o índice invertido onde cada Id de palavra vem seguido dos Ids dos documentos que contém aquela palavra.