renatofcorrea / mtd-ufpe Goto Github PK

Trunk - mtd:

Purpose of code changes on this branch:

1 )No log algumas vezes é impresso o xml dos metadados de alguns documentos, 
creio que seja melhor não imprimir mais estes dados para o log ficar 
homogêneo.
2) Seria bom imprimir o id dos documentos que são processados por cada thread 
( quando são inseridos no índice).
3) O que você chama de documento no log, seria uma página de identificadores? 
Se é isto, acho melhor usar então página de identificadores no log.

When reviewing my code changes, please focus on:


After the review, I'll merge this branch into:
/trunk

Criar funcionalidade que permitar que um arquivo de configuração seja 
colocado no ambiente do sistema ou em pasta pré-determinada e os parâmetros 
de inicialização sejam carregados deste arquivo.

Procurar um novo analisador para o projeto para que os dados do indice suportem 
conteúdo como formulas químicas ex: H2SO4, H2O.

"buscar uma forma de colocar um analisador que respeite palavras que contenham 
numero e que fique em minuscula."

Gerar relatório parcial projeto

Verificar a concorrência entre RepositorioIndice e Solr, validar se os dois 
podem funcionar juntos e sobre a mesma base de dados.

caso não seja possível avaliar os custos de substituir o RepostorioIndice.

Permitir ligar e desligar o Solr na aplicação (isto é permitir que a 
aplicação possa funcionar com ou sem Solr) avaliar implicações e 
recomendações.   

Criar funcionalidade que permita parametrizar
o sistema através de arquivo de properties.

como primeiro parâmetro colocar o Diretorio onde serao armazenados os dados
externos da aplicacao. Deverá ser consultado de arquivo de propriedades 

Atualizar a versão do Lucene no Projeto MTD da versão 2.9 para a versão 4.6 
Adicionar também o lukeall 4.6 como ferramenta de apoio.

- Colocar no arquivo de entrada para treinamento da rede neural a quantidade de 
documentos quer a palavra ocorre, a frequencia acumulada.
 - Colocar retentaivas na hora de baixar os metadados para cada identificador.
 - Colocar dados das areas baseado em arquivos com areas de conhecimento. Colocado no DropBox. tac-cnpq (tabela de area de conhecimento - cnpq)

Mudar o id do documento incluido no indice que hoje está como numero inteiro 
extraido do parametro identifier , e colocar o próprio identifier como id no 
indice.

Branch name:trunk - mtd

Purpose of code changes on this branch:

Terminada a indexação do repositório chame o método para otimizar o índice.

When reviewing my code changes, please focus on:


After the review, I'll merge this branch into:
/trunk

Baixar a classe Principal do Projeto MTD web e adaptar ao projeto para que 
posssa gerar os arquivos necessários ao processamento da Rede Neural.

Peço que você verifique porque os campos grau (mtd2-br:Grau:) e keyword 
(mtd2-br:Assunto:) não estão inclusos no índice, e os adicione.

Tratar o erro de parse provocado por encoding no processamento de XML dentro do 
JColtraine.

Criar ambiente para solr e classe de teste para integrar com o Solr criado.

Muitas vezes o timeout provocado por flutuação intermitente da rede afeta o 
processamento de documentos. Deve-se implementar estratégia que permita nova 
tentativa após alguns instantes cado ocoora um erro de timeout. Colocar um  o 
numero de máximo tentativas.