TODO LIST:
Here is the link to the cleaned dataset ready for neo4j, You need to have a GitLab account!!
Or use GDrive Link to the Dataset
Link for the presentation
Use maria_dev account in VM (HDP and not HDF) to recreate the database if needed.
- Import data
- fix .tsv with get_data.py
- Decide the tables and their attributes to keep
- .tsv -> PIG -> clean .tsv (con JOIN e FILTER(GENERATE for PIG)) with PigCleaning.sh
- clean .tsv -> neo4j neo4j_import.sh
- index on the graph
- constraint on the graph for unique gid of the entities
- Scrape down musicBrainz genres using musicBrainz API
- Remove the useless genres such as: audiobook to reduce the dimesione of the list
- Tweet
- Kafka Producer with Kafka_Produce.py
- Kafka Producer -> Neo4j Consumer Neo4j Streams Procedure
- Initialize the script using tmux and sleep happily
- Check if everything is alright in the morning!
- Analisi tweet
- costruzione modello/i per filtro
- analisi prestazioni modello/i (dai abbastanza bene la prestazione)
- Rimozione bot
- indivuduare utenti e "bannarli" (Botometer)
- storage di whitelist e blacklist con RiakDB
- Query interessanti
- Analisi
- trovare i cluster sulle parole musicali più twittati. # "comunità" musicali
- trovare cicli periodici (mattina, pomeriggio, sera, notte)
- Plot plot plot plot link to the website
- Convalida plot
- noi stessi
- tante altre persone
- complete the presentation
Per segnare come fatto una casella, aggiungere una X all'interno delle parentesi quadre [ ] -> [X]