pkasela / sound-of-data

Pota

TODO LIST:

DataSet Link

Here is the link to the cleaned dataset ready for neo4j, You need to have a GitLab account!!

Or use GDrive Link to the Dataset

Link for the presentation

Use maria_dev account in VM (HDP and not HDF) to recreate the database if needed.

Data Management

• Import data
  • fix .tsv with get_data.py
  • Decide the tables and their attributes to keep
  • .tsv -> PIG -> clean .tsv (con JOIN e FILTER(GENERATE for PIG)) with PigCleaning.sh
  • clean .tsv -> neo4j neo4j_import.sh
  • index on the graph
  • constraint on the graph for unique gid of the entities
  • Scrape down musicBrainz genres using musicBrainz API
  • Remove the useless genres such as: audiobook to reduce the dimesione of the list
• Tweet
  • Kafka Producer with Kafka_Produce.py
  • Kafka Producer -> Neo4j Consumer Neo4j Streams Procedure
  • Initialize the script using tmux and sleep happily
  • Check if everything is alright in the morning!

Data Semantics

• Analisi tweet
  • costruzione modello/i per filtro
  • analisi prestazioni modello/i (dai abbastanza bene la prestazione)

Analisi

• Rimozione bot
  • indivuduare utenti e "bannarli" (Botometer)
  • storage di whitelist e blacklist con RiakDB
• Query interessanti
• Analisi
  • trovare i cluster sulle parole musicali più twittati. # "comunità" musicali
  • trovare cicli periodici (mattina, pomeriggio, sera, notte)

Data Visualization

• Plot plot plot plot link to the website
  • Un possibile plot è work cloud (a forma di qualcosa di musica magari)link
  • Barplot per la densità di distribuzione nei vari giorni (e periodo) link
• Convalida plot
  • noi stessi
  • tante altre persone

Presentation

• complete the presentation

Per segnare come fatto una casella, aggiungere una X all'interno delle parentesi quadre [ ] -> [X]