i4ds / flaresense Goto Github PK

check if we can get more data?
how was the old data formed?
how reliable is the new data?
should we create a new tool to check data?

Was ist State of the Art? Welche Modelle eignen sich gut? Welche Daten werden für diesen Datensatz normalerweise bezogen?

• Zuerst in den Data Loader implementieren
• Danach 1:1 ratio vergleichen.
• Danach grössere ratios (more nonburst) probieren

• Schauen, wieso so komische Losses entstehen.

• Am besten, Code für alle Modelle generalisieren.

Eventuell mit X (Twitter) API einen Bot erstellen, welcher Sonneneruptionen tweetet?

Basierend auf den Erkenntnissen von Modell 1 & 2

Rough sketch: https://docs.google.com/document/d/1cNBqw2ecxdPE-n4B-GmKzoNbX-FUVDxZP8uhvKbP3q4/edit?usp=sharing

Refine milestones, iterations, etc etc

Dokumentvorlage vorbereiten/finden.
Bereits verfügbare Informationen befüllen: Ist, Soll, Introduction, etc.
Laut Vincenzo genügt es, ein gut dokumentiertes Markdown wiki zu haben.

Vincenzo:

Hallo zusammen! Ich schulde euch noch eine Funktion, welche 15-Minuten Bilder erstellt: i4Ds/Radio-sunburst-labelcreation (github.com) Da seht ihr auch, wie damals die Burstliste erstellt wurde. Noch ein schönes Wochenende!

Schauen, wieso Modell nicht trainiert

• DataLoader should be able to load from images

Update 2. November:

• DataLoader should be built around a dataframe
• DataLoader should allow split by time or stratified classes.
• DataLoader should be able to filter station by name

Definition der Instrumente und Zeitrahmen.
Sammeln der Daten durch eine selbst erstellte Pipeline.

Vincenzo schickt einen Datensatz, dieser muss überprüft werden.

.py Datei im src/utils
funktionen, welche inputs nimmt und ein plot als metrik generiert

Beispiel DecisionMatrix:

input:

• modelname
• pred_values
• true_values
• path=""

returns:

• figure (without plotting it)

outputs:

• if "path" is not empty, save figure to (f"{path}/{modelname}/decisionmatrix.png")

UseCase

Wir können damit die Decision Matrix mit MLFLOW im run abspeichern.
https://mlflow.org/docs/latest/python_api/mlflow.html#mlflow.log_figure

Hier geht es darum zu verstehen, was überhaupt geht und was nicht.

Das alte Modell kann nachgebildet werden, so können wir unsere direkt vergleichen.

Organisation aufsetzen.

Split by day, australia_assa_02:

https://dagshub.com/FlareSense/FlareSense/experiments/#/experiment/m_afcfabd0834e42218666d11e7746fb24