just-hms / dm-ml

Data mining and machine learning project repo

Hey There! 👋

I’m Alessandro,

• Currently working as a software developer in Go @Equixely-Inc
• Master student in Artificial Intelligence and Data Engineering @University of Pisa
• I’m interested in Artificial Intelligence and Algorithms

Skills

dm-ml's Issues

Create the data processor

quel robo che dato
flow_features base_features content_features time_features
rende
genereated_features

Scarica il dataset

• link https://cloudstor.aarnet.edu.au/plus/index.php/s/2DhnLGDdEECo4ys?path=%2F
• dest folder UNSW-NB15 e lascia il .gitignore sennò si kekka

Enable CrossValidation to test models

Invece che creare test set e training set potrebbe essere un'opzione migliore quella di usare la cross validation

Feature selection

• a un certo punto dobbiamo fare i benchmark sull'applicazione vera

time := tempo per vedere se una richiesta è malevola o no

Accuracy of multiclass model

• Filtrare la tabella in base alle label predette invece che quelle effettive per testare il caso più reale.

From nominal to float in a good way

when using random forest and similiars, for now you're using

for n in nominals_features:
	tmp, indexes = pd.factorize(data[n])
	data[n] = tmp

Export data from ctf pcap to csv

trasformare il pcap in un csv con tutte le feature tranne quelle da generare

Data Preprocessing

• Pulizia rumore (e outlier) -> fare un boxplot / maybe clustering?
• Feature reduction -> PCA / Feature selection based on mutual information
• Data reduction (se serve) -> Sampling / Data aggregation / compression?
• Normalization -> min-max (attenti agli outlier) / z-score
• Discretization -> binning / histogram / clustering / decision-tree / chi2 analysis

Check NaN columns

• flow_features (un po' tutte kekkate)
• ['ct_flw_http_mthd','is_ftp_login','ct_ftp_cmd'] sono kekkate nel 2,3,4 dataset

Confusion matrix

• sia assoluta
• che percentuale in qualche modo