alexpasqua / nns-from-scratch Goto Github PK

Bug loss function when batch size is less than 5

Documentation on some of those scripts scripts is missing / bad

In the main section of the functions scripts (acts & losses), the objects in the dictionary aren't used, we're calling directly the functions but for testing purposes, at this point, it doesn't make sense to do so

Ho provato ad aggiungere la regularization tramite la funzione che creammo.
La funzione che abbiamo creato, concettualmente è la seguente:

lambda * sum ( weights) **2

Mi è sorto un dubbio. Questa formula è valida quando viene aggiunta alla loss prima di essere derivata, quindi prima di passare dal ciclo di back.
Nel momento in cui dobbiamo usarla però, a noi ci serve 2lambdaw
la somma dovrebbe essere a livello teorico, ma quando noi aggiorniamo i pesi w, non dobbiamo considerare la somma del vettore pesi, ma soltanto il valore w che vogliamo aggiornare. Giusto?
Ad esempio

net = x1 w1 + x2 w2 + w0

update w1

w1 = w1 + eta * grad_w1 -lambda * w1 <--- giusto? Non dobbiamo mica considerare la somma di w1,w2 qui

When weight_init is set to "random" the Network is unable to see the values passed as upper_lim and lower_lim.
It always return random values in range (0, 1).

As backprop is set right now, there is no weight update in the last layer.
MUST be fixed

Aggiungere Target da terminale.

Currently the script does not work if executed with arguments, they're not parsed properly.

bug in network.py

setter weights in Layer doesn't work... needs to be checked