- training lossloss di addestramento
- test lossloss di test
- test accuracyaccuratezza sul test set
A stack of up to 30 fully connected layers of the same width, trained in the page on a data set of the TensorFlow Playground, trains or not according to how the signal crosses the layers: with weights too small the activations and the gradients shrink by a nearly constant factor at every layer, while with weights too large the \(\tanh\) and sigmoid units saturate and the network computes a function that changes erratically over the plane. The initializations of Glorot and Bengio and of He et al. choose the variance of the weights so that the variance of the activations stays about constant from layer to layer; normalization restores it at every layer, and residual connections give the gradient a path around each layer.
Una pila di fino a 30 strati completamente connessi della stessa larghezza, addestrata nella pagina su un data set del TensorFlow Playground, si addestra o no secondo come il segnale attraversa gli strati: con pesi troppo piccoli le attivazioni e i gradienti si riducono di un fattore quasi costante a ogni strato, mentre con pesi troppo grandi le unità \(\tanh\) e sigmoidi saturano e la rete calcola una funzione che varia in modo irregolare sul piano. Le inizializzazioni di Glorot e Bengio e di He et al. scelgono la varianza dei pesi in modo che la varianza delle attivazioni resti circa costante da uno strato all'altro; la normalizzazione la ripristina a ogni strato, e le connessioni residue danno al gradiente un percorso che aggira ciascuno strato.