Network playgroundLaboratorio di reti neurali

A small neural network trained in the browser, with everything the TensorFlow Playground has, and two additions: the optimizer is chosen among those of optiml, and two networks can race from the same initial weights with different optimizers. Every neuron shows its output over the plane; links are the weights (violet positive, gold negative, thicker when larger); point at a neuron to see it large on the right, click a link to edit its weight. With dropout \(p\), every hidden neuron is switched off with probability \(p\) in each mini-batch of training (drawn faded while the network trains) and the others are scaled by \(1/(1-p)\); at test time, and in every map and loss shown, all neurons are on.

Una piccola rete neurale addestrata nel browser, con tutto ciò che ha il TensorFlow Playground e due aggiunte: l'ottimizzatore si sceglie fra quelli di optiml, e due reti possono gareggiare dagli stessi pesi iniziali con ottimizzatori diversi. Ogni neurone mostra la sua uscita sul piano; i collegamenti sono i pesi (viola i positivi, oro i negativi, più spessi quando sono più grandi); puntando un neurone lo si vede in grande a destra, un clic su un collegamento ne modifica il peso. Con dropout \(p\), ogni neurone nascosto è spento con probabilità \(p\) in ogni minibatch dell'addestramento (disegnato sbiadito mentre la rete si addestra) e gli altri sono scalati di \(1/(1-p)\); in fase di test, e in ogni mappa e loss mostrata, tutti i neuroni sono accesi.

DataDati

FeaturesFeature

OutputUscita

test lossloss di test
training lossloss di addestramento
test loss Bloss di test B
training loss Bloss di addestramento B

Loss landscapePaesaggio della loss

Not computed yet: the training loss on a plane through the current weights, spanned by two random filter-normalized directions or by the two principal directions of the path, with the path of the past epochs projected on it and the current weights (gold) moving as training goes on.Non ancora calcolato: la loss di addestramento su un piano per i pesi correnti, generato da due direzioni casuali normalizzate per filtro o dalle due direzioni principali del cammino, con il cammino delle epoche passate proiettato su di esso e i pesi correnti (in oro) che si muovono durante l'addestramento.