Manifolds playgroundLaboratorio delle varietà

A network with layers of width 2 or 3 is trained on the left, and on the right the same points and the same grid are carried into a hidden layer by the three steps of a layer (the linear map \(W\), the translation \(b\) and the activation), played as a continuous deformation of the plane. With \(\tanh\) and \(\det W > 0\) the plane is bent but never torn, and therefore the disc inside the ring cannot be separated with two units per layer, however long one trains. With three units the plane is laid in space at \(z = 0\), and the layers can lift the disc out of the ring, after which a plane separates them (to see it, choose width 3 and the disc inside the ring).

A sinistra si addestra una rete con strati di larghezza 2 o 3, e a destra gli stessi punti e la stessa griglia sono portati in uno strato nascosto dai tre passi di uno strato (la mappa lineare \(W\), la traslazione \(b\) e l'attivazione), mostrati come una deformazione continua del piano. Con \(\tanh\) e \(\det W > 0\) il piano si piega ma non si strappa mai, e quindi il disco dentro l'anello non si può separare con due unità per strato, per quanto a lungo si addestri la rete. Con tre unità il piano è posto nello spazio a \(z = 0\), e gli strati possono sollevare il disco fuori dall'anello, dopo di che un piano li separa (per vederlo, scegli la larghezza 3 e il disco dentro l'anello).

;

The input plane: the data, the decision of the network (violet positive, gold negative) and the grid.Il piano degli ingressi: i dati, la decisione della rete (viola positiva, oro negativa) e la griglia.
accuracyaccuratezza
The same points and grid inside the network: \(t\) from 0 to 3 is the first layer (\(W\), then \(b\), then the activation), from 3 to 6 the second, and so on; with width 3 the space of the layer, the sheet tinted by the decision.Gli stessi punti e la stessa griglia dentro la rete: \(t\) da 0 a 3 è il primo strato (\(W\), poi \(b\), poi l'attivazione), da 3 a 6 il secondo, e così via; con larghezza 3 lo spazio dello strato, con il foglio colorato secondo la decisione.