- accuracyaccuratezza
A network with layers of width 2 or 3 is trained on the left, and on the right the same points and the same grid are carried into a hidden layer by the three steps of a layer (the linear map \(W\), the translation \(b\) and the activation), played as a continuous deformation of the plane. With \(\tanh\) and \(\det W > 0\) the plane is bent but never torn, and therefore the disc inside the ring cannot be separated with two units per layer, however long one trains. With three units the plane is laid in space at \(z = 0\), and the layers can lift the disc out of the ring, after which a plane separates them (to see it, choose width 3 and the disc inside the ring).
A sinistra si addestra una rete con strati di larghezza 2 o 3, e a destra gli stessi punti e la stessa griglia sono portati in uno strato nascosto dai tre passi di uno strato (la mappa lineare \(W\), la traslazione \(b\) e l'attivazione), mostrati come una deformazione continua del piano. Con \(\tanh\) e \(\det W > 0\) il piano si piega ma non si strappa mai, e quindi il disco dentro l'anello non si può separare con due unità per strato, per quanto a lungo si addestri la rete. Con tre unità il piano è posto nello spazio a \(z = 0\), e gli strati possono sollevare il disco fuori dall'anello, dopo di che un piano li separa (per vederlo, scegli la larghezza 3 e il disco dentro l'anello).
;