Superposition playgroundLaboratorio della sovrapposizione

A network can store more features than it has dimensions: in this model \(n\) features are squeezed into \(m = 2\) or 3 dimensions, \(h = W x\), and read back as \(x' = \mathrm{ReLU}(W^\top W x + b)\), each weighted by its importance. When the features are dense only the \(m\) most important get a direction; as they become sparse the others are packed in too, first in antipodal pairs, then as a pentagon, because two features that are rarely active together rarely interfere. In 3 dimensions the packings are solids: with 6 sparse features, three antipodal pairs on three orthogonal axes make an octahedron; with 5, two pairs and one feature alone on the third axis. With a linear read-out (selectable in the controls below) the features are not packed in this way, since without the ReLU the interference among them cannot be filtered out.

Una rete può conservare più caratteristiche di quante dimensioni abbia: in questo modello \(n\) caratteristiche sono compresse in \(m = 2\) o 3 dimensioni, \(h = W x\), e rilette come \(x' = \mathrm{ReLU}(W^\top W x + b)\), ciascuna pesata con la sua importanza. Quando le caratteristiche sono dense, solo le \(m\) più importanti ottengono una direzione; man mano che diventano sparse vi trovano posto anche le altre, prima a coppie antipodali, poi come un pentagono, perché due caratteristiche raramente attive insieme raramente interferiscono. In 3 dimensioni le disposizioni sono solidi: con 6 caratteristiche sparse, tre coppie antipodali su tre assi ortogonali formano un ottaedro; con 5, due coppie e una caratteristica da sola sul terzo asse. Con una lettura lineare (che puoi scegliere nei controlli qui sotto) le caratteristiche non vengono disposte in questo modo, perché senza la ReLU la loro interferenza non si può filtrare.

, after, dopo steps of Adam.passi di Adam.

The columns \(W_i\) of \(W\) in the \(m\) hidden dimensions, darker for the more important features, and the unit circle (for \(m = 3\) the unit ball, with the hull of the represented features).Le colonne \(W_i\) di \(W\) nelle \(m\) dimensioni nascoste, più scure per le caratteristiche più importanti, e il cerchio unitario (per \(m = 3\) la palla unitaria, con l'inviluppo delle caratteristiche rappresentate).
\(W^\top W\) (violet positive, gold negative) with \(b\) in the last column, and below the norm of each \(W_i\), violet when the feature has its own direction, gold when it interferes with the others.\(W^\top W\) (viola positivo, oro negativo) con \(b\) nell'ultima colonna, e sotto la norma di ogni \(W_i\), viola quando la caratteristica ha una direzione propria, oro quando interferisce con le altre.