t-SNE turns the distances of a layer into affinities \(p_{j|i} \propto \exp(-\|x_i - x_j\|^2 / 2\sigma_i^2)\), with \(\sigma_i\) set for every point so that it has about as many effective neighbors as the perplexity, and places points \(y_i\) in the plane to minimize \(\mathrm{KL}(P\,\|\,Q)\), where \(p_{ij} = (p_{j|i} + p_{i|j})/2n\) and \(q_{ij} \propto (1 + \|y_i - y_j\|^2)^{-1}\). The loss is large when near neighbors are put far apart and small for the converse, and therefore the map preserves, roughly, who is next to whom (i.e., the clusters and their members).
It does not preserve the size of a cluster (\(\sigma_i\) adapts to the local density), nor the distance between two clusters (the heavy tail of \(q\) pushes moderately distant groups far apart), nor their relative position, which changes with the seed and the perplexity; two clusters drawn far apart are therefore not more different than two drawn close. For this reason the accuracy above each map is measured in the layer itself, where the distances are those of the network. PCA, on the contrary, is a linear projection on the two directions of largest variance: its distances are faithful along them and shrunk along all others, so that classes that overlap in PCA may well be separated in a direction it does not show. The probe draws the plane \(z = A x\) that a softmax classifier on \(z\) finds most useful, fitted on 1000 other digits that the network does not see either (500 points in 400 dimensions are separated by almost any plane fitted on them); hence, it measures the linear separability of the classes in two dimensions, and it shows little of the geometry of the layer.
t-SNE trasforma le distanze di uno strato in affinità \(p_{j|i} \propto \exp(-\|x_i - x_j\|^2 / 2\sigma_i^2)\), con \(\sigma_i\) fissato per ogni punto in modo che abbia circa tanti vicini effettivi quanti ne indica la perplessità, e colloca i punti \(y_i\) nel piano in modo da minimizzare \(\mathrm{KL}(P\,\|\,Q)\), dove \(p_{ij} = (p_{j|i} + p_{i|j})/2n\) e \(q_{ij} \propto (1 + \|y_i - y_j\|^2)^{-1}\). La loss è grande quando vicini prossimi sono posti lontani e piccola nel caso opposto, e quindi la mappa conserva, grosso modo, chi sta accanto a chi (cioè i cluster e i loro membri).
Non conserva la dimensione di un cluster (\(\sigma_i\) si adatta alla densità locale), né la distanza fra due cluster (la coda pesante di \(q\) allontana molto gruppi moderatamente distanti), né la loro posizione relativa, che cambia con il seme e con la perplessità; due cluster disegnati lontani non sono quindi più diversi di due disegnati vicini. Per questo l'accuratezza sopra ogni mappa è misurata nello strato stesso, dove le distanze sono quelle della rete. La PCA, al contrario, è una proiezione lineare sulle due direzioni di varianza massima: le sue distanze sono fedeli lungo di esse e contratte lungo tutte le altre, così che classi che si sovrappongono nella PCA possono benissimo essere separate in una direzione che essa non mostra. La sonda disegna il piano \(z = A x\) che un classificatore softmax su \(z\) trova più utile, stimato su altre 1000 cifre che neanche la rete vede (500 punti in 400 dimensioni sono separati da quasi ogni piano stimato su di essi); misura quindi la separabilità lineare delle classi in due dimensioni, e mostra poco della geometria dello strato.