Loss landscapesPaesaggi della loss

I need a superficial thought.. that makes my loss convex

The loss of a model is a function of all its weights (about two thousand for this small network), and therefore it can be seen only on a slice, i.e., on the plane \(\theta^* + \alpha\, d_1 + \beta\, d_2\) through the trained weights \(\theta^*\). Following Li, Xu, Taylor, Studer and Goldstein, "Visualizing the Loss Landscape of Neural Nets" (2018), the two directions are either random and filter-normalized (each row of a weight matrix is rescaled to the norm of the same row of \(\theta^*\), so that the scale of every unit counts alike) or the two principal components of the path of gradient descent, which span the plane that fits the path best; a third plane holds the segment from \(\theta^*\) to the initial weights \(\theta_0\) (as in Goodfellow, Vinyals and Saxe, 2015) and a random filter-normalized direction, so that both ends of the path lie on it. On the left is a network with eight hidden layers of 16 tanh units and no skip connections, on the right a logistic regression, both trained by gradient descent on the same 200 points of two half moons. The network reaches a loss near zero in a narrow basin among ridges and plateaus (the kind of landscape that Li et al. found in deep networks without skip connections), while the regression stops at a worse loss at the bottom of a convex bowl.

La loss di un modello è una funzione di tutti i suoi pesi (circa duemila per questa piccola rete), e quindi si può vedere solo su una sezione, cioè sul piano \(\theta^* + \alpha\, d_1 + \beta\, d_2\) per i pesi addestrati \(\theta^*\). Seguendo Li, Xu, Taylor, Studer e Goldstein, "Visualizing the Loss Landscape of Neural Nets" (2018), le due direzioni sono casuali e normalizzate per filtro (ogni riga di una matrice dei pesi è riscalata alla norma della stessa riga di \(\theta^*\), così che la scala di ogni unità conti allo stesso modo), oppure sono le due componenti principali del cammino della discesa del gradiente, che generano il piano più vicino al cammino; un terzo piano contiene il segmento da \(\theta^*\) ai pesi iniziali \(\theta_0\) (come in Goodfellow, Vinyals e Saxe, 2015) e una direzione casuale normalizzata per filtro, così che entrambi gli estremi del cammino vi giacciano. A sinistra c'è una rete con otto strati nascosti di 16 unità tanh e senza connessioni residue, a destra una regressione logistica, entrambe addestrate con la discesa del gradiente sugli stessi 200 punti di due mezzelune. La rete arriva a una loss quasi nulla in un bacino stretto fra creste e altipiani (il tipo di paesaggio che Li et al. hanno trovato nelle reti profonde senza connessioni residue), mentre la regressione si ferma a una loss peggiore in fondo a una scodella convessa.

The two reliefs as they are printed, low where the loss is low; in gold the path of gradient descent from the initial weights (the ball) to the minimum, projected on the plane. On random directions the path is a short stroke, since in hundreds of dimensions two random directions are almost orthogonal to it (as Li et al. remark, and for this reason they plot paths on the principal components). Heights are capped at the 97th percentile. Drag to turn, use the wheel or pinch to zoom.I due rilievi come vengono stampati, bassi dove la loss è bassa; in oro il cammino della discesa del gradiente dai pesi iniziali (la sfera) al minimo, proiettato sul piano. Sulle direzioni casuali il cammino è un tratto breve, perché in centinaia di dimensioni due direzioni casuali gli sono quasi ortogonali (come osservano Li et al., che per questo disegnano i cammini sulle componenti principali). Le altezze sono tagliate al 97-esimo percentile. Trascina per ruotare, usa la rotella o il pizzico per lo zoom.

Download for 3D printingScarica per la stampa 3D

A 3D print of these landscapesUna stampa 3D di questi paesaggi

Either landscape, or both side by side on one block, can be ordered as a 3D print, computed on the directions and the scale chosen above, with the path of gradient descent engraved from a small cone (the initial weights) to a pit (the minimum). The request sends the link to the scene as it is on the screen.

Puoi ordinare uno dei due paesaggi, o entrambi affiancati su un unico blocco, come stampa 3D, calcolato sulle direzioni e sulla scala scelte sopra, con il cammino della discesa del gradiente inciso da un piccolo cono (i pesi iniziali) a una fossetta (il minimo). La richiesta manda il link alla scena così com'è sullo schermo.

The file holds one landscape, or both on one block with a flat strip between them, computed on the directions and the scale chosen above; the path is engraved as a groove that starts at a small cone (the initial weights) and ends in a pit (the minimum).

Il file contiene un paesaggio, o entrambi su un unico blocco con una striscia piana in mezzo, calcolati sulle direzioni e sulla scala scelte sopra; il cammino è inciso come un solco che parte da un piccolo cono (i pesi iniziali) e finisce in una fossetta (il minimo).