I need a superficial thought.. that makes my loss convex
The loss of a model is a function of all its weights (about two thousand for this small network), and therefore it can be seen only on a slice, i.e., on the plane \(\theta^* + \alpha\, d_1 + \beta\, d_2\) through the trained weights \(\theta^*\). Following Li, Xu, Taylor, Studer and Goldstein, "Visualizing the Loss Landscape of Neural Nets" (2018), the two directions are either random and filter-normalized (each row of a weight matrix is rescaled to the norm of the same row of \(\theta^*\), so that the scale of every unit counts alike) or the two principal components of the path of gradient descent, which span the plane that fits the path best; a third plane holds the segment from \(\theta^*\) to the initial weights \(\theta_0\) (as in Goodfellow, Vinyals and Saxe, 2015) and a random filter-normalized direction, so that both ends of the path lie on it. On the left is a network with eight hidden layers of 16 tanh units and no skip connections, on the right a logistic regression, both trained by gradient descent on the same 200 points of two half moons. The network reaches a loss near zero in a narrow basin among ridges and plateaus (the kind of landscape that Li et al. found in deep networks without skip connections), while the regression stops at a worse loss at the bottom of a convex bowl.
La loss di un modello è una funzione di tutti i suoi pesi (circa duemila per questa piccola rete), e quindi si può vedere solo su una sezione, cioè sul piano \(\theta^* + \alpha\, d_1 + \beta\, d_2\) per i pesi addestrati \(\theta^*\). Seguendo Li, Xu, Taylor, Studer e Goldstein, "Visualizing the Loss Landscape of Neural Nets" (2018), le due direzioni sono casuali e normalizzate per filtro (ogni riga di una matrice dei pesi è riscalata alla norma della stessa riga di \(\theta^*\), così che la scala di ogni unità conti allo stesso modo), oppure sono le due componenti principali del cammino della discesa del gradiente, che generano il piano più vicino al cammino; un terzo piano contiene il segmento da \(\theta^*\) ai pesi iniziali \(\theta_0\) (come in Goodfellow, Vinyals e Saxe, 2015) e una direzione casuale normalizzata per filtro, così che entrambi gli estremi del cammino vi giacciano. A sinistra c'è una rete con otto strati nascosti di 16 unità tanh e senza connessioni residue, a destra una regressione logistica, entrambe addestrate con la discesa del gradiente sugli stessi 200 punti di due mezzelune. La rete arriva a una loss quasi nulla in un bacino stretto fra creste e altipiani (il tipo di paesaggio che Li et al. hanno trovato nelle reti profonde senza connessioni residue), mentre la regressione si ferma a una loss peggiore in fondo a una scodella convessa.
Either landscape, or both side by side on one block, can be ordered as a 3D print, computed on the directions and the scale chosen above, with the path of gradient descent engraved from a small cone (the initial weights) to a pit (the minimum). The request sends the link to the scene as it is on the screen.
Puoi ordinare uno dei due paesaggi, o entrambi affiancati su un unico blocco, come stampa 3D, calcolato sulle direzioni e sulla scala scelte sopra, con il cammino della discesa del gradiente inciso da un piccolo cono (i pesi iniziali) a una fossetta (il minimo). La richiesta manda il link alla scena così com'è sullo schermo.
The file holds one landscape, or both on one block with a flat strip between them, computed on the directions and the scale chosen above; the path is engraved as a groove that starts at a small cone (the initial weights) and ends in a pit (the minimum).
Il file contiene un paesaggio, o entrambi su un unico blocco con una striscia piana in mezzo, calcolati sulle direzioni e sulla scala scelte sopra; il cammino è inciso come un solco che parte da un piccolo cono (i pesi iniziali) e finisce in una fossetta (il minimo).