Learning playgroundLaboratorio di apprendimento

Since training a model amounts to minimizing a function, this page runs the algorithms of optiml on its test functions in two dimensions, all from the same start on the same landscape: first-order and adaptive methods, second-order methods, and a bundle method, the only one designed for the nonsmooth case. The level map and the surface show the same iteration; click on the map to move the start, and drag the surface to turn it. Space plays and pauses, and the arrows step forward and back (also in full screen).

Poiché addestrare un modello equivale a minimizzare una funzione, questa pagina fa gareggiare gli algoritmi di optiml sulle sue funzioni di test in due dimensioni, tutti dallo stesso punto di partenza sullo stesso paesaggio: metodi del primo ordine e adattivi, metodi del secondo ordine e un metodo bundle, l'unico pensato per il caso non differenziabile. La mappa delle curve di livello e la superficie mostrano la stessa iterazione; clicca sulla mappa per spostare il punto di partenza, e trascina la superficie per ruotarla. Lo spazio avvia e mette in pausa, e le frecce fanno un passo avanti e indietro (anche a schermo intero).

level mapcurve di livelloiterationiterazione 0
surfacesuperficieiterationiterazione 0
The value of each algorithm against the iterations (log scale), up to the iteration shown, and its value there; the dashed lines are the runs of optiml replayed. Newton and BFGS need a smooth function and are left out on the nonsmooth one.Il valore di ogni algoritmo in funzione delle iterazioni (in scala logaritmica), fino all'iterazione mostrata, e il suo valore lì; le linee tratteggiate sono le esecuzioni di optiml riprodotte. Newton e BFGS richiedono una funzione differenziabile e sono esclusi da quella non differenziabile.