- design MSEMSE di progetto
- design NMSENMSE di progetto
- test MSEMSE di test
- test NMSENMSE di test
Against the networks of LAB3_1Contro le reti di LAB3_1
The input delayed network (IDNN) reads a window of the last \(d\) inputs, \(\hat y(t) = v^\top \tanh(A\,[u(t), \dots, u(t-d+1)] + b) + c\), and the Elman network keeps a state, \(h(t) = \tanh(a\,u(t) + W h(t-1) + b)\), \(\hat y(t) = v^\top h(t) + c\), whose weights are all trained, by backpropagation through time on chunks of 40 steps. Both are trained here with Adam on the same design set as the readout, with the sizes the lab selected, on standardized input and target; their test MSE is drawn at every epoch beside that of the reservoir.La rete con ingressi ritardati (IDNN) legge una finestra degli ultimi \(d\) ingressi, \(\hat y(t) = v^\top \tanh(A\,[u(t), \dots, u(t-d+1)] + b) + c\), e la rete di Elman tiene uno stato, \(h(t) = \tanh(a\,u(t) + W h(t-1) + b)\), \(\hat y(t) = v^\top h(t) + c\), i cui pesi sono tutti addestrati, con la backpropagation through time su tratti di 40 passi. Entrambe sono addestrate qui con Adam sullo stesso insieme di progetto del readout, con le dimensioni scelte dal lab, su ingresso e bersaglio standardizzati; il loro MSE di test è disegnato a ogni epoca accanto a quello del serbatoio.
| test MSE in the labMSE di test nel lab | ESN | IDNN | RNN |
|---|---|---|---|
| NARMA10 | 1.81e-3 | 4.22e-3 | 2.39e-3 |
| Mackey-Glass | 3.82e-5 | 1.36e-3 | 3.74e-4 |
| Santa Fe laserlaser di Santa Fe | 2.85e-3 | 1.98e-2 | 5.57e-3 |
With the hyperparameters it selected, the lab found the
reservoir best on all three benchmarks: on NARMA10 by a factor of 1.3 over the RNN and 2.3 over
the IDNN, on Mackey-Glass by factors of 10 and 36, and on the laser series by 2 and 7 (the laser
data come with MATLAB as laser_dataset and are not in the course repository, so the
scene reports them without running them). In this page the ranking changes: trained with Adam instead of the gradient descent with adaptive step and weight decay of MATLAB,
the RNN of the lab sizes reaches in 30 epochs a test MSE of about \(8 \cdot 10^{-4}\) on NARMA10 and
\(10^{-5}\) on Mackey-Glass, below the reservoir with the settings of the lab (about \(10^{-3}\) and
\(2.5 \cdot 10^{-5}\)). The IDNN gets about \(3 \cdot 10^{-5}\) on Mackey-Glass, since its window
here starts from \(u(t)\), while the timedelaynet(1:d) of the lab starts from
\(u(t-1)\). The results of the reservoir are limited mostly by the regularization of its readout: the grid of the lab stopped at
\(\lambda = 10^{-4}\) from below and selected \(\lambda = 0.1\) for NARMA10, and with
\(\lambda = 10^{-6}\) the test MSE of the reservoir on NARMA10 falls here to between \(5 \cdot 10^{-5}\)
and \(9 \cdot 10^{-5}\) (depending on the draw of the reservoir), an order of magnitude below the
RNN, while on Mackey-Glass, with \(N = 200\), \(\rho = 0.9\), \(\omega = 1\) and
\(\lambda = 10^{-8}\), it falls below \(10^{-8}\). Of course, the IDNN gains from a different
setting too: a window of \(d = 11\) inputs lets it see \(u(t-10)\), which NARMA10 multiplies by
\(u(t-1)\) and the window of 3 selected by the lab cannot reach, and its test MSE falls to about
\(5 \cdot 10^{-4}\), still above the reservoir with a small \(\lambda\).Con gli iperparametri che ha scelto, il lab ha trovato il
serbatoio migliore su tutti e tre i benchmark: su NARMA10 di un fattore 1.3 sulla RNN e 2.3 sulla
IDNN, su Mackey-Glass di fattori 10 e 36, e sulla serie del laser di 2 e 7 (i dati del laser vengono
con MATLAB come laser_dataset e non sono nel repository del corso, quindi la scena ne
riporta i risultati senza eseguirli). In questa pagina la classifica cambia:
addestrata con Adam invece che con la discesa del gradiente a passo adattivo e weight decay di
MATLAB, la RNN con le dimensioni del lab arriva in 30 epoche a un MSE di test di circa
\(8 \cdot 10^{-4}\) su NARMA10 e \(10^{-5}\) su Mackey-Glass, sotto il serbatoio con i valori del lab
(circa \(10^{-3}\) e \(2.5 \cdot 10^{-5}\)). La IDNN ottiene circa \(3 \cdot 10^{-5}\) su
Mackey-Glass, perché la sua finestra qui parte da \(u(t)\), mentre la timedelaynet(1:d)
del lab parte da \(u(t-1)\). I risultati del serbatoio sono limitati soprattutto dalla regolarizzazione del suo readout: la griglia del lab
si fermava in basso a \(\lambda = 10^{-4}\) e per NARMA10 ha scelto \(\lambda = 0.1\), e con
\(\lambda = 10^{-6}\) l'MSE di test del serbatoio su NARMA10 scende qui fra \(5 \cdot 10^{-5}\) e
\(9 \cdot 10^{-5}\) (secondo l'estrazione del serbatoio), un ordine di grandezza sotto la RNN, mentre
su Mackey-Glass, con \(N = 200\), \(\rho = 0.9\), \(\omega = 1\) e \(\lambda = 10^{-8}\), scende sotto
\(10^{-8}\). Naturalmente anche la IDNN guadagna da un'altra scelta: una finestra di \(d = 11\)
ingressi le permette di vedere \(u(t-10)\), che NARMA10 moltiplica per \(u(t-1)\) e che la finestra
di 3 scelta dal lab non raggiunge, e il suo MSE di test scende a circa \(5 \cdot 10^{-4}\), ancora
sopra il serbatoio con un \(\lambda\) piccolo.