Graph networks playgroundLaboratorio delle reti su grafi

A graph network gives every node a vector and, in every round, replaces it with a function of the sum of the vectors of its neighbors and its own, the same function at every node; after \(k\) rounds a node can depend only on the nodes within \(k\) edges of it. The network here, written with its own backward pass, is trained in the page with Adam, and one can follow its states round by round: the labels of a few nodes spreading through their communities, the truth values of a hidden assignment reaching the clauses of a formula, and two different graphs which no number of rounds can tell apart.

Una rete su grafi assegna a ogni nodo un vettore e, a ogni turno, lo sostituisce con una funzione della somma dei vettori dei suoi vicini e del proprio, la stessa funzione in ogni nodo; dopo \(k\) turni un nodo può dipendere solo dai nodi che distano da esso al più \(k\) archi. La rete qui, scritta con il suo passo all'indietro, è addestrata nella pagina con Adam, e se ne possono seguire gli stati turno per turno: le etichette di pochi nodi che si diffondono nelle loro comunità, i valori di verità di un assegnamento nascosto che raggiungono le clausole di una formula, e due grafi diversi che nessun numero di turni riesce a distinguere.

roundturno \(k\)

state at round k, first principal component: second: toward the ink or the ground

stato al turno k, prima componente principale: seconda: verso l'inchiostro o il fondo

The update that gives the hovered node its state at round \(k\) (the first update when \(k = 0\)): its vector before, the message of every neighbor (its state times the coefficient of the aggregation, the largest first), their sum \(z_v\), and the vector after; the bars of each row are the hidden units, violet when positive and gold when negative, all on one scale. Hover a row to find its part in the formula.L'aggiornamento che dà al nodo indicato il suo stato al turno \(k\) (il primo aggiornamento quando \(k = 0\)): il suo vettore prima, il messaggio di ogni vicino (il suo stato per il coefficiente dell'aggregazione, dal più grande), la loro somma \(z_v\) e il vettore dopo; le barre di ogni riga sono le unità nascoste, viola quando positive e oro quando negative, tutte su una stessa scala. Passa su una riga per trovarne la parte nella formula.

\(\class{fo}{h_v^{(k+1)}} = \class{fw}{\tanh\Big(W^{(k)}} \class{fs}{\sum_{u \in N(v) \cup \{v\}}} \class{fm fh}{\frac{h_u^{(k)}}{\sqrt{d_u d_v}}} \class{fw}{{} + b^{(k)}\Big)}\)