Addestramento della rete neurale RBF.
La rete neurale impiegata Φ una rete RBF (Radial Basis Function): la risposta della rete dipende dai pesi e dalla distanza del vettore d'ingresso dai diversi centri presenti nella rete. La risposta al vettore d'ingresso X Φ :
n2 = numero di centri della rete
La funzione RBF scelta Φ la funzione gaussiana, con :

L'errore commesso dalla rete sui dati del training set fornito Φ definito come segue : M = numero di elementi del Training Set
L'addestramento della rete viene eseguito utilizzando i dati del Training Set, minimizzando la funzione errore: al minimo dell'errore corrisponderα un comportamento "adeguato" della rete neurale. La ricerca del punto di minimo sfrutta un metodo di ottimizzazione non lineare: si Φ utilizzato il metodo dell'antigradiente, impiegando il metodo di Armijo per la line search. La direzione di discesa viene quindi ottenuta semplicemente "negando" le componenti del gradiente della funzione errore ed il passo da utilizzare viene determinato secondo la condizione di Armijo.
Per evitare che l'algoritmo convergesse verso punti stazionari non significativi, si Φ introdotta una perturbazione sull'errore: questo garantisce la compattezza degli insiemi di livello della funzione. Si definisce quindi:

I valori dei parametri vengono diminuiti ad ogni iterazione.
L'algoritmo che risultante pu≥ essere cos∞ descritto:
Passo 0. Inizializzazione dei parametri della rete con valori casuali.
Inizializzazione dei pesi di perturbazione .
I valori ottimali vengono inizializzati con i valori iniziali.
Passo 1. Si ricerca il minimo dell'errore perturbato col metodo dell'antigradiente.
Passo 2. Se i parametri ottenuti forniscono un errore non perturbato minore
dell'errore ottimale, si aggiornano i parametri ottimali con i parametri
correnti.
Passo 3. Se il criterio d'arresto Φ soddisfatto termina l'algoritmo,
altrimenti si decrementano e si riprende dal passo 1
Il criterio d'arresto utilizzato Φ il seguente :
l'algoritmo termina se una delle seguenti condizioni Φ verificata

- sono entrambi nulli (minori di una tolleranza fissata);
- l'errore Φ minore del valore atteso;
A tale schema si Φ apportata in realtα una piccola modifica: il problema non perturbato viene risolto per primo, successivamente si passa a risolvere i problemi perturbati. Questo consente di ottenere subito la soluzione corretta se il problema iniziale non Φ affetto da problemi di saturazione. In caso contrario si andranno a risolvere i problemi perturbati.

Ottimizzazione: antigradiente e metodo di Armijo.
Per la minimizzazione della funzione obiettivo si utilizza la "direzione di discesa" fornita dall'antigradiente e il "passo" fornito dal metodo di Armijo. Questo richiede ovviamente la conoscenza delle componenti del gradiente della funzione errore. Le varie componenti sono ottenibili come somma delle componenti riferite ad ogni punto del training set :

Per il calcolo di queste si Φ utilizzata la formula di derivazione a catena, ovvero :
    ponendo:


In questo modo Φ possibile ottenere facilmente le componenti del gradiente dell'errore. Il calcolo del gradiente dell'errore perturbato richiede solamente l'introduzione dei termini in . Il gradiente diviene quindi :

Per determinare il passo si utilizza la condifzione di Armijo. L'algoritmo di ottimizzazione Φ dunque il seguente :
Passo 0. Inizializzazione dei valori iniziali.
Passo 1. Se si verifica la condizionefine delle iterazioni, altrimenti si procede con il Passo 2.
Passo 2. Si calcola la direzione di discesa :
Utilizzando il metodo di Armijo si determina il passo
FinchΦ si verifica :
si pone :
Si pone ora :
Passo 3. Si ritorna al Passo 1.

Soluzione del problema assegnato.
Il problema assegnato richiede la realizzazione di una rete neurale in grado di classificare i punti su di una scacchiera di 9 caselle. Il training set a disposizione Φ costituito da 45 elementi cos∞ disposti nel piano :