ADALINE

ADALINE (Adaptive Linear Neuron ou plus tard Adaptive Linear Element) est un réseau de neurone simple-couche. Il a été développé par le professeur Bernard Widrow et un de ses étudiant, Ted Hoff, de l'univsersité de Stanford en 1960. Adaline s'appuie sur le neurone formel de McCulloch et Pitts. Il se compose d'un poids synaptique, d'un biais (une constante qu'on ajoute à l'entrée) et d'une fonction de sommation. La différence entre Adaline et le modéle de McCulloch-Pitts réside dans la phase d'apprentissage, où les poids synatiques sont ajustés en fonction de la somme pondérée des données en entrées. Dans le perceptron standard (McCulloch-Pitts), le réseau passe par la fonction d'activation (ou fonction de transfert) et la fonction de sortie est utilisée pour ajuster les poids synaptiques.

Il existe aussi une extension appelée Madaline.

Définition

Adaline est un réseau neuronal simple-couche, avec plusieurs nœuds, chacun acceptant plusieurs entrées et générant une sortie. Etant données les variables suivantes:

• x, le vecteur d'entrée
• w, le "vecteur poids"
• n, le nombre d'entrées
• θ, une constante
• y, la sortie

On a alors : $y=\sum_{j=1}^{n} x_j w_j + \theta$.

Et si on suppose que :

• x_{n + 1} = 1
• w_{n + 1} = θ

alors la sortie se reduit au produit scalaire de x et w $y=x_j \cdot w_j$

Algorithme d'apprentissage

Posons :

• η, le taux d'apprentissage (une constante)
• d, la sortie désirée
• o, la sortie réelle,

alors les poids sont mis à jour comme suit : $w \leftarrow w + \eta(d-o)x$.
Adaline converge vers l'erreur des moindre carrés qui est : E = (d − o)²

Références

• Article Wikipédia ADALINE (anglais)