Connaissances A Priori


Connaissances A Priori

Connaissances a priori

Voir a priori pour le concept philosophique.

La reconnaissance de formes est un domaine de recherche très actif et intimement lié à l'apprentissage machine. Aussi connue sous le nom de classification, son but est de construire un classifieur qui peut déterminer la classe (sortie du classifieur) d'une forme (entrée du classifieur). Cette procédure, aussi appelée entraînement ("training"), correspond à apprendre une fonction de décision inconnue à partir de données d'apprentissage sous la forme de couples entrée-sortie (\boldsymbol{x}_i,y_i) appelés exemples. Néanmoins, dans les applications réelles, comme la reconnaissance des caractères, une certaine quantité d'information sur le problème est souvent connue a priori (ou à priori). L'incorporation de cette connaissance a priori dans l'apprentissage est la clé qui permettra une augmentation des performances du classifieur dans beaucoup d'applications.

Sommaire

Définition

La connaissance a priori, comme définie par [Scholkopf02], fait référence à toute l'information disponible sur le problème en plus des données d'apprentissage. Cependant, sous cette forme la plus générale, déterminer un modèle à partir d'un jeu fini d'exemples sans connaissance a priori est un problème mal posé, dans le sens où un modèle unique ne peut exister. Beaucoup de classifieurs incorporent l'a priori de douceur de la fonction ("smoothness") qui implique qu'une forme similaire à une forme de la base d'apprentissage tend à être assignée à la même classe.

En apprentissage machine, l'importance des connaissances a priori peut se voir par le théorème du No Free Lunch qui établi que tous les algorithmes ont les mêmes performances en moyenne sur tous les problèmes et qui implique donc qu'un gain de performance ne peut s'obtenir qu'en développant un algorithme spécialisé et donc en utilisant des connaissances a priori.

Les différent types de connaissances a priori rencontrés en reconnaissance des formes sont regroupés dans deux catégories principales : invariance de classe et connaissances sur les données.

Invariance de classe

Un type de connaissances a priori très commun en reconnaissance des formes est l'invariance de la classe (ou de la sortie de classifieur) par rapport à une transformation de la forme d'entrée. Ce type de connaissance est connue sous le nom de invariance par transformation (ou "transformation-invariance"). Les transformations les plus utilisées sont :

L'incorporation d'une invariance à une transformation T_{\theta}: \boldsymbol{x} \mapsto T_{\theta}\boldsymbol{x} paramètrée par θ dans un classifieur de sortie f(\boldsymbol{x}) pour une forme d'entrée \boldsymbol{x} correspond à imposer l'égalité


f(\boldsymbol{x}) = f(T_{\theta}\boldsymbol{x}), \quad \forall \boldsymbol{x}, \theta

L'invariance locale peut aussi être considérée pour une transformation centrée en θ = 0, qui donne T_0\boldsymbol{x} = \boldsymbol{x}, par la contrainte


  \left.\frac{\partial}{\partial \theta}\right|_{\theta=0} f(T_{\theta} \boldsymbol{x}) = 0

Dans ces équations, f peut aussi bien être la fonction de décision ou la sortie à valeur réelle du classifieur.

Une autre approche consiste à considérer l'invariance de classe par rapport à un "domaine de l'espace d'entrée" au lieu d'une transformation. Dans ce cas, le problème devient: trouver f qui permet d'avoir


	f(\boldsymbol{x}) = y_{\mathcal{P}},\ \forall \boldsymbol{x}\in \mathcal{P}

y_{\mathcal{P}} est la classe d'appartenance de la région \mathcal{P} de l'espace d'entrée.

Un type différent d'invariance de classe est l' invariance aux permutations, i.e. l'invariance de la classe aux permutations des éléments dans une entrée structurée. Une application typique de ce type de connaissance a priori est un classifieur invariant aux permutations de lignes dans des entrées matricielles.

Connaissances sur les données

D'autres formes de connaissance a priori que l'invariance de classe sont concernées par les données plus spécifiquement et sont ainsi d'un intérêt particulier pour les applications réelles. Les trois cas particuliers qui se produisent le plus souvent quand on rassemble des données d'observation sont :

  • Des exemples non-labélisés sont disponibles avec des classes d'appartenance supposées ;
  • Un déséquilibre de la base d'apprentissage due à une forte proportion d'exemples d'une même classe;
  • La qualité des données peut varier d'un exemple à l'autre.

Si elle est incluse dans l'apprentissage, une connaissance a priori sur ces derniers peut améliorier la qualité de la reconnaissance. De plus, ne pas prendre en compte la mauvaise qualité des données ou un grand déséquilibre entre les classes peut induire un classifieur en erreur.

Références

  • [Scholkopf02], B. Scholkopf et A. Smola, "Learning with Kernels", MIT Press 2002.
Ce document provient de « Connaissances a priori ».

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Connaissances A Priori de Wikipédia en français (auteurs)

Regardez d'autres dictionnaires:

  • Connaissances a priori — Voir a priori pour le concept philosophique. La reconnaissance de formes est un domaine de recherche très actif et intimement lié à l apprentissage machine. Aussi connue sous le nom de classification, son but est de construire un classifieur qui… …   Wikipédia en Français

  • A Priori — et a posteriori Voir « a priori et a posteriori » su …   Wikipédia en Français

  • A priori — et a posteriori Voir « a priori et a posteriori » su …   Wikipédia en Français

  • À priori — A priori et a posteriori Voir « a priori et a posteriori » su …   Wikipédia en Français

  • A priori et a posteriori — Sur les autres projets Wikimedia : « a posteriori », sur le Wiktionnaire (dictionnaire universel) « a priori », sur le Wiktionnaire (dictionnaire universel) La locution a priori[1] désigne les connaissances logiquement… …   Wikipédia en Français

  • Extraction de connaissances à partir de bases de données — Exploration de données L’exploration de données, aussi connue sous les noms fouille de données, data mining (forage de données) ou encore Extraction de Connaissances à partir de Données (ECD en français, KDD en Anglais), a pour objet l’extraction …   Wikipédia en Français

  • Capital de connaissances — Capital immatériel Le capital immatériel est un élément sans substance physique et ayant une valeur positive pour l organisation . Afin de donner une connotation comptable au terme, il est possible d utiliser la notion d actif immatériel. Les… …   Wikipédia en Français

  • Critique de la raison pure — Auteur Emmanuel Kant Genre philosophie Pays d origine Allemagne Lieu de parution Riga Éditeur …   Wikipédia en Français

  • A posteriori — A priori et a posteriori Voir « a priori et a posteriori » su …   Wikipédia en Français

  • Classification sous contrainte — En intelligence artificielle, la classification sous contrainte désigne une famille d algorithmes d apprentissage semi supervisée. Cette dernière occupe une place intermédiaire entre l apprentissage supervisé (pour laquelle les étiquettes de… …   Wikipédia en Français