Classification et catégorisation de documents

La classification et catégorisation de documents est l'activité du Traitement automatique des langues naturelles qui consiste à classer de façon automatique des ressources documentaires, généralement en provenance d'un corpus.

Cette classification peut prendre une infinité de formes. On citera ainsi la classification par genre, par thème, ou encore par opinion. La tâche de classification est réalisée avec des algorithmes spécifiques, mis en œuvre par des systèmes de traitement de l'information. C'est une tâche d'automatisation d'un processus de classement, qui fait le plus souvent appel à des méthodes numériques (c'est-à-dire des algorithmes de recherche d'information ou de classification de type mathématique).

L'activité de classification de documents est essentielle dans de nombreux domaines économiques : elle permet d'organiser des corpus documentaires, de les trier, et d'aider à les exploiter dans des secteurs tels que l'administration, l'aéronautique, la recherche sur internet, les sciences.

Méthodologie

Le déploiement d'un système de classification repose sur plusieurs étapes. On peut les schématiser ainsi :

• Définition des classes (exemple : catégories "Sport", "Politique", "Diplomatie", ou encore Opinion "bonne/mauvaise")
• Apprentissage des classes avec un système de classification en utilisant un corpus d'apprentissage
• Évaluation des performances du système avec un corpus de test

Méthodes algorithmiques

Comme toute tâche de classification, la catégorisation de documents peut être réalisée en mode supervisé, ou non-supervisé. En mode supervisé, des éléments pré-définis seront utilisés pour classer un document : ce peut être un index, ou encore un dictionnaire de mots correspondant à une classe particulière et servant à pré-étiqueter les documents. En mode non-supervisé, c'est sur la phase d'apprentissage que reposera l'entraînement du classifieur, et ses performances ultérieures.

On utilise dans les systèmes de classification de document des algorithmes numériques. Les plus performants sont ceux à base de SVM ou encore de Boosting (qui reposent sur AdaBoost). D'autres méthodes de mesure de similarité (tel que la similarité cosine), ou encore probabiliste (les classifieurs bayésiens naïfs) peuvent également être mises en œuvre. On utilise dans les systèmes les plus performants une combinaison de plusieurs systèmes de classification départagés par une méthode de vote.

Mesures de performances

Métriques

On évalue les performances des systèmes de classification de documents avec des mesures telles que la précision et le rappel ou encore le F-Score.

Évaluation scientifique

Les chercheurs qui travaillent sur la classification de documents participent à des conférences nationales ou internationales, ainsi qu'à des campagnes d'évaluation. En France, la campagne DEFT permet chaque année à des équipes de chercheurs de mesurer les performances de classification sur des tâches variées (genre, catégories, opinions, segmentation).

En Amérique du Nord, la conférence la plus connue est Trec.

Outils et logiciels de classification

API

• Outil de classification en ligne Démo et Api d'un classifieur pour le français.