Théorie algorithmique de l'information


Théorie algorithmique de l'information

La Théorie algorithmique de l'information, initiée par Kolmogorov, Solomonov et Chaitin dans les années 1960, vise à quantifier et qualifier le contenu en information d'un ensemble de données, en utilisant la théorie de la calculabilité et la notion de machine universelle de Turing.

Cette théorie permet également de formaliser la notion de complexité d'un objet, dans la mesure où l'on considère qu'un objet (au sens large) est d'autant plus complexe qu'il faut beaucoup d'informations pour le décrire, ou - à l'inverse -, qu'un objet contient d'autant plus d'informations que sa description est longue. La théorie algorithmique de l'information est fondée sur cette équivalence : la description d'un objet est formalisée par un algorithme d'une machine de Turing, et sa complexité, ou son contenu en information, est alors formalisé par certaines caractéristiques de l'algorithme : sa longueur ou son temps de calcul.

Ces fondements sont différents de ceux de la théorie de l'information de Shannon : cette dernière n'utilise pas la notion de calculabilité et n'a de sens que par rapport à un ensemble statistique de données. Cependant, les deux théories sont compatibles et des liens formels entre elles peuvent être établis.

Tandis que la théorie de l'information de Shannon a eu de nombreuses applications en informatique, télécommunications, traitement de signal et neurosciences computationnelles, la théorie algorithmique de l'information a été utilisée avec succès dans les domaines de la biologie, de la physique et même de la philosophie.

Sommaire

Présentation informelle

L'idée principale de la théorie algorithmique de l'information est qu'une chose est d'autant plus complexe, ou contient d'autant plus d'information, qu'elle est difficile à expliquer, c'est-à-dire fondamentalement longue à expliquer. Voici par exemple trois descriptions d'objets :

D1 : "un mur tout blanc de 1 m sur 1 m."

D2 : "un mur tout blanc de 1m sur 1m, avec une rayure rouge horizontale de 2 cm de large en bas, une autre 8 cm au-dessus, encore une autre 8 cm au-dessus, encore une autre 8 cm au-dessus, encore une autre 8 cm au-dessus, encore une autre 8 cm au-dessus, encore une autre 8 cm au-dessus, encore une autre 8 cm au-dessus, encore une autre 8 cm au-dessus, encore une autre 8 cm au-dessus et une dernière encore 8 cm au-dessus."

D2' : "un mur tout blanc de 1 m sur 1 m, avec des rayures rouges horizontales de 2 cm de large, de bas en haut tous les 8 cm."

En termes de longueur de description, D1 est plus courte que D2' qui est plus courte que D2. Que D1 soit la plus courte description semble normal, et est lié au fait que l'objet décrit est "plus simple". Mais en ce qui concerne D2 et D2', les objets décrits sont identiques bien que D2' soit plus courte que D2. Ainsi la longueur brute d'une description n'est pas une mesure parfaitement adapté.

L'idée "algorithmique" est alors de considérer, comme complexité de l'objet décrit, sa plus courte description possible. Idée "algorithmique" dans le sens où la description n'est pas forcément extensive, mais peut - comme D2' dans l'exemple ci-dessus - décrire un procédé d'obtention de l'objet (ici : tracer des bandes horizontales à intervalles réguliers).

Ainsi, un objet sera d'autant plus compliqué qu'on ne peut le décrire plus brièvement qu'une liste exhaustive de ses propriétés... ce dernier cas constituant le cas limite d'une complexité maximale.

Principes de la théorie

Première théorie algorithmique de l'information (Solomonoff, Kolmogorov, Chaitin)

Article détaillé : Complexité de Kolmogorov.

Deuxième théorie algorithmique de l'information (Levin, Chaitin, Schnorr)

Voir aussi

Théorie de la complexité Page d'aide sur l'homonymie


Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Théorie algorithmique de l'information de Wikipédia en français (auteurs)

Regardez d'autres dictionnaires:

  • Theorie de la complexite algorithmique — Théorie algorithmique de l information La Théorie algorithmique de l information, initiée par Kolmogorov, Solomonov et Chaitin dans les années 1960, vise à quantifier et qualifier le contenu en information d un ensemble de données, en utilisant… …   Wikipédia en Français

  • Théorie de la complexité algorithmique — Théorie algorithmique de l information La Théorie algorithmique de l information, initiée par Kolmogorov, Solomonov et Chaitin dans les années 1960, vise à quantifier et qualifier le contenu en information d un ensemble de données, en utilisant… …   Wikipédia en Français

  • Theorie de l'information — Théorie de l information La théorie de l information, sans précision, est le nom usuel désignant la théorie de l information de Shannon, qui est une théorie probabiliste permettant de quantifier le contenu moyen en information d un ensemble de… …   Wikipédia en Français

  • Théorie de l'Information — La théorie de l information, sans précision, est le nom usuel désignant la théorie de l information de Shannon, qui est une théorie probabiliste permettant de quantifier le contenu moyen en information d un ensemble de messages, dont le codage… …   Wikipédia en Français

  • Théorie de l'information — La théorie de l information, sans précision, est le nom usuel désignant la théorie de l information de Shannon, qui est une théorie probabiliste permettant de quantifier le contenu moyen en information d un ensemble de messages, dont le codage… …   Wikipédia en Français

  • Théorie de la complexité — Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom. Le terme théorie de la complexité peut désigner : L étude des systèmes complexes. La théorie de la complexité des algorithmes, un domaine de l… …   Wikipédia en Français

  • Théorie des nombres — Traditionnellement, la théorie des nombres est une branche des mathématiques qui s occupe des propriétés des nombres entiers, qu ils soient entiers naturels ou entiers relatifs, et contient beaucoup de problèmes ouverts qu il est facile de… …   Wikipédia en Français

  • Theorie de la complexite — Théorie de la complexité des algorithmes La théorie de la complexité des algorithmes étudie formellement la difficulté intrinsèque des problèmes algorithmiques. Sommaire 1 Histoire 2 Généralités 2.1 Présentation …   Wikipédia en Français

  • Theorie des graphes — Théorie des graphes  Pour la notion mathématique utilisée en Théorie des ensembles, voir Graphe d une fonction. La théorie des graphes est une branche commune à l informatique et aux mathématiques étudiant les graphes et les objets qui lui… …   Wikipédia en Français

  • ALGORITHMIQUE — L’objet de l’algorithmique est la conception, l’évaluation et l’optimisation des méthodes de calcul en mathématiques et en informatique. Un algorithme consiste en la spécification d’un schéma de calcul, sous forme d’une suite d’opérations… …   Encyclopédie Universelle