Théorie naïve des ensembles

On a semble-t-il commencé à parler de théorie naïve des ensembles (naive set theory) dans les années 1940[2]. Le livre de Paul Halmos, paru en 1960, a popularisé cette terminologie d'abord dans les pays de langue anglaise[3]. Cependant celui-ci a été traduit en français en 1967 sous le nom d’introduction à la théorie des ensembles. La « théorie naïve » est citée dans l'introduction de la Théorie axiomatique des ensembles de Jean-Louis Krivine[4].

La théorie des ensembles telle que la développait Cantor à la fin du XIX^e siècle peut probablement être qualifiée de « naïve » au sens où celui-ci ne la développe pas axiomatiquement, ni dans un langage formel. Il s'agissait en particulier de travailler avec des ensembles infinis. Cependant les conceptions de Cantor ont forcément évolué au fil du temps. Il a développé des aspects de ce que l'on appelle maintenant la théorie des ensembles, sur la cardinalité, les ensembles bien ordonnés et les ordinaux dans divers articles. Certaines de ses lettres, par exemple sa lettre à Richard Dedekind de 1899, jouent aujourd'hui un rôle important pour comprendre ses conceptions, or sa correspondance n'a été publiée qu'en 1932. Il n'est donc pas si simple de caractériser « la » théorie des ensembles de Cantor.

Il semble cependant que très tôt Cantor ait pensé que toute propriété ne pouvait définir un ensemble, il distingue en particulier les ensembles transfinis, et l'infini absolu, qui est indépassable, comme celui de la collection de tous les ordinaux qui ne peut constituer un ensemble[5]. En ce sens sa « théorie » (rappelons qu'elle n'est pas formelle) ne paraît pas sensible aux paradoxes de Burali-Forti, de Cantor, il connaissait d'ailleurs ces deux derniers et ne les considérait pas comme des paradoxes, ni même au paradoxe de Russell, qui bien que plus simple est dans le même style.

Russell a d'ailleurs montré que son paradoxe rendait contradictoire la théorie de Frege, qui est une théorie des fondements dont les aspects logiques (auxquels Cantor s'intéressait peu) ont eu une grande influence, mais qui utilisait une version de la compréhension non restreinte, c'est-à-dire la possibilité de définir un ensemble en compréhension à partir de n'importe quelle propriété du langage étudié.

Le cas est différent pour des paradoxes comme le paradoxe de Richard ou le plus simple paradoxe de Berry (le plus petit entier que l'on ne peut pas définir en moins de cent mots) qui mettent en jeu le langage lui-même. Si celui-ci n'est pas formalisé rien ne semble interdire de déduire ceux-ci. Cependant Cantor n'a jamais affirmé que l'on pouvait définir un ensemble en compréhension à partir de n'importe quelle propriété sans aucune restriction.

Il reste que la découverte de ces paradoxes ou antinomies, a joué un rôle important dans le développement de la théorie des ensembles après Cantor, en particulier son axiomatisation a été en partie développée en réponse à ceux-ci, pour déterminer précisément quelles définitions d'ensembles pouvaient être autorisées. Aujourd'hui, pour les chercheurs en mathématiques, « théorie des ensembles » signifie usuellement théorie axiomatique des ensembles. Toutefois, cette théorie, aux multiples variantes, est formalisée généralement dans le calcul des prédicats du premier ordre, c'est-à-dire que le langage est bien défini et que l'on ne peut dériver le paradoxe de Berry. Il s'agit d'une axiomatisation de la relation d'appartenance, permettant donc de parler des ensembles, mais ceux-ci ne sont finalement traités qu'indirectement par les axiomes. On considère généralement que toutes les notions mathématiques peuvent être formalisées dans ce cadre.

La théorie naïve ne se soucie pas d'une définition très précise du langage mais se contente des propriétés telles qu'on les exprime usuellement en mathématiques, sachant que celles-ci se formaliseront finalement dans le langage de la théorie axiomatique, les paradoxes jouant le rôle de garde-fous. Le langage est en particulier extensible, par l'ajout de nouvelles définitions.

Il est utile d'étudier à un stade précoce des mathématiques une théorie naïve des ensembles, pour apprendre à les manipuler, car ils interviennent à peu près dans tous les domaines des mathématiques. De plus, une bonne compréhension de la théorie naïve est importante comme première approche de la théorie axiomatique.

Une théorie naïve des ensembles n'est pas contradictoire si elle précise correctement les ensembles qu'elle s'autorise à prendre en considération. Elle peut le faire au moyen de définitions, qui sont des axiomes implicites, étant ainsi comparable aux exposés élémentaires de géométrie.

Elle peut aussi expliciter systématiquement ses axiomes, comme le livre de Halmos : Naive Set Theory[1] qui expose une théorie s'appuyant sur les axiomes de Zermelo-Fraenkel. Elle peut néanmoins être qualifiée de naïve, dans la mesure où elle utilise le langage ordinaire, n'hésite pas à utiliser des définitions ou des notations justifiées informellement par ces axiomes, et où elle n'aborde pas les questions d'indépendance, ni de cohérence, du système d'axiomes.

La découverte de paradoxes dans la théorie de Georg Cantor provoqua au début du XX^e siècle une grave crise des mathématiques. On distingue habituellement les paradoxes logiques et les paradoxes sémantiques. Les deux exemples suivants illustrent les deux catégories.

Le paradoxe de Russell, découvert en 1901 par le mathématicien Bertrand Russell, résulte de la considération des ensembles qui ne sont pas éléments d'eux-mêmes.

On pose M l'ensemble des ensembles qui ne se contiennent pas eux-mêmes. Formellement, A est un élément de M si et seulement si A n'est pas un élément de lui-même.

Faisons l'hypothèse que M se contient lui-même, autrement dit que M est un élément de M. Cela est contradictoire avec la définition de M. On en déduit que M ne se contient pas lui-même. Mais dans ce cas, M est un ensemble qui n'est pas élément de lui-même et devrait à ce titre faire partie de M. Ainsi naît le paradoxe.

Le paradoxe de Berry résulte de la considération des entiers naturels définissables en moins de quinze mots français.

Soit B cet ensemble. Il est fini, car les séquences de quinze mots français sont en nombre fini. Soit a le plus grand élément de B. Soit b l'entier succédant à a. Il n'appartient donc pas à B. Pourtant b peut être défini en quatorze mots: "le successeur du plus grand entier naturel définissable en moins de quinze mots français". D'où la contradiction.

Les paradoxes montrent que la théorie des ensembles au sens de Cantor est une théorie contradictoire.

La racine du problème vient de ce que nous avons accepté que n'importe quelle propriété puisse être utilisée pour construire les ensembles. Or certaines de ces propriétés (et c'est précisément le cas dans les deux paradoxes précédents) engendrent des boucles autoréférentielles instables (autrement dit des "cercles vicieux") et doivent donc être exclues.

La théorie axiomatique des ensembles pose des restrictions sur les types d'ensembles dont la construction est autorisée et évite ainsi les paradoxes connus.

La contrepartie de l'élimination des paradoxes est un développement beaucoup plus difficile, qui nécessite de bien distinguer le langage des ensembles proprement dit (le langage-objet) et le langage permettant de parler de ce langage-objet (la métalangue). Le paradoxe de Berry, qui résulte de la confusion entre ces deux langages, est ainsi évité. De même, afin d'éviter le paradoxe de Russell, il n'est pas admis de définir un ensemble en compréhension à partir de n'importe quelle propriété sans aucune restriction.

La théorie naïve des ensembles évite aussi les paradoxes si elle précise au cas par cas les ensembles qu'elle s'autorise à considérer. Dans sa forme Zermelo-Fraenkel, elle présente alors l'inconvénient de nécessiter, outre des axiomes simples, un schéma d'axiomes de remplacement qui équivaut en fait à une liste infinie d'axiomes du premier ordre.

Dans les domaines mathématiques qui semblent nécessiter malgré tout un « ensemble de tous les ensembles » (comme la théorie des catégories), on peut parfois utiliser un ensemble universel suffisamment grand pour que ces théories puissent être développées (voir l'article « sous-ensemble »).

Cependant, nous pouvons recourir à une théorie des ensembles autorisant les classes. Dans ces théories, il existe une classe de tous les ensembles, ainsi qu'une classe de tous les ensembles qui ne se contiennent pas eux-mêmes. Comme ces classes ne sont pas des ensembles, les paradoxes tels que celui de Russell sont évités. Ainsi en est-il de NBG, variante élégante du système classique, qui repose sur 16 ou 18 axiomes simples au lieu de schémas[6]^,[7].