Algorithmique du texte

Les méthodes de l'algorithmique du texte s'appliquent au traitement de la langue naturelle, au traitement et à l'analyse des séquences génétiques en bioinformatique[2], à l'analyse de séquences musicales, aux flux de données, à la gestion de bases de données textuelles, mais aussi trouvent aussi leur place dans le tatouage numérique, la détection de plagiats, l'analyse d'image, l'apprentissage automatique, ou l'exploration de données.

La cryptographie et la compression de données, qui pourraient relever de la définition, sont généralement considérées comme des domaines autonomes.

La recherche d'une chaîne ou d'un motif dans un texte est parmi les plus anciens, et des plus fouillés, des problèmes de l'algorithmique du texte. Étant donné un mot ${\displaystyle x}$ appelé motif et un mot ${\displaystyle t}$ appelé texte, on cherche une ou toutes les occurrences de ${\displaystyle x}$ dans ${\displaystyle t}$. Par exemple, le motif ${\displaystyle x=010}$ apparaît deux fois dans ${\displaystyle t=001010}$, à la position 2 et 4.

On distingue deux grandes classes de situations : le motif est connu et le texte ne l'est pas, ou au contraire le texte est connu et le motif cherché ne l’est pas. Selon les cas, c'est le motif ou le texte qui se prête à un prétraitement qui permet ensuite des gains de temps et de place. Les algorithmes comme l'algorithme de Knuth-Morris-Pratt sont de la première classe : le motif est prétraité et le temps est linéaire en la taille du texte. L'arbre des suffixes est une structure de données qui permet de stocker le texte, et de trouver le ou les occurrences d'un motif en temps linéaire en fonction de la taille du motif. Alors que la première classe d'algorithmes est la recherche d'un motif plus proprement, la deuxième est appelée, dans l'ouvrage de Crochemore et. al. par exemple[3], la construction de lexiques. Les algorithmes les plus anciens et les plus connus sont :

• Algorithme d'Aho-Corasick
• Algorithme de Boyer-Moore et sa variante, l'algorithme de Boyer-Moore-Horspool
• Algorithme de Knuth-Morris-Pratt
• Algorithme de Rabin-Karp

On trouve aussi la notion plus théorique d'automate des occurrences. C'est l'automate fini qui reconnaît le langage formel ${\displaystyle A^{*}x}$ des mots sur l'alphabet ${\displaystyle A}$ qui se terminent par le motif ${\displaystyle x}$. Cet automate a ${\displaystyle m+1}$ états (où ${\displaystyle m}$ est la longueur du motif ${\displaystyle m}$), et possède au plus ${\displaystyle 2m}$ transitions avant (des transitions qui ne retournent pas vers l'état initial). Il se construit en temps linéaire et prend donc une place linéaire[3].

Deux variantes importantes de la recherche de motifs existent : la recherche approchée et la recherche dans des données compressées.

Comme leur nom l'indique, ce sont des outils permettant d'évaluer la distance qui sépare deux chaînes. Elles servent à la fouille de textes, où à la comparaison entre mots.

Les mesures de similarités sont

• distance de Hamming, la plus ancienne des distances
• distance de Levenshtein et Distance de Damerau-Levenshtein, la distance d'édition et la distance d'édition avec transposition
• distance de Jaro-Winkler

• Algorithme de Needleman-Wunsch
• Algorithme de Smith-Waterman
• transformée de Burrows-Wheeler
• Soundex, un algorithme phonétique d'indexation de noms par leur prononciation.
• mesure cosinus utilisée dans la fouille de textes
• TF-IDF utilisée dans la fouille de textes

Les distances courantes en mathématiques, comme la distance de Manhattan, la distance euclidienne, la distance de Tchebychev.

L'étude des répétitions locales dans les textes a des applications importantes, dans la recherche de motifs, la compression de données, l'analyse musicale, l'analyse de séquences biologiques, etc. Un intérêt particulier a été porté à l'étude des répétitions maximales, appelées runs en anglais dans un mot donné : ce sont les répétitions qui ne peuvent être étendues. Une telle répétition peut être efficacement comprimée, et elle a aussi une signification biologique. Un résultat récent, le théorème des répétitions maximales établit ce qui, pendant qui une quinzaine d'années, était appelée la conjecture des runs, à savoir que le nombre de runs dans un mot binaire est toujours inférieur à sa longueur; plus précisément : Le nombre de répétition maximales (de runs ) dans un mot binaire de longueur n est au plus n-3[4]. Avec la même technique et en utilisant des calculs en machine, ce résultat a été affiné[5] Le nombre est asymptotiquement au plus (22/23)n <0.957n.

Ouvrages

• Maxime Crochemore, Christophe Hancart et Thierry Lecroq, Algorithmique du texte, Vuibert, 2001, 347 p. (ISBN 978-2-7117-8628-2, lire en ligne).
• (en) Maxime Crochemore, Christophe Hancart et Thierry Lecroq, Algorithms on strings, Cambridge University Press, 2007, 383 p. (ISBN 978-0-521-84899-2) — Traduction revue et corrigée du livre en français
• (en) Dan Gusfield, Algorithms on strings, trees, and sequences : Computer science and computational biology, Cambridge University Press, 1997, 534 p. (ISBN 978-0-521-58519-4)
• (en) Maxime Crochemore et Wojciech Rytter, Jewels of stringology, World Scientific Publishing, 2002, 310 p. (ISBN 978-981-02-4782-9)

Articles cités

• Johannes Fischer, Štěpán Holub, Tomohiro I et Moshe Lewenstein, « Beyond the Runs Theorem », dans Costas Iliopoulos, Simon Puglisi et Emine Yilmaz (éditeurs), String Processing and Information Retrieval : 22nd International Symposium, coll. « Lecture Notes in Computer Science » (n^o 9309), 2015 (ISBN 978-3-319-23825-8, DOI 10.1007/978-3-319-23826-5_27, arXiv 1502.04644.pdf), p. 277-286
• Hideo Bannai, Tomohiro I, Shunsuke Inenaga, Yuto Nakashima, Masayuki Takeda, Kazuya Tsuruta, « The "Runs" theorem », sur arXiv.org, juin 2015.

Des conférences régulières sur l'algorithmique du texte sont organisées, notamment :

• Combinatorial Pattern Matching (CPM). La 26^e des conférences annuelles a eu lieu en Italie du 29 juin au 1^er juillet 2015 : Ferdinando Cicalese, Ely Porat et Ugo Vaccaro (éditeurs), Combinatorial Pattern Matching : 26th Annual Symposium, CPM 2015, Ischia, Italy, Springer-Verlag, coll. « Lecture Notes in Computer Science » (n^o 9133), 2015 (ISBN 978-3-319-19929-0, BNF 44680034, DOI 10.1007/978-3-319-19929-0, SUDOC 186399472)
• The Prague Stringology Conference
• Symposium on String Processing and Information Retrieval (SPIRE) ; la 28^e conférence a lieu à Lille du 4-6 octobre 2021.