Statistically Improbable Phrases

Les Statistically Improbable Phrases (SIPs) , de l'anglais signifiant littéralement « expressions statistiquement improbables », sont un outil statistique lancé en 2005 par le site web de commerce en ligne Amazon.com pour son programme d'indexation de contenu de livres Search Inside! ; il consiste à comparer le texte de tous les livres indexés, dans le but de trouver pour chacun d'eux un ensemble de syntagmes ou d'expressions qui apparaissent plus souvent que dans les autres livres.

Explication

L'intérêt d'identifier ces passages est qu'ils sont considérés comme les plus significatifs et les plus représentatifs du livre, constituant l'équivalent de résumés ou de mots clés, en ayant l'avantage d'être déterminés de manière automatisée[1].

Ces métadonnées sont présentées à l'internaute sur les fiches de chaque livre. Chaque SIP y est accompagnée d'un hyperlien qui permet, au visiteur qui le suit, de retrouver les autres livres ayant la même expression parmi leurs SIPs[2]. En effet, les ouvrages aux SIPs identiques abordent vraisemblablement les mêmes thèmes[3] et sont donc susceptibles d'intéresser aussi le visiteur. Bill Carr, vice-président exécutif pour les médias numériques chez Amazon, souligne que ce système de rapprochement met en avant des ouvrages qui seraient difficiles à trouver sans ça, car faisant partie de la longue traîne du catalogue[4].

L'algorithme utilisé n'est pas rendu public[5]. Il semble néanmoins que les SIPs de chaque livre soient redéfinies à mesure que de nouveaux livres sont ajoutés à la base[6].

L'utilité de cette fonctionnalité auprès des visiteurs n'est pas connue avec certitude[7]. Benjamin Vershbow, chercheur à l'Institute for the Future of the Book, y voit un équivalent automatisé des tags qui sont à la base du Web 2.0, mais estime que le système fonctionne mieux pour les travaux de non-fiction que pour les romans[4].

Amazon envisage diverses autres manières de mettre cet outil à profit, par exemple en l'intégrant dans le système de recommandation qui existe déjà, ou pour répondre à des questions en utilisant des textes faisant autorité dans le domaine[7]. Par ailleurs des chercheurs ont proposé une application de ce système à MEDLINE[5].

Références

(en) « What are Statistically Improbable Phrases? », sur Amazon.com. Consulté le 21 juillet 2008.
(en) [PDF] William Cleland, Best Practices in Digital Asset Management for Electronic Texts in Academic Research Libraries, Graduate College of Bowling Green, août 2007, 68 p., p. 20.
(en) Brian Lavoie, Lorcan Dempsey et Lynn Silipigni Connaway, « Making Data Work Harder », Library Journal,‎ 15 janvier 2006 (lire en ligne).
(en) Ryan Singel, « Judging a Book by Its Contents », Wired,‎ 5 mai 2005 (lire en ligne).
(en) Mounir Errami, Zhaohui Sun, Angela C. George, Tara C. Long, Michael A. Skinner, Jonathan D. Wren et Harold R. Garner, « Identifying duplicate content using statistically improbable phrases », Bioinformatics, vol. 26, n^o 11,‎ 2010, p. 1453-1457 (DOI 10.1093/bioinformatics/btq146).
(en) Heyward Ehrlich, « Poe in Cyberspace : A Complete Poe Library—Cyberspace Dream? », The Edgar Allan Poe Review, vol. VII, n^o 1,‎ printemps 2006, p. 83–92 (JSTOR 41506253).
(en) Steve Weber, Plug Your Book : Online Book Marketing for Authors, Weber Books, 2007, 204 p. (ISBN 978-0-9772406-1-6, lire en ligne), p. 128–129.

Bibliographie

(en) [PDF] Mikhail Bautin et Michael Hart, Significant Phrases Detection, Stony Brook University, Department of Computer Science, 14 p.
(en) [PDF] Heike Johannsen, Linking Documents by Distinctive Phrases, thèse pour le bachelor of arts, Université Eberhard Karl de Tübingen, sous la dir. de Dale Gerdemann, mars 2007, 94 p.

Voir aussi

Googlewhack
Hapax
TF-IDF (Term Frequency-Inverse Document Frequency)

Portail de l’informatique
Portail de la linguistique
Sciences de l’information et bibliothèques

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.

[1] (en) « What are Statistically Improbable Phrases? », sur Amazon.com. Consulté le 21 juillet 2008.

[2] (en) [PDF] William Cleland, Best Practices in Digital Asset Management for Electronic Texts in Academic Research Libraries, Graduate College of Bowling Green, août 2007, 68 p., p. 20.

[3] (en) Brian Lavoie, Lorcan Dempsey et Lynn Silipigni Connaway, « Making Data Work Harder », Library Journal,‎ 15 janvier 2006 (lire en ligne).

[Wired-4] (en) Ryan Singel, « Judging a Book by Its Contents », Wired,‎ 5 mai 2005 (lire en ligne).

[Medline-5] (en) Mounir Errami, Zhaohui Sun, Angela C. George, Tara C. Long, Michael A. Skinner, Jonathan D. Wren et Harold R. Garner, « Identifying duplicate content using statistically improbable phrases », Bioinformatics, vol. 26, n^o 11,‎ 2010, p. 1453-1457 (DOI 10.1093/bioinformatics/btq146).

[6] (en) Heyward Ehrlich, « Poe in Cyberspace : A Complete Poe Library—Cyberspace Dream? », The Edgar Allan Poe Review, vol. VII, n^o 1,‎ printemps 2006, p. 83–92 (JSTOR 41506253).

[plug-7] (en) Steve Weber, Plug Your Book : Online Book Marketing for Authors, Weber Books, 2007, 204 p. (ISBN 978-0-9772406-1-6, lire en ligne), p. 128–129.