Moteur de recherche

Les moteurs de recherche Internet précèdent les débuts du Web fin 1990 :

• 1982 ; recherche d'utilisateurs Whois
• 1989 ; recherche d'utilisateurs multi-réseaux Knowbot Information Service (en)
• 1990 : premier moteur de recherche sur le contenu des fichiers, Archie qui s'appuie sur le protocole de transfert de fichiers (ftp).

Les moteurs de recherche sont inspirés des outils de recherche documentaire (à base de fichiers inversés, alias fichiers d'index) utilisés sur les mainframes depuis les années 1970, comme le logiciel STAIRS sur IBM. Le mode de remplissage de leurs bases de données est cependant différent, car orienté réseau. Par ailleurs la distinction entre données formatées (« champs ») et texte libre n'y existe plus, bien que commençant depuis 2010 à se réintroduire par le biais du web sémantique.

Des moteurs historiques ont été Lycos (1994), Altavista (1995, premier moteur 64 bits) et Backrub (1997), ancêtre de Google.

Représentation d'un petit morceau du web autour de Wikipedia.org.

Le fonctionnement d'un moteur de recherche comme tout instrument de recherche se décompose en trois processus principaux :

1. L'exploration ou crawl : le web est systématiquement exploré par un robot d'indexation suivant récursivement tous les hyperliens qu'il trouve et récupérant les ressources jugées intéressantes. L'exploration est lancée depuis une ressource pivot, comme une page d'annuaire web. Un moteur de recherche est d'abord un outil d'indexation, c'est-à-dire qu'il dispose d'une technologie de collecte de documents à distance sur les sites Web, via un outil que l'on appelle robot ou bot. Un robot d'indexation dispose de sa propre signature (comme chaque navigateur web). Par exemple, Googlebot est le user agent (signature) du crawler de Google ; BingBot est celui de Bing ; AppleBot celui de Apple.
2. L'indexation des ressources récupérées consiste à extraire les mots considérés comme significatifs du corpus à explorer. Les mots extraits sont enregistrés dans une base de données organisée comme un gigantesque dictionnaire inverse ou, plus exactement, comme l'index terminologique d'un ouvrage, qui permet de retrouver rapidement dans quel chapitre de l'ouvrage se situe un terme significatif donné. Les termes non significatifs dans un contexte donné s'appellent des mots vides. Les termes significatifs sont associés à un poids. Celui-ci reflète à la fois la probabilité d'apparition du mot dans un document et le « pouvoir discriminant de ce mot » dans une langue, conformément au principe de la formule TF-IDF. L'indexation s'effectue après un ensemble de traitement syntaxiques et sémantiques (lemmatisation, catégorisation, suppression des mots "vide" ..) et algorithmiques selon différentes techniques basées aujourd'hui sur l'intelligence artificielle (Word2Vec , LDA ...).
3. La recherche correspond à la partie requêtes du moteur, qui restitue les résultats. Un algorithme est appliqué pour identifier dans le corpus documentaire (en utilisant l'index), les documents qui correspondent le mieux aux mots contenus dans la requête, afin de présenter les résultats des recherches par ordre de pertinence supposée. Les algorithmes de recherche font l'objet de très nombreuses investigations scientifiques. Les moteurs de recherche les plus simples se contentent de requêtes booléennes pour comparer les mots d'une requête avec ceux des documents. Mais cette méthode atteint vite ses limites sur des corpus volumineux. Les moteurs plus évolués sont basés sur le paradigme du modèle vectoriel : ils utilisent la formule TF-IDF pour mettre en relation le poids des mots dans une requête avec ceux contenus dans les documents. Cette formule est utilisée pour construire des vecteurs de mots, comparés dans un espace vectoriel, par une similarité cosinus. Pour améliorer encore les performances d'un moteur, il existe de nombreuses techniques, la plus connue étant celle du PageRank de Google qui permet de pondérer une mesure de cosinus en utilisant un indice de notoriété de pages. Les recherches les plus récentes utilisent la méthode dites d'analyse sémantique latente qui tente d'introduire l'idée de cooccurrences dans la recherche de résultats (le terme « voiture » est automatiquement associé à ses mots proches tels que « garage » ou un nom de marque dans le critère de recherche).

De même, un article sur la « récolte » du « blé » en « France » sera jugé pertinent comme candidat à la réponse sur une question concernant la « culture » des « céréales » en « Europe ».

Des modules complémentaires sont souvent utilisés en association avec les trois briques de bases du moteur de recherche. Les plus connus sont les suivants :

Afin d'optimiser les moteurs de recherche, les webmestres insèrent des métaéléments (métatags) dans les pages web, dans l'en-tête HTML (head). Ces informations permettent d'optimiser les recherches d'information sur les sites web.

De plus en plus de producteurs de contenu, à la suite des recommandations du W3C sur le web sémantique, indexent leurs bases avec des métadonnées ou des taxinomies (ontologies), en vue de permettre aux moteurs de recherche de s'adapter aux analyses sémantiques.

Ces formes de recherches et d'analyses de corpus d'informations par voie informatique ne sont encore que des potentialités.

Par comparaison avec des recherches plein texte, des recherches réalisées sur le web sémantique doivent être plus conviviales pour l'utilisateur :

• L'utilisateur d'un système sémantique doit pouvoir directement poser sa question en langue naturelle.
• Le moteur de recherche sémantique fournit la réponse précise à une question plutôt qu'une liste de pages y répondant.

Il n'existe pas encore à proprement parler de moteur de recherche sémantique qui permette de comprendre une question en langue naturelle et d'adapter une réponse en fonction des résultats trouvés.

Quelques tentatives existent néanmoins pour chercher à répondre par des formes intermédiaires à cette problématique du sens dans la recherche d'information :

• Powerset racheté par Microsoft et partiellement intégré à Bing ;
• KartOO, de la société Kartoo, qui affichait des graphes sémantiques dans le cadre de ses cartes de recherche (fermé en 2010) ;
• WolframAlpha, moteur de recherche qui répond aux questions en langue naturelle à partir d'une base de données.
• Yatedo, moteur de recherche de personnes utilise la sémantique afin d'extraire les informations relatives à une personne sur une page Web.

Les métamoteurs sont des outils de recherche qui interrogent plusieurs moteurs de recherche simultanément et affichent à l'internaute une synthèse pertinente.

Exemples : Startpage, Searx, Seeks et Lilo, Framabee.

On désigne par « multi-moteurs (en) » (ou plus rarement, « super moteur »[4]) une page web proposant un ou plusieurs formulaires permettant d'interroger plusieurs moteurs. Il peut également (mais plus rarement) s'agir d'un logiciel, d'une fonction ou d'un plugin de navigateur web, ou d'une barre d'outils…

Le choix d'un des moteurs peut se faire par bouton, bouton radio, onglet, liste déroulante ou autre.

Les premières pages de ce type recopiaient le code des formulaires de plusieurs moteurs. Avec l'apparition du JavaScript il est devenu possible de n'avoir plus qu'un seul formulaire.
On peut citer par exemple Creative Commons Search[5], Ecosia, Disconnect, le moteur de recherche de Maxthon, HooSeek (fermé en 2012).

On désigne par « moteur de recherche solidaire », un moteur qui reverse une partie de ses revenus à des causes écologiques, sociales ou humanitaires. Ces moteurs sont nés du constat que les revenus annuels générés par la publicité sur les moteurs de recherche sont assez importants (environ 45 $ par utilisateur pour Google[6]). Les moteurs de recherches solidaires se distinguent notamment dans la façon de distribuer les revenus générés. Certains moteurs comme Ecosia reversent alors une partie des revenus à une seule et unique cause, alors que des moteurs comme Lilo permettent aux internautes de choisir les projets à financer.

Certains moteurs ont également adopté une politique de neutralité carbone, tels que Google, DuckDuckGo et Ecosia. Google affirme qu'il sera neutre en carbone d'ici 2030, en partie en achetant des énergies renouvelables et dès 2017, l'entreprise en rachète autant qu'elle en consomme. Au début des années 2020 Google est le plus gros acheteur privé au monde de ce type d'énergie. Les énergies renouvelables étant essentiellement intermittentes, Google ne peut les utiliser directement ou de façon permanente : une entreprise qui se déclare neutre en carbone utilise dans les faits des « garanties d’origines renouvelables » qui permettent de s'assurer que l'énergie carbonée qu'elle consomme sera compensée par une production équivalente d'énergie renouvelable. Or, selon l'association The Shift Project, le modèle économique de Google nécessite toujours plus de puissance de calcul, de renouveler et d'augmenter son infrastructure, ses réseaux et ses équipements dont la production est une source importante de gaz à effet de serre. Pour l'association négaWatt, la communication de Google se focalise sur l'usage mais éclipse les problèmes environnementaux liés à l'extraction des ressources, du transport et du recyclage[7]^,[8].

Le moteur de recherche Ecosia utilise 80 % de ses revenus publicitaires pour des projets de reforestation aux quatre coins du monde[9].

On désigne par « moteurs verticaux » une page web ou un service multimédia qui propose une recherche spécialisée dans un domaine professionnel ou qui est particulièrement ciblé. Cet outil de recherche est spécialisé dans un secteur particulier, tel que les télécommunications, le droit, la biotechnologie, la finance (assurance) ou encore l'immobilier. Son fonctionnement général est basé sur une bases de données constituée à partir des bases de tous les sites spécialisés de l'activité ciblée.

Ce type de moteur est utilisé par les professionnels et ciblé sur le consommateur, avec le plus souvent une finalité économique qui dérive sur la géolocalisation.

On retrouve ainsi pour le grand public des annuaires, des comparateurs. Il en existe maintenant pour toutes les activités : immobilier, tourisme, recherche d'emploi, recrutement, automobile, loisirs, jeux.

L'explosion du nombre de contenus de formats divers (données, informations non structurées, images, vidéos…) disponibles dans les entreprises les poussent à s'équiper de moteur de recherche en interne.

Selon une étude menée par MARKESS International en février 2008, 49 % des organisations ont déjà recours à un moteur de recherche d'entreprise, et 18 % envisagent son utilisation d'ici à 2010. Ces moteurs de recherches sont en majeure partie intégrés aux postes de travail ou aux outils de gestion électronique des documents, mais ils sont dans un nombre grandissant d'entreprises capables de couvrir à la fois les contenus internes et externes de l'entreprise, ou encore intégrés aux outils de gestion de contenu ou aux solutions décisionnelles.

Parmi les acteurs proposant des moteurs de recherche d'entreprise figurent Google, Exalead, PolySpot ou OpenSearchServer.

Les technologies d'analyse du langage, telles que la lemmatisation, l'extraction d'entités nommées, la classification et le clustering permettent d'améliorer grandement le fonctionnement des moteurs de recherche. Ces technologies permettent tout à la fois d'améliorer la pertinence des résultats et d'engager l'internaute dans un processus de recherche plus performant, comme c'est le cas avec la recherche à facettes ^{[précision nécessaire]}.

Selon l'étude de l'ADEME « Internet, courriels, réduire les impacts » publiée en février 2014, aller directement à l’adresse d’un site, soit en tapant son adresse dans son navigateur, soit en l’ayant enregistré comme « favori » (plutôt que de rechercher ce site via un moteur de recherche) divise par 4 les émissions de gaz à effet de serre.