Apertium

Tout d'abord, chaque paire de langue comporte un dictionnaire morphologique par langue qui permet, pour chaque mot répertorié de cette langue, de retrouver dans un texte les différentes formes que peut avoir ce mot :

• au singulier ou au pluriel pour les noms,
• également au masculin et au féminin pour les adjectifs,
• conjugué aux différents temps et aux différentes personnes pour les verbes.

Le dictionnaire morphologique commence par l'alphabet des caractères utilisés.

Dans le cas de l'anglais, on peut se contenter des caractères non accentués :

<alphabet>ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz</alphabet>

L'alphabet français suppose que l'on prévoie des caractères supplémentaires. Les chiffres y ont également été ajoutés :

<alphabet>ÀÂÄÇÈÉÊËÎÔàâäçèéêëîïôùûABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789</alphabet>

Ensuite, il faut définir les différents types de mots qu'on va rencontrer et leurs caractéristiques. Par exemple :

  <sdefs>
    <sdef n="nom"/>
    <sdef n="verbe"/>
    <sdef n="adjectif"/>
....
  </sdefs>

Dans la pratique, les balises <sdef> sont beaucoup plus nombreuses (plusieurs dizaines) et les types énumérés ont des noms abrégés.

Enfin, la plus grosse partie est celle qui permettra de retrouver les différents mots de la langue sous toutes leur forme. Le dictionnaire morphologique comporte également des indications sur la nature du mot et les caractéristiques grammaticales de ses différentes formes.

Par exemple pour le nom bière, on pourra avoir :

  <e>
    <p>
      <l>bière</l>
      <r>bière<s n="nom"/><s n="feminin"/><s n="singulier"/></r>
    </p>
  </e>
  <e>
    <p>
      <l>bières</l>
      <r>bière<s n="nom"/><s n="feminin"/><s n="pluriel"/></r>
    </p>
  </e>

Le mot peut être trouvé sous deux formes lexicales :

• bière : qui est un nom au féminin singulier,
• bières : qui est un nom au féminin pluriel.

Comme pour tous les mots de la langue, il faut pouvoir analyser les différentes formes lexicales possibles (ce qui se trouve dans la balise <l>), l'écriture de dictionnaires morphologiques peut rapidement devenir fastidieuse.

Aussi, le projet Apertium a prévu de définir des paradigmes pour fabriquer automatiquement les différentes formes des mots à partir d'un exemple.

Ainsi, beaucoup de noms en français (et en anglais) passent du singulier au pluriel en rajoutant la lettre s.

Il suffit de définir cette règle pour l'un d'entre eux, par exemple le mot bière. Il suffit d'englober le texte précédent de balises <pardef> :

  <pardef n="biere__n">
      <e>
        <p>
          <l/>
          <r><s n="nom"/><s n="feminin"/><s n="singulier"/></r>
        </p>
      </e>
      <e>
        <p>
          <l>s</l>
          <r><s n="nom"/><s n="feminin"/><s n="pluriel"/></r>
        </p>
      </e>
  </pardef>

L'identificateur "bière__n" correspond à une catégorie de mots qui se comportent en français comme le nom féminin bière, c'est-à-dire qui passent du singulier au pluriel en rajoutant un s.

Il faudra de la même manière faire un paradigme similaire pour mes noms masculins qui passent du singulier au pluriel en rajoutant un s. Par exemple le nom "accessoire".

D'autres noms existent au masculin et au féminin, par exemple loup pour lequel il existe le paradigme suivant :

  <pardef n="lou/p__n">
    <e><p><l>p</l><r>p<s n="nom"/><s n="masculin"/><s n="singulier"/></r></p></e>
    <e><p><l>ps</l><r>p<s n="nom"/><s n="masculin"/><s n="pluriel"/></r></p></e>
    <e><p><l>ve</l><r>p<s n="nom"/><s n="feminin"/><s n="singulier"/></r></p></e>
    <e><p><l>ves</l><r>p<s n="nom"/><s n="feminin"/><s n="pluriel"/></r></p></e>
  </pardef>

On pourra ensuite définir plus simplement les mots en utilisant les paradigmes :

  <section id="main" type="standard">
    <e lm="bière"><i>bière</i><par n="bière__n"/></e>
    <e lm="école"><i>école</i><par n="bière__n"/></e>
    <e lm="ordinateur"><i>ordinateur</i><par n="accessoire__n"/></e>
    <e lm="maison"><i>maison</i><par n="bière__n"/></e>
    <e lm="loup"><i>lou</i><par n="loup__n"/></e>
    ....
  </section>

Les paradigmes sont encore plus intéressants pour les verbes réguliers. On définit une fois pour toutes comment ces verbes se conjuguent, et ensuite, il suffit d'énumérer les différents verbes d'un type particulier à l'infinitif.

La définition du mot contient une partie invariante à l'intérieur des balises <i>...</i>. Pour certains mots, la partie invariante correspond au lemme. Mais quelquefois elle est plus courte comme pour le mot loup et plus généralement pour les verbes.

Les dictionnaires bilingues permettent de traduire des mots entre 2 langues. Comme dans le cas des dictionnaires morphologiques, les caractéristiques grammaticales des mots des deux langues sont précisées. Exemple :

    <e><p><l>skingomz<s n="n"/><s n="f"/></l><r>radio<s n="n"/><s n="f"/></r></p></e>
    <e><p><l>skinwel<s n="n"/><s n="m"/></l><r>télévision<s n="n"/><s n="f"/></r></p></e>

peut être interprété ainsi :

• Le mot skingomz est un nom au féminin que l'on traduit en français par radio qui est aussi un nom au féminin.
• Le mot skinwel est un nom au masculin que l'on traduit en français par télévision qui est un nom au féminin.

On peut voir au passage que les termes noms, masculin, féminin sont ici sous forme abrégée. L'emploi de mnémoniques courts et beaucoup plus fréquente dans les fichiers Apertium que les noms complets.

Dans le cas de ces 2 lignes, la traduction peut se faire dans les 2 sens :

• soit de la partie gauche (left en anglais) à la partie droite (right en anglais). Dans ce cas, à l'étape de transfert lexical, le texte entre <l>... et ...</l> sera remplacé par celui entre <r>... et ...</r>
• soit de la partie droite à la partie gauche. Dans ce cas, le texte entre <r>... et ...</r> sera remplacé par celui entre <l>... et ...</l>

Examinons un exemple un peu plus compliqué :

    <e r="LR"><p><l>adeiladour<s n="n"/><s n="m"/></l><r>architecte<s n="n"/><s n="mf"/></r></p></e>
    <e r="LR"><p><l>adeiladour<s n="n"/><s n="f"/></l><r>architecte<s n="n"/><s n="mf"/></r></p></e>
    <e r="RL"><p><l>adeiladour<s n="n"/><s n="GD"/></l><r>architecte<s n="n"/><s n="mf"/></r></p></e>

peut être interprété ainsi :

• Le mot adeiladour employé comme nom au masculin se traduit en français par architecte qui est un nom au masculin ou au féminin.
• Le mot adeiladour employé comme nom au féminin se traduit en français par architecte qui est un nom au masculin ou au féminin.
• Le mot architecte qui est un nom au masculin ou au féminin se traduit par le nom adeiladour.

En réalité, (le dictionnaires bilingue n'en parle pas, mais le problème a été abordé dans le dictionnaire morphologique), le mot adeiladour présente plusieurs écritures selon notamment qu'il soit au masculin ou au féminin. Si l'on tient compte également du singulier et du pluriel, on obtient au total 6 possibilités :

    adeiladour:adeiladour<n><m><sg>       →  architecte:architecte<n><mf><sg>
    adeiladourien:adeiladour<n><m><pl>    →  architectes:architecte<n><mf><pl>
    adeiladourez:adeiladour<n><f><sg>     →  architecte:architecte<n><mf><sg>
    adeiladourezed:adeiladour<n><f><pl>   →  architectes:architecte<n><mf><pl>
    ?:adeiladour<n><GD><sg>               ←  architecte:architecte<n><mf><sg>
    ?:adeiladour<n><GD><pl>               ←  architecte:architecte<n><mf><pl>

Reprenons les explications précédentes :

Pour traduire vers le français :

• Le mot adeiladour est un nom au masculin singulier qui se traduit en français par architecte qui est un nom au masculin ou au féminin singulier.
• Le mot adeiladourien est un nom au masculin pluriel qui se traduit en français par architectes qui est un nom au masculin ou au féminin pluriel.
• Le mot adeiladourez est un nom au féminin singulier qui se traduit en français par architecte qui est un nom au masculin ou au féminin singulier.
• Le mot adeiladourezed est un nom au féminin pluriel qui se traduit en français par architectes qui est un nom au masculin ou au féminin pluriel.

Pour traduire du français à la langue de gauche :

• Le mot architecte qui est un nom au masculin ou au féminin singulier se traduit par le mot adeiladour employé au singulier. L'écriture précise de ce mot (en l'occurrence adeiladour ou adeiladourez) se décidera en fonction du genre du mot qui est à déterminer.
• Le mot architectes qui est un nom au masculin ou au féminin pluriel se traduit par le mot adeiladour employé au pluriel. L'écriture précise de ce mot (en l'occurrence adeiladourien ou adeiladourezed) se décidera en fonction du genre du mot qui est à déterminer.

Si l'on revient au début de ce 2^e exemple :

    <e r="LR"><p><l>adeiladour<s n="n"/><s n="m"/></l><r>architecte<s n="n"/><s n="mf"/></r></p></e>
    <e r="LR"><p><l>adeiladour<s n="n"/><s n="f"/></l><r>architecte<s n="n"/><s n="mf"/></r></p></e>
    <e r="RL"><p><l>adeiladour<s n="n"/><s n="GD"/></l><r>architecte<s n="n"/><s n="mf"/></r></p></e>

on constate la présence d'attributs r="LR" ou r="RL" qui permet de définir pour quel sens de traduction (LR = de gauche à droite, RL = de droite à gauche) les données dans l'expression <e r="..">... </e> s'appliquent.

On constate également la présence de n="GD" pour genre à déterminer.

Enfin, on peut constater qu'on a utilisé le même dictionnaire bilingue pour traduire dans les deux sens. C'est le choix qui a été fait pour les paires de langues Apertium.

Les étapes de transfert consistent à traiter les ensembles mots + description grammaticale pour passer d'une langue à l'autre.

Tout d'abord, il faut lever les ambiguïtés sur la langue d'origine. Prenons par exemple 2 phrases :

1. La porte est ouverte.
2. Je porte une valise.

La compréhension de ces 2 phrases n'offre pas de difficulté particulière pour un humain francophone.

Dans le cas d'Apertium, l'analyse du mot porte va donner trois résultats :

• un nom féminin au singulier qui correspond à un truc en bois servant à permettre ou empêcher l'accès à des pièces ou bâtiments,
• le verbe porter conjugué au présent, à la première ou à la troisième personne du singulier (2 cas en tout).

En sortie de la phase d'analyse (qui utilise le dictionnaire morphologique), pour les 2 phrases, on récupère ces trois résultats pour le mot porte.

C'est l'analyse de la nature des mots environnants qui permet de lever l'ambiguïté.

Pour la phrase La porte est ouverte, si on choisit le verbe porter, on obtient la structure de phrase :

article ou pronom + verbe + verbe être + adjectif

On a notamment 2 verbes consécutifs avec le verbe être en 2^e position.

La structure de phrase :

article ou pronom + nom + verbe être + adjectif

est plus logique. On peut même déduire que le premier mot est un article.

De même, dans le cas de la phrase Je porte une valise, si pour porte, on choisit la nom, on a la structure :

pronom + nom + article + nom

D'une part, un pronom est suivi d'un nom, d'autre part, la phrase n'a pas de verbe.

Au contraire, la structure

pronom + verbe + article + nom

donne une structure de phrase courante en français. De plus, le pronom "je" permet de choisir entre la première et la 3^e personne du singulier pour le verbe.

À partir de statistiques sur la structure des phrases dans la langue d'origine [4] (obtenue au préalable par l'analyse d'un grand nombre de phrases avec leur traduction) l'étape de désambiguïsation permet de ne conserver pour chacun des mots du texte source qu'une seule analyse, c'est-à-dire la partie droite de la description d'un mot <r>...</r> .

Remarque : Même si on a utilisé des paradigmes pour définir les différents mots de la langue, l'analyse obtenue détaillera toutes les caractéristiques du mot. Par exemple pour le verbe porter, l'analyse sélectionné indiquera la personne du verbe choisie : <p1><sg> pour la première personne du singulier, <p3><sg> pour la troisième personne du singulier.

Chaque mot dans la langue source ayant été analysé de manière unique, il pourra être traduit d'une manière unique en utilisant le dictionnaire bilingue. Par exemple, pour le mot "porte", donnera le mot door (nom) dans le cas de la première phrase et carry (verbe) pour la seconde, si l'on fait une traduction en anglais.

On vient de passer de la langue source à la langue cible. Mais le travail n'est pas fini. Il faut respecter les contraintes grammaticales de la langue cible. Par exemple :

• Dans certaines langues dont le français, l'adjectif s'accorde en genre et en nombre avec le nom. Dans d'autres dont l'anglais, il est invariable.
• La plupart des adjectifs se mettent en français après le nom, en anglais ils sont toujours avant.
• On a vu dans le chapitre sur les dictionnaires bilingues qu'un mot peut être masculin dans une langue et féminin dans une autre.

Cette étape de transfert consiste à prendre en compte ces particularités à savoir :

• dans certaines langues accorder certains mots avec d'autres,
• changer quelquefois l'ordre des mots par rapport au texte dans la langue source (ces changements d'ordre peuvent être parfois très considérables, comme dans le cas de la traduction du basque à l'espagnol ou l'anglais),
• éliminer certains mots de la langue source (par exemple, l'adverbe ''pas'' de la négation du français lors de la traduction à l'espagnol ou au catalan),
• ajouter certains mots à la langue cible (par exemple, l'adverbe ''pas'' de la négation du français lors de la traduction de l'espagnol ou du catalan).

1. L'étape d'analyse utilise le dictionnaire morphologique de la langue source et remplace chaque mot du texte d'origine par une ou plusieurs descriptions telles qu'on les trouve dans la partie <r>...</r> . Par exemple le mot bières donnera <r>bière<s n="nom"/><s n="pluriel"/></r> ou plutôt avec des abréviations : <r>bière<s n="n"/><s n="p"/></r>
2. Une première étape de transfert va lever les ambigüités pour les mots présentant plusieurs descriptions possibles
3. on peut alors traduire chaque mot. Le résultat pour le mot bières traduit en anglais sera un truc du genre : <r>beer<s n="n"/><s n="p"/></r>
4. Il y a une autre étape de transfert pour tenir compte des particularités de la langue cible.
5. Enfin, l'étape de gérération va utiliser le dictionnaire morphologique de la langue cible dans l'autre sens, c'est-à-dire qu'on passera d'une forme du genre <r>beer<s n="n"/><s n="p"/></r> au mot beers.