Traducción automática estadística

Los beneficios de la traducción estadística sobre la traducción tradicional son:

• Un mejor uso de los recursos
  • Hay mucho lenguaje natural en formato legible para máquinas.
  • Generalmente, los sistemas SMT no están adaptados a ningún par específico de idiomas.
  • Los sistemas de traducción basada en reglas requieren un desarrollo manual de reglas lingüísticas, lo que puede ser costoso, y que a menudo no se generaliza a otros idiomas.
• Traducciones más naturales

Las ideas que hay detrás de la traducción automática estadística vienen de la teoría de la información. Esencialmente, el documento se traduce en la probabilidad ${\displaystyle p(e|f)}$ de que una cadena ${\displaystyle e}$ de la lengua nativa (por ejemplo, inglés) sea la traducción de una cadena ${\displaystyle f}$ en la lengua extranjera (por ejemplo, francés). Generalmente, estas probabilidades se calculan utilizando técnicas de estimación de parámetros.

El Teorema de Bayes se aplica a ${\displaystyle p(e|f)}$, la probabilidad de que la cadena del idioma extranjero produzca la cadena nativa para conseguir ${\displaystyle p(e|f)\propto p(f|e)p(e)}$, donde el modelo de traducción ${\displaystyle p(f|e)}$ es la probabilidad de que la cadena nativa sea la traducción de la cadena extranjera, y el modelo de lengua ${\displaystyle p(e)}$ es la probabilidad de ver aquella cadena nativa. Matemáticamente hablando, encontrar la mejor traducción ${\displaystyle {\tilde {e}}}$ se consigue escogiendo aquella que dé la probabilidad más alta:

${\displaystyle {\tilde {e}}=\arg \max _{e\in e^{*}}p(e|f)=\arg \max _{e\in e^{*}}p(f|e)p(e)}$.

Para una aplicación rigurosa de éste se tendría que realizar una búsqueda exhaustiva por pasar por todas las cadenas ${\displaystyle e^{*}}$ en el idioma nativo. Realizar la búsqueda eficiente es el trabajo de una máquina de decodificación de traducción, que utiliza la cadena extranjera, heurísticas y otros métodos para limitar el espacio de búsqueda y, al mismo tiempo, mantener una calidad aceptable. Este compromiso entre calidad y tiempo de uso también se puede encontrar en la técnica de reconocimiento de voz.

Como los sistemas de traducción no son capaces de almacenar todas las cadenas nativas y sus traducciones, un documento se traduce típicamente frase por frase, pero ni siquiera esto es suficiente. Los modelos de lenguaje suelen aproximarse por modelos de alisado de n-grama y los enfoques similares se han aplicado a los modelos de traducción, pero existe una complejidad adicional debido a la longitud de frase y de diferentes órdenes de palabras en los idiomas.

Los modelos de traducción estadística estuvieron inicialmente basados en palabras, (Modelos 1-5 de IBM Ocultos de Markov Model de Stephan Vogel[3] y el Modelo 6 de Franz-Joseph Och[4]), pero se lograron avances significativos con la introducción de frases, basada en modelos.[5] Un trabajo reciente ha incorporado sintaxis o estructuras cuasi-sintáctica.[6]

Las primeras ideas de traducción automática estadística fueron introducidas por Warren Weawer en 1949 (W. Weaver 1955), incluyendo las ideas de aplicar la teoría de la información de Claude Shannon. Su retorno a escena se produce en 1991, con el sistema CANDIDE, desarrollado por un grupo de investigadores del Thomas J. Watson Center de IBM en Nueva York (Brown et al. 1990). Tras el éxito logrado mediante técnicas estocásticas en el reconocimiento del habla, el grupo decidió probar suerte en la traducción. El enfoque se planteó desde el postulado de no usar información para el análisis y la generación que no fuera estadística. El experimento se realizó sobre el corpus Hansard de las Actas del Parlamento canadiense (unos tres millones de oraciones en inglés y francés). Primero se alinearon oraciones, grupos de palabras y palabras sueltas, para después calcular las probabilidades de que una palabra de una oración en una lengua se correspondiera con otras palabras en la traducción. Los resultados sorprendieron a los propios investigadores, ya que casi la mitad de las oraciones traducidas eran exactamente como las contenidas en el texto original o tenían el mismo sentido aunque con palabras distintas. El sistema no se llegó a comercializar, pero supuso un hito histórico en la reorientación de las investigaciones.

Entre las aportaciones más recientes cabe destacar la del grupo ISI de la University of Southern California, que desarrolla EGYPT, un paquete de software para construir sistemas basados en la estadística a partir de corpus bilingües.

Desde 2006, y hasta la publicación por parte de Google de su artículo académico y la consiguiente "fiebre neuronal" desde 2016, la traducción estadística fue el paradigma de traducción automática más estudiado.

Los desafíos que enfrenta la traducción automática estadística incluyen:

• Traducción asistida
• Lingüística
• Inteligencia artificial
• Traducción automática mediante lenguaje intermedio
• Traducción automática mediante transferencia
• Traducción automática basada en el contexto

• Estadísticas Traducción Automática - incluye iniciación a la investigación, conferencias, corpus y listas de software.
• Moisés: un estado de la técnica de sistemas abiertos SMT fuente
• Lista anotada de recursos estadísticos procesamiento del lenguaje natural - Incluye enlaces a libre disposición de software de traducción estadística de la máquina.
• GIZA + +: Word Concordancia
• implementaciones en paralelo de GIZA++ (enlace roto disponible en Internet Archive; véase el historial, la primera versión y la última).
• Cunei una plataforma de código abierto para la traducción automática por datos que combina los enfoques de la SMT y EBMT
• Olanto una plataforma de código abierto para la traducción automática.