Modelación del lenguaje

En el reconocimiento de voz, la computadora se esfuerza por asociar los sonidos con secuencias de palabras. El modelo de lenguaje desempeña un papel fundamental al proporcionar un contexto que permite discernir entre palabras y frases que, a nivel auditivo, pueden parecer similares. Por ejemplo, en inglés americano, las frases "recognize speech" y "wreck a nice beach" se pronuncian de manera parecida, pero tienen significados completamente distintos. Estas ambigüedades se resuelven de manera más efectiva cuando se combina la información del modelo de lenguaje con los modelos de pronunciación y acústicos.[1]

Los modelos del lenguaje se utilizan en la recuperación de información en el modelo de consulta probabilístico. Aquí un modelo del lenguaje está asociado con cada documento en una colección. Los documentos se clasifican sobre la base de la probabilidad de la consulta ${\displaystyle Q}$ en el modelo del lenguaje del documento ${\displaystyle P(Q|M_{d})}$. Comúnmente, el modelo del lenguaje unigrama se utiliza para este propósito—además conocido como el modelo de bolsa de palabras.

La escasez de datos es un problema importante en la construcción de modelos de lenguaje. La mayoría de las posibles secuencias de palabras no serán observadas en el entrenamiento. Una solución es hacer la hipótesis de que la probabilidad sea posible.

Un modelo unigrama es utilizado en la recuperación de información y puede ser visto como la combinación de varios autómatas finitos de un solo estado.[2] Divide las probabilidades de diferentes términos en un contexto, por ejemplo, desde ${\displaystyle P(t_{1}t_{2}t_{3})=P(t_{1})P(t_{2}|t_{1})P(t_{3}|t_{1}t_{2})}$ a ${\displaystyle P_{uni}(t_{1}t_{2}t_{3})=P(t_{1})P(t_{2})P(t_{3})}$.

En este modelo, la probabilidad de acertar cada palabra depende por completo de sí, por lo que sólo tenemos autómatas finitos de un estado como unidades. Para cada autómata, sólo tenemos una manera de alcanzar a su único estado, asignado con una probabilidad. Visualizando todo el modelo, la suma de todas las probabilidades de alcanzar un estado debe ser 1. El siguiente es un modelo unigrama de un documento.

${\displaystyle sum_{term\ in\ doc}P(term)=1}$

La probabilidad generada para una consulta específica se calcula como ${\displaystyle P(query)=\prod _{term\ in\ query}P(term)}$

Para diferentes documentos podemos construir sus propios modelos unigrama, con diferentes probabilidades de acierto de las palabras. Utilizando las probabilidades de diferentes documentos, para generar diferentes probabilidades de acierto para una consulta. Entonces podemos clasificar los documentos para una consulta de acuerdo a las probabilidades de generación. El siguiente es un ejemplo de dos modelos unigrama de dos documentos.

En contextos de recuperación de información, modelos de lenguaje unigramas a menudo se suavizan para evitar casos en los que ${\displaystyle P(term)=0}$. Un enfoque común es generar un modelo de máxima verosimilitud para la colección entera y interpolar linealmente el modelo de colección con un modelo de máxima verosimilitud para cada documento para crear un modelo de documento suavizado.[3]

En un modelo de n-grama, la probabilidad ${\displaystyle P(w_{1},\ldots ,w_{m})}$ de observar la frase ${\displaystyle w_{1},\ldots ,w_{m}}$ se aproxima como ${\displaystyle P(w_{1},\ldots ,w_{m})=\prod _{i=1}^{m}P(w_{i}|w_{1},\ldots ,w_{i-1})\approx \prod _{i=1}^{m}P(w_{i}|w_{i-(n-1)},\ldots ,w_{i-1})}$ Aquí, se asume que la probabilidad de observar la i^th palabra w_i en la historia contexto de las palabras i-1 anteriores se puede aproximar por la probabilidad de observar que en la historia contexto abreviada de los n-1 anteriores palabras (orden n^th Propiedad de Markov). La probabilidad condicional puede calcularse a partir de recuentos de frecuencia n-grama: ${\displaystyle P(w_{i}|w_{i-(n-1)},\ldots ,w_{i-1})={\frac {count(w_{i-(n-1)},\ldots ,w_{i-1},w_{i})}{count(w_{i-(n-1)},\ldots ,w_{i-1})}}}$ Las palabras bigrama' y modelo del lenguaje trigrama denotan modelos de lenguaje n-grama con n=2 y n=3, respectivamente.[4] Típicamente, sin embargo, las probabilidades de n-grama no se derivan directamente de los recuentos de frecuencia, porque los modelos derivados de esta manera tienen graves problemas cuando se enfrentan a cualquier n-grama que explícitamente no se ha visto antes. En cambio, alguna forma de suavizado es necesaria, asignando una porción de la probabilidad total a las palabras o n-gramas que no se han visto anteriormente. Se utilizan varios métodos, desde la técnica de suavizado simple "agrega-uno" (añade artificialmente una observación a todos los elementos del vocabulario) a modelos más sofisticados, como El descuento Good-Turing, modelos de back-off o interpolación.

Un modelo del lenguaje posicional[5] es uno que describe la probabilidad de palabras dadas que ocurren cerca una de la otra en un texto, no necesariamente inmediatamente adyacentes. Del mismo modo, los modelos de bolsa de conceptos[6] de apalancamiento en la semántica asociada con expresiones de varias palabras, como buy_christmas_present, incluso cuando se utilizan en oraciones ricas en información, como "today I bought a lot of very nice Christmas presents".

• Modelo del lenguaje factorizado
• Modelo del lenguaje en caché
• Modelo de retiro de Katz
• LLM (modelo grande de lenguaje)

• DALM - Fast, Free software for language model queries
• IRSTLM - Free software for language modeling
• Kylm (Kyoto Language Modeling Toolkit) - Free language modeling toolkit in Java
• KenLM - Fast, Free software for language modeling
• LMSharp - Free language model toolkit for Kneser-Ney smoothed n-gram models and recurrent neural network models
• MITLM - MIT Language Modeling toolkit. Free software
• OpenGrm NGram library - Free software for language modeling. Built on [OpenFst]].
• NPLM - Free toolkit for feedforward neural language models
• Positional Language Model
• RandLM - Free software for randomised language modeling
• RNNLM - Free recurrent neural network language model toolkit
• SRILM - Proprietary software for language modeling
• VariKN - Free software for creating, growing and pruning Kneser-Ney smoothed n-gram models.
• Language models trained on newswire data
• Goldberg - Goldber, Y. (2015) A Primer on Neural Netwrok Models for Natural Language Processing.