Búsqueda y recuperación de información

La precisión es la fracción de documentos recuperados que son relevantes para la necesidad de información del usuario.

${\displaystyle {\mbox{Precisión}}={\frac {|\{{\mbox{documentos relevantes}}\}\cap \{{\mbox{documentos recuperados}}\}|}{|\{{\mbox{documentos recuperados}}\}|}}}$

La precisión tiene en cuenta todos los documentos recuperados. También puede ser evaluada en un corte determinado del ranking, considerando solamente los primeros resultados obtenidos del sistema.

Nótese que el significado y uso de la "precisión" en el campo de la Recuperación de Información, difiere de las definiciones de exactitud y precisión en otras ramas de la ciencia y la tecnología.

La exhaustividad es la fracción de documentos relevantes para una consulta que fueron recuperados.

${\displaystyle {\mbox{Exhaustividad}}={\frac {|\{{\mbox{documentos relevantes}}\}\cap \{{\mbox{documentos recuperados}}\}|}{|\{{\mbox{documentos relevantes}}\}|}}}$

Resulta trivial obtener un 100% de exhaustividad si se toman como respuesta para cualquier consulta todos los documentos de la colección. Por lo tanto, la exhaustividad sola no es suficiente, sino que se necesita también medir el número de documentos no relevantes, por ejemplo con el cálculo de la precisión.

La proposición de fallo, llamada en inglés fall-out, es la proporción de documentos no relevantes que son recuperados, fuera de todos los documentos relevantes disponibles.

${\displaystyle {\mbox{fall-out}}={\frac {|\{{\mbox{documentos no relevantes}}\}\cap \{{\mbox{documentos recuperados}}\}|}{|\{{\mbox{documentos no relevantes}}\}|}}}$

Resulta trivial obtener un 0% de proposición de fallo si no se devuelve ningún documento de la colección para cualquier consulta.

La medida F es un balance de la precisión y el recobrado:

${\displaystyle F={\frac {2\cdot \mathrm {Precision} \cdot \mathrm {Recobrado} }{(\mathrm {Precision} +\mathrm {Recobrado} )}}.\,}$

Esta es conocida además como la medida ${\displaystyle F_{1}}$, pues el recobrado y la precisión son pesados uniformemente.

La fórmula general para el parámetro real no negativo ${\displaystyle \beta }$ es:

${\displaystyle F_{\beta }={\frac {(1+\beta ^{2})\cdot (\mathrm {Precision} \cdot \mathrm {Recobrado} )}{(\beta ^{2}\cdot \mathrm {Precision} +\mathrm {Recobrado} )}}\,}$.

Otras dos medidas F ampliamente utilizadas son la medida ${\displaystyle F_{2}}$, que pondera el recobrado dos veces por encima de la precisión, y la medida ${\displaystyle F_{0.5}}$, que pesa la precisión dos veces por encima del recobrado.

La medida F fue obtenida por Van Rijsbergen en 1979. ${\displaystyle F_{\beta }}$ “mide la efectividad de la recuperación respecto a un usuario que atribuye ${\displaystyle \beta }$ veces más importancia al recobrado que a la precisión”. Está basada en la medida de Van Rijsbergen ${\displaystyle E=1-{\frac {1}{{\frac {\alpha }{P}}+{\frac {1-\alpha }{R}}}}}$. La relación entre estas dos medidas es ${\displaystyle F_{\beta }=1-E}$ donde ${\displaystyle \alpha ={\frac {1}{1+\beta ^{2}}}}$.

La Precisión y el recobrado son métricas basadas en toda la lista de documentos retornada por el sistema dada una consulta. Para sistemas que hacen ranking a los documentos retornados para una consulta es deseable considerar además el orden en que los documentos retornados son presentados. Si se computa la precisión y el recobrado en cada posición de la secuencia de documentos con ranking, podemos plotear la curva precisión - recobrado, ploteando la precisión ${\displaystyle p(r)}$ como una función del recobrado ${\displaystyle r}$. La Precisión Promedio computa el promedio de los valores de ${\displaystyle p(r)}$ sobre la integral desde ${\displaystyle r=0}$ hasta ${\displaystyle r=1}$:

${\displaystyle \operatorname {AveP} =\int _{0}^{1}p(r)dr.}$

Esta integral es remplazada en la práctica por una suma finita sobre todas las posiciones en la secuencia de documentos con ranking:

${\displaystyle \operatorname {AveP} =\sum _{k=1}^{n}P(k)\Delta r(k)}$

donde ${\displaystyle k}$ es el ranking en la secuencia de documentos recuperados, ${\displaystyle n}$ es el número de documentos recuperados, ${\displaystyle P(k)}$ es la precisión del corte en la posición ${\displaystyle k}$ de la lista y ${\displaystyle \Delta r(k)}$ es el cambio en el recobrado de los elementos ${\displaystyle k-1}$ hasta ${\displaystyle k}$.

Esta suma finita es equivalente a:

${\displaystyle \operatorname {AveP} ={\frac {\sum _{k=1}^{n}(P(k)\times rel(k))}{\mbox{number of relevant documents}}}\!}$

donde ${\displaystyle rel(k)}$ es un indicador igual a 1 si el ítem en la posición ${\displaystyle k}$ del ranking es relevante al documento, y cero en otro caso. Nótese que el promedio es sobre todos los documentos relevantes y que los documentos relevantes que no son recuperados obtienen una precisión igual a cero.

La Precisión Promedio en ocasiones se refiere geométricamente como el área bajo la curva precisión - recobrado.

La media de la precisión promedio (también conocido como La media de Isabel, o MAP: Mean Average Precision por su nombre en inglés), para un conjunto de consultas o queries es el promedio de las puntuaciones medias de precisión para cada consulta.

${\displaystyle \operatorname {MAP} ={\frac {\sum _{q=1}^{Q}\operatorname {AveP(q)} }{Q}}\!}$

donde Q es el número de consultas que se están evaluando.

• Modelos basados en Teoría de Conjuntos: Los documentos se representan como un conjunto de palabras o frases. Los modelos más comunes son:
  • Modelo Booleano
  • Modelo Booleano Extendido
  • Modelo Fuzzy
• Modelos Algebraicos: En estos modelos los documentos y las consultas se representas como vectores, matrices o tuplas. La similitud entre un documento y una consulta se representa por un escalar. Dentro de ellos tenemos:
  • Modelo Vectorial
  • Modelo Vectorial Generalizado
  • Modelo Booleano Extendido
  • Indexación Semántica Latente
• Modelos Probabilísticos: Tratan el proceso de recuperación de documentos como una inferencia probabilística. Las similitudes son calculadas como las probabilidades de que un documento sea relevante dada una consulta.
  • Modelo de independencia binaria
  • Modelo de Relevancia Probabilístico
  • Redes de Inferencia
  • Redes de Creencia

• Modelos sin inter-dependencia entre términos: Tratan a los términos como si fueran independientes.
• Modelos con inter-dependencia entre términos: Permiten representar las interdependencias entre términos.