Un modelo de embeddings convierte cada pasaje en un vector: una lista de números que sitúa su significado como un punto en el espacio. La similitud es el coseno del ángulo entre dos vectores, mostrado aquí de 0 a 1: los pasajes que tratan de lo mismo quedan cerca aunque no compartan palabras. La herramienta vectoriza tu consulta y cada candidato, los ordena por su similitud coseno con la consulta y traza tu línea top-k; en una canalización de recuperación, solo lo que queda por encima de esa línea se devuelve. El solapamiento de palabras se calcula en paralelo como la proporción de palabras de la consulta que contiene cada candidato, que es aproximadamente lo que premiaría un buscador por palabras clave.
Porque los dos veredictos discrepan justo en los casos que rompen la recuperación. Un pasaje puede compartir la mayoría de las palabras de la consulta y significar otra cosa: la búsqueda por palabras clave lo elige y la semántica lo deja fuera del top-k. Otro puede no compartir ninguna palabra y ser la respuesta correcta: las palabras clave lo pierden y los embeddings lo recuperan. Las marcas señalan ambos casos y la vista de evidencia detalla las palabras compartidas una a una. La puntuación semántica no puede descomponerse igual: proviene de vectores de pasaje completo, y la herramienta lo dice en lugar de inventar atribuciones por palabra.
Las consultas y pasajes suelen contener datos de negocio, así que nada sale del navegador: el modo demo incluye vectores construidos precomputados y el modo real descarga el modelo al navegador y ejecuta la inferencia localmente, sin llamadas a API ni registros. Los límites honestos: los números de la demo están construidos para la guía y así se indican; el modelo real es un modelo pequeño en inglés, por lo que las puntuaciones en otros idiomas no son fiables; y el solapamiento de palabras es una aproximación deliberadamente simple a la búsqueda por palabras clave, no una implementación de BM25.
Preguntas y respuestas frecuentes sobre este tema.
Pega la consulta del usuario como Query y luego pega el pasaje que esperabas junto con los que realmente volvieron, como candidatos. El ranking muestra si el modelo realmente puntúa tu pasaje por debajo de los demás, cuánta distancia hay y si solo se quedó fuera por poco del top-k. Si aquí queda alto pero en producción sigue sin recuperarse, el problema está en otra parte de la canalización: el troceado, los filtros o un modelo de embeddings distinto.
Es una medida de lo cerca que están dos textos en significado, independientemente de las palabras que usen. Un modelo de embeddings asigna a cada texto un vector de modo que los textos sobre lo mismo queden cerca; la puntuación es el coseno del ángulo entre esos vectores. Por eso “my laptop will not turn on” y “the computer fails to boot” pueden puntuar alto sin compartir palabras, y por eso es la medida por la que realmente ordenan la búsqueda semántica y las canalizaciones RAG.
Las puntuaciones van de 0 a 1: más alto significa más cercano en significado. Pero no hay un umbral universal: 0.7 puede ser una coincidencia fuerte con un modelo y mediocre con otro, porque los valores absolutos cambian con el modelo y el tipo de texto. Lo que se mantiene entre modelos es la comparación: qué candidato queda primero y cuánta distancia hay con el siguiente. Por eso las canalizaciones toman el top-k por ranking en lugar de todo lo que supere una puntuación fija, y por eso esta herramienta destaca el ranking antes que los números.
La búsqueda por palabras clave premia las palabras compartidas; la similitud semántica premia el significado compartido. Coinciden la mayoría de las veces, y los fallos interesantes viven donde no. Un pasaje lleno de las palabras de tu consulta que habla de otra cosa es un falso positivo de palabras clave; una paráfrasis sin palabras comunes es un punto ciego de palabras clave. Las dos barras de cada fila ponen ambos veredictos lado a lado y las marcas señalan exactamente esos dos desacuerdos. Los sistemas de producción suelen combinar ambas señales (búsqueda híbrida) precisamente porque cada una falla de forma distinta.
Los modelos de embeddings se entrenan con enormes cantidades de pares de texto marcados como relacionados: preguntas con sus respuestas, paráfrasis, títulos con sus artículos. El entrenamiento acerca los vectores de los pares relacionados y aleja los no relacionados; con suficientes ejemplos, la propia geometría codifica el significado: dirección y distancia reflejan lo que tiende a coocurrir como el mismo tema. El modelo no tiene un diccionario de sinónimos: la cercanía es un resultado estadístico del entrenamiento, y por eso modelos distintos dibujan mapas ligeramente distintos y puntúan diferente el mismo par.
Puntúa una consulta frente a un máximo de 12 pasajes candidatos, con dos escenarios de demostración y un modo de modelo real. Las puntuaciones de la demo provienen de vectores construidos para la guía, claramente etiquetados, y el solapamiento, el ranking y el veredicto ejecutan el código real. El modo real descarga al navegador un pequeño modelo de embeddings en inglés (unos 23 MB); las puntuaciones en otros idiomas no son fiables y la herramienta lo indica. El solapamiento es una aproximación deliberadamente simple a la vista de palabras clave, no BM25. No trocea documentos, no llama a ninguna API de embeddings ni reproduce las puntuaciones exactas de tu modelo de producción: muestra el mecanismo por el que esos sistemas ordenan.