Investigadores encontraron que Google y la API de OpenAI identifican solo el 26,2% de las páginas citadas por GPT-5.5 Instant. El estudio sugiere alta variabilidad en las fuentes y recomienda ajustar métodos de monitoreo para contenido generado por IA.
Investigadores de la National University of Singapore y Xi’an Jiaotong University encontraron que la combinación de Google y la API de OpenAI identifica solo el 26,2% de las páginas citadas por GPT-5.5 Instant, según un estudio publicado el 11 de octubre.
Un estudio publicado en arXiv por académicos de la National University of Singapore y Xi’an Jiaotong University indica que herramientas comunes como Google y la API de OpenAI solo identifican el 26,2% de las páginas citadas por GPT-5.5 Instant. Según el estudio, la combinación de ambas herramientas logró detectar el 48,7% de los sitios citados por este modelo de IA. En comparación, Google por sí solo encontró el 6,4% de las páginas y el 22,8% de los sitios, mientras que la API de OpenAI identificó el 22,5% de las páginas.
Metodología del estudio
La investigación analizó la capacidad de herramientas comunes para identificar las fuentes que ChatGPT utiliza en sus respuestas. El estudio empleó un diseño experimental con 80 preguntas (40 en inglés y 40 en chino) de la base de datos pública Search Arena, abarcando cuatro tipos de solicitudes: recomendaciones, búsqueda de hechos, síntesis de información y análisis. Cada pregunta se ejecutó 20 veces en GPT-5.3 Instant y GPT-5.5 Instant, aunque hubo menos ejecuciones para GPT-5.2 Instant y GPT-5.4 Thinking debido a su desmantelamiento previo.
Como sustitutos, se utilizaron resultados orgánicos de Google (hasta 5 páginas por pregunta, con un promedio de 43 resultados) y consultas a la API de OpenAI con búsqueda web habilitada, realizadas dentro de los tres días posteriores a las ejecuciones de ChatGPT. Una página se consideró citada si ChatGPT la seleccionó como fuente, ya sea como enlace individual o agrupado.
Resultados clave
El estudio incluyó cuatro versiones de ChatGPT: GPT-5.2 Instant, GPT-5.3 Instant, GPT-5.4 Thinking y GPT-5.5 Instant. Los resultados mostraron que la combinación de Google y la API de OpenAI identificó el 26,2% de las páginas citadas por GPT-5.5 Instant y el 48,7% de los sitios web referenciados. Para GPT-5.3 Instant, estas cifras fueron del 28,3% y 50,3%, respectivamente.
Google por sí solo encontró el 6,4% de las páginas y el 22,8% de los sitios citados por GPT-5.5 Instant, mientras que para GPT-5.3 Instant estas cifras fueron del 9,4% y 26,1%. La API de OpenAI identificó el 22,5% de las páginas citadas por GPT-5.5 Instant y el 22,9% para GPT-5.3 Instant. Además, GPT-5.5 Instant citó el 23,3% de las páginas citadas por la API, mientras que GPT-5.3 Instant citó el 16,4%.
Implicaciones para el monitoreo
Ni la API de OpenAI ni los resultados de Google muestran las páginas exactamente como fueron citadas por ChatGPT. Las pruebas basadas en estas metodologías encontrarían más coincidencias a nivel de sitios web que de páginas específicas.
Los autores destacan la necesidad de monitorear tanto a nivel de página como de sitio, considerando que ChatGPT frecuentemente reescribe los prompts durante sus búsquedas. Entre sus recomendaciones clave se incluyen ejecutar el mismo prompt múltiples veces y verificar si las herramientas de seguimiento utilizan datos de API o acceso directo a la aplicación.
Variabilidad en las respuestas
El análisis reveló una alta variabilidad en las respuestas y fuentes citadas por ChatGPT. En las versiones GPT-5.3 Instant y GPT-5.5 Instant, el modelo nunca utilizó el texto exacto de la pregunta original, reescribiéndola en todos los casos, mientras que en GPT-5.2 Instant lo hizo solo en el 5,5% de las ejecuciones. Además, para preguntas en chino, las versiones 5.3 y 5.5 usaron únicamente inglés en el 67,0% y 69,6% de los casos respectivamente.
La variabilidad también se observa en las fuentes citadas: el 44,5% de las páginas distintas por pregunta en GPT-5.5 Instant y el 40,8% en GPT-5.3 Instant aparecieron solo en una ejecución de las 20 realizadas.
Cambios y variaciones
En mayo, durante el cambio a GPT-5.5, datos de Sistrix mostraron una variación diaria de citas en alemán del 47%, frente a un rango normal del 1% al 2%. Las cifras del estudio describen modelos vigentes entre marzo y julio de 2026.
El estudio no evaluó herramientas comerciales de seguimiento, lo que deja un vacío en la comprensión de cómo estas implementan las estrategias sugeridas. Los investigadores recomiendan reevaluar las estrategias de monitoreo con la implementación de GPT-6, que ya está disponible para usuarios Plus, Pro, Business y Enterprise, mientras que GPT-5.6 Luna será el modelo predeterminado para usuarios Free y Go.
Lo que hay que saber
¿Qué porcentaje de las páginas citadas por GPT-5.5 Instant identifican Google y la API de OpenAI?
Google y la API de OpenAI identifican solo el 26,2% de las páginas citadas por GPT-5.5 Instant, según un estudio publicado en arXiv.
¿Cómo se comparan los resultados de Google y la API de OpenAI en la identificación de sitios citados por GPT-5.5 Instant?
Google por sí solo encontró el 22,8% de los sitios citados por GPT-5.5 Instant, mientras que la API de OpenAI identificó el 22,5% de las páginas citadas por GPT-5.5 Instant.
¿Qué recomendaciones dan los investigadores para mejorar el monitoreo de las fuentes citadas por ChatGPT?
Los investigadores recomiendan ejecutar el mismo prompt múltiples veces y verificar si las herramientas de seguimiento utilizan datos de API o acceso directo a la aplicación.
¿Qué variabilidad se observó en las respuestas y fuentes citadas por ChatGPT?
El estudio reveló que el 44,5% de las páginas distintas por pregunta en GPT-5.5 Instant aparecieron solo en una ejecución de las 20 realizadas.
