Reputación algorítmica y medición en sistemas de IA
En los últimos meses ha crecido el interés por medir la llamada “visibilidad” de marcas, productos o contenidos dentro de los sistemas de inteligencia artificial generativa, conocido ahora como Generative Engine Optimization (GEO). Junto a este interés han aparecido múltiples herramientas y métricas que intentan trasladar al entorno de los modelos de lenguaje, conceptos heredados del SEO clásico, como rankings, menciones, posiciones o share of voice.
Al mismo tiempo, han surgido análisis críticos que cuestionan la validez de estas métricas. Casi todos estos artículos señalan con acierto muchas de las limitaciones estructurales de los llamados prompt trackers: prompts sintéticos que no representan a usuarios reales, resultados inestables, métricas arbitrarias y una falsa sensación de control sobre sistemas inherentemente probabilísticos.
Este artículo no pretende refutar esa crítica, sino utilizarla como punto de partida para replantear la pregunta de fondo: qué significa medir un sistema como la IA y qué es razonable esperar de esa medición.
El error conceptual: tratar la IA como un buscador
Buena parte de los problemas surgen cuando se intenta evaluar la IA como si fuera un motor de búsqueda tradicional. En ese marco, conceptos como posición, visibilidad o ranking tienen sentido porque el sistema es relativamente determinista, repetible y observable a gran escala.
Los modelos de lenguaje no funcionan bajo esas condiciones.
Son sistemas probabilísticos, opacos y altamente sensibles al contexto. No existe una respuesta única, ni una posición estable, ni una experiencia homogénea que pueda observarse directamente. Dos ejecuciones idénticas pueden producir resultados distintos sin que ello implique un error del sistema.
Intentar medir este tipo de comportamiento con las herramientas conceptuales del SEO clásico conduce inevitablemente a métricas frágiles o directamente engañosas. En este punto, la crítica a los prompt trackers es legítima.
Cuando el objeto no es observable: una analogía científica
Para entender cómo abordar correctamente sistemas de este tipo, resulta útil salir del terreno del marketing y observar cómo se trabaja en investigación científica cuando el objeto de estudio no es directamente observable.
En física de partículas, por ejemplo, los científicos no pueden observar directamente quarks, neutrinos o bosones inestables. El sistema es opaco, probabilístico y está influido por múltiples variables desconocidas. No se puede acceder a la “realidad interna” del fenómeno de forma directa.
En lugar de ello, se diseñan experimentos controlados, se repiten miles de veces y se analizan los patrones estadísticos de los efectos resultantes. A partir de esas trazas observables se infiere la estructura del sistema.
No se mide la realidad cotidiana del universo.
Se miden efectos reproducibles bajo condiciones controladas.
Ese enfoque no es una aproximación imperfecta a la realidad, sino el método estándar cuando la observación directa no es posible.
De la simulación a la herramienta
Aplicado a los modelos de lenguaje, el problema no es el uso de prompts sintéticos en sí. El problema aparece cuando se presentan como si fueran representativos de usuarios reales o de demanda de mercado.
Un prompt, en este contexto, debe entenderse como una sonda experimental, no como una consulta de usuario. Su función no es simular la realidad, sino provocar respuestas bajo condiciones conocidas para observar el comportamiento del sistema.
El valor de este enfoque no reside en una respuesta aislada, sino en:
- la recurrencia de determinados encuadres,
- la frecuencia con la que aparecen ciertas entidades,
- los patrones narrativos que se repiten,
- las fuentes que el sistema tiende a utilizar,
- los roles que asigna de forma consistente a marcas, productos o categorías.
Esto no equivale a medir “visibilidad” en sentido clásico. Se trata de observar comportamiento.
Aceptar la incertidumbre como parte del método
Una de las críticas más relevantes a muchas métricas actuales es que intentan ofrecer certezas donde solo existe incertidumbre. En sistemas complejos, la incertidumbre no es un defecto del método, sino una propiedad del objeto de estudio.
En investigación científica, trabajar con sistemas probabilísticos implica aceptar:
- variabilidad,
- error,
- distribuciones en lugar de valores únicos,
- tendencias en lugar de conclusiones absolutas.
En el contexto de la IA, la pregunta relevante no es “en qué posición aparece una marca”, sino en qué condiciones aparece, cómo es descrita y qué patrones se repiten de forma consistente a lo largo del tiempo.
Reputación algorítmica: un fenómeno real y medible
Que no sea posible medir la “visibilidad” en IA como si se tratara de SEO no implica que no existan fenómenos reales, observables y con impacto.
Uno de ellos es la reputación algorítmica.
La reputación algorítmica existe porque los sistemas de IA:
- repiten ciertos encuadres narrativos,
- priorizan unas entidades frente a otras,
- recomiendan opciones de forma consistente bajo determinadas intenciones,
- influyen en decisiones humanas reales, incluso cuando el clic final no es observable.
No vemos directamente esa reputación, del mismo modo que no vemos los neutrinos. Sin embargo, inferimos su existencia por sus efectos. Sabemos que el universo existe aunque no podamos observar todos sus componentes; sabemos que ciertas partículas existen porque alteran el comportamiento de otras.
De la misma forma, sabemos que la reputación algorítmica es real porque condiciona qué opciones aparecen como válidas, seguras o recomendables en los sistemas de IA.
Conclusión
La crítica a las métricas simplistas de visibilidad en IA es necesaria y saludable. Trasladar sin más la lógica del SEO clásico a los modelos de lenguaje es un error conceptual.
Sin embargo, eso no significa que estos sistemas no puedan estudiarse ni comprenderse. Significa que deben analizarse desde un marco distinto, más cercano a la experimentación científica que al marketing tradicional.
La IA no se mide como un buscador.
La IA se estudia como un sistema complejo que construye reputación de forma implícita.
Y cuando el sistema es opaco, no se mide la verdad absoluta:
se miden los efectos reproducibles que influyen en decisiones reales.
Eso no es marketing.
Es una nueva forma de entender cómo se construye reputación en sistemas algorítmicos.
