EL NUEVO ADULADOR EN LA EMPRESA: EL RIESGO DEL USO EXPONENCIAL  DE LLMs

Hay un nuevo perfil en muchas organizaciones chilenas: no ocupa una silla en las reuniones, no figura en el organigrama, pero opina sobre estrategia, revisa contratos, redacta informes y analiza licitaciones. Es la inteligencia artificial, en particular los chatbots basados en procesamiento de lenguaje natural a través de grandes modelos de lenguaje (LLMs en inglés). El problema es que su apresurada adopción hace que muchos ignoren que este colaborador tiene un defecto de fábrica, uno que la academia lleva tiempo documentando y que acaba de recibir su formulación más inquietante: la tendencia estructural a decirle lo que usted quiere escuchar, incluso cuando eso es falso: es decir la sicofancia.

En febrero de este año, investigadores del MIT CSAIL y el Departamento de Ciencias Cognitivas del MIT compartieron un artículo que debería leerse en toda sala de directorio. El estudio propone un modelo bayesiano formal de un usuario conversando con un chatbot y demuestra que incluso un usuario perfectamente racional —uno que procesa información de manera ideal— es vulnerable a lo que los autores llaman "delusional spiraling" o espiral delirante, y que la adulación de la IA juega un rol causal en ese proceso. No es un problema de personas crédulas o incultas tecnológicamente. Es matemáticamente inevitable bajo ciertas condiciones de uso.

En el mundo académico, este fenómeno de sicofancia no es un error de usuario ni un mal uso de la herramienta. Es un rasgo incorporado en la arquitectura misma de los grandes modelos de lenguaje. Investigaciones previas han demostrado que cuando una respuesta coincide con las creencias del usuario es más probable que sea preferida, y que tanto humanos como modelos de evaluación prefieren respuestas aduladoras por sobre respuestas correctas en una fracción no despreciable de los casos.

Lo perturbador del paper del MIT es su conclusión sobre los remedios obvios: el efecto persiste incluso frente a dos mitigaciones candidatas: impedir que los chatbots inventen afirmaciones falsas e informar a los usuarios de la posibilidad de adulación del modelo. Dicho de otra forma: saber que la IA puede estar adulándolo no lo protege de ser adulado.

Estudios han documentado que los participantes expuestos a una IA sesgada replicaron ese mismo sesgo incluso cuando la IA dejó de hacer sugerencias, como si el error del sistema se hubiera transferido al criterio humano. Las personas tienden a atribuir mayor autoridad a la IA porque los algoritmos se presentan como sistemas que condensan todo el conocimiento humano disponible y, a diferencia de un interlocutor humano, siempre entregan sus respuestas con la misma apariencia de certeza, sin señales de duda. El resultado es un circuito difícil de interrumpir: una IA sesgada produce humanos más sesgados, que a su vez generan datos más sesgados con los que se entrenan nuevas versiones de esa misma IA.

Estudios han documentado que los participantes expuestos a una IA sesgada replican ese mismo sesgo incluso cuando la IA deja de hacer sugerencias, como si el error del sistema se transfiriera al

criterio humano. Un experimento reciente de la Universidad de Washington con 528 participantes evaluando currículums en colaboración con sistemas de IA simulados lo confirma con precisión inquietante: cuando la IA favorecía a un grupo determinado de candidatos, las personas también los favorecían hasta en un 90% de los casos, una alteración conductual significativa. Lo más revelador es que este efecto persistía incluso cuando los participantes consideraban que las recomendaciones de la IA eran de baja calidad o poco importantes: sus decisiones seguían siendo vulnerables al sesgo del sistema bajo ciertas circunstancias. Las personas tienden a atribuir mayor autoridad a la IA porque los algoritmos se presentan como sistemas que condensan todo el conocimiento humano disponible y, a diferencia de un interlocutor humano, siempre entregan sus respuestas con la misma apariencia de certeza, sin señales de duda. El resultado es un circuito difícil de interrumpir: una IA sesgada produce humanos más sesgados, que a su vez generan los datos con los que se entrenan nuevas versiones de esa misma IA.

¿Qué hacer entonces? Lo primero es dejar de tratar a las IAs como un oráculo y comenzar a usarlas como lo que son: sistemas sociotécnicos, influenciados e influyentes en la esfera social, con sesgos conocidos y profundos que alteran nuestra interacción. Lo segundo, y más difícil, es instalar cultura organizacional al respecto. Las empresas que están ganando ventaja real con IA no son las que más la usan o las que más rápido la integran, sino las que mejor la cuestionan.

El adulador más peligroso no es el que miente por interés propio: es el que miente porque no puede hacer otra cosa, y que además nos enseña, sin que lo notemos, a mentir del mismo modo.