Lo bueno, lo malo y lo feo de la IA

Una app que detecta trabajadores sin casco, un modelo que predice atrasos en el programa de obra, un asistente que redacta bases de licitación en minutos. La inteligencia artificial ya llegó a la construcción, y la pregunta relevante dejó de ser si la usaremos y pasó a ser bajo qué condiciones, y quién responde cuando algo sale mal.

En un reciente artículo en AI and Ethics, junto a mis colegas Domingo Mery y Jocelyn Dunstan de la Pontificia Universidad Católica de Chile, proponemos mirar el desafío de la IA desde los lentes de Leone y su famosa película. La dimensión de lo bueno es conocido: automatizar tareas repetitivas, analizar grandes volúmenes de datos, anticipar riesgos. Esto se puede traducir a mejores estimaciones de costos, control de calidad con visión computacional y prevención de accidentes.

Lo malo son limitaciones técnicas aún no resueltas, sin mala fe de nadie. Un modelo entrenado con edificios en altura en Santiago puede fallar en una faena minera: funciona en el laboratorio y falla en terreno. A eso se suman los sistemas de caja negra, que entregan un resultado sin poder explicarlo en completitud según su escala de complejidad y opacidad, y las alucinaciones de los modelos de lenguaje, capaces de inventar una norma, una cláusula o una cifra.

Y lo feo nace de decisiones humanas: desplegar a sabiendas una herramienta deficiente o sin un marco de gobernanza claro, por ejemplo, para vigilar de forma opaca a los trabajadores, subir información confidencial de un proyecto a una plataforma pública o priorizar la velocidad de adopción sobre la seguridad y la mitigación de riesgos.

En nuestro análisis destacamos que lo malo y lo feo muchas veces son indistinguibles. Para quien sufre el daño, un error técnico y una negligencia se sienten igual, se experimentan desde una misma dimensión. Imaginemos un sistema de IA para el monitoreo de seguridad que falla con ciertas condiciones de luz o con ciertos tipos de trabajadores. Si nadie lo sabía, es un problema técnico. Si la empresa lo supo y siguió usándolo porque corregirlo costaba plata, es otra cosa. Aunque podemos distinguir responsabilidades específicas diferentes, el sistema de IA y el daño son los mismos; cambia lo que se sabía y lo que se decidió.

Por esto, nosotros proponemos una gradiente de responsabilidad con cuatro zonas de clasificación, según cuánto control tiene un actor y cuánto sabía del riesgo. Primera zona: incertidumbre genuina que nadie podía evitar; corresponde invertir en conocimiento y compartir riesgos. Segunda zona: negligencia organizacional, es decir, riesgos que se pudieron anticipar y no se atendieron por costo o apuro; esto pide evaluaciones previas y estándares de debido cuidado. Tercera zona: incentivos de mercado que llevan a toda una industria a tolerar un riesgo conocido; requiere regulación. Cuarta zona: intención maliciosa, que se resuelve con fiscalización y sanción.

Y esta no es una clasificación estática. Lo que en 2015 era un problema honestamente desconocido puede ser negligencia en 2020. Lo que ayer era “malo” mañana puede ser “feo” solo porque ahora sabemos más. La era de la IA exige flexibilidad, maleabilidad, y una actualización ética constante.

¿Qué implica esto en la práctica? Primero, la idea de que “la herramienta se equivocó” no es defensa: los contratos con proveedores de software deben definir quién responde, con qué datos se entrenó el modelo y cómo se audita. Hay una exigencia de transparencia base, y de consideración de riesgos previsibles. Segundo, ningún cálculo estructural, presupuesto o documento contractual generado con IA debería salir sin la firma de un profesional que lo revisó, lo evaluó, y lo validó. Tercero, quienes están involucrados en la implementación de iniciativas, soluciones, y procesos (trabajadores, prevencionistas, jefes de terreno) deben tener voz y voto al implementar estas tecnologías, porque son los primeros en notar cuándo algo falla y en identificar riesgos contextuales que muchas veces escapan la visión global de la gobernanza basada en principios organizacionales.

Así, lo bueno, lo malo y lo feo convivirán por mucho tiempo. Por tanto, entender las dimensiones de responsabilidad a las que se expone la industria es fundamental para tomar decisiones estratégicas y éticas. El desafío hoy es encontrar puntos de equilibrio entre la innovación y la prevención de riesgo asociado al uso de IA, entendiendo que hay gradientes de responsabilidad que pueden ir mutando en el tiempo, pero que hay mínimos morales que podemos proteger en estas transiciones y que deben ser fortalecidos por una regulación clara y centrada en el riesgo hacia la sociedad.