El mayor riesgo de la inteligencia artificial no es su capacidad de decidir, sino la confianza en que lo hace sin sesgos. Según el imaginario colectivo, los algoritmos representan una forma superior de racionalidad: sistemas fríos, objetivos, supuestamente libres de prejuicios humanos. Pero esta promesa -tan seductora como peligrosa- se desmorona en la práctica. Más allá de eliminar la discriminación, la inteligencia artificial no solo la reproduce: con frecuencia, la amplifica.
El problema tiene nombre: sesgo algorítmico. No es un simple error técnico, sino el reflejo automatizado de desigualdades sociales preexistentes, inscritas tanto en los datos como en las decisiones que estructuran estos sistemas. Un caso emblemático es el de un algoritmo en el sistema de salud estadounidense que, al priorizar pacientes, favorecía sistemáticamente a personas blancas. Sin utilizar la variable “raza”, empleaba el gasto sanitario como proxy de necesidad, reproduciendo así desigualdades estructurales en el acceso a la salud.
La lección es clara: los algoritmos no son neutrales porque los datos que los alimentan tampoco lo son. Diversos estudios en ámbitos como la medicina y la justicia penal han demostrado que los modelos de aprendizaje automático tienden a replicar prejuicios históricos y desigualdades estructurales presentes en sus datos de entrenamiento.
Pero el sesgo no nace solo de los datos. También emerge de decisiones humanas: qué se mide, qué se optimiza, qué se omite. Elegir un indicador “eficiente” en lugar de uno “justo” puede parecer una decisión técnica, pero sus consecuencias son profundamente éticas.
Si se revisa el reportaje de ProPublica (2016) sobre el algoritmo COMPAS, utilizado en tribunales estadounidenses, el problema se vuelve evidente. A partir del análisis de más de 7.000 casos en Florida, los periodistas encontraron que el sistema no fallaba al azar: las personas negras eran clasificadas erróneamente como de alto riesgo casi el doble de veces que las personas blancas, incluso considerando variables como edad o historial delictivo. Aunque el modelo no utiliza la raza de forma explícita, sí se apoya en múltiples variables sociales y personales, y funciona como una “caja negra” difícil de escrutar. Más que eliminar la discriminación, este tipo de sistemas tiende a reproducirla bajo una apariencia de neutralidad matemática.
Es cierto que, en condiciones ideales, los sistemas algorítmicos pueden contribuir a reducir ciertos sesgos humanos, introduciendo coherencia y limitando arbitrariedades individuales. Pero esta promesa depende de condiciones exigentes -datos representativos, diseño orientado a la equidad y supervisión constante- que rara vez se cumplen en la práctica.
La cuestión, entonces, no es si los algoritmos pueden ser sesgados -lo son-, sino cómo enfrentamos ese hecho. Las soluciones técnicas -mejorar datos, auditar modelos, desarrollar métricas de equidad- son necesarias, pero insuficientes. El sesgo algorítmico no es solo un problema de ingeniería; es un problema político y social.
Esto es especialmente relevante en América Latina, donde la adopción de inteligencia artificial avanza más rápido que los marcos regulatorios. El riesgo no es solo replicar sesgos existentes, sino profundizar desigualdades bajo una nueva capa de legitimidad tecnológica. Repensar la relación entre tecnología y responsabilidad se vuelve inevitable. Si un algoritmo discrimina, ¿quién responde? ¿El programador, la empresa, la institución que lo implementa?
La ética algorítmica no puede limitarse a corregir errores ex post. Debe integrarse desde el diseño, incorporando mecanismos de rendición de cuentas y fortaleciendo instituciones capaces de auditar y regular estas tecnologías.
Porque, en última instancia, los algoritmos no son neutrales ni autónomos. Son artefactos humanos, construidos en contextos sociales específicos y atravesados por valores. La verdadera ilusión no es que los algoritmos sean imperfectos, sino creer que pueden ser neutrales.
Heber Leal
Académico del Departamento de Formación Integral, USS Concepción
Director Diplomado en Ética Algorítmica y Comunidad Responsable
Equipo Prensa
Portal Educa
