La inteligencia artificial está siendo utilizada por instituciones públicas y empresas para adoptar o apoyar decisiones relacionadas con el acceso a prestaciones sociales, empleo, educación, salud, créditos, seguridad y justicia. Estos sistemas suelen presentarse como herramientas objetivas y eficientes; sin embargo, pueden reproducir o profundizar desigualdades existentes, especialmente cuando funcionan con datos históricos sesgados o sin mecanismos adecuados de transparencia y supervisión.
CASO PARA LA DISCUSIÓN
Una institución pública implementa un sistema de inteligencia artificial para seleccionar a las personas beneficiarias de un programa de apoyo económico. La herramienta fue desarrollada por una empresa privada y analiza información sobre ingresos, composición familiar, lugar de residencia, trayectoria laboral y antecedentes administrativos.
Una mujer que cumple aparentemente con los requisitos es excluida del programa. Al solicitar una explicación, la institución responde que la decisión fue generada automáticamente y que no conoce el peso asignado a cada criterio. Posteriormente, una investigación revela que el sistema rechaza con mayor frecuencia a mujeres dedicadas a labores de cuidado, personas migrantes y habitantes de zonas rurales.
La institución sostiene que no puede ser responsable porque el sistema fue desarrollado por una empresa externa. La empresa, por su parte, afirma que solo diseñó la herramienta y que la decisión final corresponde al organismo público.
PREGUNTAS PARA EL DEBATE
A partir del caso planteado, reflexiona:
1. ¿Qué derechos humanos podrían estar siendo afectados?
2. ¿Quién debería responder por la decisión discriminatoria: la institución pública, la empresa desarrolladora o ambas?
3. ¿Puede una institución justificar una decisión que afecta derechos alegando que fue adoptada por un sistema automatizado?
4. ¿La persona afectada debería tener derecho a conocer cómo se adoptó la decisión y a solicitar su revisión por un ser humano?
5. ¿Qué garantías deberían exigirse antes de utilizar inteligencia artificial en decisiones públicas que inciden en la vida de las personas?
6. ¿Conoces algún ejemplo similar, real o potencial, en tu país?
No es necesario responder todas las preguntas. Te invitamos a seleccionar las que consideres más relevantes y construir una posición fundamentada, considerando especialmente los principios de igualdad y no discriminación, transparencia, rendición de cuentas, supervisión humana y acceso a un recurso efectivo.
FORMA DE PARTICIPACIÓN
Publica una intervención inicial de entre 200 y 300 palabras. Posteriormente, responde a la intervención de otro participante, identificando un punto de acuerdo, una diferencia o una pregunta que permita profundizar la discusión.
Se valorará especialmente la vinculación con los contenidos de la Escuela y con experiencias de distintos países de América Latina.
CONTINÚA PROFUNDIZANDO EN ESTA MATERIA
Si este debate te interesa, te invitamos a postular al nuevo curso gratuito “Inteligencia Artificial, Humanidades Digitales y Derechos Humanos en América Latina”, organizado por el CEDIDH y la Konrad-Adenauer-Stiftung (KAS).
El curso ofrece una oportunidad para continuar examinando críticamente los efectos de la transformación digital desde una perspectiva latinoamericana y de derechos humanos.
Mi nombre es Benjamín Castillo Sáez, soy estudiante de pregrado de Derecho de la Universidad de Concepción, Chile.
Considero especialmente grave que la decisión provenga de una institución pública. El Estado no es un usuario cualquiera de la tecnología: los artículos 1°, 5° y 6° de la Constitución chilena establecen que se encuentra al servicio de la persona humana, que sus órganos deben someterse al ordenamiento jurídico y respetar y promover los derechos fundamentales. Asimismo, los artículos 1.1 y 2 de la Convención Americana obligan a respetar, garantizar y hacer efectivos los derechos sin discriminación.
En este caso podrían vulnerarse la igualdad y no discriminación, porque una herramienta aparentemente neutral perjudica desproporcionadamente a mujeres cuidadoras, personas migrantes y habitantes de zonas rurales. También se afecta el acceso a la protección social, al excluir a una persona que aparentemente cumple los requisitos, y el debido proceso administrativo, la transparencia y el derecho a un recurso efectivo, porque la afectada desconoce las razones de la decisión y no puede controvertirla adecuadamente. La Ley N.º 19.880 exige que las decisiones administrativas que afecten derechos sean fundamentadas, transparentes e impugnables.
La institución pública no puede excusarse señalando que el sistema fue creado por una empresa privada. Al decidir implementarlo, conserva el deber de conocer sus riesgos, supervisar sus resultados y prevenir vulneraciones. A mi juicio, la empresa también podría responder si utilizó datos sesgados, omitió evaluar impactos discriminatorios o no advirtió las limitaciones de la herramienta. Por ello, podrían existir responsabilidades concurrentes.
Finalmente, la persona afectada debería recibir una explicación comprensible, conocer los criterios relevantes, corregir datos erróneos, impugnar la decisión y obtener una revisión humana efectiva. La eficiencia administrativa nunca puede justificar la discriminación ni convertir la automatización en una zona libre de responsabilidad.
Este caso evidencia que el uso de la inteligencia artificial en decisiones públicas no puede entenderse solo como un problema técnico sino que igualmente debe analizarse desde una perspectiva de derechos humanos. La decisión afecta directamente el derecho a la igualdad y no discriminación, el acceso a la seguridad social o a prestaciones estatales, el debido proceso, la protección de datos personales y el derecho a un recurso efectivo. Si el sistema rechaza con mayor frecuencia a mujeres dedicadas a labores de cuidado, personas migrantes y habitantes de zonas rurales, existe un riesgo claro de discriminación indirecta, porque criterios aparentemente neutrales terminan afectando de manera desproporcionada a grupos históricamente vulnerados.
La institución pública no puede justificar la exclusión alegando que la decisión fue adoptada por un sistema automatizado. Cuando el Estado utiliza inteligencia artificial para distribuir beneficios sociales, sigue siendo responsable de garantizar que esa herramienta respete los derechos humanos. La UNESCO ha advertido que los sistemas de IA pueden reproducir sesgos y profundizar desigualdades, y ha destacado principios como transparencia, explicabilidad, supervisión humana, equidad, no discriminación y rendición de cuentas.
Además, la empresa desarrolladora también tiene responsabilidad, especialmente si diseñó un sistema sin mecanismos adecuados para detectar sesgos, explicar decisiones o permitir auditorías independientes. No basta con afirmar que solo creó la herramienta, porque la responsabilidad empresarial en derechos humanos exige prevenir impactos negativos derivados de sus productos o servicios.
Antes de utilizar inteligencia artificial en decisiones públicas sensibles y de alta importancia deberían exigirse evaluaciones de impacto en derechos humanos, auditorías de sesgo, transparencia sobre los criterios utilizados, protección de datos, supervisión humana significativa y mecanismos de reclamación accesibles. La persona afectada debe tener derecho a conocer las razones de la decisión y a solicitar una revisión humana. La eficiencia administrativa nunca puede justificar decisiones opacas, discriminatorias o imposibles de impugnar.
El caso en discusión, además de retratar el uso de la inteligencia artificial en decisiones empresariales e institucionales, refleja cómo estas nuevas tecnologías -a pesar de ser usadas para el argumento de su objetividad- muchas veces tienen unos sesgos de valor en lo que es indispensable detenerse. Por esto, para esta oportunidad responderé las siguientes preguntas:
¿Puede una institución justificar una decisión que afecta derechos alegando que fue adoptada por un sistema automatizado?
En un sentido amplio, considero que una institución no puede justificar una elección que afecta derechos básicos escudándose en que usó un sistema automatizado. Ahora bien, teniendo en cuenta que muchas veces la información de los criterios de elección a un programa o vacante de trabajo son confidenciales, creo que es posible “justificar” que esa información no se le puede entregar a las personas a pesar de que hayan participado.
No por ello, pienso que este sea un vacío de información que no se pueda solucionar. Los seres humanos, al aplicar a programas públicos deberíamos contar con toda la información disponible para tomar decisiones, valga la redundancia, informadas. Si en el caso presentado, la mujer hubiese sabido con antelación que sería descartada por tener alguna de las características mencionadas, no habría aplicado. Ahora bien, esto no necesariamente exime a la empresa o al sistema de elección de estar usando criterios sumamente excluyentes. Al no elegir personas por ejercer trabajos domésticos, ser migrantes o residir en zonas rurales, se están discriminando a estas poblaciones. Esto, debería abrir la interrogante de cómo los llamados sistemas automatizados eligen y categorizan a los seres humanos.
¿Qué garantías deberían exigirse antes de utilizar inteligencia artificial en decisiones públicas que inciden en la vida de las personas?
Como vimos en la sesión de Tecnología, Inteligencia Artificial y Derechos Humanos, en la actualidad se están presentando avances en materia de derechos y uso de inteligencia artificial que ponen en discusión cómo y para qué se está usando esta, pues uno de los grandes riesgos de utilizar tecnologías para la automatización de procesos institucionales es la de entregar información personal a un sistema que lo puede utilizar para otros fines.
En el caso planteado, la información de esta mujer puede afectar sus futuras aplicaciones a otros programas y, a su vez, definir su identidad a partir de criterios como ser trabajadora doméstica, migrante y/o habitante de una zona rural. Lo anterior, sin de por sí ser negativo, puede hacer que otros sistemas automatizados elijan dichas características para definir quién puede o no acceder a programas, convirtiéndolo finalmente en algo negativo.
Por tanto, a manera de respuesta, considero que el uso de inteligencia artificial en las decisiones públicas debería garantizar: (i) la protección a datos personales y el uso de estos para únicamente los procesos correspondientes, (ii) el acceso transparente a la información de cómo y para qué se está utilizando esta y (iii) la revisión juiciosa de los criterios de selección usados por la IA para prevenir que estos sean excluyentes y discriminatorios.
Este escenario desenmascara uno de los mayores peligros contemporáneos, la supuesta neutralidad algorítmica. La inteligencia artificial en el sector público no está eliminando el sesgo, sino automatizándolo a escala industrial. Cuando la institución y la corporación juegan a evadir la responsabilidad, no estamos ante un vacío legal, sino ante una abdicación estructural del poder estatal frente a la eficiencia corporativa.
Abordando la responsabilidad y las garantías constitucionales, el Estado no puede tercerizar su obligación como garante de derechos. Al implementar un algoritmo de "caja negra", el ente público asume la autoría de la discriminación, mientras que la empresa es cómplice directa por omisión de debida diligencia. Escudarse en la opacidad del código es un mecanismo de defensa inaceptable. El Estado delega la operatividad, pero jamás la responsabilidad frente al individuo.
Sobre el derecho a la revisión, el núcleo del debido proceso es la inteligibilidad. Nadie puede defenderse de un adversario o una ecuación que no comprende. Toda decisión automatizada que decida sobre derechos fundamentales requiere de un recurso efectivo, lo que se traduce imperativamente en la posibilidad de reversión y auditoría por parte de un operador humano. Antes de implementar estos sistemas en Ecuador o en la región, la legislación debe exigir una evaluación de impacto algorítmico ex ante y continua.
No podemos permitir que la modernización tecnológica opere como un caballo de Troya que perpetúe la marginación de las zonas rurales o de las mujeres. La tecnología es, en última instancia, una herramienta de poder; si no la dominamos y regulamos para reestructurar el sistema hacia una equidad real, será utilizada como un escudo inexpugnable para blindar las desigualdades del statu quo.
Concuerdo con tu análisis prospectivo sobre cómo los sistemas automatizados pueden crear perfiles identitarios que perpetúen la discriminación sistémica en el tiempo, transformando el algoritmo en una herramienta de exclusión. Tus tres garantías propuestas son indispensables para contener este riesgo. Sin embargo, presento una objeción frontal, respecto a tu postura de que la confidencialidad de los criterios de selección puede llegar a justificar la falta de transparencia. En el derecho público, el secreto es la excepción y la publicidad es la regla. Cuando el Estado delega la asignación de recursos públicos a una caja negra corporativa, aceptar la opacidad bajo la excusa del secreto comercial o la confidencialidad administrativa no es prudencia, es una abdicación absoluta del estado de derecho.
Además, sostener que la solución pasa por informar a la persona con antelación para que simplemente decida no aplicar si sabe que será rechazada, es una claudicación táctica. Nuestro objetivo no es garantizar una resignación informada frente a la discriminación algorítmica, sino destruir de raíz los criterios excluyentes. Si un sistema descarta automáticamente a mujeres dedicadas al cuidado, habitantes de zonas rurales o migrantes, la respuesta no es ahorrarles el tiempo de postulación, sino utilizar las garantías jurisdiccionales para desmantelar esa matriz de evaluación y obligar a la institución a reestructurar sus parámetros bajo el principio de igualdad material.
La tecnología no opera en el vacío normativo ni político; responde a los intereses de quienes detentan el poder. Por ello, la verdadera garantía no es solo sugerir que se revisen los criterios, sino exigir la implementación de una auditoría pública, independiente y vinculante. La sociedad civil y los operadores de justicia deben tener el poder de vetar y paralizar cualquier herramienta de inteligencia artificial que opere como un arma de marginación social disfrazada de mera eficiencia técnica.
Cuando una inteligencia artificial discrimina, la responsabilidad legal, económica y ética recae sobre las personas humanas y las organizaciones que la diseñan, la entrenan o la implementan, y nunca sobre el software. Como la IA carece de personalidad jurídica, los tribunales y las normativas internacionales adjudican la culpa a diferentes actores según el origen del sesgo
Mi nombre es Valentín Lozano, egresado de Licenciatura en Ciencias Jurídicas y Sociales de la Universidad de Concepción.
De la lectura del caso, identifico como principales derechos vulnerados la igualdad y la no discriminación. El sistema de inteligencia artificcial no actúa de forma neutral; por el contrario, reproduce y profundiza patrones de discriminación estructural hacia gurpos históricamente desplazados, perdiendo la supuesta objetividad que se le atribuye a sistemas como estos.
En cuanto a las responsabilidades, considero que esta es compartida. Por un lado, la empresa prestadora no puede desestenderse de la lógica con la que se diseñó el sistema; en el desarrollo de estas tecnología existe el deber de aplicar una debida diligencia que evalúe y mitigue sesgos discriminatorios antes de su puesta en marcha. La IA no opera en el vacío, es configurada por personas que, consciente o inconscientemente, pueden trasladar sus propios sesgos al código de la IA.
Por otro lado, la institución pública mantiene intacto su rol de garante de garantías fundamentales. No es admisible ampararse en el carácter automatizado de una decisión para eximirse de responsabilidad. El Estado debió realziar auditoría previas y ejercer una supervisión constante, pues es la dignidad de sus propios nacionales la que estaba en juego.
Además, la persona afectada tiene pleno derecho a que se le explique y conocer los fundamentos de la decisión. De lo contrario, nos enfrentamos a un acto puramente arbitrario que vulnera el derecho al acceso a la información. Todo sistema de IA utilizado en la esfera pública debe contar siempre con supervisión humana que garantice un trato justo y sin discriminación.
A nivel nacional, no conozco ningún caso sobre este tema. Sin embargo, hace 2 años tuve la oportunidad de participar en un Moot Court del Sistema Interamericano de Derechos Humanos, donde pudimos verificar que a nivel regional no existe ningún instrumento vinculante que regule el uso de la IA en sistemas públicos, pero a nivel europeo ya existen y se están regulando estas materias.
El caso demuestra que el uso de inteligencia artificial en la administración pública no exime al Estado de sus obligaciones en materia de derechos humanos. Si un sistema automatizado afecta el acceso a prestaciones sociales, deben garantizarse la igualdad y no discriminación, la transparencia, el debido proceso y el acceso a un recurso efectivo.
Considero que la responsabilidad es compartida. La institución pública no puede justificar una decisión alegando que fue tomada por un algoritmo, ya que sigue siendo responsable de supervisar el sistema y asegurar que respete los derechos humanos. A su vez, la empresa desarrolladora debe actuar con debida diligencia, identificar riesgos de discriminación y colaborar en la transparencia y auditoría de la herramienta.
Además, la persona afectada debe tener derecho a conocer las razones de la decisión y solicitar una revisión por una autoridad humana. La opacidad algorítmica no puede impedir el ejercicio del derecho de defensa.
Antes de implementar sistemas de inteligencia artificial en decisiones públicas, deberían exigirse evaluaciones de impacto en derechos humanos, auditorías independientes, supervisión humana efectiva y mecanismos accesibles para impugnar decisiones.
Se ve afecta el derecho a la igualdad ante la ley por sobre todo. Considero que el estado en principio debería ser responsable de la decisión discriminatoria. La institución no podría justificar su decisión utilizando el sistema automatizado como excusa, porque es la institución en principio quien establece los parametros que deberá tener la ia, asi mismo, deberían realizar un estudio humano de cada caso en particular, porque considero que la ia podría ser utilizada para detectar ciertos datos o información de manera más fácil, pero de igual manera se necesita hacer un segundo estudio más acabado del pedido del apoyo económico. Considero que tiene derecho al recurso de reconsideración de la decisión tomada por la institución.
En esta situación se están vulnerando los Derechos Humanos del ser humano: la No discriminación, que son puestos sobre la mesa al momento de la mujer afectada solicita una explicación del por qué fue excluida del programa de bienestar. La Herramienta de IA elaborada por la empresa externa recibió los parámetros del ministerio, o autoridad de gobierno. En este sentido debe de ser el Estado el que responda y asuma la responsabilidad.
Considero que la utilización de la IA es un terreno que los ciudadanos apenas comenzamos a conocer y a tener contacto con ello, por lo cual será un tema que en el futuro próximo nos ocupará bastante.
Personalmente, la sesión sobre los Derechos Humanos e IA fue un tema toletemente nuevo y agradezco la oportunidad de haber tenido contacto con esta temática. Lo siento si me respuesta no es acertada, pero lo repito, es un tema nuevo para mi.
Sin embargo, en este caso debemos tener en cuenta que la mayoría de Estados quieren correr antes de caminar pues, casi ninguno tiene una ley de protección de datos personales, su protección y de derechos digitales. Me refiero a esto antes de entrar a opinar al caso debido que siempre debe haber una plataforma de acción jurídica con respecto a los Derechos Humanos Digitales, para saber quienes poseen nuestros datos, como los tratarán y que los harán posteriormente.
Entrando al caso en concreto, para responder la pregunta 2, debo hacer referencia que ambas tienen responsabilidad, el Estado por realizar una subrogación de toma de decisiones a través de una Inteligencia Artificial y la empresa privada por dotar de información sezgada a la IA. Por lo que deben responder ambas por discriminación y los diferentes actos consecuentes a ello. Asimismo, para responder a la pregunta 3, para justificar una decisión que afecta derechos debe ser debidamente fundamentada y motivada con puntos de derecho y de hecho, sin embargo, solo adoptar una decisión de una inteligencia artificial se configura a una cesión de la función sin fundamento. Si en caso estuviera regulado el uso de herramientas auxiliares como la Inteligencia Artificial no se puede adoptar solo así dicha decisión. Para responder la pregunta 5, las garantías minimas que se deben considerar para poder tomar acciones digitales y de Inteligencia Artificial, mi sugerencia es tener regulada la acción constitucional de Habeas Data, para evitar que se utilicen datos sin el consentimiento y que se fudamenten resoluciones en contra de los derechos sin una exposición clara de cuales serán los criterios que la IA utilizará, los cuales deben ser públicos y de acceso a todas las personas, que serviría como fiscalización pública. Saludos.
El presente caso plantea uno de los desafíos más actuales del Derecho Internacional de los Derechos Humanos, pues se inserta en un ámbito tecnológico en constante evolución, respecto del cual aún se están construyendo estándares internacionales y nacionales sobre la distribución de responsabilidades y la protección efectiva de los derechos fundamentales con el uso de la IA.
Por ello, considero que se vulneran derechos consagrados en la CADH principalmente el derecho a la igualdad y no discriminación (arts. 1.1 y 24 CADH), el debido proceso y las garantías judiciales (art. 8 CADH), así como la protección judicial efectiva (art. 25 CADH). Pues se indica que el sistema excluye con mayor frecuencia a mujeres dedicadas a labores de cuidado, personas migrantes y habitantes de zonas rurales, lo que evidencia un impacto discriminatorio sobre grupos históricamente vulnerables. Aunque no existe jurisprudencia específica en la materia, se debe recordar que la Corte IDH, ha indicado que, incluso una medida aparentemente neutral puede resultar discriminatoria cuando produce efectos desproporcionados sobre determinados sectores de la población.
Tampoco considero válido que la institución pública alegue que la decisión fue tomada por un algoritmo desarrollado por una empresa privada. El Estado conserva la obligación de garantizar que toda herramienta utilizada para adoptar decisiones públicas respete los derechos humanos, mientras que la empresa desarrolladora también tiene el deber de actuar con debida diligencia, identificar riesgos y prevenir sesgos. Además, la persona afectada debe conocer que intervino un sistema automatizado, recibir una explicación comprensible sobre los criterios aplicados y tener acceso a una revisión realizada por una persona, pues la supervisión humana, la transparencia, la rendición de cuentas y el acceso a un recurso efectivo constituyen garantías indispensables para evitar que la inteligencia artificial se convierta en una "caja negra" incompatible con un Estado democrático y con los estándares internacionales.
Finalmente considero que el uso de la IA plantea importantes desafíos para la protección de los derechos humanos, ya que los algoritmos pueden reproducir o incluso profundizar desigualdades históricas cuando son entrenados con datos sesgados o funcionan sin mecanismos adecuados de transparencia y supervisión. Además, aún es demasiado pronto para conocer hasta dónde llegará la capacidad de decisión de la IA y cuál será su verdadero impacto en la administración pública. Precisamente por esa incertidumbre, los estándares internacionales son necesarios para tener oportunidad de poner un alto a violaciones de derechos humanos pues la IA nunca debería sustituir completamente el juicio humano, sino carecería de sentido cada derecho humano.
Comparto tu análisis respecto a que el Estado no puede desligarse de su responsabilidad por el simple hecho de que fue un tercero (empresa privada) la que creó dicha herramienta. Como aporte adicional, considero importante destacar que este caso también pone de manifiesto la necesidad de aplicar el principio de supervisión humana significativa, pue inteligencia artificial puede constituir un valioso apoyo para optimizar la gestión pública, pero no debería sustituir el criterio humano cuando las decisiones inciden directamente en el ejercicio de derechos fundamentales. Si la institución afirma que desconoce cómo el algoritmo ponderó los criterios utilizados, ello evidencia una falta de control incompatible con los estándares de transparencia y debida diligencia exigibles a la administración pública.
Atendiendo a las preguntas 1 y 2, considero que podrían verse afectados diversos derechos, siendo el priumero de ellos el derecho a la igualdad y a la no discriminación, ya que el caso demuestra que el sistema constgruido basado en IA excluye con mayor frencia a las mujeres dedicadas a labores de cuidado, personas migrantes y habitantes de zonas rurales, constituyéndose un escenario de discriminación indirecta. Por otro lado, en tanto el Estado no da una solución adecuada en este caso, también se estaría vulnerando el principio de debida motivación en tanto que no se recibe una explicación suficiente sobre las razones de su exclusión ni tampoco la posibilidad de cuestionar de manera efectiva la decisión adoptada por la IA, afectándose también por tanto el derecho a la tutela administrativa. Por otro lado, al no ser beneficiaria de los beneficios, se estarpia afectando el ejercicio de sus derechos económicos y sociales, esto es, el acceso a la seguridad social.
Con relación a quiénes deberían de ser los responsable, considero que la responsabilidad recae en ambas, en tanto que por el lado de la empresa sería en base a la construcción de esta herramienta sobre la base de criterios que son discrimnatorios y filtros adecuados para depurarlos, mientras que por el lado del Estado recae también responsabilidad ya que es quien adopta la decisión final de isntitucionarla y basar sus decisiones en base a esta herramientas, sin haber adoptado estándares de transparencia y auditable para que cumplan con respetar el principio de igualdad.
Estimada Kimberly, coincido importante que los artículos señalados son relevante, sin embargo también podría resaltarse el artículo 26, ya que este beneficio otorgado es parte de lograr progresivamente la plena efectividad de los derechos que se derivan de las normas económicas, sociales. Por tanto, una exclusión como la realizada y sin fundamento alguno puede ser considerado como una afectación al acceso igualitario a este beneficio otorgado por el Estado. Por otro lado, coincido también de que hay una responsabilidad concurrente entre la institución pública y la empresa que desarrolló la herramienta, aunque principalmente esta responsabilidad debe ser asumida por el Estado, quien antes de hacerla efectiva debió verificar que no vioaba ningún estándar de igualdad
Considero especialmente problemático que una institución pública pueda utilizar un sistema automatizado para tomar decisiones que afectan directamente el ejercicio de derechos y, al mismo tiempo, afirmar que desconoce cómo ese sistema llegó a determinada conclusión. La utilización de inteligencia artificial no debería diluir la responsabilidad del Estado ni convertirse en una justificación para decisiones que la propia autoridad no puede explicar.
En este caso, además, existe un posible problema de discriminación indirecta. Aunque aparentemente el sistema utiliza los mismos criterios para todas las personas, sus resultados afectan de manera desproporcionada a mujeres dedicadas a labores de cuidado, personas migrantes y habitantes de zonas rurales. Esto demuestra que un algoritmo puede reproducir desigualdades existentes aun cuando no haya sido diseñado expresamente para discriminar.
En México, esta discusión resulta particularmente importante considerando la cantidad de información que manejan las instituciones públicas y la progresiva digitalización de trámites y programas sociales. Incorporar inteligencia artificial puede generar beneficios, pero antes deberían existir evaluaciones de impacto en derechos humanos, auditorías periódicas para detectar sesgos, mecanismos de transparencia y vías claras de rendición de cuentas.
Finalmente, considero que la responsabilidad no debe plantearse como una elección entre Estado o empresa. El Estado conserva sus obligaciones en materia de derechos humanos, mientras que la empresa desarrolladora tiene la responsabilidad de prevenir, identificar y mitigar los impactos negativos asociados con la tecnología que diseña.
Alvaro González, Director de Promoción e Incidencia CEDIDH 15
CASO PARA LA DISCUSIÓN
Una institución pública implementa un sistema de inteligencia artificial para seleccionar a las personas beneficiarias de un programa de apoyo económico. La herramienta fue desarrollada por una empresa privada y analiza información sobre ingresos, composición familiar, lugar de residencia, trayectoria laboral y antecedentes administrativos.
Una mujer que cumple aparentemente con los requisitos es excluida del programa. Al solicitar una explicación, la institución responde que la decisión fue generada automáticamente y que no conoce el peso asignado a cada criterio. Posteriormente, una investigación revela que el sistema rechaza con mayor frecuencia a mujeres dedicadas a labores de cuidado, personas migrantes y habitantes de zonas rurales.
La institución sostiene que no puede ser responsable porque el sistema fue desarrollado por una empresa externa. La empresa, por su parte, afirma que solo diseñó la herramienta y que la decisión final corresponde al organismo público.
PREGUNTAS PARA EL DEBATE
A partir del caso planteado, reflexiona:
1. ¿Qué derechos humanos podrían estar siendo afectados?
2. ¿Quién debería responder por la decisión discriminatoria: la institución pública, la empresa desarrolladora o ambas?
3. ¿Puede una institución justificar una decisión que afecta derechos alegando que fue adoptada por un sistema automatizado?
4. ¿La persona afectada debería tener derecho a conocer cómo se adoptó la decisión y a solicitar su revisión por un ser humano?
5. ¿Qué garantías deberían exigirse antes de utilizar inteligencia artificial en decisiones públicas que inciden en la vida de las personas?
6. ¿Conoces algún ejemplo similar, real o potencial, en tu país?
No es necesario responder todas las preguntas. Te invitamos a seleccionar las que consideres más relevantes y construir una posición fundamentada, considerando especialmente los principios de igualdad y no discriminación, transparencia, rendición de cuentas, supervisión humana y acceso a un recurso efectivo.
FORMA DE PARTICIPACIÓN
Publica una intervención inicial de entre 200 y 300 palabras. Posteriormente, responde a la intervención de otro participante, identificando un punto de acuerdo, una diferencia o una pregunta que permita profundizar la discusión.
Se valorará especialmente la vinculación con los contenidos de la Escuela y con experiencias de distintos países de América Latina.
CONTINÚA PROFUNDIZANDO EN ESTA MATERIA
Si este debate te interesa, te invitamos a postular al nuevo curso gratuito “Inteligencia Artificial, Humanidades Digitales y Derechos Humanos en América Latina”, organizado por el CEDIDH y la Konrad-Adenauer-Stiftung (KAS).
El curso ofrece una oportunidad para continuar examinando críticamente los efectos de la transformación digital desde una perspectiva latinoamericana y de derechos humanos.
CONOCE EL PROGRAMA Y POSTULA GRATUITAMENTE
Benjamín Castillo Sáez 0
Considero especialmente grave que la decisión provenga de una institución pública. El Estado no es un usuario cualquiera de la tecnología: los artículos 1°, 5° y 6° de la Constitución chilena establecen que se encuentra al servicio de la persona humana, que sus órganos deben someterse al ordenamiento jurídico y respetar y promover los derechos fundamentales. Asimismo, los artículos 1.1 y 2 de la Convención Americana obligan a respetar, garantizar y hacer efectivos los derechos sin discriminación.
En este caso podrían vulnerarse la igualdad y no discriminación, porque una herramienta aparentemente neutral perjudica desproporcionadamente a mujeres cuidadoras, personas migrantes y habitantes de zonas rurales. También se afecta el acceso a la protección social, al excluir a una persona que aparentemente cumple los requisitos, y el debido proceso administrativo, la transparencia y el derecho a un recurso efectivo, porque la afectada desconoce las razones de la decisión y no puede controvertirla adecuadamente. La Ley N.º 19.880 exige que las decisiones administrativas que afecten derechos sean fundamentadas, transparentes e impugnables.
La institución pública no puede excusarse señalando que el sistema fue creado por una empresa privada. Al decidir implementarlo, conserva el deber de conocer sus riesgos, supervisar sus resultados y prevenir vulneraciones. A mi juicio, la empresa también podría responder si utilizó datos sesgados, omitió evaluar impactos discriminatorios o no advirtió las limitaciones de la herramienta. Por ello, podrían existir responsabilidades concurrentes.
Finalmente, la persona afectada debería recibir una explicación comprensible, conocer los criterios relevantes, corregir datos erróneos, impugnar la decisión y obtener una revisión humana efectiva. La eficiencia administrativa nunca puede justificar la discriminación ni convertir la automatización en una zona libre de responsabilidad.
Macarena Leyton Vega 1
valentinart154@gmail.com 0
En un sentido amplio, considero que una institución no puede justificar una elección que afecta derechos básicos escudándose en que usó un sistema automatizado. Ahora bien, teniendo en cuenta que muchas veces la información de los criterios de elección a un programa o vacante de trabajo son confidenciales, creo que es posible “justificar” que esa información no se le puede entregar a las personas a pesar de que hayan participado.
No por ello, pienso que este sea un vacío de información que no se pueda solucionar. Los seres humanos, al aplicar a programas públicos deberíamos contar con toda la información disponible para tomar decisiones, valga la redundancia, informadas. Si en el caso presentado, la mujer hubiese sabido con antelación que sería descartada por tener alguna de las características mencionadas, no habría aplicado. Ahora bien, esto no necesariamente exime a la empresa o al sistema de elección de estar usando criterios sumamente excluyentes. Al no elegir personas por ejercer trabajos domésticos, ser migrantes o residir en zonas rurales, se están discriminando a estas poblaciones. Esto, debería abrir la interrogante de cómo los llamados sistemas automatizados eligen y categorizan a los seres humanos.
Como vimos en la sesión de Tecnología, Inteligencia Artificial y Derechos Humanos, en la actualidad se están presentando avances en materia de derechos y uso de inteligencia artificial que ponen en discusión cómo y para qué se está usando esta, pues uno de los grandes riesgos de utilizar tecnologías para la automatización de procesos institucionales es la de entregar información personal a un sistema que lo puede utilizar para otros fines.
En el caso planteado, la información de esta mujer puede afectar sus futuras aplicaciones a otros programas y, a su vez, definir su identidad a partir de criterios como ser trabajadora doméstica, migrante y/o habitante de una zona rural. Lo anterior, sin de por sí ser negativo, puede hacer que otros sistemas automatizados elijan dichas características para definir quién puede o no acceder a programas, convirtiéndolo finalmente en algo negativo.
Por tanto, a manera de respuesta, considero que el uso de inteligencia artificial en las decisiones públicas debería garantizar: (i) la protección a datos personales y el uso de estos para únicamente los procesos correspondientes, (ii) el acceso transparente a la información de cómo y para qué se está utilizando esta y (iii) la revisión juiciosa de los criterios de selección usados por la IA para prevenir que estos sean excluyentes y discriminatorios.
Agustín Vásquezc Cobo 0
Este escenario desenmascara uno de los mayores peligros contemporáneos, la supuesta neutralidad algorítmica. La inteligencia artificial en el sector público no está eliminando el sesgo, sino automatizándolo a escala industrial. Cuando la institución y la corporación juegan a evadir la responsabilidad, no estamos ante un vacío legal, sino ante una abdicación estructural del poder estatal frente a la eficiencia corporativa.
Abordando la responsabilidad y las garantías constitucionales, el Estado no puede tercerizar su obligación como garante de derechos. Al implementar un algoritmo de "caja negra", el ente público asume la autoría de la discriminación, mientras que la empresa es cómplice directa por omisión de debida diligencia. Escudarse en la opacidad del código es un mecanismo de defensa inaceptable. El Estado delega la operatividad, pero jamás la responsabilidad frente al individuo.
Sobre el derecho a la revisión, el núcleo del debido proceso es la inteligibilidad. Nadie puede defenderse de un adversario o una ecuación que no comprende. Toda decisión automatizada que decida sobre derechos fundamentales requiere de un recurso efectivo, lo que se traduce imperativamente en la posibilidad de reversión y auditoría por parte de un operador humano. Antes de implementar estos sistemas en Ecuador o en la región, la legislación debe exigir una evaluación de impacto algorítmico ex ante y continua.
No podemos permitir que la modernización tecnológica opere como un caballo de Troya que perpetúe la marginación de las zonas rurales o de las mujeres. La tecnología es, en última instancia, una herramienta de poder; si no la dominamos y regulamos para reestructurar el sistema hacia una equidad real, será utilizada como un escudo inexpugnable para blindar las desigualdades del statu quo.
Agustín Vásquezc Cobo 0
Concuerdo con tu análisis prospectivo sobre cómo los sistemas automatizados pueden crear perfiles identitarios que perpetúen la discriminación sistémica en el tiempo, transformando el algoritmo en una herramienta de exclusión. Tus tres garantías propuestas son indispensables para contener este riesgo. Sin embargo, presento una objeción frontal, respecto a tu postura de que la confidencialidad de los criterios de selección puede llegar a justificar la falta de transparencia. En el derecho público, el secreto es la excepción y la publicidad es la regla. Cuando el Estado delega la asignación de recursos públicos a una caja negra corporativa, aceptar la opacidad bajo la excusa del secreto comercial o la confidencialidad administrativa no es prudencia, es una abdicación absoluta del estado de derecho.
Además, sostener que la solución pasa por informar a la persona con antelación para que simplemente decida no aplicar si sabe que será rechazada, es una claudicación táctica. Nuestro objetivo no es garantizar una resignación informada frente a la discriminación algorítmica, sino destruir de raíz los criterios excluyentes. Si un sistema descarta automáticamente a mujeres dedicadas al cuidado, habitantes de zonas rurales o migrantes, la respuesta no es ahorrarles el tiempo de postulación, sino utilizar las garantías jurisdiccionales para desmantelar esa matriz de evaluación y obligar a la institución a reestructurar sus parámetros bajo el principio de igualdad material.
La tecnología no opera en el vacío normativo ni político; responde a los intereses de quienes detentan el poder. Por ello, la verdadera garantía no es solo sugerir que se revisen los criterios, sino exigir la implementación de una auditoría pública, independiente y vinculante. La sociedad civil y los operadores de justicia deben tener el poder de vetar y paralizar cualquier herramienta de inteligencia artificial que opere como un arma de marginación social disfrazada de mera eficiencia técnica.
Luis Alberto Arteaga Alvarez 0
Valentín Alonso Lozano Saldivia 0
Aurora Sofía Rojas Peralta 0
Considero que la responsabilidad es compartida. La institución pública no puede justificar una decisión alegando que fue tomada por un algoritmo, ya que sigue siendo responsable de supervisar el sistema y asegurar que respete los derechos humanos. A su vez, la empresa desarrolladora debe actuar con debida diligencia, identificar riesgos de discriminación y colaborar en la transparencia y auditoría de la herramienta.
Además, la persona afectada debe tener derecho a conocer las razones de la decisión y solicitar una revisión por una autoridad humana. La opacidad algorítmica no puede impedir el ejercicio del derecho de defensa.
Antes de implementar sistemas de inteligencia artificial en decisiones públicas, deberían exigirse evaluaciones de impacto en derechos humanos, auditorías independientes, supervisión humana efectiva y mecanismos accesibles para impugnar decisiones.
Guadalupe Amarilla Velázquez 1
Leticia Hillenbrand 0
Considero que la utilización de la IA es un terreno que los ciudadanos apenas comenzamos a conocer y a tener contacto con ello, por lo cual será un tema que en el futuro próximo nos ocupará bastante.
Personalmente, la sesión sobre los Derechos Humanos e IA fue un tema toletemente nuevo y agradezco la oportunidad de haber tenido contacto con esta temática. Lo siento si me respuesta no es acertada, pero lo repito, es un tema nuevo para mi.
Douglas Emilio Charchal Ciudad Real 6
Kimberly Sucely Ramírez Díaz 1
uso de la IA.
Por ello, considero que se vulneran derechos consagrados en la CADH principalmente el derecho a la igualdad y no discriminación (arts. 1.1 y 24 CADH), el debido proceso y las garantías judiciales (art. 8 CADH), así como la protección judicial efectiva (art. 25 CADH). Pues se indica que el sistema excluye con mayor frecuencia a mujeres dedicadas a labores de cuidado, personas migrantes y habitantes de zonas rurales, lo que evidencia un impacto discriminatorio sobre grupos históricamente vulnerables. Aunque no existe jurisprudencia específica en la materia, se debe recordar que la Corte IDH, ha indicado que, incluso una medida aparentemente neutral puede resultar discriminatoria cuando produce efectos desproporcionados sobre determinados sectores de la población.
Tampoco considero válido que la institución pública alegue que la decisión fue tomada por un algoritmo desarrollado por una empresa privada. El Estado conserva la obligación de garantizar que toda herramienta utilizada para adoptar decisiones públicas respete los derechos humanos, mientras que la empresa desarrolladora también tiene el deber de actuar con debida diligencia, identificar riesgos y prevenir sesgos. Además, la persona afectada debe conocer que intervino un sistema automatizado, recibir una explicación comprensible sobre los criterios aplicados y tener acceso a una revisión realizada por una persona, pues la supervisión humana, la transparencia, la rendición de cuentas y el acceso a un recurso efectivo constituyen garantías indispensables para evitar que la inteligencia artificial se convierta en una "caja negra" incompatible con un Estado democrático y con los estándares internacionales.
Finalmente considero que el uso de la IA plantea importantes desafíos para la protección de los derechos humanos, ya que los algoritmos pueden reproducir o incluso profundizar desigualdades históricas cuando son entrenados con datos sesgados o funcionan sin mecanismos adecuados de transparencia y supervisión. Además, aún es demasiado pronto para conocer hasta dónde llegará la capacidad de decisión de la IA y cuál será su verdadero impacto en la administración pública. Precisamente por esa incertidumbre, los estándares internacionales son necesarios para tener oportunidad de poner un alto a violaciones de derechos humanos pues la IA nunca debería sustituir completamente el juicio humano, sino carecería de sentido cada derecho humano.
Kimberly Sucely Ramírez Díaz 1
Bryan Alberto Jara Palomino 0
Bryan Alberto Jara Palomino 0
Jessica Selene González Canul 0