En resumen, ¿qué no se puede hacer con la Inteligencia Artificial?

No al uso de IA para el análisis de datos biométricos sensibles.

Significa que nadie podrá analizar a las personas basándose en características sensibles como creencias políticas, religiosas y raciales. Esta prohibición tiene como objetivo prevenir la discriminación y el abuso relacionados con la identificación biométrica.

No al scraping de imágenes no dirigidas.

Significa que está prohibido recopilar imágenes faciales de Internet o de cámaras de CCTV para crear bases de datos de reconocimiento facial sin objetivos específicos. Esto es para proteger la privacidad y evitar la vigilancia masiva.

No al uso de la IA para reconocer emociones.

El reconocimiento de emociones está prohibido en lugares de trabajo e instituciones educativas. Esta medida tiene como objetivo proteger la dignidad y la libertad emocional de las personas.

No al scoring social y a las técnicas de manipulación.

Las personas no podrán ser analizadas por el sistema de IA en función de comportamientos o características personales, así como de técnicas que tengan como objetivo manipular el comportamiento humano.

No al uso de IA para atacar al personal más vulnerable.

Está prohibido el uso de sistemas de IA que tengan como objetivo explotar las vulnerabilidades de las personas, como la edad, la discapacidad, la situación social o económica. Esta prohibición es crucial para proteger a los grupos vulnerables de posibles abusos.

Prohibida la vigilancia policial predictiva.

Estamos cerca de Minority Report. Prácticas como el reconocimiento de emociones y la vigilancia policial predictiva están expresamente prohibidas, lo que refleja una preocupación por la privacidad y la integridad personal.

 

Y ahora las excepciones. ¿Qué pueden hacer la policía y los organismos encargados de hacer cumplir la ley?

Sólo en casos excepcionales podrá utilizar sistemas de reconocimiento biométrico. Estas incluyen situaciones de amenaza terrorista inminente, la búsqueda de víctimas de delitos graves o el enjuiciamiento de delitos graves. Las excepciones para el cumplimiento de la ley van acompañadas de salvaguardias reforzadas para prevenir abusos. Esto implica una mayor supervisión y restricciones en el uso de la IA con fines de vigilancia.
La policía podrá utilizar sistemas de identificación biométrica (RBI) para clasificar a las personas en función de categorías específicas como sexo, edad, color de cabello y ojos, tatuajes, origen étnico u orientación sexual o política. Podrá hacerlo en espacios accesibles al público con fines policiales, tanto «en tiempo real», es decir, adquiriendo datos y clasificándolos en directo, como «post-remoto», es decir, utilizando datos ya adquiridos.

En este último caso, el reconocimiento facial debe «utilizarse rigurosamente en la búsqueda selectiva de una persona condenada o sospechosa de haber cometido un delito grave».

En cambio, los sistemas de inteligencia artificial se pueden utilizar para analizar datos relacionados con delitos, pero con limitaciones. Estos sistemas deben operar con datos anónimos y no deben usarse para perfilar individuos específicos.

Las obligaciones de la policía.

En caso de uso de sistemas de IA, los organismos encargados de hacer cumplir la ley deben notificar dicho uso a las autoridades independientes responsables del seguimiento, para garantizar la transparencia y la rendición de cuentas. Además, incluso después de que se apruebe el uso de sistemas de IA, se requiere un seguimiento continuo para garantizar que el uso cumple con las normas y no viola derechos fundamentales.

Las obligaciones de los sistemas de alto riesgo y los deberes de los ciudadanos

Los sistemas de IA clasificados como de alto riesgo deben someterse a una evaluación de impacto sobre los derechos fundamentales, garantizando que sus operaciones no socaven los derechos humanos fundamentales. Por ejemplo, los sistemas de inteligencia artificial utilizados para influir en el resultado de las elecciones o en el comportamiento de los votantes se clasifican como de alto riesgo y requieren una mayor supervisión y regulación.

Los ciudadanos tienen derecho a presentar quejas sobre decisiones tomadas por sistemas de inteligencia artificial de alto riesgo que afecten sus derechos, garantizando la transparencia y la rendición de cuentas. Se requiere supervisión humana para los sistemas de alto riesgo, garantizando que las decisiones automatizadas no causen daños no deseados. Además, quienes produzcan sistemas de alto riesgo deberán proporcionar documentación técnica detallada, incluidos los procesos operativos y las medidas de seguridad. Los desarrolladores y usuarios de sistemas de IA de alto riesgo deben cumplir con altos estándares de calidad y seguridad para mitigar los riesgos asociados con el uso de dichas tecnologías.

Las obligaciones de la GpAi.

La Ley de IA utiliza los FLOP como criterio para clasificar los modelos de IA, centrándose en sus capacidades computacionales en lugar de en su facturación. Esto identifica patrones con un impacto significativo. Como hemos explicado, se distingue entre modelos de IA de alto impacto, que requieren obligaciones rigurosas, y modelos más pequeños, con requisitos menos estrictos. En los modelos de alto impacto existen obligaciones como la evaluación del modelo, la mitigación del riesgo sistémico y la ciberseguridad. Y se requiere transparencia en los procesos de capacitación y el intercambio de documentación técnica antes del lanzamiento al mercado.

Las excepciones para la investigación, para las pymes y la importancia de los entornos de pruebas regulatorios.

Los modelos utilizados exclusivamente con fines de investigación están excluidos de algunas de estas restricciones, lo que permite una mayor libertad en la investigación y el desarrollo. La Ley de IA prevé la creación de zonas de pruebas regulatorias, que son entornos donde las empresas pueden experimentar con soluciones de IA en condiciones del mundo real, pero con exenciones regulatorias, para promover la innovación. Se hacen excepciones específicas para las pequeñas y medianas empresas para facilitar la adaptación a las nuevas regulaciones, reconociendo sus limitaciones de recursos en comparación con los gigantes de la industria.

 

Fabio Ciabattini

fonte Enfoque de la comunidad europea hacia la IA – AI ACT