Guía del análisis de riesgos exigido por el Reglamento de IA de la UE

Apúntate a nuestra próxima sesión en directo y consulta el archivo.

Gobierto crea herramientas para ayudar en el control y planificación de la contratación pública
‍
‍
Algunos recursos
‍
Glosario de contratación pública

Estudios Gobierto

Podcast Mesa de Contratación

‍

Consigue acceso gratuito a nuestro explorador de datos de contratación pública

Solicita acceso

Gobierto diseña y construye servicios digitales para administraciones públicas
‍
‍
Algunos recursos‍‍

Inteligencia artificial

‍

¿Usas o vas a usar sistemas de inteligencia artificial? Entonces tienes que evaluar tus obligaciones según tu rol y nivel de riesgo de los usos previstos.

El nuevo Reglamento de Inteligencia Artificial de la Unión Europea (Reglamento UE 2024/1689) establece un conjunto de obligaciones exigibles a quienes desarrollan, implementan o usan sistemas de IA en la UE.

Entre ellas, una de las más importantes —y menos conocidas— es la obligación de realizar un análisis de riesgos, especialmente si el sistema entra en la categoría de alto riesgo.

En esta guía te explicamos de forma clara y práctica:

Qué implica el enfoque basado en el riesgo del Reglamento.
Cómo saber si estás obligado a realizar un análisis de riesgos.
Qué pasos debes seguir para realizar un análisis de riesgos (artículo 9 del Reglamento).
Qué responsabilidades tienes como desplegador (usuario) de un sistema de IA.

1. Enfoque basado en el riesgo: ¿qué tipo de sistema de IA estás utilizando?

El Reglamento de IA de la UE adopta un enfoque gradual y proporcionado: no todas las aplicaciones de inteligencia artificial implican los mismos riesgos ni exigen el mismo nivel de control. Por eso, el Reglamento clasifica los sistemas de IA en cuatro categorías de riesgo, con diferentes consecuencias jurídicas:

Riesgo inaceptable → Prohibido

Sistemas que amenazan claramente los derechos, la seguridad o los medios de vida de las personas. Ejemplos:

Puntuación social por parte de autoridades públicas.
IA predictiva policial basada únicamente en perfiles personales.

Estos sistemas están directamente prohibidos por el artículo 5 del Reglamento.

Alto riesgo → Obligaciones estrictas

Sistemas utilizados en ámbitos sensibles como:

Infraestructuras críticas (energía, transporte).
Educación, empleo o acceso a servicios públicos esenciales.
Aplicación de la ley, migración o justicia.

Estos sistemas no están prohibidos, pero están sujetos a obligaciones exigentes de diseño, supervisión, documentación y, sobre todo, de gestión de riesgos (artículos 6 y 9; Anexo III).

Riesgo limitado → Transparencia

Sistemas que deben simplemente informar al usuario de que está interactuando con una IA. Ejemplos:

Chatbots que simulan atención humana.
Generadores de texto o imagen.

Aquí no se exige gestión de riesgos, pero sí se aplican obligaciones específicas de transparencia, conforme a los artículos 50 y 52.1a del Reglamento:

Artículo 50: establece que los sistemas diseñados para interactuar con personas deben garantizar que el usuario sea informado de manera clara y comprensible de que está interactuando con una IA, a menos que esto sea obvio por el contexto.
Artículo 52.1: obliga a los proveedores de sistemas de IA que generen contenidos (texto, audio, imagen, vídeo) a informar de forma visible y accesible de que el contenido ha sido generado o manipulado artificialmente sin una revisión humana y asumpción de responsabilidad editorial, cuando su presentación como auténtico pueda inducir a error.

Estas obligaciones buscan proteger el derecho a la información y evitar que las personas sean engañadas o confundidas sobre si interactúan con humanos o con máquinas.

Riesgo mínimo o nulo → Sin obligaciones

La mayoría de las herramientas de IA generalista, asistentes de productividad o sistemas de análisis sin impacto significativo en derechos o servicios esenciales.

Aunque no se exigen obligaciones específicas de transparencia ni gestión de riesgos, el Reglamento sí establece en su artículo 4 que los proveedores y desplegadores deben garantizar que el personal implicado tenga un nivel suficiente de alfabetización en materia de IA, en función de su experiencia y del contexto de uso. Esto implica que incluso en sistemas de riesgo mínimo:

Los usuarios deben entender los principios básicos de funcionamiento del sistema.
Deben poder identificar usos indebidos o limitaciones del sistema.
Debe existir una mínima formación o sensibilización interna sobre el uso seguro y responsable de estas tecnologías.

Esta medida preventiva permite a las organizaciones anticiparse a futuros riesgos o usos indebidos, y refuerza una cultura de responsabilidad tecnológica en el sector público, asistentes de productividad o sistemas de análisis sin impacto significativo en derechos o servicios esenciales.

Primer paso: identifica la categoría de tu sistema de IA. Si cae en la categoría de alto riesgo, debes aplicar los pasos del análisis de riesgos que se explican a continuación.

2. Cómo hacer el análisis de riesgos paso a paso (Artículo 9 RIA)

Si tu sistema de IA ha sido clasificado como de alto riesgo, el Reglamento (artículo 9) te obliga a establecer, implementar y mantener un Sistema de Gestión de Riesgos.

Este sistema no consiste en hacer un informe único, sino en implantar un proceso continuo y cíclico que cubra todo el ciclo de vida del sistema.

Este sistema debe permitirte identificar qué puede fallar, qué daño podría causar ese fallo y cómo prevenirlo o corregirlo.

A continuación, te explicamos los pasos clave que exige el Reglamento, con el nivel de profundidad y enfoque práctico que necesitas para aplicarlo en tu organización.

Paso 1. Identifica el sistema de IA y su contexto de uso

(Artículo 9.2, letra a)

Empieza por delimitar con precisión qué sistema de IA estás utilizando, para qué lo usas, quién lo opera y en qué entorno:

¿Qué hace exactamente el sistema?
¿Lo ha desarrollado tu organización o lo habéis adquirido a un proveedor externo?
¿En qué fase del proceso administrativo se integra?
¿Qué decisiones apoya o automatiza?
¿A quiénes afecta y en qué medida?

Importante: El mismo sistema puede no ser de alto riesgo en un contexto, y sí serlo en otro. El análisis debe centrarse en el uso real y específico que tú haces del sistema.

Paso 2. Identifica los riesgos potenciales

(Artículo 9.2, letras b y c)

Aquí debes anticipar todas las formas en que el sistema podría causar daño o perjuicio, ya sea a nivel técnico, legal, ético o social. El Reglamento menciona expresamente los siguientes tipos de riesgo:

Riesgos para la salud o seguridad física (por ejemplo, errores en un sistema médico o en maquinaria).
Riesgos para los derechos fundamentales, como la igualdad de trato, la protección de datos, la libertad de expresión o el derecho a un juicio justo.
Sesgos injustos en los datos o en los modelos que generen resultados discriminatorios.
Falta de transparencia o trazabilidad, que impida saber por qué se ha tomado una decisión.
Vulnerabilidades de ciberseguridad, que permitan alterar el sistema o acceder indebidamente a datos sensibles.
Fallos de rendimiento, como errores, imprecisiones o resultados poco fiables en condiciones reales de uso.

Consejo: No analices solo el sistema “en laboratorio”. Analiza cómo se comporta y qué efectos puede tener en la práctica, con las personas reales y los datos reales que usas.

Paso 3. Evalúa cada riesgo: probabilidad e impacto

(Artículo 9.2, letra d)

Una vez identificados los riesgos, necesitas valorar dos cosas:

¿Qué tan probable es que ocurra ese riesgo, en tu entorno y condiciones de uso?
Si ocurre, ¿cuál sería la gravedad del impacto sobre las personas afectadas, sobre tu organización o sobre el interés público?

Lo ideal es usar una matriz de riesgos que combine ambas dimensiones y te ayude a priorizar: Riesgo, Impacto, Probabilidad.

Esta priorización es clave para saber qué riesgos requieren medidas inmediatas y cuáles pueden aceptarse con ciertas garantías.

Paso 4. Define e implementa medidas de mitigación

(Artículo 9.2, letra e)

El Reglamento exige que, para los riesgos significativos detectados, establezcas acciones concretas para prevenirlos o reducir sus efectos. Algunas medidas habituales son:

Revisar los contextos, instrucciones y datos de entrenamiento para controlar sesgos.
Incluir mecanismos de supervisión o revisión humana en decisiones sensibles.
Limitar el ámbito de uso del sistema (por ejemplo, no usarlo en ciertos casos).
Introducir validaciones adicionales o pruebas de estrés.
Aumentar los controles de acceso y medidas de ciberseguridad.
Garantizar la explicación de decisiones cuando proceda (explicabilidad).
Establecer canales de reclamación y rectificación de decisiones automatizadas.

Las medidas deben ser proporcionales al nivel de riesgo, y también documentadas, para poder demostrar que se han implementado.

Paso 5. Monitoriza y revisa continuamente

(Artículos 9.2, letras f y g; y artículo 72)

Un análisis de riesgos no es una foto fija, sino un proceso vivo. El Reglamento exige que:

Supervises de forma continua el comportamiento real del sistema en funcionamiento.
Recojas información sobre fallos, errores, quejas o incidentes.
Actualices el análisis y las medidas si cambian las condiciones de uso, si el sistema se reentrena o si se detectan nuevos riesgos.

Además, el artículo 72 establece la obligación de un sistema de vigilancia posterior al despliegue (“post-market monitoring”) para sistemas de alto riesgo, tanto para proveedores como para usuarios.

Un sistema puede ser conforme al principio, y dejar de serlo si no lo controlas. La clave es establecer procedimientos periódicos de revisión técnica y ética.

Paso 6. Documenta todo

(Artículos 11, 52.2 y Anexo IV)

Finalmente, debes conservar un expediente documental completo y actualizado sobre todo el proceso de gestión de riesgos. Este expediente debe incluir:

Descripción funcional y técnica del sistema.
Información sobre su proveedor y entorno de uso.
Metodología utilizada para el análisis de riesgos.
Listado de riesgos detectados y su evaluación.
Medidas adoptadas y pruebas realizadas.
Registro de revisión y actualizaciones.
Evidencia de que se han cumplido las obligaciones del desplegador.

Esta documentación no es solo un requisito burocrático: es tu herramienta de defensa en caso de inspección o reclamación.

3. Obligaciones del usuario (desplegador) de IA de alto riesgo

Si no desarrollas el sistema, pero lo usas en tu organización, el Reglamento te considera desplegador.
(Artículos 52 y 53)

Debes:

Usar el sistema conforme a las instrucciones del proveedor (art. 52.2a).
Garantizar la supervisión humana donde sea necesaria (arts. 14 y 52.2b).
Monitorizar el funcionamiento del sistema en la práctica (art. 52.2c).
Conservar los registros automáticos del sistema (logs) durante al menos 6 meses (art. 52.2d y Anexo IX).
Notificar incidentes graves a las autoridades nacionales competentes (art. 53.1).

Aunque el proveedor sea responsable del diseño, tú eres responsable del uso y de cómo ese sistema se comporta en tu entorno operativo.

4. Ejemplo práctico: análisis de riesgos en un sistema de IA para evaluar solicitudes de ayudas al alquiler

Una comunidad autónoma utiliza un sistema de IA proporcionado por un proveedor externo para preevaluar solicitudes de ayudas al alquiler.

El sistema clasifica automáticamente las solicitudes según criterios como ingresos, número de convivientes, historial de ayudas previas, etc.

Paso 1. Identificación

Sistema: Algoritmo de clasificación supervisado desarrollado por la empresa X.
Uso: Apoyar decisiones administrativas en convocatorias públicas.
Entorno: Aplicación web interna usada por técnicos.
Usuarios afectados: Personas en situación de vulnerabilidad económica.