La presencia de un humano al final del proceso no basta. La supervisión exige información, tiempo, competencia, capacidad de discrepancia y autoridad real para modificar o detener.
«La decisión final la toma una persona» es una de las frases más utilizadas para describir el control de sistemas de inteligencia artificial. Puede ser correcta y, sin embargo, explicar muy poco.
Una persona puede aparecer formalmente al final del proceso y no disponer de información suficiente, tiempo, herramientas, alternativas ni autoridad para cambiar el resultado. En ese caso hay presencia humana, pero la calidad de la supervisión debe analizarse con más precisión.
El AI Act no reduce la supervisión a un clic final
El Reglamento (UE) 2024/1689, en su régimen de sistemas de alto riesgo cuando resulta aplicable, desarrolla la función de supervisión humana en términos materiales. Entre los elementos relevantes aparecen la comprensión de capacidades y limitaciones, la vigilancia de anomalías, la atención al riesgo de confianza automática, la interpretación correcta del resultado y la capacidad de no utilizar, ignorar, sustituir o revertir el output, así como interrumpir el sistema cuando corresponda.
La conclusión operativa es importante: la supervisión se diseña como función, no como una firma al final de una cadena.
Eso no significa que el artículo 14 sea aplicable a todo sistema de IA. Significa que, cuando hablamos jurídicamente de supervisión efectiva, es insuficiente describir únicamente que «hay un humano en el circuito».
Cinco dimensiones que hay que comprobar
1. Información
El supervisor debe saber qué está viendo. Eso incluye, de forma proporcional al caso:
- qué función cumple el sistema;
- qué límites conocidos tiene;
- qué datos o fuentes intervienen;
- qué significa el score, recomendación o resultado;
- qué señales indican incertidumbre o anomalía;
- qué cambió respecto de versiones anteriores.
Un output sin contexto puede ser imposible de supervisar aunque una persona lo lea.
2. Tiempo
La posibilidad formal de revisar no sirve si el diseño del proceso hace materialmente imposible hacerlo.
Pensemos en una persona que debe validar cientos de decisiones por hora. Puede existir un botón de rechazo y, sin embargo, el ritmo esperado convertirlo en una opción excepcional o económicamente inviable.
La supervisión debe preguntarse por el tiempo real disponible, no por el tiempo teórico.
3. Competencia y herramientas
No basta con que el supervisor sea una persona. Tiene que poder entender el tipo de problema que revisa y disponer de mecanismos de contraste.
Si el sistema recomienda una conclusión jurídica, técnica, financiera o médica, la revisión requiere conocimientos y fuentes adecuados al efecto. Si el supervisor solo puede ver el output final y no puede consultar evidencia o información de respaldo, la capacidad de control puede ser limitada.
4. Discrepancia
La arquitectura debe permitir disentir de la IA sin convertir la discrepancia en una anomalía organizativa.
Esto afecta a interfaz, incentivos y cultura de trabajo. Si aceptar requiere un clic y discrepar exige redactar una justificación extensa, escalar a dos responsables y asumir retrasos, el sistema puede empujar estructuralmente hacia la aceptación automática.
El riesgo de sesgo de automatización no debe tratarse solo como una debilidad psicológica individual. También puede ser un resultado del diseño del proceso.
5. Autoridad
La persona debe poder producir una diferencia efectiva.
Según el contexto, eso puede significar:
- ignorar la recomendación;
- cambiar la decisión;
- exigir una segunda revisión;
- limitar una función;
- detener el sistema;
- escalar a otra autoridad;
- activar un protocolo de incidente.
Si la persona detecta un problema pero no puede modificar el efecto, su función se parece más a observación que a supervisión.
La prueba aparece después
Existe además una segunda capa: ¿podemos demostrar qué supervisión existió?
Tras un incidente o conflicto no basta con identificar al responsable nominal. Puede ser necesario reconstruir:
- qué información recibió;
- qué versión del sistema estaba operando;
- qué output vio;
- cuánto tiempo tuvo;
- qué alternativas estaban disponibles;
- si hubo alertas;
- si discrepó o corrigió;
- qué capacidad tenía para detener.
La supervisión efectiva es, por tanto, una función de gobierno y también una cuestión probatoria.
Criterio H&C
No utilizamos «human in the loop» como conclusión jurídica. Lo tratamos como una hipótesis que debe abrirse.
La pregunta correcta es:
¿qué podía conocer esa persona, con qué tiempo y herramientas, qué podía hacer si discrepaba y qué evidencia queda de ello?
La Matriz de supervisión humana efectiva ordena precisamente esas dimensiones.
Cuándo rediseñar el proceso
Hay señales claras de supervisión débil:
- casi todos los outputs se aceptan sin revisión sustantiva;
- no se muestran fuentes o contexto necesarios;
- el supervisor no conoce cambios de versión;
- discrepar es más costoso que aceptar;
- la carga hace inviable revisar;
- no existe registro de correcciones;
- nadie puede suspender;
- el proveedor controla la evidencia principal.
En esos casos el remedio no es añadir una frase a la política. Hay que rediseñar la función.
Una distinción que conviene conservar
No toda decisión asistida por IA exige la misma intensidad de supervisión y no todo sistema está sometido al régimen de alto riesgo del AI Act. La intensidad debe ser proporcional al efecto, al marco jurídico y al radio de consecuencias.
Pero una regla sí es general como criterio de arquitectura: si la organización afirma que una persona controla el sistema, debe poder explicar qué significa materialmente ese control.
Cuando no puede hacerlo, «el humano decide» es una descripción demasiado débil para sostener la gobernanza, la responsabilidad o la prueba.
Fuentes y referencias
Fuentes primarias
- Reglamento (UE) 2024/1689 de Inteligencia Artificial · texto consolidado · Derecho vigente