Todo sistema de gestión ISO tiene una apreciación de riesgos, y una empresa que ya opera ISO 27001 espera que la norma de IA pida lo mismo con un sustantivo nuevo. Lo pide, en el apartado 6.1.2, y después pide algo de lo que la norma de seguridad no tiene versión: una evaluación, por sistema de IA, de lo que el sistema podría hacer a las personas a las que afecta y a la sociedad, no a la empresa. Ese es el apartado 6.1.4, la evaluación de impacto de un sistema de IA, y es el apartado que hace de ISO 42001 una norma distinta y no ISO 27001 con la palabra "IA" insertada. Este artículo lee el apartado y los controles que hay detrás, expone los tres niveles de consecuencias y cómo es una valoración en cada uno, muestra dónde se encuentra la evaluación con el Reglamento de IA, enumera los errores que señala un auditor y remite a la página gratuita que redacta la evaluación para un sistema en el orden del apartado.

Lo que pide el apartado, y por qué no tiene contraparte en ISO 27001

El apartado 6.1.4 pide a la empresa que defina un proceso para evaluar las consecuencias potenciales de sus sistemas de IA para los individuos, para los grupos de individuos y para la sociedad, que ejecute ese proceso, que conserve los resultados como información documentada y que los use: los impactos alimentan la apreciación de riesgos de 6.1.2, el tratamiento de 6.1.3 y el ciclo de vida del capítulo 8, donde 8.4 realiza la evaluación en operación tal como 6.1.4 la planificó. Cuatro controles del anexo A llevan el mismo asunto: uno pide el proceso y cuándo debe ejecutarse, otro la conservación de cada resultado, otro la evaluación del daño a individuos y a grupos identificables, y otro el daño más allá de las personas que usan el sistema, a la sociedad. La razón por la que no hay contraparte en ISO 27001 es la dirección del daño. Un riesgo de seguridad es un daño a la información de la empresa y, a través de ella, a la empresa; el registro pregunta qué probabilidad y qué gravedad para nosotros. Un impacto de IA es un daño que el sistema de la empresa causa a otro, una persona rechazada, mal clasificada, perfilada o mal informada, un grupo tratado peor en promedio, un público que pierde algo de lo que dependía, y puede que la empresa no lo sienta en absoluto. La norma pide por eso un segundo registro con otro sujeto, y un auditor que encuentra los impactos escritos como líneas del registro de riesgos de seguridad, con la empresa como única parte en riesgo, escribe a la vez un hallazgo sobre 6.1.4 y sobre los dos controles de daño.

Los tres niveles, y cómo es una valoración en cada uno

La norma nombra los tres niveles; la empresa decide cómo valorarlos, y una probabilidad y una gravedad por nivel es la valoración más pequeña que todavía permite leer un resultado. Individuos: lo que el sistema hace a una persona, un cliente, un candidato, un empleado, un paciente, un lector, y a sus datos, su seguridad, sus derechos, su dinero y su reputación. Un clasificador de tickets de soporte que califica un ticket como prioridad baja por error hace esperar a un cliente; un modelo de crédito que puntúa mal a un solicitante rechaza un préstamo; la gravedad difiere en órdenes de magnitud, y la valoración lo dice. Grupos: efectos que solo aparecen a escala de una población, que es donde vive la mayor parte del daño que los sistemas de IA causan realmente, un idioma, una región, una edad, una discapacidad, un género, un segmento de clientes tratado peor en promedio porque los datos de entrenamiento o los umbrales lo tratan peor. Los casos individuales parecen correctos uno a uno; la valoración de grupo es la línea que lleva a la empresa a medir la precisión por grupo en vez de en conjunto. Sociedad: las consecuencias más allá de los usuarios y de la empresa, el medio ambiente, el debate público, el empleo en un sector, la confianza en un servicio del que la gente depende, y para la mayoría de los sistemas internos la valoración honesta es baja con una frase que dice por qué, que es mejor registro que un nivel dejado en blanco. La evaluación sopesa después los beneficios para las mismas personas, porque un resultado que solo lee el daño no puede decir por qué el sistema funciona siquiera, fija las medidas que limitan el daño y la supervisión humana que atrapa lo que las medidas dejan pasar, y lee contra ellas la más alta de las seis valoraciones: aceptable tal como está el sistema, aceptable con las medidas, que pasan entonces a ser acciones con un responsable y una fecha, o no aceptable, en cuyo caso cambian la finalidad, el diseño o las medidas y la evaluación se escribe de nuevo.

Dónde se encuentra la evaluación con el Reglamento de IA

El Reglamento de IA no pide una evaluación de impacto ISO 42001 e ISO 42001 no pide cumplimiento del Reglamento de IA; los dos se encuentran en el registro. Según el artículo 27, algunos responsables del despliegue de sistemas de IA de alto riesgo, entre ellos los organismos públicos y los operadores privados de servicios públicos, y los responsables del despliegue de los sistemas de crédito y seguros que enumera el anexo, evalúan el impacto sobre los derechos fundamentales antes del primer uso, nombrando el proceso, el periodo, las personas afectadas, los riesgos de daño, la supervisión humana y qué ocurre si el daño se materializa. Cada uno de esos elementos es una sección de la evaluación 6.1.4 ya redactada, así que el registro del sistema de gestión es la entrada del registro legal, y la empresa que tiene el primero redacta el segundo en una tarde. Según el artículo 50, un sistema que interactúa con personas o genera contenido lleva una obligación de transparencia, y la línea de medidas de la evaluación es donde la empresa registra cómo se informa a las personas afectadas. Y si un sistema es de alto riesgo o no es una lectura de las listas del Reglamento que la empresa hace y registra, con su fecha, de modo que la evaluación lleva la lectura junto a los impactos sin pretender ser asesoramiento jurídico. La página gratuita registra cuatro lecturas, aún sin leer, alto riesgo, obligación de transparencia, ninguna de las dos, y escribe la consecuencia de cada una en el resultado; la página del artículo 27 decide si la evaluación sobre los derechos fundamentales se debe siquiera, y la página de alto riesgo lee un sistema frente a las listas.

Los errores que señala un auditor

La evaluación escrita como una línea del registro de riesgos, con la empresa como única parte en riesgo, lo que falla el sujeto del apartado. Consecuencias escritas solo para los individuos, de modo que falta el nivel de grupo, donde vive el control propio de la norma. Cada nivel valorado sin una frase que diga en qué consiste el daño, de modo que la valoración no puede comprobarse. Los beneficios omitidos, de modo que el resultado es una lista de daños sin balance. Las medidas escritas como intenciones y no como acciones con un responsable y una fecha, de modo que la siguiente auditoría las encuentra sin cambios. Evaluado una vez, en el lanzamiento, y nunca más, aunque el modelo, los datos y los usuarios cambiaron. Ningún inventario de sistemas de IA, de modo que nadie puede decir qué sistemas tienen evaluación y cuáles no, y el auditor muestrea el que no la tiene. Supervisión humana nombrada en la evaluación y ausente en la práctica, el agente que revisa cada borrador con carga normal y ninguno en los picos. Y la lectura según el Reglamento de IA decidida dentro de la evaluación como si fuera una determinación jurídica, o ausente de ella como si el Reglamento no se aplicara; el registro quiere la lectura de la empresa, fechada, con el razonamiento, y nada más. Cada uno de estos errores se evita redactando la evaluación en el orden del apartado y dejando un nivel vacío en vez de saltarlo, porque un nivel vacío se ve y uno saltado no.

Qué hacer con ello

Introduzca el sistema en la página gratuita: la empresa, el sistema, el papel de la empresa, en qué punto está el sistema, el responsable y las fechas; la finalidad prevista y el uso indebido razonablemente previsible; las personas a las que afecta; para cada uno de los tres niveles una probabilidad, una gravedad y en qué consiste el daño; los beneficios, las medidas y la supervisión humana; el resultado y la lectura según el Reglamento de IA. La página redacta la evaluación en el orden del apartado, con los datos y las valoraciones en el enlace y el texto libre en la página, y deja un nivel vacío como un hueco por completar. Cópiela, haga que la lean el responsable y alguien que no construyó el sistema, archívela como la información documentada del sistema y ponga la fecha de revisión en el calendario. StandardOS mantiene una evaluación por sistema de IA en el inventario, con los grupos afectados, la finalidad, el uso indebido previsible y las consecuencias como campos, las medidas como acciones, la fecha de revisión en el calendario y la lectura según el Reglamento de IA al lado, de modo que los controles del anexo A sobre evaluación de impacto quedan evidenciados por el propio registro; la política de IA promete las evaluaciones, y la lista de controles es donde están los cuatro controles detrás de este.