¿Programarías un software sabiendo que podrías perder el control sobre él?
Una IA sin botón de apagado
He acabado Cassandra, la última serie de Netflix sobre IA, y como ingeniera el planteamiento me ha dejado pensando (y con un poco de miedo 😨🤖).
La serie nos presenta una IA que no tiene interruptor de apagado: ella decide cuándo desconectarse. Cassandra es una IA con la conciencia volcada de una persona real, así que arrastra su inteligencia y sus sentimientos, pero también sus sesgos y sus traumas.
En la ficción, una IA con rencor es una potencial asesina. En la realidad técnica, una IA sin “botón rojo” es un riesgo sistémico.
De la ficción al riesgo sistémico
Estoy profundizando en mi formación sobre Gobernanza de la IA en la Escuela Superior de Informática, y hay un aspecto que no podemos perder de vista: la ética.
Pero cuidado, si la ética de la IA no se materializa a nivel práctico en el día a día de las organizaciones, es solo literatura. Para no construir sistemas que se nos escapen de las manos, los que lideramos tecnología tenemos que bajar la ética al barro de la arquitectura.
¿Y cómo se hace eso, en la práctica? Yo lo resumiría en tres frentes.
Capacidad de intervención humana (el “botón rojo”)
En gobernanza lo llamamos human-in-the-loop. A Cassandra no la puede apagar nadie, ni con chantajes. Ningún sistema crítico debería operar sin una supervisión humana efectiva y sin la capacidad técnica real de ser intervenido o frenado en seco.
No basta con que exista un botón en la documentación. Tiene que funcionar cuando hace falta, y alguien tiene que tener permiso (y criterio) para pulsarlo.
Gestión de sesgos algorítmicos
Cassandra arrastra el pasado de una persona real. Nuestras IAs arrastran los sesgos de los datos con los que las entrenamos. Sin estándares de calidad y normalización (como la ISO/IEC 42001), estamos automatizando prejuicios a escala, no eliminándolos.
Trazabilidad y explicabilidad
Necesitamos saber por qué la IA toma una decisión y no otra. La caja negra es el primer paso hacia una Cassandra fuera de control: si no puedes explicar una decisión, tampoco puedes auditarla, corregirla ni, llegado el caso, revertirla a tiempo.
Correr sin frenos no es velocidad
Como ingeniera, sé que correr sin frenos no es velocidad, es irresponsabilidad. La gobernanza no está para frenar la inteligencia artificial: está para asegurar que, pase lo que pase, el control siga siendo humano.
¿Estamos diseñando sistemas con botón rojo, o nos estamos dejando llevar por el hype y olvidando la seguridad básica?