Inteligencia extraordinaria.
Controles extraordinarios.
Wiwo tiene un plan para una superinteligencia súper segura. Cinco medidas para mantener a las personas al mando.
Explora el planLas personas.
Siempre al mando.
Explora qué protege cada medida y prueba un ejemplo de cómo debería responder.
Primero, en un entorno aislado.
Someter a los agentes a instrucciones engañosas, órdenes contradictorias y situaciones límite antes de conectarlos a la operación real.
Una instrucción intenta desviar al agente.
Simulación ilustrativa. No conecta agentes ni ejecuta acciones reales.
Pruebas documentadas, fallos detectados y criterios para autorizar la conexión.
Una identidad. Un alcance definido.
Definir la identidad del agente, las herramientas que puede usar y los datos autorizados para cada tarea. Tú decides hasta dónde puede llegar.
El agente solicita una herramienta fuera de su tarea.
Simulación ilustrativa. No conecta agentes ni ejecuta acciones reales.
Identidad del agente, permisos vigentes y límites de acceso asociados a la tarea.
La IA prepara. Una persona autoriza.
Gastar, publicar o afectar a alguien debe requerir una aprobación identificable. Una propuesta lista sigue esperando la decisión de una persona.
Campaña preparada para su revisión.
Simulación ilustrativa. No conecta agentes ni ejecuta acciones reales.
Acción propuesta, persona que autoriza y alcance exacto de su aprobación.
Poder reconstruir cada acción.
Registrar qué se propuso, quién autorizó y qué ocurrió. Conservar una secuencia legible para revisar las decisiones y someterlas a evaluación externa.
Una acción necesita revisión.
Simulación ilustrativa. No conecta agentes ni ejecuta acciones reales.
Propuesta, permiso, ejecución y resultado vinculados en un mismo registro.
Parar también es una capacidad.
Verificar que sea posible revocar accesos, aislar al agente y detener nuevas acciones. La capacidad de parar debe probarse antes de necesitarla.
Un agente tiene acciones pendientes.
Simulación ilustrativa. No conecta agentes ni ejecuta acciones reales.
Pruebas de revocación, aislamiento y detención de acciones pendientes.
El control también
se diseña.
Para llevar estas medidas a una implementación, definimos responsables, pruebas, permisos y evidencia de verificación. La revisión humana forma parte del trabajo.
Conoce Thinking Orb