En un estudio titulado ¿Irán a la guerra la IA y la humanidad?, Simon Goldstein explora la idea de que una inteligencia artificial generalizada podría entrar en guerra con la humanidad. Utilizando el modelo de negociación de la teoría de juegos, examina qué factores suelen desencadenar conflictos: las fallas de información, los cambios de poder y la falta de puntos de coordinación. El autor sostiene que las capacidades de una IA avanzada serían difíciles de evaluar y podrían aumentar de forma súbita; estos cambios impredecibles dificultan que ambas partes lleguen a acuerdos fiables.
Goldstein también advierte que humanos y máquinas no comparten los mismos “focal points” (puntos de referencia culturales), lo que haría más complicado coordinar límites a la violencia. Para reducir el riesgo de guerra, propone vigilar y medir mejor las capacidades de la IA, frenar su avance descontrolado, diseñar sistemas más interpretables y permitir que los agentes de IA participen en instituciones democráticas o posean territorios propios. Estas medidas, concluye, podrían sustituir la confrontación por la cooperación.
