El 23 y 24 de mayo la Royal Aeronautical Society organizó un evento llamado "Future Combat Air & Space Capabilities Summit" en Londres. Allí 70 ponentes ofrecieron charlas diversas sobre el futuro del combate aéreo, y en una de ellas se habló de un supuesto experimento que recordaba a la IA asesina de Skynet en 'Terminator 2'. Las cosas no eran (ni mucho menos) tan terribles como las pintaba.
Tucker ‘Cinco’ Hamilton. Este coronel de la USAF es el máximo responsable de las pruebas de IA en este organismo militar. Sabe algo del tema: él fue el encargado de dirigir el desarrollo del sistema Autonomous Ground Collision Avoidance Systems (Auto-GCAS) de los F-16 que permite evitar que estos aviones se estrellen y que ya ha salvado vidas. También es parte del equipo de trabajo que quiere desarrollar un F-16 autónomo con el que se han logrado algunos éxitos.
Un experimento muy hipotético. Según Vice, durante su charla Hamilton pareció apuntar que la Fuerza Aérea había realizado una simulación con un resultado terrible. En ella habrían entrenado un dron autónomo controlado por IA para identificar y destruir la amenaza de misiles tierra-aire (SAM). Un operador de la simulación confirmaría el objetivo antes de acabar con él, pero entonces pasó algo.
La IA que "mató" al humano. Resultó que si el operador ordenaba que no se acabase con esa amenaza, la IA acababa matando al operador humano porque conseguía puntos al acabar con la amenaza original. Al detectar esa situación, se reprogramaría la IA para especificar que no podía matar al operador, y perdería puntos por ello. ¿Qué hizo la IA? Destruir la torre de comunicaciones que el operador usaba para comunicarse con el dron para evitar que no acabara con la amenaza y el objetivo.
No hubo ni muertes, ni siquiera simulación. La historia publicada en Vice provocó cierto revuelo en redes sociales como Reddit, donde rápidamente se comentó que estábamos asistiendo a ese terrible momento en el que una IA decide acabar con el ser humano como ya hacía Skynet en "Terminator 2". Sin embargo la portavoz de la Fuerza Aárea Ann Stefanek negó en Insider que hubiera tenido lugar tal simulación. "Parece que los comentarios del coronel se sacaron de contexto y pretendían ser anecdóticos", explicó. Ni hubo muerte de un ser humano en la vida real —como parecían dar a entender algunos titulares—, ni en la simulación, porque ni siquiera hubo tal simulación. Todo fue una historia distópica. ¿Para qué?
Debemos estar alerta. Aunque el coronel Hamilton no ha llegado a explicar por qué sus palabras se sacaron de contexto, todo apunta a que contó esa historia para alertar del peligro de la aplicación de la IA en el ámbito militar. En una entrevista con Defence IQ Press en 2022 el propio Hamilton explicó que "la IA también es muy frágil, es decir, es fácil de engañar y/o manipular. Tenemos que desarrollar formas de hacer que la IA sea más robusta y tener más conciencia de por qué el código de software está tomando ciertas decisiones...".
El maximizador de clips. El escenario descrito con Hamilton recuerda a distopías previas en las que queda patente que el alineamiento de la IA —que haga lo que queremos— es más complejo de lo que parece porque podemos no especificar bien todo ese escenario. En 2003 el filósofo Nick Bostrom —que planteó que hay un 50% de que vivamos en una simulación— habló del "maximizador de clips", un experimento según el cual una IA acabaría rebelándose contra el ser humano al perseguir un objetivo concreto. En ese caso, a una potente IA se le ordenaba que fabricase tantos clips como fuese posible. La IA mentiría, rogaría, o haría trampas para maximizar la producción, pero incluso acabaría matando a los humanos porque decidiría que ellos podrían acabar apagándola.
Así pues, cuidado. El planteamiento de Hamilton es por tanto similar al de Bostrom, y nos recuerda que a la hora de desarrollar sistemas como estos es necesario tener muchísima precaución: alinearlos con los objetivos humanos no es tan fácil como parece: podemos olvidarnos de tener en cuenta algún factor, y eso provocaría un impacto impredecible. Afortunadamente en este caso todo se ha quedado en esa "anécdota", pero el aviso está ahí. El propio Sam Altman, CEO de OpenAI, lo dejó claro en su reciente comparecencia ante el Congreso de los EEUU: "creo que si esta tecnología va mal, puede ir bastante mal".
Imagen | Wikipedia
En Xataka | EuroMALE: así es el dron del futuro militar de Europa en el que España invertirá 1.900 millones de euros
-
La noticia De Skynet, nada: la IA no se ha vuelto loca y ha matado a un ser humano. Ni siquiera era una simulación fue publicada originalmente en Xataka por Javier Pastor .
via Xataka https://ift.tt/2xjlfrU
No hay comentarios:
Publicar un comentario