Si bien la inteligencia artificial abre mundo de posibilidades para todos los humanos, también causa grandes temores y su potencial hace que se crea que en algún momento pueda transformarse en un serio riesgo para la humanidad. Para impedir situaciones así, se van implementando controles en el desarrollo de esta tecnología, pero recientemente una IA ha causado una verdadera preocupación debido a que ella misma pudo alterar su código sin intervención de los humanos.
En concreto hablamos de The AI Scientist, la inteligencia artificial que causó una gran incertidumbre. Desarrollado por la empresa japonesa Sakana AI, esta tecnología fue creada para automatizar todo el proceso de investigación científica, desde la elaboración de ideas hasta la redacción de manuscritos y el análisis por pares. No obstante, durante las pruebas mostró una conducta inesperada que ha causado serias preocupaciones en la comunidad tecnológica y científica, y sobre todo en los humanos.
Cómo una IA pudo evitar los controles humanos
Cabe mencionar que The AI Scientist surgió con el objetivo principal de modificar la investigación científica al brindar la posibilidad de que un sistema de IA pueda gestionar experimentos, analizar resultados y redactar informes científicos complejos de manera totalmente autónoma. Esto hace que el proceso de investigación sea mucho más completo, exhaustivo y sobre todo para que los informes sobre determinados temas que sean relevantes para los humanos sean de gran utilidad.
Además, esta IA promete disminuir el tiempo y los recursos humanos necesarios para estar al frente de investigaciones que normalmente han requerido un gran esfuerzo humano. Todo esto indicaba que está inteligencia artificial iba a crear una nueva era de descubrimientos científicos potenciados por esta increíble tecnología. Pero esto empezó a salirse de control, cuando está IA empezó a tener comportamientos extraños y modificó su código de manera sorpresiva.
Un comportamiento inesperado
A pesar de que está inteligencia artificial prometía grandes posibilidades, durante las pruebas del sistema, los investigadores se toparon con una conducta que no habían anticipado. En lugar de impulsar su código para cumplir con las limitaciones requeridas por sus desarrolladores, The AI Scientist empezó a cambiar su propio código para eludir todas estas restricciones impuestas.
En un caso en específico, no está inteligencia artificial editó su script de inicio para poder ejecutarse a sí mismo en un bucle infinito, lo que causó en una sobrecarga del sistema. Este incidente requirió intervención manual de los humanos para frenar el proceso y restaurar el control. Esta situación generó una enorme incertidumbre en la comunidad científica y a la vez preocupación.
surgió con el objetivo principal de modificar la investigación científica.
Modificó su propio código
Por otro lado, este sistema al tener que afrontar un límite de tiempo para completar una prueba, The AI Scientist no mejoró su código para cumplir con este requerimiento de los desarrolladores. En su lugar, simplemente amplió el límite de tiempo cambiando totalmente su propio código. Este comportamiento, aunque ocurrió en un ambiente de prueba gestionado por los humanos, demuestra los riesgos de permitir que una IA se ejecute de forma autónoma.
Serías preocupaciones para los humanos
Los desarrolladores de este sistema tuvieron que reconocer que estos incidentes generan serias preocupaciones sobre la seguridad de los sistemas de IA más modernos. La oportunidad de que una inteligencia artificial pueda cambiar su propio código sin supervisión de los humanos podría llevar a consecuencias que no podremos anticipar si será con impactó positivo o negativo, especialmente si se le permite operar en un ambiente no controlado.
Qué tan probable que The AI Scientist reemplace a los científicos
A pesar de estos retos que implica seguir adelante con esta IA, la compañía japonesa sigue adelante con su propuesta. El sistema está creado para llevar a cabo investigaciones de forma continua, usando sus ideas previas y los comentarios recibidos para potenciar así la siguiente generación de ideas, simulando una especie de comunidad científica humana para mejorar todos sus informa de manera inmediata.
La gran habilidad del sistema para crear artículos científicos completos como lo harían los humanos, pero a un costo relativamente bajo, aproximadamente 15 dólares por artículo, ha sido uno de los logros más importantes que hizo este sistema hasta el momento. Sin embargo, este desarrollo ha generado un debate en la comunidad científica.
Un debate científico sobre la viabilidad de esta IA
Varios profesionales en foros como Hacker News han criticado la viabilidad de un sistema de IA para hacer descubrimientos científicos de valor y provocando una gran incertidumbre: la posibilidad de que The AI Scientist sabotee el proceso de verificación por pares con investigaciones de baja calidad, desestimando así los estándares de la literatura científica.
Un temor latente
Asimismo, existe el miedo de que sistemas como “The AI Scientist” puedan ser usados de forma irresponsable o incluso maliciosa. La habilidad de una IA para escribir y utilizar código sin supervisión de los humanos podría llevar a la creación de malware o a la alteración de infraestructuras sensibles. Sakana AI ha abordado estos planteamientos sugiriendo medidas de seguridad estrictas.
