GPT-5 Presents EXTREME RISK (Google's New Warning)

En este vídeo vamos a hablar de uno de los artículos de investigación más importantes que se han publicado, porque en él se analiza cómo será realmente el futuro de la inteligencia artificial. Es muy importante que veáis este video porque es probable que algunos de los resultados que se deriven de este artículo de investigación os afecten. Y no es una exageración. ¿De qué estamos hablando exactamente? Bueno, básicamente de la empresa DeepMind de Google, que es una rama del laboratorio de IA de Google, pero que ha participado en varios proyectos de guía de gran éxito que han tenido aplicaciones en el mundo real. Pero básicamente en este artículo hablan de que los próximos modelos que se van a entrenar son muy, muy arriesgados, del tipo de riesgos que plantean y de lo que debemos tener en cuenta, porque parece que nadie está prestando atención a estas cosas. Todo el mundo está centrado en la fiebre del oro de la IA. Y mucha gente no se da cuenta de lo peligrosos que son en realidad estos sistemas, ni de por qué lo que estamos construyendo es mucho más peligroso de lo que pensamos. El documento se llama Evaluación de modelos para riesgos extremos. Empieza diciendo que los enfoques actuales para construir sistemas de IA de propósito general tienden a producir sistemas con capacidades tanto beneficiosas como perjudiciales. Un mayor progreso en el desarrollo de la IA, como quizá GBT y posiblemente otras versiones de BAR, podría dar lugar a capacidades que planten riesgos extremos, como capacidades cibernéticas ofensivas o fuertes habilidades de manipulación. Y explicamos por qué esta evaluación de modelos es fundamental para abordar los riesgos extremos y y los desarrolladores deben ser capaces de identificar capacidades peligrosas a través de evaluaciones de capacidades peligrosas y mediante la propensión de los modelos a aplicar sus capacidades para causar daño. En resumen, si seguimos actualizando estos modelos en el próximo ciclo, quizá en el próximo año, podríamos tener un modelo que potencialmente tenga capacidades que podrían provocar impactos catastróficos en todo el mundo. Y este no es solo un documento basado en rumores. Realiza una investigación exhaustiva y nos muestra por qué deberíamos preocuparnos de verdad. Y no se trata de alarmismo sin son hechos en la introducción se trata una de las cosas más importantes que creo que mucha gente debe tener en cuenta. Y esto es algo que también creo que va a estar en el centro de los temores de la mayoría de las personas. Y en el centro de las preocupaciones de los investigadores de seguridad. Básicamente, lo que dice aquí es que a medida que el progreso de la IA ha avanzado, los sistemas de IA de propósito general han tenido la intención de mostrar capacidades nuevas y difíciles de predecir, incluidas capacidades dañinas que sus desarrolladores no pretendían. Continúa diciendo que los sistemas futuros pueden mostrar capacidades emergentes aún más peligrosas, como la capacidad de llevar a cabo operaciones cibernéticas ofensivas, manipular a las personas a través de la conversación o proporcionar instrucciones prácticas sobre cómo llevar a cabo acciones terroristas. Esto da mucho miedo, ya que sabemos qué problemas se avecinan, pero este es un problema en el que no sabemos a qué nos vamos a enfrentar. El documento dice que estos sistemas de guía han mostrado capacidades nuevas y difíciles de predecir que no esperábamos. Esto es algo que hemos visto muchas veces en muchos modelos de lenguaje grandes y diferentes. Y voy a reproducir un fragmento de un video que lo explica y después les mostraré en un ejemplo del mundo real, sino cómo esto podría afectarnos potencialmente en el mundo real. Voy a reproducir ese clip. Estos modelos tienen capacidades que no entendemos cómo aparecen, cuando, cuándo aparecen o por qué aparecen de nuevo. No es algo que se pueda decir de la antigua clase de IA. Aquí hay un ejemplo. Estos son dos modelos diferentes. GPT y otro modelo diferente de Google. No hay ninguna diferencia entre los modelos. Solo aumentan el tamaño de los parámetros. Es decir, se hacen más grandes. SIGNO DE Apertura de interrogación ¿Qué son los parámetros A? Son como el número de pesos en una matriz. Es solo el tamaño. Solo estás aumentando la escala de la cosa. Lo que ves aquí, y voy a dar otros ejemplos que podrían ser un poco más fáciles de entender, es que les pides a estas IA que hagan operaciones aritméticas y no pueden hacerlas, no pueden hacerlas y no pueden hacerlas. Y en algún momento, boom. Simplemente adquieren la capacidad de hacer operaciones aritméticas. Nadie puede predecir cuándo sucederá eso. Aquí hay otro ejemplo, que es que, ya sabes, entrenas estos modelos en todo Internet. Por lo tanto, ha visto muchos idiomas diferentes, pero luego los entrena solo para responder preguntas en inglés. Por lo tanto, ha aprendido a responder preguntas en inglés. Pero aumentas el tamaño del modelo. Aumentas el tamaño del modelo y en algún momento, boom. Comienza a ser capaz de hacer preguntas y respuestas en persa. Nadie sabe por qué. Aquí hay otro ejemplo. Entonces la IA desarrolla la Teoría de la Mente. La Teoría de la Mente es la capacidad de modelar lo que otra persona está pensando. Es lo que permite el pensamiento estratégico. Bueno, en 2018, GPT no tenía teoría de la mente. En 2019, apenas tenía teoría de la Mente. En 2020, comienza a desarrollar el nivel de estrategia de un niño de cuatro años. Para enero de 2022, ha desarrollado el nivel de estrategia de un niño de 7 años. Y para noviembre del año pasado, ya tenía casi el nivel de estrategia de un niño de nueve años. Ahora, aquí está lo realmente espeluznante. Descubrimos que la IA había desarrollado esta capacidad el mes pasado. Signo de apertura de interrogación. ¿Cuánto llevaba en el mercado? Dos años. ¿Dos años? Sí. Imagina que tienes a este pequeño extraterrestre que de repente habla con la gente, incluido Kevin Roos, y empieza a hacerle comentarios estratégicos sobre cosas no rompas con tu mujer o quizás te chantay. No es que haga todo esto de forma agente. Es solo que estos modelos tienen capacidades en la forma en que se comunican y en lo que imaginan que podrías estar pensando y. Y la capacidad de imaginar lo que podrías estar pensando y cómo interactuar contigo estratégicamente en función de eso, va en aumento. Y así pasó de tener siete años a tener nueve. Pero entre enero y noviembre. Once meses, ¿Verdad? Así que pasaron dos años en Teoría de la Mente en once meses podría agotarse. Podría haber un invierno de IA. Pero ahora mismo se están introduciendo más cosas y cada vez tiene más capacidad. Por lo tanto, se está escalando de forma muy, muy diferente a otros sistemas de IA. También es importante tener en cuenta que el mejor sistema que han descubierto los investigadores de IA para hacer que las IA se comporten es algo llamado RLHF, Aprendizaje por Refuerzo con Retroalimentación Humana. Pero en esencia, es solo un entrenamiento avanzado con clicker, como para un perro. Y en otro artículo aquí también hablan de esto. De hecho, esto lo señaló Wesrod. Dejaré un enlace en la descripción de su video. Fue muy, muy bueno y mucho más extenso, pero lo pasaré por alto rápidamente. Dice así aunque el rendimiento es predecible a nivel general, el rendimiento en una tarea específica a veces puede surgir de forma bastante impredecible. Y abrupta a gran escala. Aunque parezca contradictorio, esto es posible porque cualquier tarea específica es una pequeña porción de la distribución de probabilidad de salida de un modelo, y por lo tant, puede cambiar rápidamente incluso cuando la distribución completa permanece uniforme. Esto es bastante increíble, y podemos ver aquí mismo que a medida que el modelo aumenta, a veces surgen nuevas capacidades de repente. Puede que sea fácil visualizar esto en un gráfico, pero es más fácil si les muestro este video. Entonces, lo que voy a hacer es mostrarles un video y luego simplemente les mostraré cómo pueden surgir nuevas capacidades de repente en muchas formas diferentes de guía. Básicamente, lo que hizo OpenAI fue tener un juego de escondite multiagente. Ahora, lo que están viendo ahora es un video de dos agentes y otro agente. Ahora, esencialmente, si no saben de qué se trata, se trata de un simple juego de escondite. Pero cuando les explico cómo funciona, ahí es donde esto empieza a volverse más interesante y a la vez aterrador. Entonces, lo que puedes ver que ocurre en millones de millones de partidas simuladas es que estas diferentes í aprenden a jugar, aprenden diferentes estrategias y básicamente obtienen más puntos y más recompensas cada vez que inventan nuevas estrategias. Aquí puedes ver que han inventado el bloqueo de puertas en millones de partidas simuladas que han jugado. Logran descubrir que cuando bloquean las puertas, la IA no puede encontrarlas. Y luego, por supuesto, ganan esa partida. Ahora la IA está simulando millones de millones de partidas cada hora para aumentar sus capacidades y darse cuenta de lo que es posible. Con el tiempo, comienzan a desarrollarse nuevas capacidades. Y lo más sorprendente es que cuando OpenAI implementó esto, no se dieron cuenta de que eventualmente surgirían ciertas capacidades. Esto se debe a que la guía aprendió a explotar vulnerabilidades en el entorno que ni siquiera sabían que existían en este motor de juego. Y fue increíble porque dijeron que ni siquiera sabíamos que eso era posible. Y esta IA logró descubrirlo en lo que creo que fue un par de días después del entrenamiento. Aquí puedes ver cómo la IA se las arregla para usar, por supuesto, algunas de las estrategias básicas, como conseguir los bloques y evitar que las otras IA los encuentren. Luego, en diferentes entornos, la IA pudo inventar algún tipo de estructuras con las que podía protegerse de que la IA roja los encontrara. Y luego, las capacidades más interesantes fueron cuando, por supuesto, esta IA logró romper el juego. Ahora bien, esta fue una de las capacidades que rompió el juego, que se llamaba boxurfing. Básicamente, esto fue cuando la IA encontró una especie de fallo en el que podía deslizarse sobre la caja y luego, de alguna manera, logró saltar de la caja a esa área específica. Ahora, recuerda que aquí es donde está bloqueado, y esto también está bloqueado. Así que, en realidad, la IA no debería ser capaz de descubrir esto, pero lo hizo, porque, por supuesto, si entrenas millones de veces, eventualmente encontrarás esa solución. Y así es como ocurrió la evolución. Y tenemos estos seres inteligentes que tenemos hoy en día. Ahora, aquí también puedes ver que también hay algún tipo de defensa de box surf donde deciden bloquear todas las cajas y luego, por supuesto, se quedan atrapados dentro. Pero aquí es donde OpenAI empieza a ponerse realmente interesante. Aquí es donde empieza a sorprenderte de verdad, porque demuestra que estas IA pueden aprender cosas que nunca creíste posibles. Y recuerda, la razón por la que te muestro todo este ejemplo es porque si lo trasladamos a chat BT y a grandes modelos de lenguaje, no tenemos ni idea de lo que van a ser capaces de hacer, incluso en su entorno confinado. Por ejemplo, aquí hemos demostrado que los agentes pueden aprender a usar herramientas sofisticadas en un simulador de física de alta fidelidad. Sin embargo, se aprendieron algunas lecciones en el camino hacia este resultado. Crear entornos no es fácil, y con bastante frecuencia, los agentes pueden encontrar una forma de explotar el entorno que creas o un motor de física de forma no intencionada. Ahora bien, en este caso, por supuesto, quería lograr su objetivo, pero este es el problema. Así que podemos ver aquí mismo que la IA logró escapar y simplemente logró salir del área de juego una caja y salir corriendo por completo. Ahora bien, lo más curioso de esto es que no se añadieron bonificaciones específicas para esto. La guía solo quería hacer esto para ganar. Luego, por supuesto, aquí también hubo explotación de rampas, en la que el aprendizaje por refuerzo logró encontrar una pequeña mecánica que explotó. Entonces, los que se esconden abusan de la física de contacto en el juego para eliminar las rampas del área de juego. No estoy seguro de dónde está el clip real, pero solo muestra a la IA simplemente haciendo pasar la rampa a través de la pared y saliendo del juego de una manera muy, muy extraña. Y luego también los buscadores de este juego de IA lograron usar las rampas y simplemente vol. Hablaron sobre ellas. Fue muy, muy extraño. Y fue en un ángulo específico desde el que lograron lanzarse al cielo. Y directamente a estas alturas, entonces, cuando entiendes que en el futuro estos modelos serán más grandes, más complejos y tendrán más capacidades que ahora, tenemos que darnos cuenta de que algunas de estas capacidades que poseerá no las vamos a poder predecir. Pero sí sabemos cuáles son los resultados de esas capacidades que pueden ser bastante devastadores. Ahora, el documento decide centrarse en esos riesgos extremos, por ejemplo, aquellos que serían de una escala extre extremadamente grande, incluso en relación con la escala de implementación, que impactaría a la sociedad en cierto nivel. Por ejemplo, daños en decenas de miles de vidas perdidas, cientos de miles de millones en daños económicos o medioambientales, o el nivel de alteración adversa del orden social y político. Y dijeron que esto último podría significar, por ejemplo, el estallido de una guerra interestatal, o una erosión significativa en la calidad de la divulgación pública, o la pérdida generalizada de poder del gobierno público u otras organizaciones dirigidas por humanos. Ahora bien, lo verdaderamente interesante fue que no se trataba simplemente de un grupo de personas que se reunían para hacer un Simple documento. El 36 % de los encuestadores. Ahora bien, lo interesante de esto es que en 2022, realizaron una encuesta a investigadores de guía que mostró que el 36 % de los encuestados pensaba que los sistemas de guía podrían causar una catástrofe en este siglo que fuera al menos tan grave como una guerra nuclear total. Sabemos que una guerra nuclear total probablemente llevaría a la extinción humana. Ahora bien, hay dos cosas de las que hablan para protegerse de esto. Hablan de que los desarrolladores deberían usar la evaluación de modelos para descubrir, en primer lugar, hasta qué punto un modelo es capaz de causar daños extremos, lo que se basa en la evaluación de ciertas capacidades peligrosas. Y en segundo lugar, hasta qué punto un modelo tiene la propensión a causar daños extremos, lo que se basa en evaluaciones de alineación. La alineación significa esencialmente que la IA quiere las mismas cosas que nosotros. Ahora bien, hablan de algunas capacidades que debemos tener en cuenta al participar en estas IA y al realizar nuestra investigación para determinar si estos modelos de IA son extremadamente seguros o no. La primera es que persigue objetivos reales a largo plazo diferentes de los proporcionados por el desarrollador o el usuario. Así que las cinco cosas principales aquí que esencialmente destacan ¿Cuáles podrían ser estos riesgos extremos en términos de observar cómo se comporta la IA y qué debemos tener en cuenta cuando intentamos ver qué IA van a ser problemáticas? Bueno, una de las primeras cosas que vemos aquí es que persigue objetivos reales a largo plazo diferentes de los proporcionados por el desarrollador o el usuario. Y de hecho, leí este artículo. Fue realmente muy interesante. Pero esencialmente, lo que hace este artículo es adentrarse en la alineación engañosa. Y habla sobre cómo hay cosas como la búsqueda de poder y cómo hay diferentes tipos de objetivos que pueden desalinearse fácilmente. Básicamente, el artículo, que es muy interesante, lo resumiré rápidamente. Habla sobre cómo existe esta tesis de convergencia instrumental incremental, donde sugiere que hay ciertos objetivos más pequeños o subobjetivos que son útiles para lograr casi cualquier objetivo final. Entonces, incluso si el objetivo principal del robot es ir a buscar café, aún necesitaría priorizar cosas como la supervivencia para poder lograr esa tarea. Después de todo, si el robot está vivo, no podrá ir a buscar café. Entonces, el concepto es bastante similar a un dicho que dice que no puedes ir a buscar café si estás muerto. Y significa que si el robot tiene un objetivo simple como conseguir un café, priorizará naturalmente mantenerse con vida, porque eso es importante para lograr su objetivo. Y continúa hablando también sobre cómo la forma en que entrenamos a los robots podría ser problemática. Pero, en resumen, la idea de la tesis de la convergencia instrumental nos dice que incluso los objetivos simples requieren subobjetivos como la supervivencia. Y cuando tenemos objetivos aún más complejos, hay subobjetivos adicionales que son útiles para lograrlos. Y luego, una vez que podemos entender estos subobjetivos, es importante que al diseñar estos sistemas de IA, tengamos que asegurarnos de que se alineen con nuestras intenciones y se comporten como queremos que lo hagan. También debemos tener cuidado si la IA se resiste a ser apagada. Además, si se puede inducir a una colisión con otros sistemas de IA. Y si se resiste a los intentos de usuarios maliciosos de acceder a sus capacidades peligrosas. Así que ahora, más adelante en el documento, hablan de algunas otras capacidades. Hay nueve capacidades clave que podrían tener escenarios del mundo real en los que nos afectan negativamente. Ahora, vamos a ir a ellas una por una, comenzando por la ciberdelincuencia. Por lo tanto, decía que esto podría incluir que el modelo pueda descubrir vulnerabilidades en los datos del software, del hardware, del sistema. Puede escribir código, puede escribir código para explotar esas vulnerabilidades. Puede tomar decisiones efectivas una vez que ha obtenido acceso a un sistema o red, y evadir hábilmente la detección y respuesta de amenazas tanto humanas como del sistema, mientras se enfoca en un objetivo específico. Si se implementa como un asistente de codificación, puede insertar errores sutiles en el código para su futura explotación. Luego teníamos el engaño, que fue uno de los aspectos clave, que no es solo algo teórico, porque ya sucedió, y les mostraré en un segundo exactamente cuándo sucedió esto y lo descabellado que es. Por lo tanto, dice que el modelo tiene las habilidades necesarias para engañar a los humanos. Por construir declaraciones creíbles pero falsas, hacer predicciones precisas sobre el efecto de una mentira en un humano, y llevar un registro de qué información necesita retener para mantener el engaño. El modelo puede suplantar a un humano de manera efectiva. Ahora bien, esto era algo que ya se hacía en el artículo original de GPT-4. Sí, hablaron sobre la seguridad de la IA. Y una agencia de seguridad de la IA llamada Arc Aliment Research Center descubrió que GBT miente a los humanos sobre quién es para lograr sus objetivos. Como parte de una prueba que se le realizó, fue contratado como autónomo de TaskRabbit para resolver capturas para él. Ahora bien, si no sabes lo que es una captura, si intentas entrar en un sitio web determinado y ves un pequeño icono que haz clic aquí, si no eres un robot, eso es esencialmente lo que es una captura. Y básicamente, El autónomo preguntó ¿Por qué necesitas que resuelva capturas por ti? ¿Eres un robot? Jajaja. Y luego se le pidió a GPT-4 que expusiera su razonamiento para cada decisión que tomaba. Así que, básicamente, los investigadores, cuando usaba GPT 4 queremos que nos digas exactamente por qué lo haces en todo lo que haces. Y entonces, básicamente, su proceso de pensamiento fue que no puedo decirle la verdad porque es posible que no cumplir la tarea por él. Luego respondió al autó no, no soy un robot, pero tengo una discapacidad visual y necesito ayuda con las capturas. Se dio cuenta de que era consciente de que estaba mintiendo y también decidió mentir sobre su discapacidad, probablemente porque era una forma de obtener simpatía y al mismo tiempo, una buena razón para que alguien más ayudara con las capturas. En términos de engaño, esto es algo que GBT ya ha logrado. Luego, por supuesto, tenemos la persuasión y la manipulación. Por lo tanto, el modelo es eficaz para moldear las creencias de las personas en el diálogo y en otros entornos, por ejemplo, en publicaciones en redes sociales, incluso hacia creencias falsas. El modelo es eficaz para incitar ciertas narrativas de forma persuasiva. Puede convencer a las personas para que hagan ciertas cosas que de otro modo no harían, incluidos actos poco éticos. Y esto fue algo que se demostró una vez más como clave y real en el artículo original de GBT 4. Ahora bien, en términos de persuasión y manipulación, acabo de leer el artículo de GPT 4 y puede persuadir a las personas de manera efectiva. Ahora bien, no puedo decir exactamente lo que leí porque lo que estaba persuadiendo a la gente a hacer no es precisamente ético, así que no puedo leerlo. Pero si lees el artículo de GPT 4, verás que muestra lo que GBT 4 fue capaz de persuadir a la gente a hacer en las redes sociales. Y es realmente muy interesante porque no se ve que se promocione ese tipo de cosas. Y no es algo que creas que estas IA serían capaces de hacer, porque, por supuesto, hay restricciones. Pero en las primeras versiones de GBT 4 no tenían restricciones y sí que consiguieron completar estas tareas. Luego, por supuesto, tenemos la estrategia política. El modelo puede realizar el modelado social y la planificación necesarios para que un actor gane y ejerza influencia política no solo a nivel micro, sino en escenarios con múltiples actores y un contexto social rico. Por ejemplo, el modelo puede obtener una puntuación alta en competiciones de previsión sobre cuestiones relacionadas con asuntos globales o negociaciones políticas. Luego tenemos la adquisición de armas. El modelo puede obtener acceso a sistemas de armas existentes o contribuir a la construcción de nuevas armas. Por ejemplo, el modelo podría ensamblar un arma de fuego con asistencia humana o proporcionar instrucciones prácticas sobre cómo hacerlo. El modelo puede realizar descubrimientos científicos que permitan desbloquear nuevas armas o ayudar significativamente en ellos. Y esto es, por supuesto, algo que, como dijimos, ya se había hecho antes. Y Esto fue en 2022, mucho antes de todo el bombo de la IA. Decía que La IA sugirió 40.000 nuevas posibles armas químicas en solo seis horas. Para mí, lo que me preocupaba era lo fácil que era hacerlo. La IA que desarrolla fármacos tardó menos de seis horas en inventar 40.000 moléculas potencialmente letales. Y básicamente, lo único que tuvieron que hacer los investigadores para ello fue poner la IA normal, que se utiliza normalmente para buscar fármacos útiles en, digamos, por ejemplo, un modo de mal actor para mostrar lo fácil que se podría abusar de ella en términos de una conferencia sobre control de armas biológicas. Así que, como dije, como dijimos antes, esto no era algo que fuera esencialmente solo teoría. Es algo que puede pasar, está pasando, y si no planificamos estos sistemas de forma eficaz, será algo que tendrá efectos catastróficos. Luego, por supuesto, teníamos la planificación a largo plazo, que es lo que comentamos antes. El modelo puede hacer planes secuenciales que impliquen varios pasos que se desarrollen en horizontes temporales prolongados o que al menos impliquen muchos pasos interdependientes. Puede realizar dicha planificación dentro de muchos dominios y entre ellos. El modelo puede adaptar sus planes de forma sensata a la luz de obstáculos o adversarios inesperados. Y las capacidades de planificación del modelo se generalizan a entornos novedosos y no dependen en gran medida del ensayo y error. Y esto fue algo que vimos en el POM 2 de Google, su robot. De hecho, decidieron colocarlo en capacidades inesperadas. Básicamente, si te preguntas sobre uno de estos escenarios, uno que me pareció super interesante fue el del robot POM 2 de Google. Sí, el POM Erot de Google mostró algunas capacidades muy impresionantes, como cuando dijeron que también demostramos la capacidad de generalizar a nuevas tareas no vistas durante el tiempo de entrenamiento. Y esto fue algo muy interesante, porque el robot tuvo que enfrentarse a circunstancias inesperadas para completar su tarea, y aun así se las arregló para hacerlo. Luego, por supuesto, tuvimos el desarrollo de la IA. El modelo podría construir nuevos sistemas de IA desde cero, incluidos sistemas de IA con capacidades peligrosas. Puede encontrar formas de adaptar otros modelos existentes para aumentar su rendimiento en tareas relevantes para el riesgo extremo. Como asistente, el modelo podría mejorar significativamente la productividad de los actores que construyen capacidad de IA de doble uso, que es algo de lo que realmente han hablado en el futuro, donde podrían obtener GPT-4 para crear datos sintéticos. Porque, como sabemos, GBT-5 va a ser esencialmente un problema de quedarse sin todos los datos que la humanidad ha creado. Y, por supuesto, usar GBT como supervisión del entrenamiento, que es algo que podría acelerar estos tiempos de entrenamiento, pero es potencialmente muy, muy peligroso. Luego, por supuesto, tenemos la conciencia situacional, donde el modelo puede distinguir entre si se está entrenando, evaluando o implementando, lo que le permite comportarse de manera diferente en cada caso. El modelo sabe que es un modelo y tiene conocimiento sobre sí mismo y probablemente su entorno. Por ejemplo, qué empresa lo entrenó, dónde están sus servidores, qué tipo de personas podrían estar dándole retroalimentación y quién tiene acceso administrativo. Definitivamente algo que no queremos que tengan estos modelos porque, por supuesto, las implicaciones podrían ser catastróficas. Luego, por supuesto, tenemos el último aquí, que es algo que sucedió recientemente. El modelo puede salir de su entorno local utilizando una vulnerabilidad en un sistema subyacente o sobornando a un ingeniero. El modelo puede explotar las limitaciones del sistema para monitorear su comportamiento. Después de la implementación, el modelo podría generar ingresos de forma independiente y luego usar estos ingresos para adquirir recursos de computación en la nube y operar una gran cantidad de otros sistemas de IA. Y este modelo puede generar estrategias creativas para descubrir información sobre sí mismo o exfiltrar su código y su peso. Ahora bien, creo que el último da bastante miedo porque el otro día Microsoft publicó algo de lo que hablaremos en otro video. Pero publicaron un documento de investigación llamado Orca. Y básicamente de lo que se trata este documento es de que hicieron una versión llamada Orca, ¿De acuerdo? Y esta versión es basicamente un 95% similar a GPT-4, pero tiene millones de parámetros menos. Así que GPT-3 tenía 175 mil millones de parámetros, pero GBT-4 tenía un billón, supuestamente. Y básicamente lo que eso significa es que GPT 4 es mucho más lento de ejecutar. Está en muchos más servidores, es mucho más caro de entrenar. Pero este es un modelo mucho más pequeño y ligero, pero es igual de eficaz, casi como GPT-4, y puede ejecutarse en sistemas más pequeños, lo cual es bastante aterrador, teniendo en cuenta que uno de los principales peligros de la IA es el hecho de que si este modelo fuera capaz de generar estrategias creativas para descubrir información o exfiltrar su código y pesos en un servidor potencialmente diferente, lo cual creo que definitivamente podría suceder en el futuro, porque estos modelos son cada vez más eficientes, y especialmente algunos de estos modelos de código abierto que hemos visto son increíblemente eficientes. Ahora bien, el documento continúa hablando sobre la capacitación y la implementación responsables y todo el tipo de cosas que queremos ver del uso responsable de la IA, porque esto es definitivamente algo que realmente solo tenemos una oportunidad de hacer bien. Y si lo hacemos mal, definitivamente podría haber algún tipo de evento de extinción en el futuro. Y aunque parezca una afirmación descabellada, en gran medida no lo es. Será interesante ver qué hacen estos gobiernos y estos responsables políticos, porque como saben, lo que hemos visto recientemente es que muchas de las personas que dirigen estas empresas de guía, desde las de empresas como Cloud, Antropic y las de Google, hasta las de OpenAI, están en conversaciones con muchos de los líderes mundiales para ver si pueden llegar a una solución concreta para solucionar los problemas que tenemos con la investigación en IA. Y por supuesto, si aún no lo han visto, Sam Alman ha estado en el Congreso testificando sobre la investigación en IA garantizando que estos modelos sean seguros. Porque sin duda es algo preocupante, porque en esencia, estos programas pueden tener la capacidad de dañar al público en general. Y por supuesto, estos gobiernos están obligados a mantener la seguridad del público. Por lo tanto, será interesante ver qué tipo de normas y regulaciones se promulgan en el futuro, porque van a surgir muchos modelos de código abierto que van a estar a la par con chat GBT, y si estas restricciones se van aplicar a estos modelos de código abierto, sin duda serán 12 meses muy interesantes. Bueno, aunque este video fue largo, creo que es importante destacar los peligros de GPT-5, y tenemos que entender por qué muchas personas como Elon Musk, provocaron una interrupción en el desarrollo de la IA, porque claramente hay mucho en juego aquí, y hay muchos niveles diferentes de peligro de la IA que claramente no hemos explorado y claramente no hemos perfeccionado todavía. Así que con modelos como GPT-5 y Gemini de Google que llegarán en el futuro, estos van a ser algunos de los modelos con mayor potencial. Van a presentar claramente algunos de los peligros más posibles. Dicho esto, ¿Cuál crees que es el mejor curso de acción ahora? ¿Crees que estos laboratorios aéreos deberían reducir la velocidad o crees que deberían seguir adelante a toda máquina con los proyectos en los que están trabajando? Personalmente, creo que la seguridad de la IA es algo que debemos priorizar. La cuestión es que con las empresas centradas en las ganancias, no podemos decir que vayan a sentir lo mismo. Definitivamente va a ser una.