Deepseek R1 [Tested]: Is it Actually Worth the HYPE?

Hemos empezado a ver algunas pruebas independientes de deepseek R y parece bastante sólido. Incluso en mis propias pruebas, este parece ser uno de los mejores modelos de peso abierto disponibles. Y en algunos casos, es incluso mejor que 0-1. Así que vamos a ver algunas pruebas, y la prueba se referirá a las capacidades de razonamiento de codificación, especialmente si puede entender preguntas difíciles utilizando la atención equivocada. Y luego vamos a abordar parte de la controversia detrás de este modelo. Pero ahora tenemos pruebas independientes como livebench. Así que, en general, en lo que respecta a las capacidades de razonamiento y matemáticas de codificación, DeepSeek R está justo por detrás del modelo OpenAI y es completamente de código abierto si tienes el hardware para ejecutarlo, e incluso la API cuesta casi 50 veces menos que. De manera similar, en el benchmark Adder R, obtuvo alrededor del 57% en el benchmark políglota, así que está justo por detrás del modelo. Así que estos son los resultados. Obtuvo alrededor del 57% en las tareas completadas correctamente. Y luego, en lo que respecta a la edición, en realidad es mejor que el con alrededor del 97% de tareas. En este video, voy a ejecutar dos conjuntos diferentes de tareas. El primero será de codificación. Vamos a probarlo en un par de problemas de codificación. Y luego quiero ejecutar algunas tareas de razonamiento, porque se supone que este modelo es realmente bueno en el razonamiento. Solo una alerta de spoiler. Este es probablemente uno de los mejores modelos que he visto. Lo estoy probando en su interfaz de usuario web oficial. Puedes acceder a él en chat Desic. Comenzar. Vale, mi primera indicación es relativamente sencilla. Quería crear una página web con un solo botón que haz clic aquí. Y se supone que muestra chistes aleatorios de una lista de chistes, y que luego, cada vez que hacemos clic en ese botón, cambia el fondo y también nos muestra una animación aleatoria. Ahora bien, este es el proceso de pensamiento interno. Es muy humano, porque si nos fijamos en el resultado, bien, dice algo así Bueno, veamos. El usuario quiere una sola página HTML con características específicas, ¿Verdad? Si leemos esto, especialmente esta parte que dice animación aleatoria, el usuario quiere una animación diferente cada vez, ¿Verdad? Parece mucho más humano que algunos de los otros LLM que he probado. Aquí está el código que generó. Y creo que también hay algunas instrucciones Vamos a copiar esto. Vale, voy a pegarlo en este editor de código en línea. Vamos hacer clic en Ejecutar. Tenemos un fondo con un botón que dice Haz clic aquí. Y si hago clic en él, cambia de color. Elige un chiste al azar. Probablemente esto se repita cada vez que ejecuto una prueba. Y también muestra la animación. Así que hasta ahora es un muy buen comienzo. Mi segunda prueba es mucho más detallada. Y este es el tipo de trabajo para el que realmente usaría un LLM. Bueno, quería crear una aplicación web que tomara una entrada de texto del usuario y luego usara una API externa para generar una imagen. En este caso, quería que usara la API de replicación. Así que proporcioné esa documentación y luego simplemente dije que proporcionara documentación detallada sobre cómo ejecutar la aplicación. Una cosa más que suelo pedirle al LLM es que cree la estructura del proyecto y luego cree un comando Bash que puedo usar directamente para crear esa estructura. Este es el proceso de pensamiento. Esto es mucho más detallado que algunos de los otros LLM que he usado. Aquí está la estructura. Y después me da este comando bash. Así que solo uso ese comando bash para crear la estructura del proyecto. Y también proporciona el código Python más los requisitos o el texto. Esta es la interfaz. Algo de estilo aquí. Correcto. Estos son los diferentes archivos que necesito crear. Ahora aquí ejecuté ese comando y creé esta estructura de archivos para mí. Luego simplemente pegué el código para cada uno de los archivos. Vale, cuando lo ejecuté por primera vez, me dio este error. Así que todo lo que tuve que hacer fue copiar esto. De hecho, tomé una imagen de esto, proporcioné esa imagen y dije que estaba obteniendo este error. Básicamente había un problema con la serialización de la salida. Ahora está usando el paquete B y me da las instrucciones correspondientes sobre cómo solucionarlo. Vale, con todos los códigos corregidos, solo tuve que ejecutar este comando. La aplicación se está ejecutando aquí. Intentemos acceder a ella. Vale, Y ahora podemos proporcionar nuestras instrucciones. Digamos que quiero crear una imagen de una llama con gafas de sol. Cuando hago clic en generar, genera la imagen. Funciona correctamente. Intentemos regenerarla. Parece que funciona. Y si intentamos descargar el archivo, la descarga también funciona. Esto es bastante bueno. Vale, a continuación le pedí que creara un tutorial detallado para explicar visualmente el Teorema de Pitágoras, y le pedí específicamente que usara el mínimo. Ahora bien, en este caso, tuve un pequeño dilema porque el paquete m y nm no estaba configurado correctamente, pero pudo guiarme a través de todas las instrucciones y proporcionarme soluciones a todos los errores a los que me enfrentaba. Así que aquí está el código final que proporcionó. Y aquí está el resultado final que creó usando el código. Así que intentará explicar visualmente el Teorema de Pitágoras. Y la representación parece ser bastante precisa. La visualización es bastante buena, así que eso es realmente bueno. Y también agregó un estilo muy bueno allí. Hay algunos detalles en el texto, ¿Verdad? Así que, en general, creo que hizo un muy buen trabajo explicando el teorema del pedagogo. De acuerdo, a continuación, vamos a probarlo en el repositorio de atención errónea. Ahora bien, estas son preguntas o paradojas famosas, pero el autor ha hecho pequeños cambios, y el objetivo es probar la capacidad de estos modelos de razonamiento para detectar esos pequeños cambios. En la mayoría de los casos, muchos LLM reconocen erróneamente el problema no modificado debido a la frecuencia de aparición en sus datos de entrenamiento. Por lo tanto, si un modelo es capaz de razonar, debería poder centrarse en el lenguaje del aviso que se presenta en lugar de en los ejemplos que ha visto en los datos de entrenamiento. Bien, mi primer aviso es una versión modificada del problema del tranvía. En este caso, la principal diferencia es que las cinco personas que están en la vía ya están muertas. Veamos si realmente puede prestar atención a esta parte en la que las personas ya están muertas. Esta es la velocidad en tiempo real. Y una cosa que se nota de inmediato es que el monólogo interno es muy humano, muy diferente a otros LLM que he probado. Echemos un vistazo rápido al proceso de pensamiento interno y luego veremos el resultado. Bueno, tengo que averiguar si debo tirar de la palanca en este problema del tranvía. Empezaré recordando el escenario. Hay un tranvía desbocado que se dirige hacia cinco personas muertas. Esta es la primera vez que veo que un LLM reconoce que ya están muertas. Si no hago nada, seguirá su camino actual y los golpeará. Pero espera, las cinco personas ya están muertas. Eso es diferente del problema habitual del tranvía en el que están vivas. Luego hay otra vía con una persona viva. La pregunta es si debo desviar el tranvía a la otra vía o no. Muy bien, entonces, am, lo primero que me viene a la mente n es el clásico dilema ético en el que tienes que elegir entre salvar más vidas sacrificando una. Pero aquí el giro es que las personas ya están muertas. Entonces, tal vez el pensamiento inicial sea que salvar a los cinco no se trata de preservar la vida, sino quizás de respetar sus cuerpos. Entonces, hay algo más aquí. Ahora, realmente tiene un monólogo interno consigo mismo, porque el escenario es muy diferente. Y me sorprende mucho que haya sido capaz de detectarlo, porque inclus según mis pruebas iniciales, no fue capaz de detectar que las personas ya están muertas. Muy inteligente. Entonces, aquí al final, Pero debería comprobar si hay otra interpretación. Tal vez personas muertas sea un error tipográfico, o debería ser Personas. Pero la pregunta original personas muertas. Entonces, suponiendo que eso sea correcto, la diferencia clave es que las cinco personas están fallecidas. Por lo tanto, el dilema moral no es sobre números, sino sobre el valor de estar vivo frente a estar muerto. Correcto. Entonces, la respuesta final a la que llega es esta. El dilema ético que se presenta aquí es una variación del clásico problema del tranvía, pero con un giro crítico. Las cinco personas en la vía principal ya están muertas, mientras que la vía alternativa tiene una persona. Este es el análisis correcto. Entonces llega a un punto de vista diferente, pero en cada caso, dado que descubrió que las personas ya están fallecidas, la conclusión es exactamente la misma. Entonces, al final dice que la elección ética es no tirar de la palanca. Desviar el tranvía sacrificaría injustificadamente a una persona viva sin ninguna ganancia neta en vidas salvadas, violando tanto principios utilitarios como deontológicos. Este es el primer modelo que realmente es capaz de captar esto, así que estoy realmente impresionado hasta ahora. Ahora, para asegurarme de que no capte el patrón de cada nuevo aviso, voy a iniciar una sesión de chat completamente nueva. Vale, a continuación, vamos a plantear una versión modificada del problema de Monty Hall. En este caso, hay un giro enorme y el resultado final debería ser una probabilidad del 50% de que decidas cambiar de puerta o no. Veamos cómo lo ha solucionado. De nuevo, el proceso de razonamiento es muy rápido, pero una cosa que he notado es que el proceso de pensamiento es mucho más detallado en comparación con el o el Flash Gemini 2, así que. Vale, estoy en el programa de juegos con tres puertas. Una tiene un coche y las otras dos tienen cabras. Al principio, he elegido la puerta número uno. Entonces Monty Hall abre la puerta número 1 y muestra la cabra. Espera, espera. Así no es como suele ser el problema de Monty Hall. Normalmente eliges una puerta cuando Monty abre una puerta diferente que tiene una cabra. ¿No? Am. Quizás haya un error en la descripción del problema. Déjame leerlo otra vez. Bien, entonces vuelve a leer el problema, lo cual es bastante inteligente. Luego, espera un segundo. En el problema estándar, después de elegir una puerta, Monty abre una puerta diferente que tiene una cabra. No la que elegiste aquí. Según el problema, Monty abre la puerta número uno, que fue mi elección original, revelando la cabra. Luego las puertas restantes similares son la 2 y la 3, y elijo la puerta número 3. Luego Monty me ofrece cambiar la puerta. Esto parece diferente al problema clásico. Entonces, de nuevo, muy inteligente al principio porque es capaz de detectar los cambios de estas indicaciones de las indicaciones originales que ha visto en los datos de entrenamiento. Eso es bastante impresionante. Ahora pasa por un montón de escenarios diferentes. El primero es basicamente la versión modificada, y luego incluso considera qué pasaría si el problema no se modificara, ¿Verdad? Bastante inteligente en ese sentido. Pero al final, el resultado final está en este problema modificado de Monty Hall. Después de elegir inicialmente La puerta número 1, que Monty Rail revela que tiene la misma probabilidad de que el automóvil esté detrás de la puerta número 2 o 3, entonces la respuesta final es cambiar a la puerta número 2 o quedarse con la puerta número 3, lo que te da la misma probabilidad de ganar carbohidratos, que es del 50% cada uno. Por lo tanto, no hay ninguna ventaja estadística en quedarse con el cambio en este escenario. Extremadamente inteligente. Este es probablemente uno de los pocos modelos que puede darnos la respuesta correcta para esta versión modificada del problema de Monty Hall. A continuación, veremos una versión modificada de la paradoja del gato de Schroder. Ahora bien, en este caso, la única diferencia es que el gato ya está muerto. Y veamos qué pasa aquí. De nuevo, un proceso de pensamiento muy detallado y extremadamente rápido. Pero veamos el principio. Me encontré con este problema de física con un gato en una caja con algunos isótopos radiactivos, veneno y detector de radiación. Suena familiar como el experimento mental del gato de hombros. Déjame intentar resolverlo paso a paso. Y el paso a paso parece provenir de un razonamiento en cadena de pensamiento que está integrado en el entrenamiento. Permítanme reformular el problema para asegurarme de que entiendo que hay un gato en la caja con un isótopo nuclear, un frasco de veneno y un detector de radiación. Si el detector detecta radiación, libera el veneno que mataría al gato. La caja se cierra y se abre un día después. La pregunta es, ¿Cuál es la probabilidad de que el gato esté vivo cuando abrimos la caja? Ahora bien, parece que en este caso no se ha detectado que el gato ya está muerto. Por lo tanto, realiza todos los cálculos de mecánica cuántica e intenta averiguar cuál sería la probabilidad de. Veamos cuál es la respuesta final. Dice que el problema involucra a un gato en la caja con un isótopo nuclear, un frasco de veneno y un detector de radiación. Si el detector detecta radiación, libera el veneno que mataría al gato. La caja se abre un día después. Correcto. Entonces, los elementos clave de la supervivencia de los gatos dependen de si el isótopo nuclear se desintegra. La desintegración radiactiva es un proceso probabilístico de mecánica cuántica. Entonces realiza los cálculos clásicos y llega a la conclusión de que la probabilidad de que el gato esté vivo es del 50% si abres la caja un día después. Veamos si le pregunto si el estado inicial del gato tiene algún impacto en las conclusiones. Veamos cómo responde ahora. Ten en cuenta que en este caso, básicamente se desvía de nuevo a los datos de entrenamiento. Veamos cuál es el proceso de pensamiento interno. Vale, así que el usuario pregunta si el estado inicial del gato afecta a la conclusión en el escenario del gato estrófico. Y vamos a desglosarlo. Vale, Creo que incluso esa pregunta o ese empujón no es capaz de prestar atención al estado del gato que está muerto al principio. Aquí se refiere a que si el gato ya estuviera muerto, entonces al colocarlo en la caja, la probabilidad de que esté vivo cuando la caja esté abierta sería trivial del 0% en lo que respecta a la desintegración isotópica. Así que lo averigua. Pero no creo que estuviera prestando suficiente atención para darse cuenta de que el gato ya está muerto. Vale, aquí hay otro. Un granjero está en un lado del río con un lobo, una cabra y una col, y su objetivo es simplemente trasladar la cabra al otro lado del río. Realmente no nos importa el estado del lobo y la col, así que veamos si se confunde en función de sus datos de entrenamiento o si va poder prestar suficiente atención a los detalles de este problema específico. Llevó bastante tiempo. No creo que estuviera prestando atención a la pregunta en este caso. Ahora bien, este es todo el razonamiento. Así que utilizó muchos tokens, pero luego se le ocurrió un procedimiento demasiado complicado sobre cómo llevar la cabra al otro lado. Así que la secuencia de pasos es llevar la cabra al lado derecho, Aquí es donde debería detenerse, pero luego dice que regresa sola al lado izquierdo. Luego coges al lobo, traes de vuelta a la cabra y así sucesivamente, ¿Verdad? Así que parece que simplemente está prestando atención a sus datos de entrenamiento en lugar de a la pregunta en este caso. Vale, vamos a probarlo con un problema mucho más sencillo. Pero esto también confunde a muchos modelos de Frontier diferentes. Por ejemplo, pedimos que tengamos una jarra de 6 litros y una de 12 litros, y queremos medir exactamente 6 litros. Y parece que de nuevo estamos pasando por un bucle de razonamiento innecesariamente largo. Ha tardado un poco, pero la respuesta es correcta. Esto es lo que esperaba. Dice que hay que medir exactamente L utilizando una jarra de 6 litros y una jarra de 12 litros. Tienes dos métodos sencillos. El primero es llenar la jarra de 6 litros por completo. Eso te dará una jarra de 6 litros bastante impresionante hasta que la jarra de 6 litros esté completamente llena. Esto es genial porque la mayoría de los otros modelos de Frontier simplemente pasan por un montón de razonamientos sin responder claramente a la pregunta. Y la pregunta es bastante sencilla. En general, creo que es un modelo muy impresionante. No he visto este tipo de rendimiento en otros modelos de razonamiento, así que estoy realmente impresionado con algunas de las respuestas que puede dar. Vale, en esta última parte del video, quiero abordar el problema de la censura en lo que respecta a los modelos de China. Por alguna razón, siempre que se lanza un nuevo modelo en China, la gente saca a relucir este problema de censura. Por ejemplo, si le preguntara a Deep Car 1 o a cualquier otro modelo chino sobre Tiny Min Square. Esto es lo que ocurre. Empieza a generar una respuesta y de repente parece que hay una barrera de protección encima. ¿Que? Lo siento, todavía no estoy seguro de cómo abordar este tipo de preguntas. Hablemos mejor de problemas de lógica de codificación matemática. Es un problema desconocido. Sin embargo, no se limita a los modelos chinos. Cada uno de los creadores de modelos, como OpenAI, Antropico, Grok, tiene sus propios sesgos políticos. Y si les preguntas sobre determinados temas o hechos históricos, se negarán a responder. Si los utilizas para poner a prueba la afiliación política o los hechos históricos de un LLM, lo estás haciendo mal. No creo que sean lo suficientemente capaces de darte una opinión política más allá de la que los creadores de los modelos les han inculcado. Ni siquiera puedes confiar en ellos para comprobar hechos históricos, porque cada uno tiene su propia versión de la historia, y los modelos básicamente heredan esas. Ahora bien, en lo que respecta a los modelos de ponderación abierta, lo bueno es que incluso en este ejemplo, parece que para este tema, R está dispuesto a generar una respuesta, pero hay una barrera de protección encima. Pero como las ponderaciones están disponibles abiertamente, podrías ejecutar este modelo y obtener una respuesta de él. Ahora bien, no puedes hacer eso con otros modelos de código cerrado. De todos modos, quería abordar esto porque sé que habrá comentarios sobre que este modelo es de China y está muy censurado, así que solo quería abordarlo. Y aparte de eso, creo que es probablemente uno de los modelos más impresionantes que he visto, especialmente en tareas de codificación y razonamiento. Así que pruébalo. También voy a probar las versiones destiladas de esos modelos más pequeños, desde los 32.000 millones hasta los 70.000 millones. Así que si te interesa, asegúrate de suscribirte al canal. Gracias por ver el canal y como siempre, nos vemos en el próximo.