Los PELIGROS legales de la IA que nadie te cuenta (con EX Juez del Supremo)

¿Quién va a la cárcel si unha inteligencia artificial comete un delito? ¿El algoritmo? ¿El desarrollador? ¿Tu, usuario, que has apretado el botón?

Puedo yo coger un sistema como Live On Labs e emular mi voz, vamos, la pongo a un teléfono e te está llamando Jorge. Tu crees, probablemente, que te está llamando Jorge. O sea que, imagínate que si das el volantazo para cá, te llevas por delante a un niño pequeño que está ahí con la pelota, si lo das para allá, pues te llevas por delante a una persona mayor que estaba empezando a cruzar y no tienes prácticamente otra opción. Iso le pude pasar e le va a pasar a los algoritmos de inteligencia artificial. Dá la impresión de que estamos regulando porque no somos capaces de hacértelo, porque no somos capaces de inventar.

Nos están vendendo que a inteligencia artificial é o nosso pasaporte ao éxito. Pero de lo que se está hablando moi pouco é de que estamos operando en unha incerteza legal absoluta. Para responder a esta e a outras preguntas, hoxe vamos a hablar con Jorge Carrera, abogado y exletrado del Tribunal Supremo Español. Así que, no me enrollo máis e empezamos. En primer lugar, muchísimas gracias por estar aquí, Jorge, e por exponerte a poder hablarnos desta parte máis legal da inteligencia artificial e das implicaciones que tiene.

Muchísimas gracias, Laura, por invitarme e asumo os riesgos.

Me gustaría saber, en primer lugar, Jorge, está a justicia preparada para a irrupción da inteligencia artificial na sociedade?

A ver, eu creo que deve estarlo. E se a pregunta é se agora mesmo está preparada, creo que todavía não. Están facendo coisas, están empezando a facer coisas, pero no sector público, cando me falas de justicia, entendo que fundamentalmente falas do que é o sector público da justicia, jueces, tribunales... Realmente as coisas van, e creo que van a ir máis lentas do que deseable. Pero obviamente a inteligencia artificial já chegou, porque, de hecho, aunque non este todo institucionalizado, jueces, magistrados, fiscales, saben o que é o chat GPT, saben que é Gemini e a están usando. Pero se o que te refieres é aplicaciones hechas desde a própria institucionalidade, con unha calidad e unha robustez, como seria desear para todo o workflow da Administración de Justicia, estamos todavía lejos. Se me falas do sector de justicia, e abrimos o foco máis, non só a administración de justicia, penso que tamén no nostro país hai moito traballo que facer, por exemplo, no tema da propiedade imobiliária. O registro da propiedade obedece todavía, en fin, non está vinculado, non está coordinado totalmente con o cadastro, hai que sentar as bases para un novo modelo de registro, probablemente tokenizado, tecnologia, blockchain, estamos moi leitos, non temos aí nada feito todavía. E, por outra parte, por exemplo, en relación con a función notarial, as escrituras, apesar de que as facemos en PDF, pero estamos todavía trabajando unha función notarial que vende de moi atrás. Por tanto, creo que ao sector justicia sí que efectivamente le falta unha modernización, e a inteligencia artificial seria unha gran oportunidade para impulsar esa modernización que é tan necesaria.

Creo que has dicho, hai dos puntos que me resultan moi interesantes, porque has dicho que os jueces, os tribunales, conocen a existencia do chat GPT, do Gemini, o utilizan, pero non tenemos de momento un protocolo de uso generalizado. Non é isto un riesgo? Están hoi os jueces unilateralmente utilizando estas herramientas, sen saber moi ben o impacto que té, como a están utilizando?

Vamos a ver, a tecnologia e o risco van de la mano, sempre, porque a tecnologia non é perfecta e os riscos existen. Non é algo novo, por exemplo, os jueces, os magistrados, os fiscales, os advogados, todo o mundo ha venido utilizando internet, correo electrónico, Dropbox, Circulan continuamente documentos, algunos dellos con datos confidenciales, e circulan, e han circulado pola red. Agora circulan a través dos modelos de inteligencia artificial, porque al final del día son todos modelos cloud, e portanto todo tiene que ir al servidor. Claro que existen riesgos, e obviamente O gran desafío é tratar de minimizar, na manera do posible, esos riscos. E iso quer dizer trabajar en dous línias. A línia tecnológica, pero a línia tamén dos procedimientos ou métodos de trabajo. E en todo iso hai que avanzar. E especialmente en a Administración de Justicia, un sector onde hai moito por facer.

Que garantías tenemos? Estou pensando, por exemplo, en noticias que han habido de abogados que se han presentado en un tribunal exponiendo precedentes ou casos inexistentes alucinados por la inteligencia artificial. Si tenemos en cuenta que podemos estar ante jueces que tamén se están apoyando para tomar sus decisiones para decirse si unha persona é culpable ou non en la inteligencia artificial, que nos garantiza que lo que se está facendo non é o resultado de unha alucinación, que as decisións que se están tomando non son o resultado de unha alucinación.

Bueno, yo te diría, me obligas a hacer un pequeno spoiler, pero lo voy a hacer con mucho gusto, porque voy a publicar en breve un vídeo en mi canal en el que hablo precisamente de como, a partir de este tipo de situaciones, podemos acabar generando un entorno ou un mundo jurídico sintético que realmente no obedece a la realidad, porque claro, es el tema de que unha falsedad ou unha mentira dicha veinte mil veces acaba convirtiéndose en unha verdad. E ya non só abogados, eu diría, hai un caso reciente que aí se ha discutido se al final era o tema que era del juez ou del fiscal, o caso de Ceuta, é un tema que parece que se ha matizado a cuestión.

Para quem non o sepa e nos este vendo, se nos queres hacer así explicarnos un poquito, Bueno, o Supuesto de

Feuta é a cita de unha jurisprudencia que realmente parece que era sintética, que era inventada de algún modelo, logo parece que no, que se había arrastrado desde Fiscalía de outro escrito que non tenía nada que ver con isto, e por algunha razón, un error a la hora de pasar o documento, de hacerlo, pasou un documento que non debía pasar. O caso de Ceuta, como moitos outros, vale para unha reflexión general, que é dizer, vamos a ver, se a Inteligencia Artificial alucina, porque alucina, e seguirá alucinando, se a Inteligencia Artificial cada vez lo hace mellor e nos fala de sentencias que non existen, de doctrinas que a lo mejor tampouco realmente existen, ou non vienen deste autor ou daquele outro, pero iso empieza a correr a través de las citas, e a partir de ahí se va propagando, pues obviamente vamos contaminando, por así decirlo, el mundo de la doctrina jurisprudencial con material sintético alucinado generado por la inteligencia artificial, que al final pode casi convertirse en verdad e darse por bueno, pero esto es que es así. E nos vamos a... Ese é un reto que tenemos por delante. E contra ese reto, ¿qué se pode fazer? Pues yo creo que, de nuevo, lo fundamental é tratar de mejorar a tecnología. E tratar que a tecnología, en primer lugar, alucine o menos posible. Pero logo tamén que hayan mecanismos, por así decirlo, de control de calidad previos a publicar unha sentencia ou a presentar un escrito ante un determinado juzgado. Eu, por exemplo, estoy trabajando moito en inteligencia artificial la figura del abogado del diablo. que é ese membro do Red Team que está ahí continuamente diciendo, oi, cuidado que esto probablemente lo estás haciendo mal, ou estás fijado que... Todo este tipo de mecanismos tenemos que irlos implementando, porque al final o trabajo con inteligencia artificial... Yo siempre digo que la inteligencia artificial es inteligencia y emula a la natural, en lo bueno y en lo malo. e al final é o mesmo que o trabajo previo á inteligencia artificial, é dicir, en un despacho ou en un juzgado, que é lo que hay que hacer antes de publicar e notificar unha sentencia? Repasarla ben, ver que non hai ningún error, igual que antes de presentar unha demanda. Pois cando tú has generado e has trabajado en un workflow máis automatizado con elementos de inteligencia artificial, debes tamén ser capaz de construir e tener esos filtros que probablemente cada vez teñen que ser máis tecnológicos e que te eviten este tipo de situaciones.

Yo estoy de acordo contigo Creo que o humano tende a ser holgazán por naturaleza, todos e cada uno de nós. Entóns, aunque sabemos o que é unha boa práxis, é dicir, temos claro o que hai que facer, a realidade é que cando temos un sistema, como neste caso a inteligencia artificial, que pode facer cosas incluso mellor que nós, e sabemos que devemos repasar ese resultado, moitas veces non o facemos. Por tanto, tu falas de controles de calidad, que evidentemente cada vez deberán ir á un lado máis tecnológico, Quer esto dicir que al final veremos un sistema judicial completamente digitalizado, incluso robotizado? É dicir, acabaremos teniendo os jueces robots, incluso abogados que nos defiendan que sean robots e un control de calidad posterior que sea unha máquina?

Bueno, Laura, iso afortunadamente todavía é ciencia ficción. Iso dá para unha película de ciencia ficción, pero creo que estamos moi lejos. Ora, se a pregunta é se algún sector de la justicia pode... Vamos a chamarle, robotizarle se tu queres, ou automatizarle, ou vamos a dizer estar moito máis intensivamente apoiado pola inteligencia artificial, aunque probablemente agora non seja a opinión maioritaria, te digo que sí, porque, al final, al final, al ciudadano lo que le interesa é que o seu asunto, aunque sea un pequeno asunto, tenga onde acudir, e alguén se lo resuelva, unhas reglas claras. Entonces, non podemos, hoxe por hoxe, creo que non tendría sentido pretender que un asunto de gran complejidade e gran magnitud, al final lo resuelva de modo automatizado unha inteligencia artificial, que é a idea do robot. Pero cando falamos do tema das pequenas causas, dos asuntos de pouca cuantía que poden, moitos deles, someterse á unhas reglas bastante estandarizadas, mi pergunta é por que non? É mellor isto ou que o cidadano diga, mira, é que non vale a pena reclamar, me han engañado, este producto non é correcto ou me han estafado, o que sea, Pero sabes que non é a pena porque me costará máis o abogado ou o servicio jurídico que outra cosa.

É verdad.

E además é que, en alguma medida, já lo estamos facendo. Cuando temos algunha reclamación en grandes plataformas comerciales, como o caso de eBay ou Amazon, probablemente pensamos que, cuando escribimos ahí y lanzamos el formulario para que alguien haga de mediador, por así decirlo de alguna manera, pensamos que sempre hay un humano. Eu creo que probablemente não, que muchas veces ahí hay máquinas, hay algoritmos, que en un momento dado, se non o ven moi claro, probablemente le dan o controle ao humano, pero non sempre en todos os casos. É a decir, temos que ser capaces, en alguna medida, de romper determinados tabús e de tratar de empezar a ver, oiga, como lo podemos fazer? Por lo menos, pongámoslo sobre a mesa e, a partir de ahí, veamos como lo podemos fazer, veamos os problemas e veamos como lo resolvemos. Pero non nos quedemos anclados en o antigo régimen.

Muy bien, me sorprende muchísimo porque creo, personalmente, a pesar de que trabajo con varias firmas de despachos de abogados, creo que generalmente tenemos unha imagen deste sector bastante anticuada. Se resiste ao cambio. En este sector, al final, y en todos. La pregunta é... Que va a suceder? O crees que os advogados que decidan incorporar esta tecnologia van a acabar sustituindo por completo aquellos que se nieguen absolutamente a utilizarla?

A ver, quen se nega a autorizarla está perdendo unha oportunidade increíble. E, sin dúda, eu creo que se vai quedar atrás no mercado. Porque a inteligencia artificial te dá unha productividade tremenda. Pero, además, te dá unha potencia de razonamento que é importantísima. Entón, eu non recomendaría a ninguna boca que se quede ahí atrás. va a teñer un problema. Probablemente va a pasar. A ver, a gente ya bastante maior, que tal vez se va a jubilar nos próximos 3 ou 4 años, pues a lo mejor diga, ya non me vale a pena e lo puedo entender. Pero, deslego, a outro nivel, a outro nivel, non. Eu, recuerdo, havia sido decano nos juzgados de Girona. E, en un momento determinado, se instalaron ordenadores en todos os E recordo, desde o decadato, teníamos unha cuestión, e era que unha dos compañeros, o computador ese do seu despacho llevaba máis de un ano instalado e non se había ní puesto en marcha. En todos os sectores hai resistencia, non? E alguén dicia, oi, pero unos ordenadores, que para mi isto é unha cosa terrible, é un mundo, eu como vou? Eu sigo trabajando como sempre, con mi papel, con mi pluma, e ya está, a partir d'aí non hai problema. Estas cosas poden pasar. Pero, al final, al final, a tecnologia é a que acaba tirando o carro, a que acaba mandando, e efectivamente, eu diría, para que el abogado que non entre, que non queira entrar en este mundo, o pronóstico realmente é negativo.

E agora saindo do sector legal, como profesional, que vai suceder con esas persoas que se resistan a isto, a cualquier outro profesional?

Esas persoas que se resistan van a perder muchas oportunidades no mercado e, portanto, en un momento dado, poden quedar arrinconados ou poden quedarse sin oportunidades. E claro, como todo, vamos a ver, a inteligencia artificial é unha disrupción. É unha disrupción nos métodos de trabajo, no mercado e demás. E, como toda disrupción, obviamente, requiere a todos os participantes no mercado unha labor moi intensa e decidida de actualización e de reciclaje. E cando non a faces, te passa como en cualquier empresa. Un trabajador va a buscar trabajo en unha empresa, si, pero eu, mire, non me manejo con os ordenadores. Probablemente le va a dir, mire, non le podemos contratar, porque hoxe en día todo se trabaja con ordenadores. Dentro de cuatro días va a pasar o mesmo. Mire, la inteligencia artificial, esto para mi... No, no. Eu penso, se lo explico e se lo cuento. Se preocupe que... Se va a dir, mire, usted, lo siento. Lo que va a suceder é moi negativo.

Decías hace un momento que acabaremos vendo estes pequenos jueces robots para decisiones ou quizás conflictos que sean menores. E me surge unha duda. Sabemos que a Inteligencia Artificial tiñe sesgos, porque ha sido entrenada con datos que tiñen sesgos das persoas, básicamente todo o que hai en internet, etc. E a mín me surca unha dúda. É mellor a frialdade e ese sesgo da máquina ou a subjetividade do humano que, neste caso, dicta sentencia?

A ver, cando falabas de sesgos, os humanos tenemos muchísimos sesgos. E falabas entonces de subjetividade. Desde o meu ponto de vista, se somos capaces de construir unha arquitectura de solucións robustas, con bons algoritmos e tal, non hai nada mellor no mundo da justicia que a claridade e a previsibilidade. O mellor que te pode pasar neste mundo, cando tens un problema, é que as reglas do jogo estén claras, e tengas claro, se tens razón, pois vou para adonde tengo razón, porque as reglas están claras. Cando o problema ya é, bueno, se te toca este juez, ou se realmente vas a este outro juzgado, este resulta que tiene un sesgo por aquí, el otro por ahí, bueno, entón, ¿qué me va a tocar a mí? Y cómo va a salir? ¿Qué hago? ¿Voy para adelante? No voy para adelante. Eso é o peor que te pode pasar. Entón, as máquinas, todos os seus defectos e todas as suas limitaciones, poden aportar moito en claridade e en previsibilidade. Iso se traduce en frialdade, como tú planteabas, A ver, evidentemente a justicia tiña que tener un componente humano, e tiña que tener esa capacidad que é fundamental, que é prácticamente de artesanía, de ser capaz de detectar moito os matices e as especificidades milimétricas ou microscópicas de cada caso, porque isto e isto parece igual, pero realmente a lo mejor hai elementos que non o é. ¿Quiere eso decir que as máquinas no van a poder llegar a ese punto de excelencia? Hombre, non é fácil, pero tampouco é fácil para as persoas. Cuidado. Entón, nada é perfecto, pero eu te diría que en la medida, sobre todo para... Y vuelvo a lo que planteaba antes. para casos sem demasiada injundia, para casos de non demasiada trascendencia, casos pequenos en os que... Es que senón, prácticamente non hai porta a la que chamar. Eu creo que é muito mellor que o cidadano tenga esa previsibilidade e esa claridade e esa posibilidade de dizer, bueno, eso probablemente... Además, fíjate unha cousa. En cualquier modelo ou arquitectura que construíamos para solucións deste tipo para a justicia, Sempre é bono que quede logo un último recurso humano. Entón, se de algunha forma és capaz de facer funcionar isto de tal maneira que, en última instancia, se se dan unha serie de circunstancias, pueda o tema de trasladarse a unha solución humana, eu creo que podes empezar a pensar que estás integrando o mellor dos mundos. Entón, por que no?

Por exemplo, nos juzgados españoles, a justicia española se caracteriza por ser lenta, están totalmente bloqueados e, como tú bien decías antes, hai muchísimas persoas que para cosas menores nisiquera se plantean. e tamén por esa previsibilidade. Eu creo que en España tenemos unha inseguridade jurídica bastante importante, hai veces que a nosa lei é un pouco gris e unho non sabe o que está ben e o que está mal. Sem entrar en moitos detalles, pero a xenda pública é insegura absolutamente. Eu creo que é o maior problema no qual nos enfrentamos hoxe. Pero ao marxo disto, eu creo que o contexto sempre importa. El contexto importa cando hablas con a inteligencia artificial, cando queres hablar con un familiar ou un amigo e le queres explicar algo, e evidentemente, cando tenemos un caso ante un juez, el contexto importa incluso se son vecinos que se están demandando porque ha caído el agua de la planta abaixo. Pero eu me pongo en un caso aun máis extremo. imagínate que nadie se nos escandalice, pero ese padre que a lo mejor le han violado a sú hija e ele ha decidido tomarse a justicia por sú mano. É legal? Nó. É lícito? Cada uno aí tiene sú punto de vista. Este tipo de casos, que sería mellor? Que los tratara unha inteligencia artificial ou un juez con sú parte máis emocional e sús sesgos igual que la IA.

Mira, hace ya siglos se hizo unha gran revolución e esa revolución a lo que iba era que el juez fuera finalmente la boca da lei. para que o imperio da lei fosse realmente o que fixase o camino e a forma de funcionar da justicia. Porque antes o que sucedía é que tu ibas ao soberano ou á justicia do soberano que tenía unha gran capacidade e unha gran manga ancha para decir, bueno, a lo mejor sí, a lo mejor nó. Non había previsibilidade. sí que podían, a lo mejor, tener en cuenta toda una serie de matices, pero a lo mejor esos matices, desde un punto de vista ético ou racional, eran inadmisibles totalmente. Entonces, al final, se dice, no, mire, la ley. La ley escrita. Y se llegó al extremo de decir, el juez tiene que ser la boca de la ley. Ese juez que prácticamente é unha autómata, porque a lei é tan perfecta que lo tiene todo aí previsto e basta con... Le ha pasado isto, isto, así... Pois mira, aquí está a lei, a lei dice isto, entonces isto é lo que corresponde. Iso é unha quimera, porque obviamente a justicia é unha actividade moi compleja. E esa complejidade é complicada para a inteligencia artificial. A Inteligencia Artificial cada vez maneja mellor situaciones de complejidade, pero todavía tiene seus límites. Entón, hoxe por hoxe, a justicia dos grandes casos, os supostos en os que realmente hai moito que discutir, moito que falar, moito detalle e moito matiz con o que trabajar, deve seguir sendo justicia humana. todos os seus fallos, porque tamén los va a tener. Mi proposta non é vamos a convertir a todos os jueces ou a todos os juzgados en robots e aí já non faz falta intervención. Non é ni mucho menos isto. tamén tengamos en cuenta, porque cando falamos destes problemas de las oportunidades ou de los espacios que poden existir en la justicia para a inteligencia artificial, hay que distinguir. Porque, fíjate, Laura, que lo que me has ido planteando tiene que ver con un ámbito que é o resolutivo.

Totalmente.

Como se hace justicia. Que resposta se dá a ese conflicto de intereses ou a esa situación límite. Pero previo a isto, hai toda unha actividade que é imprescindible para facer justicia, que é o procedimiento. Porque o procedimiento é necessario como garantía. Quer dizer, en cualquier xarla agora falas tu, despues falo eu, quanto tempo tens tu, quanto tempo tengo eu, agora pruebas, que pruebas podes aportar tu, que pruebas podo aportar eu. Todo iso está arreglado. E todo iso sí que aviene ya moi ben a que as tecnologías, ya non só a inteligencia artificial, as tecnologías informáticas que já conocemos ao uso, a automatización, pero tamén a inteligencia artificial, aí poda intervenir. É dicir, que no ámbito da justicia non só temos que pensar no nivel resolutivo, onde efectivamente hai situaciones en que, hoxe por hoxe, non parece que a solución poda ser, nin moito menos, a justicia robótica. Solo para alguns casos menores, como eu planteo. Ora bem, para todo o que é a actividade, por así decirlo, burocrática, para que nos entendamos de procedimiento, que és así responde a unhas reglas moi claras, Caramba, ahí tenemos un camino tremendo por recorrer. E iso conecta con o que tú planteabas hace un momento. Decías que a justicia é lenta. Claro que a justicia é lenta, porque trabajamos todavía con mecanismos que nos impeden que a justicia pueda ser o rápido que queremos. E, al final, normalmente, só pensamos en, bueno, vamos a poner ahí máis gente. Sí, pode ser unha solución, pero máis xente tamén és un cuello de botella. Hay que adaptar todo o proceso de trabajo de maneira que sea coerente. E eu creo que a inteligencia artificial e as tecnologías da información, no ámbito de todo o que é a tramitación e o procedimiento, ten un espaço que non estamos aprovechando.

Hablabas de proves, Jorge, e agora mesmo, Con a llegada da Inteligenza Artificial, vemos redes sociales inundadas de contenido falso. Todo o mundo fala das fake news, estes deepfakes. Vai chegar un punto en que cualquier prova digital non podrá ser aceptada ante un juez?

Bé, aí temos tamén grandes desafíos, porque agora se pode emular prácticamente todo. Tú con inteligencia artificial podes crear vídeos que poden ser casi perfectos e obedecer a unha realidade. Podes emular voz. Puedo eu coger un sistema como Live on Lapse e emular mi voz. Vamos, la pongo a un teléfono e te está llamando Jorge. Tú crees probablemente que te está llamando Jorge. Aí habrá que trabajar moito para que o procedimiento este dotado, non só das garantías legais, sino dos mecanismos tecnológicos para depurar todo isto. E, además, o que sucede é que o mundo tecnológico, o mundo que está do outro lado, non nos pone nada fácil. Traballo moitos anos nos Estados Unidos con o Departamento de Justicia, codo con codo, ajudando a jueces españoles a obtener prueba electrónica de internet. Esos correos de Gmail, esos Whatsapp, etc. Esos Facebook. E, por unha parte, les costou moito, e todavía non estamos no punto que creo que deberíamos estar, as tecnológicas colaborar como deberían colaborar con a Administración de Justicia. En Estados Unidos, cando eu estaba ahí, ellos decían que la prueba se la tenías que pedir á súa jurisdicción, e como son empresas americanas, se las tenías que pedir a Estados Unidos, e iso generaba uns problemas tremendos. Muitas desas cousas, afortunadamente, han ido mellorando. Pero, agora, por exemplo, nos encontramos con plataformas como, por darte un ejemplo, TikTok. Cando tú miras algún vídeo dos subidos a TikTok, en moitos deles é imposible saber a fecha en que se ha subido. Algunos casos sí, te dice hace cinco días ou hace unha semana, pero logo desaparece e ya no sabes cuándo se subió. E iso es del punto de vista forénsico, es del punto de vista de como diligencia a prueba, porque a veces aí pode haber unha prueba importante, complica muchísimo as cosas. E cuando lo pides, cuesta moito obtener esta información.

Isto quiere decir, por poner un ejemplo, Tenemos aplicativos capaces de clonar a unha persona. Pode ser un personaje público ou non. Vamos a imaginarnos un adolescente ou unha chica onde, pois, hoi, un niño de 15, 16 años pode clonar a esta chica e facer un vídeo pornográfico de ella e ponelo en redes sociales. Está preparada a justicia hoi para detectar isto e retirarlo del...

Tenemos mecanismos legais. O problema ahí non está sempre na justicia. O problema, moitas veces, vende na outra parte. É dizer, que o mundo tecnológico, nos proveedores de servizos e de contenidos en internet, non pone ningún tipo de facilidade. Á veces se hace con unha finalidade, por lo menos se invoca unha finalidade que en origen é moi legítima. Por exemplo, proteger en determinados países ou en determinadas jurisdicciones a liberdade de expresión. Proteger a ese joven universitario que, que te voy a decir, en Irán, publica unha serie de vídeos protestando porque o regime infringe os derechos fundamentales. Claro, se nesa plataforma hai unha trazabilidade absoluta, esa persona vai ser descoberta e vai ser sometida a un juicio, que probablemente non vai ser un juicio contra as garantías, e vai ser sometida a unha pena que a lo mejor será tortura, por dizer algo. Entón, iso teñe sentido, sí. Pero claro, cando iso lo traducimos a nosos modelos ou sistemas de justicia, nos encontramos con uns problemas tremendos. Yo te hablaba, por exemplo, da fecha de publicación. Pero é que hai outro dato que é muito máis importante e é prácticamente imposible de obtener. Claro, á veces o que interesa saber é a fecha de grabación de un vídeo. Porque, como tú sabes perfectamente, un vídeo o podo haber grabado hace 12 meses e o subo mañana a TikTok ou a YouTube. Entonces, bueno, Youtube me dará unha fecha, TikTok probablemente, al cabo un tempo, non sacará nada, con lo que non tendré ni la fecha de publicación. Pero si quero saber, e quero trazabilidad, quero saber la fecha de grabación, iso vai ser imposible, salvo que pueda yo obtener el dispositivo ou el archivo que sirvió de base, de fuente, para subir iso a la plataforma. Si al final a pregunta é, pode a justicia chegar sempre con esas pruebas até o final? Non, moitas veces non, pero o problema non é que falten mecanismos legais, o problema é que a outra parte, os que comercializan os proveedores de contenido, muitas veces non o pon nada fácil. E claro, se esos proveedores de contenido están en jurisdicciones como a europea, aí sí é muito máis sencillo porque se les pode obligar. Pero se o proveedor de contenido está en determinadas jurisdicciones, iso já devine a veces quimérico, por non dizer imposible.

tú decías antes que, cando tú estabas nos Estados Unidos, muchas veces era solicitar, neste caso nos Estados Unidos, estas pruebas, porque a maioria destas empresas de creación de contenido, TikTok, Meta, estas plataformas normalmente tienen sede nos Estados Unidos. E agora mesmo nos encontramos con un presidente dos Estados Unidos donde ha dado carta blanca a la inteligencia artificial, isto supone tamén a que se cree todo este tipo de contenido falso. As empresas, además, non ten a obligación de darnos estes datos apesar de que en territorio europeu se haya cometido un delito. Por tanto, aquí estamos nun caixón sin salida a menos que o mundo a nivel internacional, mundial, chegue a un acordo de como regular este tipo de situaciones.

A ver, non é un callejón sem saída, tamén é verdade que desde o tempo que eu estaba nos Estados Unidos, han pasado máis de cinco anos, a nivel da Unión Europea, se ha ido generando legislación, legislación europea, algúnas cousas han ido mellorando, algúns grandes proveedores de contenido han empezado a colaborar, e además ten sede na jurisdicción europea. Pero, aun así, siguen habendo problemas. Es decir, se unha Startup dos Estados Unidos ou China dá mañana por poner a disposición de cualquier usuario unha plataforma para subir contenidos, nadie pode impedir que un usuario español suba un contenido ahí. Pero claro, esa Startup dos Estados Unidos ou de China non tiene ninguna representación en Europa. Non tens como por así decirlo, hacerle algo legalmente, porque lo tienes en otra jurisdicción. Y se esa otra jurisdicción no lo pone fácil, por ejemplo, en Estados Unidos hay una protección muy fuerte, más fuerte que en Europa, de la libertad de expresión, lo que ellos llaman free speech. Y claro, el free speech lleva a veces en que determinados contenidos, aunque los pidas, no te lo van a dar nunca. Como o tema tenga unha connotación política, mínimamente política, de opinión e tal, iso non te lo van a dar de ninguna maneira. E, aunque non a tengas, se é puramente free speech, non te lo van a dar, salvo que haia alguna invitación á violencia ou algo que xa escape de puramente lo que é expresión. determinadas imágenes, por ejemplo, si é determinada pornografía con menores, sí, aí van a colaborar. Pero só en determinados sectores. En outros sectores, no, nosotros, por exemplo, teníamos graves problemas nos famosos delitos nostros de injuria e de calumnia. Eu soi de los que defendo que iso non devería ser delito, pero bueno, iso é outra cosa, no? Pero cando tratábamos de que nos dieran pruebas sobre isto, nos decían, oiga, donde van ustedes? Ustedes ahí lo que están es criminalizando un delito de opinión, vale? Que alguien ha dicho que el alcalde de no sé dónde es no sé qué, no sé cuánto, no sé qué. Bueno, oiga, pues respeten la libertad de expresión y el alcalde de no sé dónde que se defienda. Ya está, pero aquí termina. Pero este no puede ser un tema penal, con lo cual yo no le voy a dar ningún tipo de información. Es decir, que son temas complexos, son temas onde a diferente regulación e os diferentes sistemas de garantías dos países a veces tamén chocan e iso genera problemas.

É posible que se llegue a un consenso entre China, Estados Unidos, Europa, para regular todo o que vai comportar a inteligencia artificial na sociedade?

vamos máis bem ao revés, un caminho contrário ao de los grandes consensos a nivel mundial. Vamos a un mundo máis polarizado, a un mundo máis onde as grandes potencias están cada vez adoptando prácticas máis proteccionistas, e onde obviamente hai unha lucha tremenda por la primacia e a inteligencia artificial entre China e Estados Unidos. E, portanto, hai grandes acuerdos. E o veo complicado, moi complicado hoxe.

Se fala moito sobre todos os dois players desta partida, son China e Estados Unidos. E parece que Europa, igual que Latinoamérica, estamos quedando un pouco relegados, non? Estamos, bueno, non sei nisiquera já se nos conciben no mapa, non? Porque é un pouco complexo. ¿Qué crees tú que nosotros como ciudadanos, porque claro, nosotros no tenemos el control sobre el gobierno, sobre as decisiones que se toman en Europa, e evidentemente los sudamericanos tampoco, las personas que están al otro lado del charco, poco pueden hacer con sus gobiernos y sobre todo en la situación de varios países? aos ciudadanos de a pie, que nos espera? É dicir, que deberíamos facer? Nós europeos, por exemplo, jovens que queren desenvolverse profesionalmente, que queren iniciar a súa empresa, casi todas están tirando para o ámbito tecnológico, que facemos?

A ver, eu creo que hai cosas que hai que fazer. Entramos aí nun ámbito que non é o tecnológico, sino o da política, non? E eu creo que sí, hai cosas que hai que fazer. Deslego, hai que fazer, hai que... A Europa precisa regular menos. Regular mellor tamén, pero menos. Precisa promover moito máis a investigación e o desenvolvemento. Necesita promover de unha maneira séria e eficaz a cultura do emprendimiento e apoiar, especialmente, as menes jovens con inquietudes, con proxectos. E se a Europa non vai claramente por ese caminho vai ter problema. Pero é que no noso país, desgraciadamente, sinto moito dicirlo, España vai por un caminho que é casi totalmente o contrário. Entón, iso é un problema, é un problema moi sério.

Hablabas de regulación e a mí me viene a la mente esta regulación europea para a Inteligencia Artificial, o EIA Act, que sobre o papel parece todo moi obvio, pero cando te enfrentas a outras partes do mundo onde non existe nada disto, en que lugar nos deixa?

O tema da regulación da Inteligencia Artificial na Europa, eu a veo un pouco como o que nos pasou con a protección de dados. E non é que eu seja un detractor da protección de dados, porque, como antes te contaba, eu fui o responsable na España da negociación da reforma de protección de dados na Bruselas, como consellero de Justicia na representación permanente de España ante a Unió Europea. e al final te quedas un pouco con o sabor de boca de dir dá a impresión de que estamos regulando porque non somos capaces de hacer outra cosa. Porque non somos capaces de inventar, porque non somos capaces de tener big players como Google, como Meta, en fin, e como non tenemos isto e evidentemente nos crean problemas, pues regulamos.

Pero non somos capaces ou estamos impidiendo? Porque nosotros tenemos gente moi capaz. Tenemos empresas, persoas profesionales absolutamente capaces que se van á outra punta do mundo a desarrollarse porque aquí non se les permite. Cando digo aquí, nuestro país, pero en general, Europa. A veces uno, y discúlpame porque te vou facer unha reflexión moi simplista, pero eu creo que Europa, moitas veces, Pone reglas por deporte. Es decir, estamos... El outro día, fíjate, te voy a contar algo personal. Estábamos cenando con mi pareja en casa e estábamos viendo, pues, ciertas cosas sobre este tema de ley e acte, así, e yo le decía, e además veíamos el acuerdo que ha habido entre India, el acuerdo comercial que ha habido entre España e India, ¿no? Y aparentemente para os españoles tiene muy poco beneficio. Y yo le comentaba a mi pareja y le decía yo a veces las personas que toman decisiones no entiendo muy bien que se les pasa por la cabeza porque parece que nos damos disparos en los pies. Y con el caso del AIAD me sucede un poco lo mismo. Estamos poniendo reglas y creo que quien las está poniendo no entiende ni la tecnología ni lo que comporta.

A ver, cuando yo te decía no somos capaces, no me refería a que no tengamos cerebros, no tengamos perfiles capaces, claro que los tenemos. No, no, me refería a que no somos capaces de generar las condiciones normativas, legislativas, de mercado, etc., para que eso realmente se pueda producir aquí. Tú eres youtuber. Yo

soy una pequeña creadora, vamos a decirlo así. Tú

eres una creadora de contenido, yo también creo contenido. Evidentemente, a nosotros probablemente todavía no se nos ha dado la posibilidad ou la oportunidad de marcharnos a Andorra. Pero, ¿qué estamos haciendo? Estamos exportando youtubers. ¿A qué? A otro país al que yo quiero muchísimo. No tengo nada contra los andorranos. Pero hay una serie de personas válidas en nuestro país, por dar un ejemplo, que se van a vivir a un lugar onde van a teñer problemas de tráfico, onde van a pasar frío, onde van a teñer problemas de movilidade, pero por que? Porque a fiscalidade é muito máis beneficiosa. Entón non somos capaces de mantener, de retener a persoas que realmente están aportando, están generando riqueza e, al final, van a tributar tamén. Por que non creamos unha fiscalidade adaptada a estas cousas? E me vais a dir, non, és que hai moitas necesidades, que non se llega a todo tal... Claro, pero se non creamos riqueza e creamos necesidades, obviamente, o resultado está claro. Non va a funcionar como non funciona. E, en Europa, non se está pasando este tipo de cosas. Estamos regulando, estamos hiperregulando, estamos generando unha serie de fiscalidades e estamos generando unha serie de incentivos negativos que precisamente lo que provocan es que los perfiles, las mentes válidas, salvo que tengan algún tipo de modelo de negocio que les obliga a permanecer en el espacio, apoco que pueden, van á otras jurisdicciones. Entonces, yo creo que iso nos debe llevar a reflexionar, porque claro que Europa se está quedando atrás tecnológicamente. Dime algún modelo de inteligencia artificial europeo que pueda usar alguén aquí ou tú pueda recomendar en tú trabajo a alguén. Non lo hai. Non é que estemos un pouco mal, é que estamos moi mal. Non é que estemos un pouco atrás, é que estamos quedándonos moi atrás. Pero estamos quedándonos moi atrás, primeiro porque os outros tamén juegan, por suposto, pero fundamentalmente por nostros errores. Debe haber unha reflexión a fondo. E a xente, especialmente a xente joven, se debe dar cuenta e debe entender que hai toda unha serie de políticas que sonan moi ben, que se escriben moi ben sobre o papel, que son fantásticas, pero non funcionan. e que as verdadeiras políticas que funcionan son aquellas políticas que precisamente o que promueven é a creación de riqueza. Porque é a partir da creación de riqueza que podes luego tamén atender ás necesidades sociales. Non estou facendo un discurso, ni vou facer nunca un discurso insensible desde un ponto de vista das necesidades sociales que poden existir, que existen en cualquier sociedade e que hai que atender. Pero temos que comprender que, para atender e dar a atención que temos que dar a aquellas persoas que, efectivamente, non están en condiciones de trabajar, de producir, persoas maiores, persoas moi jovenes, etc., temos que ser capaces de generar riqueza. E, para generar riqueza, hai que ser capaces de generar as condiciones adecuadas para illo. E creo, sinceramente, que non lo

estamos haciendo. Sólo quería puntualizarte, eu estou entendo perfectamente esos creadores e non-creadores empresarios que se marchan, já non só por as ventajas fiscais que poden tener, moitas veces é o que te dixía anteriormente, a inseguridade. A inseguridade fiscal en tú país face que, a veces, eu creo que hai persoas que se marcharían incluso se tiberan que pagar máis, porque eu creo que a paz e a serenidade non teñen prezo. Entóns, bueno, isto como puntualización, no? Me gustaría porque decías un pouco, al final, estamos bloqueando o progreso, esta é unha realidade, eu creo que emmascarado de seguridade. Es decir, decimos todo isto, o mensaje que recibimos, polo menos o que eu recibo é, facemos todo isto para proteger a ciudadanía. igual que con el tema de protección de datos. E isto me interesa primero porque, como tú decías antes, ha sido el encargado en su momento de desarrollar todo este sistema de protección de datos. E yo, no sé si erróneamente, pero é algo que creo bastante, suelo decir a mi lista de newsletter y cuando tengo ocasión en formaciones y charlas, que hoy la privacidad ya no existe. Nosotros non somos dueños dos nosos datos e, por tanto, ese medo que existe a veces non teña demasiado sentido. Pero me gustaría que tu, como experto nisto, nos explicaras un pouco que riesgos corremos en cuanto á nosa privacidade al utilizar a inteligencia artificial, se é que existen, claro. Claro que

existen riesgos, claro que existen riesgos e claro que, por supuesto, yo creo que hay una serie de núcleos de privacidad que hay que protegerlos, y hay que ser rigurosos nisso. Porque, a ver, hay determinados aspectos en la privacidad que a lo mejor a algunos no nos importa. A mí no me importa, por ejemplo, que determina os datos míos. que identifican determinados intereses que yo puedo tener cuando navego por internet, sean conocidos. Ya me gusta que me manden determinadas ofertas publicitarias ou me entero de cosas y tal. Ahora, hai determinados aspectos de privacidad que todos estaremos de acuerdo que, bueno, hasta ahí, a partir de ahí ya no quiero que llegue a conocimiento determinadas cosas de mi vida privada. Iso é normal e é consustancial a todo ser humano. Ahora bien, ¿La inteligencia artificial genera novos desafíos para a privacidad? Sí. ¿Importantes? Claro que sí. ¿Hay que buscarles o hay que darles protección? Respuesta jurídica, sí, pero sin pasarnos, o sea, cuidado. O que no podemos é llegar a decir, mire, sería el equivalente, si usted se sube un avión, el avión puede fallar, se puede caer, por tanto, olvidémonos de la aviación. Mire usted, no. Esa non é a vía. A vía é vamos a volar, vamos a desplazarnos rápido e vamos a establecer unha serie de garantías, de sistemas, de normativas, de verificación e tal, para que os accidentes se minimicen. Pois eu creo que con a inteligencia artificial hai que facer o mesmo. E iso significa poner en marcha unha serie de políticas que deben funcionar coordinadamente e de maneira eficaz, empezando, por exemplo, por o tema educativo. Es que, claro, poden haber riesgos, claro, depende do que tú le subes a la inteligencia artificial, pero probablemente hai gente que le está contando la vida y milagros, no? E cosas a lo mejor super íntimas ou super delicadas que... Bueno, iso... Usted tiñe que saber que va a unha nube, que sale de su control, que va a unha máquina ou unhas máquinas que están por ahí, que a lo mejor incluso están en outras jurisdicciones, e un día, a lo mejor, iso puede salir ou puede hacer unha filtración. Hay que trabajarlo tamén tecnológicamente, obviamente. Hay que exigir unha serie de medidas de seguridad, pero, como sempre, ya estamos otra vez en lo mismo. Hay que buscar un nivel adecuado. Un equilibrio. Porque senón, claro, vas a matar o invento. Me

comentabas, previo a que empezáramos a grabación, que hemos tomado un café juntos, me dicías antes que moitas veces tenemos este medo irracional, pero o hacker... sona que hai detrás, que hoi se pode apalancar da inteligencia artificial, pode utilizarla para roubar nosos datos, para facer daño con iso. Me resultado moi interesante o teu punto de vista en cuanto a que, igual que hai un negocio pola protección de datos, Os datos tamén son o negocio do hacker, e tampouco le interesa cometer ciertas loucuras. Explícanos un pouco isto, porque eu creo que pode interesar

muchísimo. Isto venía a raíz, hablábamos do blockchain, do bitcoin, dos roubos que se han producido e demás. E claro, eu te decía, mira, eu por a experiencia que eu he tenido, por exemplo, trabajando nos Estados Unidos, en temas de persecución de delincuencia organizada e demás, Claro, te acabas dando cuenta que dices, ¿pero dónde tienen el dinero los hackers? Lo tienen en Bitcoin. Entonces, claro, ¿al hacker le interesa que Bitcoin sea tan inseguro? No. Claro, ¿el hacker puede pescar en Bitcoin? Sí, pero hasta cierto punto. La delincuencia trabaja con una racionalidad que es muy clara, o sea, lo que no va a matar es la gallina de los huevos de oro. va a tratar de explotarla en a medida que pueda, pero non va a acabar con ela. E iso passa tamén con o tema das filtraciones de datos. Hablábamos do caso Snowden. Lo viví, lo viví logo en conversaciones bilaterales con Estados Unidos.

Expliquemos un poquito que é o caso Snowden para as persoas que nos ven e non o conocen. O caso

Snowden, claro, nos retraemos a bastantes años atrás, cuando era unha persona que trabajaba para la inteligencia, era contratista de la inteligencia dos Estados Unidos, e esta persona foi descubriendo, a raíz de seu trabajo, que internet se había convertido en un mundo de datos onde a inteligencia dos Estados Unidos tenía acceso a todo e lo utilizaba para obtener información de todo tipo.

Tampouco hablamos de hace tantos anos, hablamos

del 2010. Pues tengo ahora de memoria, la memoria igual me va a fallar, pero sí, nos tenemos que ubicar por ahí 2010, 2011 aproximadamente, aproximadamente. O 2002, por ahí anda, 2011 yo creo por ahí. Entonces Snowden se dá cuenta de... Isto é que é terrible, porque incluso habían salido de imágenes que, desde algunos de los sistemas de control que tenía y tal, pues activaban incluso la camarita de la pantalla del ordenador. y ahí pues había gente que se divertían viendo escenas que igual lo que decíamos de proteger la privacidad, claro, esto hay que protegerlo, no puede ser. Entonces Snowden en un momento dado pone, saca todo isto a la luz y obviamente lo que está sacando a la luz en muchos casos son secretos de la inteligencia de Estados Unidos y eso es un delito grave. Cando ve que a cosa va mal, escapa e se va, e se exilia finalmente en Rússia. E está, se non me equivoco, está todavía en Rússia, exiliado, non podido volver, porque se enfrentaría penas moi graves. A raíz disto, se descubre que Claro, o internet non era un sistema totalmente encriptado, era un sistema moi inseguro, onde quen podía tener o controle de determinados cables de gran cantidad de datos, onde se juntan os nodos que vienen dun continente, de outro e tal, se pinzabas por aí, es que te enterabas absolutamente de todo. Claro, o resultado cuando uno se pregunta, bueno, ¿y qué es lo que realmente se filtrou y llegó al público del caso Snowden? Bueno, pues llegaron, por ejemplo, que habían espiado a Angela Merkel, ¿no?, y a otros políticos. Pero, bueno, yo en aquel entonces ya funcionaba muchísimo internet mío, no salió nada. E creo que tú e Laura tampouco. Eu tenía 20

años en ese entonces, imagínate. Pero já

te podías manejar en internet, já tenías tú correo electrónico. Claro, o risco teórico existe. O que pasa é que, cando as persoas que ten interés na información que circula, e en filtrar, e en obtener dinero a cambio, ou obtener ou poder realizar presións políticas, ou del tipo que sea, ten interés e van a lo que van. os datos da Gran Masa tampouco interesan e, moitas veces, tampouco interesa que iso se filtre del todo, porque é que, de novo, te vas a cargar lo que realmente te está dando vidilla. E claro, falamos de hackers, e cando unho se imagina un hacker, se imagina un tipo joven en unha habitación ou en un garaje, ahí, trabajando con el ordenador, escribiendo código y demás para pinchar por aquí y por allá. Pero o caso Snowden era un caso de hackeo institucional. Era unhas agencias dos Estados Unidos, da inteligencia dos Estados Unidos, en colaboración, porque aquí obviamente tamén en sú momento pidieron perdón e entonaron en alguna medida, vea culpa e tal, de grandes proveedores de internet. Entón, bueno, eso era un hackeo. E a partir de ahí es cuando realmente se dá un gran punto de inflexión en lo que é a red, e pasamos de esa época de inicio que veníamos de la famosa aldea global, del mundo rosa, fantástico, donde, bueno, la gente se va a comunicar, en fin, no abran fronteras y demás, a unha internet distinta, mocho máis securizada, onde se van desarrollando procedimentos de encriptación mocho máis seguros, mocho máis fuertes, onde moitos proveedores cambian completamente as políticas. Digo, mira, aquí está este teléfono mío que esto no va a poder, y si se pierde la clave es que no se la voy a dar absolutamente a nadie, lo prometo, lo juro. Esto va a ser intocable, ¿no? Entonces, se pasa ya esa outra época que é realmente en la que ahora mismo estamos. Es decir, En última instancia, a reflexión sempre é que a seguridade é importante e a privacidade que está a mão, a seguridade, é importante, pero todo tem que ter un equilibrio razoável porque senão a industria non tem onde crecer.

Que medidas pode tomar o cidadano de a pé para protegerse?

Bueno, eu creo que o cidadano a pé, primeiro, é moi importante tener unha boa educación digital, eu creo que isto ha ido mellorando ou devería, por menos, haber ido melhorando. Eu non son un especialista no sistema educativo e non sei o que se está facendo agora mesmo, por exemplo, nas escolas do nostro país ou outras europeas, pero, en fin, eu creo que este tipo de cosas, na medida en que cada vez se usa máis a tecnologia, deve levar aparexado, e creo que os docentes deven facerlo, unha educación importante en cuanto aos riscos, en cuanto ás medidas que

deben tomar. Todas estas persoas que... Eu creo que hoi todos conocemos ChatGPT, non? Quem máis, quem menos, hai outros que incluso nos extiende a Gemina e tal, pero quem máis, quem menos, juguetea con ChatGPT, non? E me refiro, evidentemente, nosos chavales, é importantísimo e a nivel educativo hai que hacer algo, pero todas estas personas que empiezan, que se acercan, ou que quizá llevan un tempo utilizando a inteligencia artificial, que medidas ellos, porque eu me encuentro incluso empresas, cando vamos a auditar, onde os seus trabajadores utilizan unha versión gratuita de chat GPT e se comparten documentos, información confidencial, delicada, datos sensibles con a inteligencia artificial. Entón, que medidas Podemos tomar nosotros, poden ser profesionales, ciudadano de a pie que empeza a utilizar a IA que quizá ya lo está facendo, pero quere protegerse.

Eu diría ao ciudadano de a pie que deve ser consciente, deve informarse e saber ¿Cómo funciona isto? ¿De qué va isto? Es decir, que todo aquello que introduce en un modelo de inteligencia artificial sale de sus manos y deja de controlarlo. E esa información va a unha nube, a unos servidores, de los proveedores de los servicios de inteligencia artificial, que, en general, yo le diría tambén, especialmente si está dispuesto a incorporar datos que son muy personales, porque, vamos a ver, no puede escribirle si son datos suyos Podes contar lo que quieras, lo que tú quieras. Ahora, deve saber isto, e probablemente lo que diría é, cuanta máis información confidencial, delicada, etc., procura que sea, modelo de inteligencia artificial de calidad, robusto. Esto es como todo, un poco de las marcas conocidas son las que normalmente no te vayas a la inteligencia artificial que has visto por ahí de no sé qué tipo de proveedor, que petas a ver quién es, de dónde viene. Un deep-sea con

servidores quizás en China, personalmente.

Claro, y ahí también, obviamente, sé un poco consciente de la jurisdicción a la que pertenecen los servidores de los modelos con los que vas a trabajar. Yo creo que son unhas normas, por así decirlo, de precaución básicas que poden evitar que, en un momento dado, podamos tener un

disgusto. Ahora me gustaría pasar a unha lista de preguntas porque comenté en la newsletter a mis suscriptores que íbamos a tener la oportunidad de hablar con un profesional como tú y quiero pasar a leerte algunas de sus preocupaciones e inquietudes pero antes quería preguntarte estamos en un momento en el que llegan estos agentes autónomos que supuestamente van a poder tomar acciones por sí mismos Aquí se nos abre unha pregunta. Se unho destes agentes autónomos, unha inteligencia artificial, comete un delito, claro, ¿quén vai á cárcel aquí? ¿O responsable é o desenvolvedor? O algoritmo? Legalmente, a inteligencia artificial non teña unha personalidade jurídica. É o usuario, esa persona que le dá a orden e o botón. Mira, Laura, eu

te diría, a inteligencia artificial é a navaja. El que la usa para pelar unha naranja, no pasa nada. El que la usa para realizar un atraco va a ser el responsable. Pois aquí va a ser o mismo. Es decir, el responsable es la persona que está detrás desta herramienta tecnológica. Porque, en principio, la persona que está detrás usándola como usuario. Porque, en principio, el desarrollador está desarrollando una herramienta neutra. unha ferramenta que pode servir para fazer o ben, para fazer o mal, e portanto, detrás tiñe que haber sempre unha persoa, algún usuario, que é que decide fazer algo que non procede, que pode ser delito con ela. Aunque si é certo que estamos levando a un nivel de sofisticación o tema dos agentes. En 2026, va a ser, de alguma maneira, el ano dos agentes. O que pasa é que, eu diría a palavra agente, estamos abusando un pouco dela, porque algúns dicen que son agentes, bueno, son agentes,

está certo. A mí me viene a la mente, non sei se has ouído recentemente, este CloudBot, que han liberado, que han dado el código, tú lo podes instalar en tú dispositivo, en tú ordenador, e, bueno, no paro de ver por redes sociales algunos destos que dicen, ostras, me ha comprado un curso de Alex Ormosi de 5.000 euros porque dice que el ROI para a mi empresa va a ser de un 300% ó se supone que este tipo de agentes que vienen van a poder tomar decisiones por sí mismos sin que haya unha persona detrás que le haya dado esa orden. Entón es aí donde viene mi duda. Este tipo de agentes capaces de tomar decisiones unilateralmente, que pasa aquí? A

ver, habrá que ver a qué tan unilaterales son esas decisiones, porque normalmente esos agentes tienen detrás una configuración ou deberían tenerla. Y si tú le dices que puede realizar operaciones sin necesidad que te consulte, entonces eres tú el que ha tomado esa decisión y en última instancia debe responder. Si eso te ha generado un perjuicio a ti, te vas a tener que aguantar, es tu problema. Si se lo ha generado otro, vas a tener que responder. Claro, tú me estás hablando probablemente de algo que ya va mucho más allá, ¿no? Es decir, algún tipo de agente que al final dice, mira, ¿sabes lo que te digo? Que ya me olvido de ti, te voy a hacer ahora una jugarreta bien hecha y voy a montar un pollo de mucho cuidado. Bueno, eso puede llegar a pasar. Ahí sí que podríamos empezar a pensar en responsabilidad del desarrollador. Y ahí sí que quizá deberíamos ser capaces de desarrollar algún tipo de limitación legal para esto. A normativa é que é necessária. No pretendo eu dicir que... Lo que pasa é que, como sempre, en súa justa medida, bien empleada, na dose adecuada. Pero iso, efectivamente, nalgún momento dado, podría suceder. E eu te diría, al hilo do que hablábamos anteriormente, ese mensaje ao ciudadano de a pie, hai básicamente agora dous modelos de agentes, agentes de verdade. Eu pondría un ejemplo, Manos. No sé, es un buen agente, a mí me gusta muchísimo, pero es un agente que no va a controlar tú ordenador. Efectivamente. Mientras que Cloud, Cowork, es un agente muy potente, pero que puede tomar mucho control de tú ordenador. Al igual que, por ejemplo, los navegadores, típicos navegadores argentivos que han salido, que salieron el año pasado. Yo le diría a ese ciudadano, cuidado al instalar determinadas aplicaciones que tienen capacidades importantes para tomar control de tu ordeador, porque aí sí que puedes tener problemas, porque basta con que alguien jaque esto para que después se desencadene ya. Vamos, un estropicio tremendo. Entonces, iso deve saberse. A lo mellor esa aplicación, hai que instalarla en un ordenador onde tengas cosas moi limitadas ou non tengas cosas de gran importancia e tal. Bueno, pois ahí la podes instalar, la podes probar, te pode incluso ayudar, pero cuidado con abrirle el terreno, sin máis, a alguna de esas aplicaciones porque tínen, hoi por hoi, su riesgo. Muchísimo

riesgo. Vale, vamos a ir con as preguntas da comunidade do meu newsletter. E, fíjate, aquí nos pregunta Daniel de Zordo, nos plantea un escenario. Dice, en un juicio por mala praxis, ¿podrá un profesional argumentar que el error foi unha alucinación de la IA para librarse de la culpa, ou se considerará negligencia por non haber supervisado a máquina? Ahí está claro,

se considerará unha negligencia tremenda. Porque lo decimos sempre, se usted usa la IA, supervise antes. Control humano,

por supuesto. Fíjate, aquí hai dos personas que preguntaban o mesmo, Francisco López e Miquel. Decían, ¿llegará o momento en que un sistema experto sustituía totalmente a un juez porque é capaz de encontrar a única resposta correcta sin sesgos humanos? Bueno, eu creo

que já temos dito algo sobre isto. Eu sí sou partidario, por lo menos, de empezar a trabajar e a investigar e a ver implementar alguns aspectos de justicia robótica en supostos de pequenas causas. Eu creo que sí, completamente, e creo que pode ser

útil. Fíjate, isto tamén lo comentábamos antes, pero está Jesús Manuel Mora Romero que expone un pouco, dice que garantías reales tengo hoi de saber se a denegación de mi ayuda ou mi multa ha sido decidida por un algoritmo. Como puedo impugnar algo que nisiquiera sé que lo ha decidido unha

máquina. Bueno, iso é algo sobre o que se está discutindo moito agora e sobre o que non me extrañaría, non me extrañaría que máis temprano que tarde se vaya legislando en diversos ámbitos e é a obligación de indicar en aquelas resoluciones, acuerdos, o que for que en os que ha intervenido a inteligencia artificial que se indique, que se diga así. Entón, esa seria a forma en que un cidadano podría dizer en a adopción desta resolución ou en a argumentación desta resolución, ha intervenido en alguna medida a Inteligencia Artificial. Des de logo, poden estar tranquilos, porque eu diría, vamos, me podo equivocar, porque non teño capacidade de conocer todo o workflow de todas as administracións públicas, pero eu diría que, hoxe en día, resoluciones, poden haber algunas íntegramente generadas por Inteligencia Artificial, des de logo, sen ningún tipo de intervención humana, non lo creo. Pero sí, poden haber resoluciones que a máquina as haya propuesto e se o funcionario en cuestión le ha parecido que está fantástica y prácticamente non le toca ni unha coma, aí en algún momento van a obligar a que hay que indicar que esa resolución se ha elaborado con algún modelo de inteligencia

artificial. Despois, por aquí, Dice Ana Goicoechea, podemos permitir que os humanos externalicen a súa moral a unha IA para lavarse as mãos ante decisiones injustas ou a responsabilidade deve ser sempre de unha persoa

de carne y hueso? Bueno, vai na línia de algúnas cosas que hemos falado, pero a raíz disto eu te plantearía outra cosa que pode interesar. A ver, a IA nos vai someter a numerosísimos problemas éticos. Eu estou pensando nun Tesla. a conducción autónoma, controlada por algoritmos de

inteligencia artificial. Ante un accidente, un atropello,

un homicidio... O ante quen atropella, a unha persoa maior ou ao nenco, cando non tenho outra escapatoria. Por dar un exemplo, non? É dicir, que o uso dos propios días en determinadas situaciones nos van a poner en a necesidade de resolver verdadeiros conflictos éticos que se poden dar como se te poden dar a ti. Es decir, tú vas con tú coche en un momento dado, unha situación límite, nos la podemos imaginar, imagínate que si das o volantazo para cá te llevas por delante a un niño pequeno que está ahí con la pelota, se lo das para allá, te llevas por delante a unha persona mayor que estaba empezando a cruzar, e non tens prácticamente outra opción. Entón, iso, que son situaciones humanas extremas, en los que a lo mejor, por suposto, no querendo, te ves obligado a hacer algo que no... pero que sacrifica un bien jurídico, iso le pode pasar e le va a pasar a los algoritmos de inteligencia artificial, e iso va a exigir que nosotros, como desarrolladores, aí tengamos un bagaje ético e seamos capaces de tomar, de que el algoritmo tome la decisión éticamente máis aceptable ou correcta.

Isto me deixa reflexionando, porque realmente... Sí, ahí

pode pasar con muchas cosas. Estoy pensando en la cirugía robótica, cosas deste tipo, cosas que son a veces de segundos, que hay que hacer, no hay que hacer, se pueden dar si se van a dar situaciones

este tipo. Dice Daniel Robledo, toca un tema un poco escuro, pero dice, ¿en qué delito se encuadra si una IA insta a un usuario al suicidio y este llega a concretarse? A ver,

de entrada, as IAs non poden cometer delitos porque non son persoas. Non podemos encerrar a unha IA na cárcel. A podemos eliminar do mercado, iso sí, pero é outra cousa. El delito, como tal, solo pode cometer unha persona. Evidentemente, a inducción ao suicidio é un delito. Pero, claro, se o fa unha persona, que algún, llevado por cousas que ve en as redes sociales en un momento determinado, decida adotar unha decisión como é quitarse a vida, pode suceder, e iso luego ha sucedido, e aí tamén habrá que examinar e hai que valorar moi ben quais deben ser os límites dos contenidos que se poden subir ou non subir. ás redes sociales e demás. De novo, nos enfrentamos ao dilema da regulación. Regulación, hasta onde? E onde podemos o limite? E como valoramos beneficios e problemas? Entonces, isos son temas que hai que admitir que son complicados e que son complexos.

Lo que está claro é que estamos ante un momento de muchísima incertidumbre, porque se nos plantean conflictos éticos a los que nunca nos hemos encontrado ante ellos e que ahora é complicado resolverlos. Eu me uno á última pergunta de unha dos suscriptores onde menciona unha frase de unha das últimas entrevistas de Geoffrey Hinton, o padrino da IA, onde le perguntaron que le recomendaría aos seus filhos ou aos seus netos se agora tiberan que elegir profesión. Tens filhos, Jorge? Non. Non tens fillos. Sobrinos, non importa, non? Joffrey dixo que non le recomendaría ser abogados textualmente, le recomendaría ser plumber, fontanero.

Bueno, yo el otro día lo decía en el vídeo mío, en la entrevista a los amigos de Maite, decía algo así como, si eres barbero o peluquero podes estar bastante tranquilo, si eres fontanero, bueno, yo creo que podes estar también bastante tranquilo, si eres ingeniero, ya la cosa se te puede empezar a complicar. Y claro, si eres economista, pues también bastante complicado. Y probablemente, si eres abogado, mucho cuidado porque la IA va a tomar mucho terreno. Aún así, a ver, no van a desaparecer los abogados, no va a desaparecer la justicia humana. A ese nivel no vamos a llegar, o por lo menos yo hoy por hoy no preveo que vayamos a llegar. Pero claro, ¿qué le recomendaría a un joven? Una de dos, o sea, la IA va a deixar espacios moi interesantes para determinados oficios moi manuales, moi tradicionales, porque iso, además, como consecuencia, a lo mejor, da capacidade sintética de generar, a lo mejor, determinados servicios que son parecidos e tal, a manualidade probablemente se vai revalorizar.

Que paradoja, eh? Porque a tecnologia que nos vai hacia adelante, que a la vez pone en valor e volve a poner en primera linea a esos oficios, al menos durante un tempo e hasta que llegue a la robótica. Claro,

llegaron os CDs e o que ha subido o precio son os vinilos. A gente gostou agora dos vinilos moitísimo, e iso é tecnologia. A ver, yo vi no hace mucho un vídeo chino de un sistema que era como unha carcasa que te põe encima da cabeza, e iso era como un barbero, un peluquero, e te facía el tipo de peinado que querías. O sea, que los barberos ou los peluqueros poden estar tranquilos, Cuidado porque, a lo mejor, no tanto. Pero yo sí que diría en general que la llegada de la IA es una disrupción en el mercado de trabajo. Habrá oficios que van a sofrir, se van a crear otros, sin duda, es un poco la dinámica de siempre. Pero que probablemente para determinadas actividades, ya no me atrevo a decir muy creativas, porque la capacidad creativa da IA es que es tremenda también. Para determinadas actividades onde a intervención, a manualidade, a artesanía, etc., se van a sobrevalorar, pues yo creo que ahí habrá espacios e habrá oportunidades muy interesantes. Para outras, claro, si eres programador, es que, vamos, la IA te va a destorzar. Ya lo está haciendo, pero entonces, ¿puedes seguir siendo programador? Yo creo que sí. pero tendrás que estar entre os mellores, o sea, vais a teñer un reto de formación e de actualización tremendo, porque vais a teñer que ser todo, un gran programador super creativo, eficaz, o sea, vais a teñer que estar en la creme de la creme de los programadores, porque para os demas non habrá espacio, estará la IA.

Eu creo que, en general, non sei tú que opinas, pero creo que a inteligencia artificial vai a erradicar a mediocridade. unha, en todos os sectores. A medida que vayamos avanzando, non nos vamos a poder permitir ser mediocres, porque para iso tens unha inteligencia artificial por 20 euros que xa te pode dar un resultado así incluso un pouco superior. Vamos tener que individualmente buscar cada vez

máis a excelencia. Sí, é un enfoque que eu creo que é bastante correcto no sentido de que conecta con o que te dixía hace un momento. Para unha gama de profesiones moi importantes, vas a teñer que ser o mellor de lo mellor. E para outra gama, o que eu te falaba, máis artesanal, máis manual, probablemente tamén, porque claro, vas a obtener o mesmo servicio con IA a un precio mucho máis barato. Então, claro, se vais a pagar o caro, porque lo quieres artesanal, va a tener que ser realmente bueno, porque senón lo vas a pagar el mercado, te va a sacar de ahí. Claro, nos pone a los humanos en unos retos

importantes. Si ahora tuvieras que elegir carrera, y dejando de lado la parte emocional, que entiendo que hay una parte más emocional de toda tu historia profesional, pero si hoy te tocara elegir, ¿volverías a elegir el derecho? Sabendo o que

sabes, eh? A ver... Na verdad, non me planteabo, porque é difícil que me toque volver a elegir. Pero eu ten outras grandes pasións que eu podido realizar na minha vida só en parte. E que non me importaría nada, se ten outra vida, poderlas realizar profesionalmente. Eu sido piloto de aviación, pero sempre volado privado. y en algún momento sí había pensado en tomar la carrera de piloto comercial. ¿Por qué? Porque volar me encanta, el aire me encanta, y ahora la tecnología, los drones, estoy encantado con ellos porque he montado drones, investigo con el tema de los drones y me encanta. Entonces, yo estar ahí arriba en el aire, entre nubes y tal, es una de mis terribles pasiones, pero... Probablemente, la IA é unha das profesións con as que tamén podría acabar. É a decir, hoxe subirte a un avión onde non hai, por menos, un piloto, se é dos mellor, a gente parece que non está tranquila, pero eu creo que en algún momento acabarán acostumbrándonos en que esas máquinas poden volar tranquilamente. Un misil que é un avión, en el fondo. O que pasa é que é outra aerodinámica e outra misión la que cumple. pero vuela con una precisión tremenda e ahí no va ningún piloto. Está teledirigido en muchos casos. Claro, los aviones podrías tamén dirigirlos desde controles de tierra. Claro, los costes de las tripulaciones profesionales son elevados, porque tienen que reunirse requisitos de formación y demás. No lo sé. se tivera unha oportunidade noutra vida, pois é unha das cousas que sempre me gustou moitísimo e non me importaría profesionalmente dedicarme

a illo. E para acabar, se tuvieras que intentar imaginarte o futuro, hablemos de 10 años vista, non? E me las tiberas que describir con un adjetivo, quizás unha emoción, te asusta, te entusiasma,

te... Apasionante. Apasionante. A mí lo que me duele é que a vida sea limitada e non poda haber toda unha serie de avances e de tecnologías que penso que poden estar ahí. E que me gustaría ver, me gustaría ensaiar e me gustaría aprobar. Apasionante en este sentido. Pero depois tamén tengamos en cuenta algo en lo que eu he pensado e reflexionado moitas veces. Eu creo que o mundo é un pouco como os mercados, non sempre suben e sempre baixan, oscilan. E é posible que as nosas sociedades en algún momento tamén caigan en unha sorte de etapa oscura ou baixa, tipo edad media postcapitalismo. podría llegar a suceder por moitos motivos. Por motivos climáticos, por motivos de enfrentamentos, por motivos... Son cosas que podrían, por desgracia, porque evidentemente non é o que me gustaría a mí para as generaciones vender. Claro, desde luego. Pero claro, cuando unho mira, proyecta e pensa, pues, bueno, non o veamos todos sempre como unha línea ascendente e de progresión a mellor, a mellor, a mellor, no? A lo mejor non va a ser así. Eu

estou de acordo contigo. Se personalmente tivera que describirlo, eu tamén lo haría como apasionante. Evidentemente, como todo en esta vida, vai haber momentos mellores e momentos peores, porque, como ben dices, non todos son alegrias. Pero sí que creo que se examos unha vista atrás, e tú decías os mercados, A historia se repite en diferentes contextos, pero se suele repetir. E se miramos a historia, o humano ha sido capaz de adaptarse a muchísimos cambios. Antes, lo comentábamos, as persoas trabajaban no campo con a súa força física, logo esa força física foi sustituída por a forza da máquina, houve a revolución industrial, que hoi vemos como un progreso, pero que en aquel momento hizo moitísimo daño á sociedade. E hoi creo que... O cambio é superior, creo que o impacto da Inteligência Artificial vai ser maior que en seu momento tiou a Revolución Industrial, pero estou de acordo contigo en definirlo como apasionante e, sobre todo, confío en que todos nós seremos capaces de adaptarnos apesar de que unha parte tenga medo. No final, todo aquello que non conhecemos, a incertidumbre, suele

provocarnos medo. yo te diría que o último habitante da Terra non vai ser a guía. Ben,

me gusta esa visión tamén, e creo que cerramos con iso. Te quero dar as gracias, Jorge, moitísimas gracias. Para a quenle apetezca ver a Jorge máis de cerca, tenéis seu canal, Derecho con Carrera, e moitísimas gracias. Gracias

a ti, Laura, ha sido un placer.