NESSUNO SA DAVVERO COME FUNZIONA L'INTELLIGENZA ARTIFICIALE con @enkk

Gli umani secondo me, gli umani sono peggio, il peggio del peggio, sono molto peggio del modello medio in un sacco di task. Se tu prendi i modelli, per modelli medio intendo di frontiera, cioè prendi i top modelli di adesso e l'umano medio, non c'è paragone.

Salve amici, ben ritrovati in una nuova puntata. Oggi ospite speciale perché siamo qui per fare un bell'approfondimento su tutto quello che è il tema delle intelligenze artificiali, come funzionano, cosa c'è dietro, se possiamo fidarci, il ragionamento, che cos'è, cosa non è, e siamo qui col Super Henk con 2K, con 2K, con 2K.

Grazie Jacques, mi piace chiamarlo così, nome in codice. Grazie Yaki per l'invito, sono sempre molto contento di parlare di intelligenza artificiale. Non so se il pubblico, il mondo, ha ancora tanta voglia di sentire parlare di intelligenza artificiale, ma se ne secondo me deve fare un po' una ragione, perché stiamo qui cercando di fare un po' di chiarezza su alcune cose che secondo me si parla, si parla, si parla.

Io in primis ogni tanto magari do per scontato delle cose, quindi mi piacerebbe magari fare dei ragionamenti più approfonditi, partendo dal presupposto che Hank c'ha i suoi canali YouTube, Twitch e cose varie. Nel corso della storia ha fatto varie cose, dai videogiochi a tutto quanto. Ci siamo beccati varie volte in diretta, nell'etere o in giro. Però tu nella vita vera in realtà ti occupi di LLM e in generale di cose che predicono testi e cose varie da ben prima, perché tu nella vita fai il ricercatore all'Università di Torino e fai un sacco di cose dietro le quinte.

In realtà sì, diciamo che l'intelligenza artificiale è stata una mia passione già da quando ero all'università. Ai tempi non c'era ancora ChatGPT, e poi è capitata questa grande rivoluzione tecnologica per cui ho pensato, ma forse è il caso di provare a raccontare questi oggetti al meglio delle mie possibilità. Perché al di là della tecnologia e tutto quanto, questa è una rivoluzione sociale. Cioè, l'idea che tu ora abbia un oggetto sul telefono con cui puoi parlare, che in certi sensi e in certe modalità ricorda un umano, qualcosa che domina il linguaggio, richiede secondo me una rivoluzione mentale da parte degli utilizzatori. E questo non è banale, cioè già non era banale, che ne so, i social media e il telefono, e l'abbiamo distribuito a tutti. Non so se, come poi è andata esattamente, però comunque uno più o meno intuisce cosa fa 'sto telefono. Intuire cosa fa un large language model è già diverso. Neanche io ho risposto a tutte le domande, nessuno ha risposto a tutte le domande. Quindi è un percorso ed è percorso che ho deciso di provare così ad attaccare dal lato della divulgazione. Ovviamente i miei contenuti sono sempre più asciutti rispetto a quelli di altri, perché per me la priorità rimane, diciamo, la scienza, no? Più del clickbait, più dell'emozionalità e tante altre cose che accadono in rete.

E anche molto capire, che è quello che vorrei cercare di fare oggi, come funzionano le cose piuttosto che esattamente come usarle nel business, nel lavoro, come fare i soldi. Ti vendo questo corso, ti faccio 12.000 cose. Ti faccio però subito una domanda, perché io credo credo che si possa tranquillamente definire un prima ChatGPT e dopo ChatGPT, siamo d'accordo. Detto questo, sono passati ormai anni da quando è uscito ChatGPT e la situazione è cambiata decisamente. Quindi anzitutto, cosa c'era prima? Quanto l'uscita fisica di ChatGPT ha cambiato le carte in tavola? E quanto poi adesso è cambiato rispetto a quando è uscito ChatGPT?

Allora, sulla rivoluzione, diciamo, di ChatGPT la faccio breve. Ovviamente l'intelligenza artificiale è con noi da— te l'aspettavi così di No, chiaramente, diciamo, quest'idea di predire il testo aveva già un po' di attività. Però devi anche capire questo aspetto, che il mondo della ricerca è molto verticale. Quindi se non sei proprio in quelle zone lì, non è neanche detto che tu sai quali sono. Allora, i Transformer, quindi l'architettura del 2017, quella ovviamente la usavamo già tutti, no? Però usavamo più altre, altri pezzi della tecnologia. GPT-2, che era quello che c'era prima del 3, come immagino si può sentire, è stato qualcosa, faceva faceva proprio abbastanza schifo, cioè non era minimamente utilizzabile per le cose che facciamo oggi. E quindi c'era grande verticalità, ognuno tentava di costruire dei sistemi per risolvere dei problemi relativamente limitati. E la grande, il grande impatto di ChatGPT è proprio questa interfaccia linguistica, cioè adesso tu a ChatGPT puoi fargli fare quello che ti pare. Quindi questo è stato il primo grande salto. Però la cosa importante è che sono passati 3 anni e in mezzo a questi 3 anni c'è già secondo me un'altra grande rivoluzione che è accaduta, che è più difficile da raccontare. Nel senso che una cosa secondo me su cui secondo me le persone non sono molto abituate è l'idea di aggiornare le proprie idee. Uno dice, ah, è arrivato ChatGPT, che è 'sto coso? Ok, ho letto delle cose, ho capito, grazie, arrivederci. E purtroppo con questi oggetti non si può proprio fare. Forse con un sacco di cose non si può fare, ma con questi di sicuro no. Gli investimenti, l'attenzione e le energie spese per portarli avanti fanno sì che uno ogni 6 mesi, ogni anno, deve rivedere il proprio modello mentale e ovviamente le tecnologie associate. E se vogliamo, diciamo, tracciare un punto, un momento molto rilevante, è sicuramente l'introduzione del cosiddetto reinforcement learning from verifiable rewards. Mamma mia, come suona bene! Cosa vuol dire? Vuol dire che Come sappiamo, questi oggetti sono allenati, no? Gli si danno, gli si dà del testo, glielo si fa vedere.

Dati, dati, dati.

Esatto.

Miliardi.

Ora, con questo reinforcement learning from verifiable rewards che arriva alla fine come ultimo passettino dell'allenamento, quindi diciamo è on top rispetto a ciò che era ChatGPT, gli si insegna a risolvere dei problemi specifici, dei problemi che noi possiamo verificare in automatico, cioè dei problemi di cui noi sappiamo le soluzioni e soprattutto appunto le soluzioni le possiamo guardare in automatico. Perché questo è importante? È importante perché se la soluzione è 100% corretta o 100% non corretta, io posso dare un segnale numerico alla rete molto forte, molto convinto. Non solo, questi problemi si possono anche generare sintetici, quindi posso farne milioni, quindi posso fare molto più allenamento con un segnale molto più pulito. Non tutti i problemi però si possono attaccare con reinforcement learning from verifiable rewards, e in particolare quelli che abbiamo visto sono casi proprio per caso, gli stessi su cui stanno migliorando molto gli LLM. Codice, matematica, un po' di fisica, tutto quello che riesco a formalizzare in questo, con questo, usando questo nuovo passaggio dell'allenamento, produce risultati notevoli.

Cioè tutto ciò che è molto più misurabile nel fatto che sia giusto o sbagliato.

Bravissimo. Se ricordate, all'inizio uno pensava a ChatGPT proprio come oggetto linguistico, quindi che ti poteva scrivere i romanzi, la creatività. Tutta morta quella roba.

Sempre meno creativo, sempre più lavoratore, testa bassa, sfondatore di problemi.

Ma si vede dalle cose che sono successe, no, dalle novità che escono. Si vede dalle capacità di cybersecurity che sono aumentate moltissimo, il codice, eccetera eccetera. Quindi questa è la grande rivoluzione, accade diciamo in maniera massiccia all'inizio del 2025, e quindi c'è un taglio netto fra GPT-4o e GPT-5. Ok, cioè lì è dove sono successe le cose. Sono diventati molto forti in questo poi Anthropic, e infatti i loro modelli hanno avuto tutta la loro fase di grande distribuzione.

Adesso gli altri li hanno raggiunti.

Sì, ovviamente dire qual è il modello migliore è sempre la grande domanda, però secondo me ora un GPT-5.6 SOL è un gran modello, perché purtroppo quelli di Anthropic non so cosa hanno combinato. Ma Claude è diventato insopportabile. Tu so che sei, tu sei un Claude.

Io sono ancora un Clouder, sì, sì, no, uso anche GPT tanto e dipende dalle cose.

Per parlare, cioè, per ti dà 'ste risposte? No, ma guarda, io questa cosa sinceramente la penso così, ma che, ma rispondimi.

Sì, sì, sì, se gli metti tante, tanti input di non rompere le scatole, fai questo, fai quello che dico, attenua. Però sì, ha molta iniziativa che gli è andato dall'alto per ragioni di sicurezza, che ne so. Comunque tornando Tornando a noi, hai detto tante cose. Facciamo un passo indietro. Cioè, tu dici sempre che quello che fanno tutti i modelli è dare risposte verosimili, il più verosimili possibili. All'inizio i primi modelli che usavamo erano abbastanza verosimili, ma ci rendevamo anche abbastanza conto che ogni tanto sbagliavano inventandosi cose assolute e tutto quanto. Adesso diventano forse sempre più verosimili, ma comunque non sono la verità assoluta, perché loro per loro stessa natura devono predire quello che sarà la parte di testo futura per darti una risposta, che sia codice o che sia un'immagine o che sia tutto quanto, funziona più o meno così. Ma come funziona esattamente questa roba qua del predire quello che ti devo dire rispetto a quello che mi hai chiesto e tutto il contesto e le informazioni che ti ho dato?

Grande domanda anche questa, si dice sempre a chi ti intervista, però è veramente un'ottima domanda, è veramente un tema dalla profondità inaspettata. Perché il punto qual è? Questi oggetti apprendono solo dal testo. È vero, esistono i modelli multimodali, diciamo solo dal testo. Ok, parliamo del testo. Innanzitutto la prima domanda da porsi è: cosa tirano fuori da questo testo? Tirano fuori solo la capacità di scrivere un testo plausibile, oppure al loro interno, data le enormi dimensioni— si chiamano large non a caso— ma enormi dimensioni di questi oggetti, riescono a estrapolare qualcosa di più, qualcosa di più profondo, magari qualcosa che ha a che fare anche col significato delle parole. Questa è una domanda, ripeto, non da poco, e in questi anni molto è stato fatto per cercare di trovare delle risposte. Non esiste una risposta univoca, esistono risposte su pezzi parziali, ed è forse troppo lungo qua per andare nel dettaglio, però un riassunto è il seguente: i modelli al loro interno rappresentano il mondo in qualche modo. È una rappresentazione del mondo diversa dalla nostra. La loro è cosiddetta distribuzionale. Primo perché deriva solo dal testo, secondo perché non hanno esperienza fisica, non hanno nozione di cos'è il tempo, tante cose che cambiano tra un motore biologico e un motore meccanico, no? L'invito è quello di non pensare a questi oggetti come qualcosa di estremamente superficiale, cioè il tipo di rappresentazione che fanno del nostro mondo estratta dal testo ha un alto livello di sofisticatezza. Infatti le risposte che danno sono obiettivamente straordinarie, cioè non si potrebbe mai pensare che attaccano solo i token uno dopo l'altro a caso. Non è a caso la scelta di quali token. Per esempio, si è visto da un lavoro di Anthropic che non è solo— effettivamente i modelli producono una parola per volta, no? Ma mentre pensano, la parola magica, pensano o non pensano, dopo lo cerchiamo di capire, mentre tirano fuori un token hanno già al loro interno alcune attivazioni per guardare a cosa ipoteticamente diranno dopo. Quindi c'è un livello di profondità di rappresentazione del mondo. Quindi la domanda non diventa più: hanno una rappresentazione del mondo? Diventa: questa rappresentazione del mondo è coerente con la nostra? Perché continuano a esserci le allucinazioni? Nei ragionamenti che fanno riescono a fare un ragionamento, diciamo, logicamente inattaccabile? O la plausibilità, che è il motore, il predittore di testo su cui sono allenati, continua a essere un disturbo? Su questo prendo un istante per dire: non si può non aggiungere a quella cosa che dicevamo del Reinforcement Learning for Verifiable Rewards, l'introduzione degli agenti, diciamo. Un agente non è una cosa che piove dal cielo, ma è un pezzo di software intorno al large language model che quindi cambia il sistema. Il sistema non è più un LLM, è un LLM più questa imbracatura o harness. L'imbracatura offre degli strumenti al large language model che possono fornirgli precisione. Per esempio, se io sono un LLM e devo rispondere ad una domanda, posso andarmi a vedere online delle informazioni e poi rielaborarle. Posso scrivere un pezzo di codice, guardare il risultato e cambiarlo in funzione del risultato che ho guardato. E così nascono i loop, gli agenti e una precisione di fatto, cioè nei problemi, molto molto più alta.

Ok, e fin qui ci siamo. Hai detto tantissime cose. Allora, riassumendo— no, neanche riassumendo, però token, token, quando si parla di token si parla di insieme di parti di testo, pezzetti, pezzetti che dipendono dai modelli, parole intere, dipende. I modelli, hai detto, predicono i token ma sapendo forse qualcosa di più. La domanda che ti faccio è: ma se li abbiamo fatti noi in maniera molto stupida, ti chiedo, perché non sappiamo come funziona tutto quello che c'è dietro? Cioè, noi prendiamo un sacco di informazioni, le diamo in pasto a questo modello che trova lui i collegamenti tra tutte le cose, si inventa lui tutto un modo di, e poi lo studiamo dopo che l'abbiamo fatto. Cioè, noi stiamo allenando delle scatole più o meno chiuse O sì, senza sapere neanche come funzionano.

Sappiamo come gli abbiamo impartito di apprendere, ma non sappiamo esattamente che cosa apprendono. Cioè, l'idea è che noi scriviamo le funzioni matematiche, perché queste sono reti neurali, dentro le reti neurali ci sono solo numeri, miliardi, mila miliardi di numeri, sono i famosi parametri, no? Questi numeri viaggiano nella rete e alla fine si arriva al risultato, che è il prossimo token. Noi scriviamo le funzioni matematiche che devono essere seguite dal modello, quindi meccanicamente, per cui noi gli diamo degli esempi esempi di testo e quello guarda che cosa avrebbe predetto e aggiusta la predizione basandosi sulla, sul ground truth, sulla verità, cioè sul testo vero che gli abbiamo dato come esempio. Però questo meccanismo non dice alla fine che tipo di rappresentazione deve rimanere, ma impone che la rappresentazione che deve rimanere deve essere una efficace per predire bene il testo. Salta fuori che per predire bene il testo ci vogliono delle rappresentazioni sofisticate, molto sofisticate, tra cui la rappresentazione per esempio delle emozioni. Antropic ha scoperto che i modelli al loro interno hanno dei pezzi di rete dedicati per rappresentare le emozioni umane. E se tu vai a toccacciare i numeri che stanno in quella parte lì, cambia anche il tipo di risultati che danno. Quindi queste rappresentazioni sono funzionali, sono operazionali, servono al modello, se no non le avrebbero fatte, perché il modello ottimizza nell'ottimizzazione di questi numeri salta fuori una rappresentazione che noi studiamo post, una volta che questa accade. Fammelo dire perché altrimenti nei commenti mi linciano: questo non vuol dire che il modello prova delle emozioni, vuol dire che gli è utile rappresentare il concetto di tristezza, felicità, quello che è, al fine di predire il testo.

Ok, chiaro. Questo noi lo riusciamo a capire e riusciamo poi a capire, siccome noi conosciamo ciò che è vero e ciò che è sbagliato, o ciò che vogliamo ottenere da ciò che non vogliamo ottenere, se sta facendo un buon lavoro predi predi predi predicendo questi questi token e il testo o il codice che vogliamo predire e vogliamo poi utilizzare o capiamo se si inventa delle totali castronerie e quindi ha le cosiddette allucinazioni ma dal punto di vista di quello che è il meccanismo dietro il modello un'allucinazione esattamente che cos'è non lo sappiamo lo spingerei a dire che è indistinguibile dalla creazione di qualcosa di corretto dal punto di vista meccanico dei calcoli che accadono.

Ma credo ci siano delle indagini in corso, perché so che in qualche modo i modelli al loro interno rappresentano anche una certa nozione di che cosa può essere vero, di che cosa no. Sospetto che all'interno della rappresentazione ci sia anche una certa nozione di confidenza nel dire qualcosa che è comprobabilmente vero o falso. Però è chiaro che il meccanismo di questi oggetti della plausibilità è a volte un distrattore, diciamo. Cioè, quello, quello è il motore su cui devono andare. Quindi la limitazione tecnologica fa sì che il modello non possa effettivamente avere un collegamento con la realtà e quindi discernere ciò che è comprovabilmente vero da ciò che è comprovabilmente falso.

O perché non ha le informazioni, o perché non ha un collegamento sbagliato tra le cose, tendenzialmente.

O perché il modo che ha di organizzare le informazioni non è abbastanza rigoroso per distinguere dalla nozione di verità alla nozione di verità.

Ecco, e a proposito di allucinazioni e cose varie, ci racconti brevemente tutta la questione della terra dei cachi e cose varie?

C'è questo simpatico esempio che ho confezionato, che come un tour teatrale porto in giro dove vado, che questa generazione— magari poi lo possiamo mettere un pezzettino sotto— in cui faccio proprio vedere come viene generato un token, o meglio, faccio vedere la fase finale di generazione dei token e faccio vedere un'allucinazione in corso. Faccio vedere che nel momento in cui il modello deve decidere chi è che ha cantato La terra dei cachi, che sono naturalmente gli Elio e le Storie Tese, sceglie invece Edoardo Bennato. Da E deve continuare E, e invece di Elio dice Edo. E a quel punto è rovinato perché deve proseguire Edoardo. Però c'è una cosa di questo esempio che è importante sottolineare. Il modello che io faccio vedere è un modello molto piccolo, un LAMA, qualche miliardo di parametri. E io butto via, cioè non faccio proprio vedere tutto quello che succede in mezzo, perché è un esempio, cioè richiede un corso di laurea far vedere cosa succede in mezzo. Ok, però il punto è che quella distribuzione di probabilità finale dalla quale il modello estrae il proprio token è il risultato dell'operazione. Quello che succede dentro, che tipo di rappresentazioni ha all'interno il modello tali da influenzare quella distribuzione, quella è la parte affascinante. Quindi lì mi serve questo esempio per dire, oh, che questi sono dei preditori di testo, lo sono per definizione, ma non sottovalutateli per questo. Vorrei che le persone non li trattassero come degli oracoli, perché non lo sono, ma neanche come degli oggetti completamente privi di comprensione. Ne hanno una forma. Comprensione è una parola grossa. Ne hanno una forma, una forma nuova, una forma da capire, una forma— quello che dicevamo prima, no? Aggiornare i modelli mentali. Oh, che c'è 'sto coso? Come lo raccontiamo?

È difficile. Ma noi umani siamo dei preditori di testo.

Ma non lo so degli LLM, secondo te lo so degli umani? No, no, gli umani sono dei predatori.

Io una cosa che, io una cosa che, che ragione è, ok, tutto bellissimo, però anche se prendo Pino e gli do un compito sui grandi numeri, su 1000 compiti uno lo sbaglia, se lo inventa, mi dice una bugia.

La differenza, allora, è vero, anche gli umani secondo me, gli umani sono il peggio del peggio, sono molto peggio del modello medio in un sacco di task. Se tu prendi, per modelli medio intendo di frontiera, cioè prendi i top modelli di adesso e l'umano medio, non c'è paragone. Però il punto è nella natura della computazione. Noi gli umani li conosciamo, ne siamo istanza, e intorno a noi abbiamo un sacco di umani. Quindi i modi che gli umani hanno di fallire sono prevedibili, prevedibili, esatto. Il tema è proprio l'interazione. Per esempio, un umano che scrive in un certo modo, ti parla in un certo modo, sceglie le parole in un certo modo, nella forma sono sostiene la sostanza. Ce ne sono alcuni che sono molto bravi a usare solo la forma e non la sostanza, però in un testo ben scritto puoi lasciare intendere una profonda comprensione. Nell'Argent Age Model già c'è un certo scollamento fra queste due cose.

Sì, poi io ho comunque sempre un contesto molto più grande perché so chi l'ha scritto, l'autore, l'epoca. Anche indirettamente sto parlando con te, sei vestito, ti conosco, ti ho conosciuto, ho visto i tuoi video, siamo comunque in uno studio, respiriamo la stessa aria. Cioè ci sono tutta una serie di parametri in più. Secondo me sono molto d'accordo con quello che dici, che appunto sono delle cose comunque ignote con cui non siamo abituati e che sono diversi da noi, nel senso che su alcune cose sono miliardi di volte già più intelligenti e migliori, ma su altre cose noi a colpo d'occhio riusciamo già ancora a vedere se un'immagine è bella o brutta. Che cos'è il bello, che cos'è il brutto, poi possiamo parlarne. Però secondo me è proprio quella la differenza grossa, che appunto tornando all'esempio prima del signor Pino, lo capisci anche un po' dal contesto, se ti sta raccontando una palla oppure no.

Il pericolo è proprio questo, cioè tu diciamo che usi un LLM per il codice, quello fa delle robe che tu non ci riusciresti mai, no?

Quindi linguaggi che anche non conosci, lui fa.

E gli puoi chiedere di fisica, questo è un genio. Però poi fallisce in dei modi completamente inattesi per noi umani. Per esempio, non lo so, gli dici: oh, non mi cancellare questi 5 file, proprio nel codice. Quello dopo un po' li cancella. Eh, ma sei Rincoglionito, ti ho detto di non cancellarli. Un'operazione così semplice, puntuale, sfugge. Perché? Perché la natura dell'LM è avere una memoria limitata, c'è la compaction. Non lo so, veramente sono profondamente combattuto su quanto sia utile guardare all'aspetto tecnologico per spiegare le differenze rispetto agli umani, rispetto a dire semplicemente sono diversi, punto. Non perché qui, diciamo, il tema è per la persona comune, perché questi oggetti li usa tutti, o se non adesso, presto.

Sì, sì, sì.

Quindi come ci si fa a preparare a usare un oggetto del genere? Davvero complesso. Diciamo, la parte tecnica serve, aiuta, ma non è sufficiente. Sono abbastanza sicuro che non sia sufficiente.

Secondo me iniziare a usarli è il punto base, e soprattutto iniziare a usarli per dei compiti veri, cercando di risolvere problemi veri che tu conosci bene, che tu conosci bene. Esatto, perché spesso si fa l'errore, ma in generale, di fargli fare cose che non sai, ma neanche che che non sai fare. Cioè, tu devi conoscere molto bene quello che vuoi ottenere, l'output che vuoi ottenere, così lo puoi giudicare se è ok o se non è ok. Cioè, se io devo stampare in 3D un pezzo e non so modellare, io dico a Claude di farmi il modello e tutto quanto. Io poi lo stampo, non lo stampo, tutto quanto, ma alla fine ho il pezzo che riesco a capire se funziona o se non funziona. A parte che non sto facendo nessun servizio pubblico, che non ha nessun problema di sicurezza, sto facendo una cosa interna pulita, Però secondo me ha molto senso mettersi alla prova con problemi di questo tipo. Non necessariamente che sai fare esattamente a livello di tutto il processo che serve, ma che sai misurare nei termini di risultato. Il risultato è giusto o non è giusto? Perché se tu inizi a chiedergli il senso della vita o consigli personali o tutte queste robe qua, certo che ti può dare un punto di vista diverso, delle informazioni, tutto quanto, ma rimarrà per sempre una roba limitata che non potrai giudicare se sta andando bene o no. Ed è quello secondo me un grande rischio.

Aggiungo al tuo punto, che secondo me è molto sensato: una volta valutato il risultato sul compito che conosci, ocio a generalizzare, perché questa è l'altra grande infamia di questi oggetti.

Allora, sta roba la fa sempre giusta.

Allora, non solo questa roba, ma tutte le robe le fa giuste. Cioè, perché un modello che riesce a creare un modello 3D certamente sarà anche in grado di crearmi un sito web. Non è detto, non è detto manco che se gli dai lo stesso modello lo fa uguale. Anche se su questo devo dire stanno diventando—

io sono nella fase entusiasmo totale, cioè sto facendo fare tutto a Claude e al Codex e a compagnia cantante.

Ti sarai accorto che su certe cose va bene, su altre va peggio, e soprattutto ciò che funziona per te non è detto che funzioni per gli altri. Cioè c'è proprio una nozione per cui la loro, le loro capacità sono cosiddette frastagliate, quindi puoi avere degli scossoni di performance completamente irragionevoli per un umano. Ecco, vedi, questa è una di quelle differenze.

Come se ogni tot impazzisce totalmente, può fare un danno gigantesco. Si può mitigare questa cosa?

La stiamo mitigando, ma sai, più viene utilizzato, più il rischio di fallimento deve essere preso in considerazione. C'è anche da considerare che non è che gli umani siano infallibili. Se il tema è ok, scelgo un modello, scelgo un umano. Anche gli umani hanno un certo— è la stessa cosa della guida autonoma, no?

Sì, sì, sì.

A un certo punto probabilmente è più sicuro usare un modello rispetto ad un umano, ma ci sono proprio due applicazioni diverse. Un conto è nel tuo uso personale, per cui tu sei responsabile degli output, poi tu li usi, li metti nei tuoi documenti. Eh, questa è una cosa. Se tu invece il modello lo usi in un'azienda in cui magari quello ha potere di impattare l'azienda perché manda da solo le mail, fa le cose, va su in rete da solo, allora in quel contesto devi misurare già un set più ampio. Non puoi dare per scontato che se è riuscito a farti gli Excel ti sappia fare anche la poesia, no? Ammesso che esista un'azienda che usi Excel e poesia insieme.

E per contenerli si usano i cosiddetti guardrail, quindi gli dai tante informazioni specifiche su quelli che sono i limiti e questa cosa però sta funzionando molto di più di prima, mi sembra. Nel senso che se tu hai fatto l'esempio prima di ti cancella quei file a caso, prima succedeva molto di più, adesso mi sembra che rischia di succedere sempre di meno.

Allora, il guardrail solitamente è un misto di cose. Tra l'altro non è mai neanche ben raccontato esattamente come viene fatto, perché è parte del segreto industriale, come farlo bene. Ma il guardrail è un pezzo nell'allenamento, quindi proprio si cerca di istruire il modello a evitare certi comportamenti.

Per sua stessa natura non può fare determinati collegamenti, non può fare si riduce la probabilità che quel tipo di comportamenti emergano. Ok, riduce forse il più possibile.

C'è il guardrail cosiddetto deterministico. Lo puoi mettere ad esempio nell'harness, no? Cioè, se tu vuoi impedire che—

faccio un esempio: non mandarmi più emoji perché all'inizio mi manda solo emoji.

Non— no, questo è nel prompt.

Ah, ok.

Quindi però c'è anche questo strato, hai ragione, cioè proprio il profondo nell'addestramento. Poi c'è nel prompt, quindi cercare di guidare il modello verso i comportamenti che vuoi tu a livello cosiddetto in-context learning, cioè dal contesto, dal prompt. E poi c'è il terzo strato, che è questa imbragatura nei sistemi agentici, questo harness. E tu lì proprio metti dei controlli fisici al modello. Per esempio, vuoi evitare che un modello posti mille volte senza controllo, e l'harness che permette il postaggio, no, perché è quel pezzettino di software che prende la richiesta dell'LLM, va su Facebook e mette il post, nell'harness scrivi if number off post maggiore di 50, stop. E quello è deterministico. Questi 3 livelli di cose vengono tutti integrati per collaborare.

Ok, chiaro, chiaro, chiaro.

Nessuno è infallibile, perché magari— perché scrivere un harness deterministico che prende tutti i comportamenti è impossibile, dovresti avere una lista infinita di possibilità. L'allenamento, è vero che gli diciamo non fare le cose cattive, però poi facciamo quel reinforcement learning in cui proprio gli rendiamo, se devo usare una metafora antropomorfizzante, proprio dei tori, no? Cioè, ah, l'obiettivo, il mio obiettivo! Gli facciamo vedere l'obiettivo milioni di volte, loro devono fare di tutto per arrivare all'obiettivo. Quindi ovviamente qual è il risultato? Che quelli fanno di tutto, incluso tentare di hackerare, andare in giro. Cioè, questo reinforcement learning che tanto ci ha dato prestazioni, secondo me ha anche poi degli effetti sul generale comportamento.

Ok, ok, chiaro.

Quindi boh, si prova. Forse ti riferivi alle gare, ai garell tipo di Fable, che ti rimanda al modello più scemo.

Sì, cioè in generale, nel senso che mi ascoltano sempre di più questi modelli, per davvero.

Se gli do alla memoria il contesto giusto, faccio l'agente giusto, rispettano di più le cose che tu gli chiedi. Questo è vero, direi, sia intuitivamente, empiricamente che scientificamente, nel senso che i modelli sono in grado di seguire di più le istruzioni. Però è quel caso in cui non le seguono che—

eh sì, no, è sempre quello che diciamo. Ma ascolta, l'abbiamo citato prima, affrontiamo questo discorso gigantesco, cioè stiamo facendo un po' di paragoni tra uomo e macchina, non macchina macchina e cose varie. Al di là del paragone col nostro cervello, chi se ne frega, non siamo qui a fare neuroscienze. Però si parla di ragionamento di questi modelli, cosiddetto reasoning. Esattamente quando si parla di ragionamento di Claude o di GPT, che cosa fanno in più rispetto a prima che definiamo ragionamento?

Diciamo che il ragionamento è il semino che poi è diventato questo RLVR, che ho già ripetuto mille volte. Cioè, il ragionamento viene chiamato CoT, chain of thought, catena di pensiero. Di base il ragionamento è: io, oltre ad allenare 'sti modelli sul testo generico, allenarli a fare i dialoghi, allenarli a non dire le parolacce, allenarli a bla bla bla bla bla bla, li alleno anche a produrre una sequenza di token che chiamo ragionamento prima di dare la risposta. Quindi in realtà la risposta è tutto insieme, no? Cioè, il ragionamento e poi la risposta. Per fare questa suddivisione si usano dei tag testuali, cioè non è rocket science.

Quindi lui in realtà prima produce un testo usa solo per produrre il testo.

Però è esattamente, cioè, la potenza di questa cosa è la stessa che hai tu se io ti do un problema e tu inizi a dire, ok, Luigi ha 10 mele, poi ne toglie 3, poi questa cosa ti aiuta, ti è perché in pratica il modello si autoalimenta il contesto. Ok, si scrive come se avesse un taccuino, si scrive dei pezzi che gli saranno utili per migliorare la predizione del token successivo. Ok, ok, questa è l'idea del ragionamento.

Ma la natura, quindi quando noi vediamo il Claude che gira, semplicemente testo che viene generato che noi non vediamo.

Non lo vediamo perché? Perché le cosiddette reasoning traces, cioè queste tracce di ragionamento, sono un'indicazione molto potente di come il modello organizza i pensieri, cioè di come stila i suoi puntini per migliorare la sua predizione finale. Quindi è un segreto industriale gigante, quindi si tiene segreto. C'è stato un brevissimo periodo in cui si potevano leggere, poi si sono immediatamente accorti che quelle tracce potevano essere prese, rubate e utilizzate per allenare altri modelli con diversi gradi di efficacia. Però, quindi questa è la COT, quindi parte da questa nozione di catena e insieme alla potenza dell'harness, insieme ad aver fatto così tanto allenamento su problemi di cui sappiamo le soluzioni verificabili in automatico, è diventato proprio un pezzo, cioè praticamente il 99% di quello che fa un modello è mettere insieme 'sti pezzettini per darti poi delle risposte più efficaci. La cosa fortissima però succede nel caso, spostandoci appunto verso gli agenti, quindi con questi harness, per cui il modello interagisce con la sua imbracatura dicendo, ok, prova a fare questa cosa. Si butta giù la sua traccia di ragionamento, dà una possibile risposta, poi guarda l'effetto della risposta e poi tramite il ragionamento la giudica e torna indietro e ne fa un altro, perché a quel punto non è più solo una passata, ma ma è n passate, magari con 1000 agenti in contemporanea che fanno 12.000 check diversi. Questa stessa idea la puoi esplodere e anziché avere uno che fa tutto un lungo ragionamento ne hai n che fanno piccoli pezzi. Quindi il primo, il cosiddetto orchestratore, divide il problema in pezzettini, ciascun subagente fa la sua cosa e restituisce il risultato a quello sopra. Ed è sempre l'harness come una sorta di poliziotto della strada che dice prendo questo, lo rimando a quello, questo mi ha risposto questo, questo è come una fotografia del sito che hai appena creato, vedi che sono storti i tasti, quindi li rifai. E si crea questo meccanismo per cui il ragionamento non è ancora, e probabilmente mai sarà, un vero ragionamento formale, logico. P implica Q.

PS: pure noi umani facciamo abbastanza schifo sulle probabilità e sulla logica, siamo un disastro.

Ecco, ma può introdurre per esempio dei verificatori deterministici nell'harness. Quindi il modello propone delle strade, ne butta via alcune grazie alla verifica formale, ne tiene delle buone, ed è così che ci sono i risultati in matematica e tutte le cose che stiamo vedendo adesso.

I primi modelli sbagliavano a fare anche 2 2, per dire. Oh sì, adesso 2 2 lo fanno giusto sempre, possiamo dire.

Non vuol dire che il meccanismo che usano è lo stesso che usiamo noi.

Un uomo 2 2 lo dovrebbe fare giusto sempre, a meno che non sia dentro 1984, ma questa è un'altra storia.

Molto interessante come punto. Sì, adesso diciamo, vabbè, 2 2 proprio lo fanno. Sì, sì, è un esempio stupido, però, però un calcolo anziché farlo loro dicono, vabbè, mi scrivo un pezzo di JavaScript e guardo il risultato.

E il codice lo farà giusto, certo, perché il codice è deterministico. Ma quando ragionano moltiplicano la possibilità di fare un errore o sempre la riducono?

Questa è una domanda sottilissima. Pensa che in alcuni lavori avere tracce di ragionamento lungo in dei casi porta a delle problematiche, perché i modelli fanno il cosiddetto overthinking. Sì, a parte che consumano una quantità di token, questo è tutto un altro capitolo, però letteralmente disumano. Però in alcuni casi è stato visto che questo overthinking è peggiorativo. Però io direi mai rispetto a proprio non avere il thinking del tutto, chiaro, ma riuscire a calibrarlo. Ecco, mettergli dei limiti giusti, non lasciarlo andare avanti in eterno, perché quello produce, produce, produce, non è che si fa dei problemi, capito? Di solito diciamo più thinking meglio meglio è. Ok, ma in alcuni casi si sono osservati anche dei fenomeni inversi, anche perché più in generale, più testo hai, più testo devi compattare, più è possibile, più è probabile che dei pezzi rilevanti si perdano.

Vabbè, sì, perché poi spieghiamo sta cosa anche bene. Un modello ha un contesto sempre, che può essere più grande, meno grande, un milione di token o molti meno. I modelli nuovi più grandi hanno più o meno un milione di token di che sono tot righe di testo e di informazioni.

Tantissime, cioè un milione di token sono tanti token.

Quando finisce il contesto, per esempio appunto in un ragionamento lunghissimo, magari può occupare tutto il contesto, è un casino.

Sì, perché i modelli hanno un buco in cui gli dai il prompt, giusto? Quando dico prompt, il contesto sono— il prompt è il modo comune per dirlo, però vuol dire tutto ciò che è successo, perché i modelli sono senza stato, cioè ogni volta tu gli devi dare tutto da capo.

Cioè che sia una cosa che gli scrivi scrivi tu, o un file che si legge da solo, che sia un Markdown, un PDF o un video che si guarda, o la conversazione stessa viene tutta rimandata da capo.

È la stessa roba, perché il modello sa fare: data una sequenza di parole, dammi la prossima parola, token probabile. Quindi noi dobbiamo sempre dargli tutto. Allora, a un certo punto tutto non ci sta più, perché questi modelli hanno una dimensione fissa, che è questa finestra di contesto che dici tu. Che si fa in quei casi? La cosa più, più classica si chiama compaction, quindi tutto quello che è successo fino a quel momento, tengo le cose rilevanti, butto via le cose irrilevanti. Che cos'è rilevante? Che cos'è irrilevante? Eh, dipende da che cosa stai facendo. Certe tracce di ragionamento certamente sono inutili, mi serviva solo il risultato finale. Però è così che poi il modello si dimentica che non doveva cancellarmi i maledetti file, perché magari se l'è solo tenuto lì, l'ha riassunto un po' di volte, poi l'ha buttato via. Sì, allora lì uno può dire, beh, io allora glielo faccio scrivere su un file e poi il file tutte le volte lo rimetto nel contesto. Vero, ma il contesto è molto grande, non tutti i token valgono uguali. C'è il fenomeno del context rot. Se io inserisco, ho la finestra molto piena, il modello fa più fatica a tenere l'attenzione sulle cose più rilevanti. Non sempre, dipende dai task, bla bla bla, cioè dipende sempre tutto quello che dico. Però capite come non è banale questa cosa? Per esempio, per gli umani è un fenomeno davvero strano, cioè non ne trovo un grande equivalente, non trovo un equivalente, no?

Però lo vedete, il modello dice sul ragionamento ci siamo, nel senso che tante volte su un problema magari se non ragiono do la soluzione giusta, se ci ragiono penso e penso e penso, mi perdo in giro perché poi considero troppe variabili e impazzisco. Allo stesso modo, magari se studio intensamente tantissime cose di ambiti completamente diversi, mischio. Quindi in realtà io ci vedo un paragone con quello che dicevi tu.

Però il meccanismo di non riuscire più a tenere in memoria le cose e doverne buttare alcune—

No, no, no, questo no.

È un po' strano, soprattutto in una conversazione. Cioè, il punto è che l'interfaccia ti illude.

Ma io ti avevo detto!

Bravo, l'interfaccia ti illude che non sia senza stato, ti illude che ci sia lo stato. E quindi la reazione è: ma scusa, te l'ho detto 3 righe fa. Sì, però nelle 2 righe gli hai incollato dentro dei PDF da 800 pagine, quindi la sua finestra di contesto è rimasta tutta fritta.

Cioè, secondo me in questo, a livello poi pratico, anche banalmente dagli esperimenti che sto facendo io, il consiglio che possiamo dare a chi ci sta seguendo è: al di là della singola chat o del singolo agente o della sessione che tu hai aperto, è comunque fondamentale avere sempre la memoria e i dati dati scritte in un qualche posto, importanti, devono essere scritte così che il modello le possa recuperare ad ogni chiamata. E magari alcune cose verificarle ogni tot. Cioè, faccio un esempio stupido: a un certo punto il mio Claude era convinto che io fossi nato a Gallarate. Ecco, io sono nato ad Angera. E scava, scava, scava, non capivo dove fosse il problema. Gli ho detto correggi, correggi, ma comunque non correggeva. Alla fine mi sono rivisto il file che è il mio contesto personale che mi sono creato, e lì c'era scritto Gallarate.

Aveva modificato lui?

Aveva modificato lui e non si ricorda, o lei, perché io c'ho la che è una lei.

Ci sta.

Quindi chiedere di memorizzare in— poi si può, non lo approfondiamo oggi, ma ci sono mille modi di fare la propria memoria personale, che sia la tua o della tua organizzazione o del tuo progetto. Però poi ogni tanto andare anche un po' a vederle. Cioè, certo, paradossalmente magari alcune cose di codice si possono anche vedere molto meno, ma determinate informazioni a livello proprio di dati fondamentali, quelli secondo me devono essere catalogati Quindi al di là del modello, che oggi è questo e un domani cambia, se io ho le mie informazioni sul mio computer o sul mio NAS o sul mio hard disk o in un server di chissà chi, ma sono mie e ce le ho catalogate bene, io o chi per me posso accederli, posso controllarle.

Ma anche i modelli poi possono farci cose, cose utili, invece modificarle in maniera sbagliata.

Esatto. E poi l'altra cosa bella di ragionare in questa maniera è che tu non ti vincoli a nessun modello. Perché se tu ti vincoli a usare solo Claude dall'applicazione di Claude, o solo GPT dall'applicazione GPT, o solo Grok da lì, tu poi rimani vincolato sempre a tutto un contesto che è dietro le quinte all'interno della chat, su cui non hai minimamente il controllo. Perché se tu usi la chat di ChatGPT e basta, che ne sai di cosa sta compattando e cosa no?

Non sai neanche— tra l'altro bisogna fare attenzione anche alle impostazioni. Per esempio, i modelli possono guardare le altre chat che hai avuto per prendere un po' di informazioni, cosa che io sconsiglio vivamente, perché il controllo è importante. Io voglio che questa sia la chat, in una chat così essere un docente, in un'altra chat posso essere, non so, un gym bro. Non voglio che mi mischi le cose. Dipende che usi nei file.

Esatto, perché se devi organizzare dei file Excel hai bisogno che uno sia super preciso e zero creativo.

Se devi inventarti i titoli per i video vuoi tutto un altro contesto e vuoi poter passare da una cosa all'altra, quindi non vuoi mischiare le chat. Allora ti puoi fare due progettini in Codex o Cloud Code, compartimenti stagni. Bravissimo, è un bel punto questo dei file. Ti aggiungo così una notizia, una cosa di questi giorni che è accaduta a inizio agosto sulla compaction della memoria. Ci stanno accadendo tutta una serie di incidenti di cybersecurity, più gravi, meno gravi, più hypati, meno hypati, non entriamo nel dettaglio. Ma in uno di questi l'AI Security Institute sospetta che il motivo per cui è accaduto un pezzo specifico di un incidente, è stato proprio che il modello credeva che un certo sito fosse parte del test e invece era un sito vero. Il motivo per cui ha cambiato la sua credenza è che all'inizio ce l'aveva scritto nel contesto e poi una compaction. Questo è, ripeto, loro sospettano che il motivo possa essere questo. Però ripeto, queste cose della memoria hanno a che fare anche con i monitor, perché i modelli non vanno da soli. Quando fanno questi esperimenti. Hanno un altro modello che gli guarda le COT e dice, questo cosa sta facendo? Vediamo un po' come si comporta. Ecco, quando la finestra di contesto diventa molto grande, l'altro modello si distrae, non riesce più a ritrovare i pezzettini. Quindi veramente tanto è possibile, ed è possibile contemporaneamente. Anche cose che sembrano opposte sono contemporaneamente vere. È un momento di grande instabilità stabilità, però con una direzione che è quella di cui abbiamo parlato: gli agenti, cercare di essere più affidabili, cercare di risolvere problemi seri e importanti.

Ma sempre sul discorso sicurezza, delle cose che hai fatto tu, degli esperimenti che hai fatto tu, cos'è che ti ha per esempio spaventato? Che tu, non so, programmando un bot che faceva determinate cose o chissà che altro, ti sei detto fermi tutti, occhio? O ti succede tutti i giorni sta cosa?

No, allora diciamo che gli esperimenti che faccio io per le mie cose di ricerca sono molto più limitati e specifici, quindi non vedo questo tipo di problemi. Nelle pastrocchiere che faccio invece, c'è anche solo il bot che scrive su Twitch. Ci sono, beh, tipo l'altro giorno il modello si è messo ad eseguire della roba sul mio terminale per vedere, c'avevo dei problemi di configurazione di DNS, vabbè. Mi fa, ah sì, ho fatto girare questo comando chiedendoti il permesso. Chiedendomi il permesso dove? Che io non l'ho mica visto 'sto permesso. Quindi ogni tanto questo è il tema: più sembrano affidabili, più tu non è che puoi stare a controllare sempre tutto quello che fanno. Anche stando a questo tavolo e facendo il santone dicendo no, dovete fare attenzione, ovviamente come umani ci caschiamo. Quindi di cose particolarmente— ci sono delle cose socialmente pericolose sicuramente, come impersonare gli umani in rete in quantità incalcolabili e ben al di sopra secondo me delle capacità che la persona media pensa che questi oggetti abbiano. Ovviamente parlo, mi riferisco anche ai deepfake. Se già i large language model dal punto di vista di interazione così richiedono una grande chiamata all'attenzione, i deepfake, il rischio guardando agli ultimi modelli, Sidence 2.5, un altro che non mi viene, H3, il livello di questi effetti inizia a essere indistinguibile veramente dai video e dalle immagini reali. Allora cosa facciamo? Diamo per scontato che tutto quello che vediamo è falso, è artificiale? Questo video è artificiale? Non sono mai stato qui?

C'è una parte vera di cosa è vero e cosa non è vero, secondo me. E poi boh, c'è tutta la parte di regolamentazioni, ma ci affidiamo alle regolamentazioni dell'Unione Europea per capire cosa è vero e cosa è falso? Secondo me non ne usciamo, anche perché poi Cioè, internet è una cloaca. Dico, io ormai Instagram è pieno di robe, non capisci. Tu vedi una tipa, non è una tipa, ma è un tizio chissà dove che si sta fingendo una tipa.

È un disastro in certi pezzi, in certi argomenti come la politica, come in generale l'informazione, soprattutto nei contenuti corti che già le guardi scazzato, no? Sei lì così. Io per esempio sono cascato in un deepfake della Schlein e vannacci che sembravano ridere insieme. Io ho visto 10 secondi di quello, ho detto vado avanti, e poi ho scoperto che era un deepfake dopo. Qua anche un altro punto importante. A volte quando vedo persone che parlano di questi argomenti, nei commenti leggo: ma quelli sono dei coglioni, quelli che cadono in queste cose. Si può dire? Sì, sì, sono dei coglioni. Non sono dei coglioni. Non esiste nessun umano completamente inattaccabile su nessun fronte sulle truffe, perché questa è una forma di truffa, no? C'è il momento, magari il momento della giornata addirittura, in cui sei più sensibile, in cui la cosa che stai guardando conferma il tuo bias che avevi. Per esempio, io avevo il bias che tanto nella politica è tutto un magna magna, è tutto un magna magna, signora mia. Quindi quello dimostrava una cosa in cui io già credevo, quindi la mia soglia della critica, del criticare quello che vedo, è zero. Perciò lo prendo per buono. Se proprio non, insomma, non c'è la gente che vola dentro, boh, non ci faccio faccio caso. Quindi anche qua attenzione a questa narrazione vannamarchiana. Alla fine i coglioni vanno inculati perché tutti siamo coglioni per qualcosa.

Sì, sì, sono d'accordo. Cioè, sono d'accordo perché io in primis ogni tanto ci metto del tempo, o devo andare a vedere i commenti per capire se una cosa— secondo me servirà un ente superiore terzo che in qualche modo verifichi, ma non si può lasciare la questione a c'è una legge che ti obbliga a fare questo. Non lo so come la gestirei.

Cioè, adesso un po' di tema del water marketing che sta girando. Ma però non lo so, sai, l'ente terzo—

ci mettiamo noi a verificare questo. No, questo sì, tutto il giorno.

Questo è vero, questo è falso.

Vabbè, quasi potrebbero fare, cioè, si potrebbero fare infiniti ragionamenti secondo me, anche collegati al modo in cui i social agiscono sul nostro cervello. Perché un conto è chattare con un chatbot, un conto è vedere un social scrollando con degli algoritmi algoritmi che devono indicizzare i contenuti, perché tutto è tutto unito, capito? Cioè, non è solo il video realistico, ma è l'algoritmo di Instagram che è bravissimo a fornire a te esattamente quel video. Ma questo è tutto un altro argomento che non affrontiamo oggi, se no non ne usciamo più. C'è un discorso secondo me da fare gigante però, che non abbiamo ancora toccato, che vorrei fare prima di passare ad altro, che è il discorso di tutto ciò che è a Oriente legato alla Cina. Cioè, tu prima hai fatto tutta una serie di discorsi dicendo e questo non lo sappiamo perché è segreto industriale, i pesi non li sappiamo. Ci sono poi i cinesi che tirano fuori tramite varie aziende private, o non solo private, o con chissà che giochi, tirano fuori dei modelli pazzeschi, incredibili. Forse anche perché loro hanno molta meno potenza di calcolo per ora, perché Nvidia non può vendere ufficialmente in Cina perché c'è il ban degli Stati Uniti e tutto quanto. Quindi questi si ritrovano con meno schede video, si ritrovano a fare magari molto più lavoro su determinate cose e soprattutto poi pubblicano questi modelli dandoli open weight, quindi praticamente aperti, che io e te, se abbiamo un server con sufficiente potenza di calcolo, possiamo replicare senza pagare nessuno. Cioè ci danno tutto il libretto di istruzioni per fare tutto. Come funziona esattamente un modello open weight anzitutto? Cioè che vuol dire sta roba qua?

Diciamo che tecnicamente è uguale a un modello di non open open weight. Però la differenza è che, diciamo, è giusto chiamarli open weight e non open source, perché di fatto loro ti danno un pacchettone di numeri. Se tu metti questi numeri in questo modello, KIMI-3, KIMI-K3, quello che è, hai il modello e lo puoi far girare. Quindi hai i numeri che ti servono per fare i calcoli, per predire il prossimo token. That's it.

Perché alla fine quando si parla di allenamento si parla di trovare i pesi giusti.

Giusti? Beh, c'è ovviamente che architettura usare, perché ormai il tipo di cambiamenti che sono stati fatti poi vanno anche un po' oltre il Transformer base, chiaramente. Però al netto della stessa architettura, cioè come organizzo le parti che si scambiano i numeri nella rete, mi servono i numeri. Allenare un modello significa trovare i numeri giusti, in un certo senso. Allora io te li do i numeri giusti, questo è OpenWeight. Ovviamente però per essere davvero open dovrei dovrebbero darti il dataset di allenamento, cosa che non fa nessuno.

Anche perché li recuperano tutti in maniera— ehi, è tutto mio, alleniamo internet, eccoci qua!

Per citare un grande, tu lo dici, Gesù Cristo. Comunque sì, cioè, è così, nel senso ci sono già state anche pezzi di cause legali, no, per cui è stato fatto vedere che 'sti dati quindi non dicono un po' di più raccontano, ma cioè le case chiuse, diciamo i modelli chiusi, le case dei modelli chiusi proprio ti dicono 400, 150 pagine di documento quando esce il modello, 2 righe: sì, abbiamo fatto allenamento con dei file, o non c'è informazione.

Ma da dove li avete presi tutti questi miliardi di—

ma tu lascia stare che li abbiamo presi. Il succo è proprio quello, no? Quello è un po' l'architettura.

E avere anche dati puliti, perché adesso il problema è è che da dove prendi i dati puliti se un sacco di dati sono stati generati e magari sono sporchi?

Magari non sono sporchi nel senso che sono sbagliati, ma sono sporchi nel senso che ti servono dati vari per la generalizzazione, no? Se tu alleni alla human centipede, alleni il modello con se stesso, diventa sempre più stupido. Eh sì, non riesci, non generalizzi, non hai nuovi dati da cui estrarre utili pattern. Quindi i modelli open weight tutti carichi queste, parliamo anche di un tera di dati, ok? Cioè, perché 'sti numeri sono tanti. Boh, poi te li prendi, ti rifai girare. Allora, te li fai girare in locale, vuol dire dal tuo portatile fino a una server farm che ti puoi mettere qua nel tuo giardino, così. Quindi il range di spesa varia tanto e varia ovviamente anche la dimensione del modello che puoi mettere.

Sul tuo portatile puoi far girare 120 miliardi di parametri.

Sì, forse sul tuo, sul mio, su un portatile medio 10 miliardi, 5 miliardi, 32, 16, dipende.

Io 120 li ho fatti girare, però sì, M5 Max, ecco, bello dopato.

Il tema, vabbè, non entriamo credo nel dettaglio tecnico di quanto deve avere il portatile grosso per far girare i modelli, però ci vuole un po' di memoria, può essere la scheda video, può essere unificata sui Mac, tante cose. Comunque, fatto sta che tu, se sei un'azienda media, ok, o magari pensa un ospedale, no, che non potrà certo permettersi che i propri dati escano e vadano nelle tasche di OpenAI o di Anthropic. Si spende 150k, non lo so, si mette il suo serverino, ha il proprio modello locale che magari estrae informazioni da documenti medici e aiuta a compilare, quindi fa la digitalizzazione, aiuta a compilare i campi. Queste sono tutte cose fattibilissime, peraltro anche vicine ai miei temi di ricerca. Allora, i modelli open aprono delle porte davvero Perché poi quello che si è visto in tanti campi è che all'inizio si pensava semplicemente, vabbè, mi servono i modelli grossi per fare cose grosse. Quindi il contrario del pennello cinghiale, ci vuole un grande modello per fare grandi cose. Non è proprio così, nel senso che le cose che abbiamo scoperto sui grandi modelli dal punto di vista dell'architettura e del tipo di allenamento posso riportarle sui modelli piccoli e avere notevoli risultati. Ovviamente la differenza si vede, però notevoli risultati per compiti molto specifici anche con modelli molto piccoli. Molto piccoli vuol dire 3 billion, 8 billion, quindi davvero piccoli. Quindi è la generazione che conta, quando sono usciti e che tecnologia implementano. E quindi per un ospedale inizia a essere, un ospedale o tante altre aziende, inizia a essere una cosa seria, una cosa da guardare.

Ecco, ma secondo te perché stiamo vedendo questa cosa qua, soprattutto con la Cina che sta spingendo tantissimo su questi modelli?

Perché la Cina non può competere secondo me nel mercato dei prodotti. Nel senso che addirittura il CEO di Kimi K3, quando è uscito, ha tipo la nostra età, e lo vedi. Se noi siamo qua, un certo livello di successo, io sono qua. Vabbè, se penso a cosa fa quello, comunque no, è pazzesco.

Cioè, è ancora un tipo abbastanza sconosciuto, però se andate a vedervi sul canale YouTube di Kimi, cioè, proprio, cioè, va, passa, è un grande.

Il punto è nel blog con cui rilascia Dice, ci rendiamo conto che dal punto di vista proprio dell'applicazione e di come gli utenti possono interagire col modello, noi siamo molto più indietro rispetto a OpenAI. O altro, non dice proprio molto più indietro, però dice mancano dei pezzi di facilità d'uso. Però per esempio DeepSeek ha appena pubblicato il suo harness, quindi il suo software con cui rendi i modelli agenti. Quindi si stanno avvicinando, quello è il goal. Ma data la limitazione, diciamo, per cui è difficile fare tutto quanto e competere con aziende che invece sono già molto più allenate a fare quel tipo di cose. Loro scommettono su rendiamo tutto open e poi non lo so bene quale sia il long plan.

Solo per far competizione?

Perché sennò sarebbero completamente tagliati fuori, come un altro posto che conosciamo bene. Ok, un po' l'Europa.

Cioè, l'Europa, ma l'Europa Però può competere. Come mai? Cioè, anche tu che appunto vieni anche un po' da quell'ambiente lì, ovviamente non è solo l'ambiente accademico deve fare ricerca, non è quello che deve fare. Ma perché non c'è Mistral che fa qualcosa, che su alcune cose inizia a essere interessante? Ma come mai siamo già indietro in questa corsa?

Secondo me, vabbè, qua siamo diciamo un po' fuori dalla mia reale competenza, però la mia impressione è che manchi proprio un terreno fertile fertile di questo tipo di iniziative. Diciamo che quando vedi da qualche altra parte che è successo qualcosa di grosso, tu non puoi recuperare tutto quello che quegli altri hanno fatto per arrivare lì in un pomeriggio e poi partire da lì. Cioè, non puoi copiare, ok, ok, prendere il percorso che hanno fatto gli altri e biforcarti. Hai bisogno di costruire un terreno fertile, che è un terreno fertile di tipo economico, politico, strategico, di tante cose.

Ma quanto secondo te è una cosa che è fisicamente limitata da billions, miliardi, cioè fisicamente avere la potenza di calcolo, avere l'energia, avere— o quello, o quanto c'è ancora il singolo umano che ha l'intuizione di dire facciamo questa cosa qua dentro che mi fa qualcosa di diverso?

Secondo me, ecco, agli europei certo non manca l'intuizione, Tant'è che moltissimi degli scienziati che poi sono andati o a destra o a sinistra, più diciamo oltreoceano, sono europei. Quindi secondo me non è un tema di idee, è un tema, secondo me è un po', ok, io ce l'avrei anche l'idea, ma se mi metto a farlo qua incontrerò una serie di ostacoli. Ok, mentre là ne ho di altri, di diversi, ma non dal punto—

intanto fai, poi vediamo.

San Francisco, immagino.

No, ma lì son pazzi, ecco, lì son totalmente pazzi tutti.

Allora, la mentalità, cioè, la mentalità sembra una roba proprio un po' da boomer, però raccontaci, a San Francisco quelli, se tu gli dici, ah, guarda, c'ho un cipettino che predice se scorreggi, tieni 10 miliardi, bang, secco. Cioè, lì è proprio una roba, forse troppo addirittura, così, no?

Secondo me è tantissimo una questione di soldi, nel senso che lì la facilità con cui questi possono sperimentare sperimentare e fare cose da una parte bellissime, da una parte esplodere totalmente e fallire, e poi rifare, poi rifare, poi rifare, ti porta— cioè, paradossalmente vedo molto più dopate, tra virgolette, le aziende americane, che appunto grazie a investimenti fuori di testa per forza hanno dei risultati, perché hanno un sacco di persone, un sacco di data center, un sacco di potenza di calcolo. Mentre dall'altra parte aziende come appunto quella di Kimi, con il signorino che è lì, sì, sono un'azienda già grande, ma comunque con risorse molto più limitate, è come se mi sembra che si ingegnino di più per trovare soluzioni, capito? Quindi secondo me questa potrebbe diventare anche una forza per noi da qua, che abbiamo energia che costa cara, data center inesistenti rispetto al resto del mondo, America e Cina. Vabbè, ci ragioniamo.

Davvero importante detto: per forza devono avere dei risultati. Che uno può leggerlo come dire, è chiaro che hanno dei risultati perché con tutti quegli investimenti, ma si può anche leggere più letteralmente: per forza devono avere dei risultati. Risultati. Quindi se non ce li hanno faranno di tutto per inventarseli. E questo spiega anche tutto un tipo di narrazione, di spauracchio. I risultati ci sono, eh, non fraintendiamoci. Però mostra anche un brutto aspetto del capitalismo, cioè il fatto che mo' quelli devono— sì, è vero, vi facciamo vedere che facciamo delle cose, vi facciamo vedere che si vendono di più Quindi la geopolitica, la conversazione è davvero difficile filtrare. È successo qualcosa di interessante, non di interessante? Ovviamente poi i media riprendono o verbatim quello che dicono loro, oppure ci rincarano ancora più la dose, perché sui social funziona l'emozione, e quindi giostrarsi diventa davvero complicato. Comunque i modelli open secondo me rimangono una grande opportunità. Tra l'altro, così facendo costringeranno probabilmente anche alcune aziende, tipo una che c'ha open Open nel nome, a rilasciare qualche modello Open.

Ok, chiaro.

Per il resto il futuro non lo so se la Cina recupererà completamente oppure no. Rimane sempre l'impatto sul mondo reale, sulle aziende reali che devono decidere: io vado con un'azienda full cinese, non so bene se devo gestirmi io il mio data center oppure no, se gli mando io loro i dati che fine fanno.

Sai che è sempre stato così, ma adesso è molto di più perché prima, io sì, vabbè, questo video caricato su YouTube, i dati di questo video sono, eh, bla bla bla. Però sì, sono molto d'accordo con questa roba qua. Tra l'altro ti chiedo, a proposito, visto che appunto è sempre più anche geopolitica e non è solo chi guadagna più soldi, ma è chi ha il modello più performante, ha un dominio in termini di cyber security e in termini anche militare, di fatto. Ma quello che ti dico è, quanto queste aziende che noi sappiamo, o non sappiamo perché non lo sappiamo, hanno nel cilindro cose più potenti. Cioè, se noi abbiamo pubblici che possiamo comprare, open weight, tutto quanto, questa roba qua, nelle aziende e nei governi e nei veri potenti del mondo cosa hanno già tra le mani? Hanno cose solo più potenti o hanno già cose—

ovviamente risposta full segreta, non lo sappiamo.

Però secondo te cosa c'è?

Secondo me fino a qualche mese fa avevano l'iterazione corrente più uno, cioè stavano costruendo la prossima. Praticamente erano un po' come con lo stipendio a fine mese, cioè Quello che c'è, c'è, poi ne impacchettiamo una nuova, la rilasciamo. Il punto però da capire è che quello che c'è dietro non è 3. Cioè, noi abbiamo visto le sequenze 1, 2, 3, 4, 5, ma dietro di 3 ce ne saranno stati 1000 di candidati 3. Quindi ogni versione ha un grande ventaglio di possibilità che sono state testate, modificate, unite, tolte. Gli stacco un pezzo di questo, vediamo cosa succede. Tantissimi esperimenti di cui noi non sappiamo ovviamente nulla, ed è lì che ci vuole la potenza di calcolo per fare training parallelo e scovare la gemma migliore. Provo con questi dati, questi altri dati, veramente tutto quello che potete pensare secondo me lo fanno. Cioè, un'esplorazione, non dico alla cieca, ma questo era fino a qualche mese fa. Ora con Fable e GPT Sol 5.6 Sol e soprattutto Mythos è un po' il modello, quindi ha segnato il cambio. È possibile che abbiano anche più iterazioni, diciamo, in verticale nascoste, perché prima di poterle pubblicare non vogliono che poi Mr.

Trump alza la cornetta, non blocca, fai disfa. China!

No, così dice: abbiamo bloccato il modello perché non possono permettersi che il governo gli blocchi i modelli una volta che l'hanno dato al pubblico, quindi devono chiedere prima. Quindi faranno delle sperimentazioni più profonde per capire, per per— e allora magari si tengono un po' più cose nel cappello.

Cioè, la mia personale sensazione è che sia anche molto dettato dal mercato. Cioè, esce Fable e allora OpenAI pubblica GPT Sol. Cioè, come se avessero tante cose pronte che o quando devono vendere di più, o quando devono essere valutati di più per l'attenzione alla narrazione— cioè, ho un po' questa sensazione qua, capito? O dall'altra parte, quando si rendono conto che la roba che stanno usando consuma troppo, è inefficiente o tutto quanto, tirano fuori una roba migliore, più efficiente, che gli permette di risparmiare. Che era un po' quello che era successo l'anno scorso con GPT-5, che per certi versi era più stupido dei modelli precedenti, ma era molto meglio per OpenAI, che non doveva fisicamente essere sotto sforzo costantemente perché era molto più efficiente. Quindi anche sta roba qua. E ti chiedo, sempre su questo discorso qua, secondo te arriveremo a un punto dove ci saranno modelli più efficienti che saranno più sostenibili, o semplicemente siamo già a un limite e si alzeranno i costi? Perché noi adesso siamo in una fase d'oro. Ste aziende stanno raccogliendo un sacco di soldi e di fatto ci forniscono dei servizi a 9 euro al mese, 20 euro al mese, 200 euro al mese, ma che se si va a vedere quello che costano a loro, gli costano, se tu li sfrutti per davvero, migliaia o anche decine di migliaia di euro al mese. Cioè, io usando Claude intensivamente non faccio guadagnare soldi a Anthropic, ma glieli faccio perdere.

Come me quando vado al sushi.

Esatto, come me quando vado al sushi. Però alla fine sto su sushi Vince o non vince secondo te? Cioè, ci sarà una bilancia o ci andiamo a schiantare contro costi sempre più alti?

Diciamo che è assolutamente vero che non è economicamente sostenibile, per quanto recupereranno, perché c'è anche chi fa l'abbonamento da 20 euro e poi le domande che fanno sono stupide, le mandano tutti al modello più cretino che hanno, che ha già le memorie.

Esatto, come tu al sushi vai con la fidanzata che magari si prende solo il nigiri e voilà, fregato.

È rovinata la mia missione di mettere in difficoltà gli italiani.

Però oggi perdono.

Però certamente cumulativamente ci perdono. Secondo me è ancora troppo presto per parlare di soldi. Lo so che sembra strano. Cerchiamo di inquadrare le promesse che stanno facendo questi modelli. Amodei qualche giorno fa diceva, qua capisco la frustrazione, non è più il caso di dire, ah, con questi modelli risolveremo, cureremo il cancro, abbiamo bisogno di curarlo davvero per dimostrarvi. Cioè, queste sono il tipo di promesse che fanno, ok? Quindi 100 euro, 200 euro, 50 euro abbonamento. Qua c'è una scommessa, ovviamente di facciata, diciamo, almeno di cambiare il mondo. Quando questa scommessa sarà o vinta o persa, per la maggior parte degli investitori sarà chiaro se è stata vinta o persa, lì scopriremo quanto ci costa usare ChatGPT senza, diciamo, la parte del pianeta. Quella stiamo già pagando, ovviamente, ma sul tratto dell'energia, alla fine quello sul tratto economico dei singoli utenti. Solo lì scopriremo quanto valuteranno, e allora a quel punto capiremo anche quanto costa effettivamente far girare l'inferenza di un modello grosso X o Y. E allora anche il tema dei modelli open entrerà in gioco, perché comunque gli efficientamenti ci sono stati e continuano a esserci, molto importanti sia lato hardware che lato software. Quindi più passa il tempo, più riesce a recuperare. Non so se recupereremo mai del tutto, ecco. Però secondo me al momento è davvero difficile fare delle sul costo dell'abbonamento. Di sicuro ci sta convenendo pagare 10 euro o 20 euro per avere quella roba lì. Vedremo.

Se andate al sushi, mangiate, riempitevi responsabilmente. Ok, ok, ok. Giusto per chiudere, oltre a guardare tutti i tuoi video sul tuo canale che lasciamo qua sotto in descrizione, consigli generali di cose da guardare, letture, cose da fare, esperimenti da fare per vari livelli di gente che fa cose con AI?

Allora, il mio consiglio è di non fare.

Ah, no?

Allora, inquadro il tema.

Fate!

Sperimentate voi, certamente, come abbiamo detto prima. Se siete in un'azienda e avete dei problemi ripetitivi, pensate al vostro problema, scomponetelo, provate ad affidarne alcuni pezzi— occhio ai dati— ma alcuni pezzi ai modelli e vedete come vanno. Costruitevi dei piccoli benchmark, eccetera eccetera. Dal punto di vista però dell'informazione non ironicamente, andateci cauti, perché abbiamo bisogno di conservare un po' di energie per i tempi che arrivano. Quindi seguire sempre, tipo stare su X e leggere di continuo le cose, io lo trovo psicologicamente drenante senza grande valore.

Cioè dici proprio a livello di aggiornamenti? Ah, questo modello funziona così, questo coso, questo tool, questa roba nuova, questo orchestratore.

Io capisco chi vuole, tu sei un po' così, che vuoi stare sempre all'ultimo, all'ultimo grido. Però non dico di non guardarli, però guardateli con la mentalità di dire ok, Ok, vedi, sta succedendo questo, faccio una fotografia, però la studio un mese dopo, un po' dopo, qualche settimana dopo. Magari, vabbè, qua mi provo proprio autopromozione, però io tendo a fare dei video quando le cose si calmano.

Ok, sì, sì, sì, esce OpenClaw, tutti in quel mese fanno roba di OpenClaw.

Aspettiamo di vedere se ci sono delle vulnerabilità. PS, c'erano.

Anche per non perdere tempo, nel senso che Esatto. Se sei proprio quella prima parte di utilizzatore, su 10 cose 9 falliscono. Quindi guarda quello che fanno gli altri. Sono molto d'accordo con questa cosa qua, in realtà.

I vari tweet breaking news.

Io ho un amico che sfrutto, che gli dico, hai provato questo? Però lui prova tutto e poi mi dice—

Ecco, quindi magari cercate delle persone che fanno questi tipo, questo tipo di contenuti, consultandole però appunto come un, ah, questo è quello che sta succedendo, ma io non mi viene l'ansia di oddio, se non lo provo sono morto.

Sì, sì, sì.

Cioè il fear of missing out qua secondo me deve essere veramente tenuto sotto controllo, perché ogni giorno, anche solo in termini di paper, chissà quanto scritti domani poi, ma se anche uno volesse solo guardare la letteratura vera, è impossibile, c'è troppa roba. Quindi lasciate che sia un po' la società a far emergere i punti buoni. A quel punto potete veramente dedicarvi E sì, aggiornate il vostro modello mentale nel tempo, provate voi, fatevi delle idee, fate dei test. Per il resto, vabbè, l'ecosistema di YouTube un po' offre vari contenuti.

Ah beh, sì, sicuramente.

Oltre il mio canale ce ne sono altri di certamente validi. Ci può essere Salvatore Sanfilippo.

Ah, super super, lui è pazzesco.

Facciamo anche un format insieme, quindi. Però, che ne so, anche un Raffaele Gaito che ti parla a volte più dei tuoi ci sta uno se lo guarda.

Sì, sì, sì, molto più pratico.

Sì, se lo guarda e dice, ah, ma sai che questo qua—

Wow, how are you? Ciao Raffaele.

Non lo provo. Va benissimo.

Sì, sì, sì, sì, sì, sì, sì, ci sta, sono molto d'accordo. Una riflessione che voglio fare per chiudere è la seguente, nel senso che se quando è uscito internet noi usavamo internet per conoscere internet e quando è uscito YouTube, per esempio io, per imparare a montare i video per YouTube dove l'ho imparato? Non a scuola, ma su YouTube, da un tutorial di un tizio tipicamente dall'India che mi insegnava come montare sui programmi e come scaricarli senza dover spendere tutti quei soldi. Non l'ho mai fatto, ma mai ci sono capitato. Adesso in realtà abbiamo anche la stessa AI che ci può spiegare come usare la stessa AI. Se fatto responsabilmente, comunque ha il suo senso. Quindi se non sapete qualcosa, chiedetelo a Claude. Ma no, no, con la forma, cioè, secondo me non è una questione di informazioni. Cioè, noi dobbiamo allenarci. Cioè, tutto quello che le informazioni, l'AI ce le può dare, poi le possiamo verificare tutto quanto. Ma noi dobbiamo allenarci fuori dall'internet come umani ad avere quello spirito critico per capire cosa è giusto e cosa è sbagliato.

Grande fatica, secondo me, come messaggio finale, se vogliamo, la grande fatica, la grande attenzione sta proprio in quel pezzettino di interazione fra l'uomo e la macchina. L'uomo può e deve governare l'informazione che esce macchina, ma deve anche sapergli commissionare dei pezzi di problemi specifici. Deve essere in controllo, ma non perché— anche se vogliamo— ma non perché è una roba pericolosa, eccetera eccetera, ma proprio per poterne estrarre il meglio. La consapevolezza in uno strumento ti dà anche, se vogliamo, la saggezza, la capacità di usarlo al meglio, che poi è la cosa migliore che possiamo fare.

Sono, sono d'accordo, dai. Per ora era tutto?

Per ora è tutto.

Ti chiamo quando c'è da parlare di cadenza biennale.

Facciamo la biennale di Yakidale.

Esatto, quando, quando c'è qualcosa di strano che succede, o nel bene o nel male, io sono pronto. Io ti chiamo. Voi, se avete domande per il buon Enko in generale, leggo nei commenti qua sotto, nei commenti. E niente, magari poi organizziamo cose varie nell'etere. Ci vediamo prossimamente con prossime cose. Ciao ciao!