Come funziona chatgpt?
Ora che l’ho finito di leggere posso consigliare l’articolo di Wolfram che primogenito mi aveva linkato qualche settimana fa.
Nel frattempo le cose sono andate avanti, è uscito gpt4 ed è uscito un plugin che interfaccia gpt con il Wolfram Language, con possibilità di analisi dati piuttosto impressionanti.
L’articolo di Wolfram è in realtà una vera e propria introduzione al meccanismo dell’intelligenza artificiale, io l’ho scaricato in ePub sul mio ebook reader (grazie a EinkBro) e letta con cura annotandola, ma vedo che anche Wolfram ha messo in stampa un libro di carta per chi fosse ancora affettivamente legato a questo tipo di media.
Il pezzo di Wolfram parte spiegando come funziona chatgpt e parte da un esempio piuttosto semplice (che avevo già trovato in un ebook che parlava di crittografia e comunicazione tempo fa).
Ovvero, se io volessi generare un testo con parole sensate e creassi un algoritmo che spara caratteri casuali, non funzionerebbe. Verrebbero fuori cose come asfhdkjfhai(fà(“fiuhifuhdkjasd hdfahfàqy(à£fyàpye jhfdfh fàrfà£yfà£yàf£yà£yfiçàèé”uçfjsadkc;oqì che non somigliano a nessuna lingua conosciuta (anzi verrebbero ancora più casuali perché ora sto battendo a caso sulla tastiera, la quale ha però una disposizione di tasti che ne vincola la casualità).
Quello che si può fare però è analizzare campioni di parole per capire, data una determinata lettera, quale sono le possibili lettere che possono esserci dopo in una determinata lingua. Ad esempio, ad una “u” difficilmente, in italiano, potrà seguire un’altra “u” o a una “g” seguire una “k”.
Ci sono lettere che quindi hanno possibilità di essere una prosecuzione possibile di una lettera che le precede e altre no. In questo modo, e forzando anche la distribuzione della lunghezza delle parole, si possono ottenere “parole” che non hanno senso, ma sono meno casuali delle precedenti.
ni hilwhuei kjtn isjd arogofnr n rwhwfao [eccetera, l'esempio è preso dall'articolo di Wolfram, quindi riferito alla lingua inglese, come il seguente]
La potenza di calcolo ci permette di andare oltre e di non lavorare sulla singola lettera, ma su più lettere, ad esempio due. A questo punto iniziamo ad avere risposte che sono più simili alla lingua anlizzata:
on inguman men ise forerenoft weat iofobato [eccetera]
Più aumenta il gruppo di lettere che analizziamo in entrata (andando oltre la singola lettera, ma anche oltre il gruppo di due) più i risultati si avvicineranno alla lingua naturale:
stud made yello adenced through theirs from cent [eccetera, questa con un gruppo di quattro]
Ecco, chatgpt opera più o meno in questo modo, non sulle singole lettere, ma sulle parole. Se le lettere sono qualche decina, le parole più utilizzate in inglese sono quarantamila. Dando in pasto a chatgpt un numero abbastanza ampio di campioni lui può stimare quanto sia comune la possibile successione di una parola, e generare quindi frasi in cui la sintassi inglese sia più o meno rispettata.
Ovviamente questo non basta, se si fermasse qua chatgpt genererebbe frasi formalmente corrette, ma senza senso. Il passo successivo è aumentare il “gruppo” di parole prese in esame, come si era fatto per le singole lettere. Più è ampio il gruppo preso in esame, più posso imparare quale è la parola che statisticamente seguirebbe quel n-gruppo di parole che sto esaminando.
E qui c’è la prima cosa simpatica dell’articolo di Wolfram: chatgpt non può operare così. Per avere una statistica di questo tipo l’umanità non ha generato abbastanza campioni di scrittura.
Non abbiamo scritto abbastanza.
Nel web, dice Wolfram, ci saranno poche centinaia di miliardi di parole, a cui possiamo aggiungere tutte le parole di tutti i libri digitalizzati, che saranno un altro centinaio di miliardi di parole. Ma se partiamo dalle parole più in uso in inglese, che abbiamo detto essere 40.000, il numero di parole necessarie per un n-gruppo di 2 è un miliardo e sei. E se provassimo ad analizzare un campione di tre parole, il campione di cui avremmo bisogno è di sessantamila miliardi di parole.
Non ce le abbiamo, l’uomo non ha scritto così tanto. Se prendessimo in esame un gruppo di venti parole, dice Wolfram, il numero di possibilità sarebbe maggiore del numero delle particelle presenti nell’universo.
E allora come fare?
Investire in Venerandi. Se Venerandi fosse invogliato a scrivere abbastanza per il resto della sua vita, post come questi, romanzi, liste della spesa, cazzate, ricordi del suo passato e ombre del suo futuro, ecco, i trilioni di parole si potrebbero fare in davvero poco tempo, quindi investite in Venerandi e nella sua scrittura.
Curiosamente Chatgpt non si è mossa in questa direzione, ha trovato una soluzione più pratica che potrete leggere nell’articolo perché io ho esaurito le parole a quest’ora del mattino. Buona lettura!