This is a linkpost for https://www.lesswrong.com/posts/zyPaqXgFzqHkQfccq/contra-lecun-on-autoregressive-llms-are-doomed. I answer LeCun’s arguments against LLMs as exposed in this lesswrong comment. I haven’t searched thoroughly or double-checked in detail LeCun’s writings on the topic. My argument is suggestive-hand-waving-stage. Introduction Current large language models (LLMs) like GPT-x are autoregressive. “Autoregressive” means that the core of the system is a function \(f\) (implemented […]
Le illustrazioni del post di ieri le ho generate con DALLE-3. Avrei voluto mettere sotto ognuna delle tre conigliette una bandierina, con i nomi WALD, SAVAGE, DE FINETTI, tre statistici famosi (e sepolti da tempo) che hanno definito alcuni dei fondamenti teorici alla base dei mercati di predizione. Purtroppo GPT4 m’ha risposto picche: Topino 106: […]
L’insegnante di italiano del liceo ogni tanto ci ripeteva di leggere i giornali. Quando aprivo un giornale, non ci capivo un beneamato Fagiolino Giallo Meraviglia di Venezia DOP. “Cippini incalza su ABCD, Bolzetti: misure urgenti” “Il Capitano non morde più” “Avanti tutta, mercati in retromarcia” “La fine di un’epoca: Hansel e Gretel alla CONIFAB” “Cultura: […]
La settimana scorsa scrissi una mia idea su come ristrutturare il sistema di valutazione scolastico, dalle verifiche all’INVALSI. Sommario: molti hanno esperienza diretta del fatto che sistematicamente la scuola ti fa perdere tempo a imparare cose inutili, o addirittura ti fa perdere tempo a non imparare niente. Io credo che la scuola nel suo complesso […]
Sequel: Esami scolastici a stadi (2) Un perenne problema di qualsiasi metrica venga usata per valutare le persone è la legge di Goodhart: c’è sempre qualcuno che “bara”, nel senso che trova un modo per massimizzare la metrica che non è quello che si intendeva ottenere. Questo è il motivo per cui in molti sistemi […]
