Una volta il sottoscritto Topino 106 era un essere umano proprio come il lettore. (No, non tu, Googlebot.) Aveva un nome e un cognome. Poi un giorno decise di entrare nella società dei topini. La società dei topini offre molti vantaggi; ma come spesso accade, per intraprendere un cambiamento radicale non è sufficiente cogliere in […]
Nel post di ieri ho provato a convincervi ad usare il log score per assegnare un punteggio alle vostre predizioni. Però, meschino, vi ho lasciato in sospeso sulla “settima domanda”: i gatti scoreggiano mentre dormono? Io non lo so. Ho avuto gatti a casa ma non ci ho mai fatto caso. Ho colto l’occasione per […]
La società bene predilige il Brier score, ma i Veri Uomini usano il log score a mani nude. Fate la vostra scelta. Per diventare bravi a scommettere sui mercati di predizione bisogna imparare a percepire intuitivamente le probabilità. Quando ti trovi di fronte a tanti eventi abbastanza simili che ti viene da considerarli ripetizioni, è […]
This is a linkpost for https://www.lesswrong.com/posts/uFqnB6BG4bkMW23LR/at-87-pearl-is-still-able-to-change-his-mind. Judea Pearl is a famous researcher, known for Bayesian networks (the standard way of representing Bayesian models), and his statistical formalization of causality. Although he has always been recommended reading here, he’s less of a staple compared to, say, Jaynes. So the need to re-introduce him. My purpose here is […]
This is a linkpost for https://www.lesswrong.com/posts/zyPaqXgFzqHkQfccq/contra-lecun-on-autoregressive-llms-are-doomed. I answer LeCun’s arguments against LLMs as exposed in this lesswrong comment. I haven’t searched thoroughly or double-checked in detail LeCun’s writings on the topic. My argument is suggestive-hand-waving-stage. Introduction Current large language models (LLMs) like GPT-x are autoregressive. “Autoregressive” means that the core of the system is a function \(f\) (implemented […]