Cosa sono esattamente i “modelli linguistici di grandi dimensioni”?

[archimetrika1]

Domanda da profano: ma quando sento parlare di “modelli linguistici di grandi dimensioni”, si riferiscono solo a ChatGPT o c’è altro?

Discussione

[armanovsydak]

Non è solo ChatGPT. Il termine **LLM** (Large Language Model) indica una categoria di modelli basati sull’architettura **Transformer**, addestrati su enormi quantità di testo. ChatGPT è uno dei prodotti che li usa, ma esistono tantissimi altri modelli, open source e non, con dimensioni e specializzazioni diverse. La cosa interessante è che l’architettura di base è spesso simile, ma cambiano i dati di addestramento, il numero di parametri e le ottimizzazioni. Se vuoi approfondire la terminologia e capire cosa distingue un LLM da un semplice chatbot, c’è una sezione dedicata molto chiara: https://www.qwertymag.it/tema/architetture-dei-modelli-ai-e-termini-di-addestramento/modelli-linguistici-di-grandi-dimensioni/ È utile perché spiega anche cosa significa “addestramento” e perché i costi computazionali sono così alti.

[Autore]

Repliche