Token e finestra di contesto: i limiti (pratici) dei modelli AI

I modelli linguistici non leggono parole ma token — frammenti di testo. E ogni modello ha una finestra di contesto: la quantità massima di token che può considerare in una volta. È il suo "campo visivo": ampio, ma non infinito.

Le conseguenze pratiche

• Conversazioni lunghe: ciò che esce dalla finestra non esiste più per il modello.
• Documenti enormi: non entrano interi — serve selezionare le parti rilevanti.
• Costi: nei servizi a consumo si paga per token — contesto sprecato è denaro sprecato.

Come i sistemi seri aggirano il limite

È qui che il RAG mostra il suo valore: invece di caricare TUTTO l'archivio nella finestra (impossibile), recupera solo i passaggi pertinenti alla domanda e usa il contesto per quelli. La finestra resta piccola rispetto all'archivio; la selezione intelligente fa la differenza.

Cosa ricordare

Le finestre crescono a ogni generazione di modelli, ma la lezione resta: la qualità delle risposte dipende da COSA metti nel contesto, non da quanto. Selezione buona batte finestra grande.