The Journey08
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — RAG
RAG collega il modello parametrico a una memoria esterna: recupera documenti e genera risposte fondate, aggiornabili e più verificabili.
A living collection of AI experiments, papers I read, and notes that connect the original idea with what stays with me after studying it.
For any questions about these notes, or if you are interested in exchanging ideas and collaborating, feel free to contact me at v.dalfonso@metrica.dev
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — RAG
The Journey07
Fast Transformer Decoding: One Write-Head Is All You Need — MQA
MQA riduce il costo della generazione condividendo key e value tra le teste: meno memoria e banda per la cache KV, con decoding più rapido.
Fast Transformer Decoding: One Write-Head Is All You Need — MQA
The Journey06
Language Models are Few-Shot Learners — GPT-3
GPT-3 applica le scaling laws su vasta scala: il modello apprende nuovi compiti dal prompt, senza aggiornare i pesi, inaugurando il paradigma few-shot.
Language Models are Few-Shot Learners — GPT-3
The Journey05
Scaling Laws for Neural Language Models
Dopo GPT-2, le scaling laws quantificano come prestazioni, parametri, dati e calcolo si leghino, trasformando la crescita dei modelli in una disciplina prevedibile.
Scaling Laws for Neural Language Models
The Journey04
Language Models are Unsupervised Multitask Learners — GPT-2
GPT-2 amplia la stessa ricetta: più scala e dati fanno emergere capacità zero-shot, anticipando il passaggio dai modelli specializzati ai foundation model.
Language Models are Unsupervised Multitask Learners — GPT-2
The Journey03
Improving Language Understanding by Generative Pre-Training — GPT-1
Dopo il Transformer e in parallelo a BERT, GPT mostra che il pre-training generativo autoregressivo può essere adattato con fine-tuning a numerosi compiti linguistici.
Improving Language Understanding by Generative Pre-Training — GPT-1
The Journey02
BERT: Pre-training of Deep Bidirectional Transformers
Dal Transformer nasce BERT: la self-attention diventa bidirezionale e il pre-training produce rappresentazioni linguistiche riutilizzabili per molti compiti.
BERT: Pre-training of Deep Bidirectional Transformers
The Journey01
Attention Is All You Need
Il punto di partenza: sostituisce ricorrenza e convoluzioni con la self-attention, introducendo l’architettura Transformer su cui si costruiscono i paper successivi.
Attention Is All You Need