Note de episod
Quand tu tapes une phrase dans ChatGPT, que se passe-t-il exactement dans les 0,3 secondes
qui suivent ? Tokenisation, embeddings, attention, MLP, softmax — on décortique
TOUT, dans l'ordre, étape par étape. 🧠
Dans cette vidéo, tu vas suivre le voyage d'une phrase à travers GPT-2 de bout en bout.
Comprends pourquoi les RNN — les réseaux récurrents — ont atteint leurs limites.
Découvre le mécanisme Query/Key/Value qui permet à chaque mot de contextualiser
les autres. Apprends pourquoi le masque causal empêche le modèle de "tricher".
Et maîtrise la façon dont la température, top-k et…
Site: podcast.ausha.co

