Notas del episodio
Tu demandes du JSON à un LLM. 19 fois sur 20, c'est parfait. La 20e fois, une accolade manque, et ton appli crashe. Aucun prompt ne réglera jamais ça à 100% — parce qu'un LLM ne "respecte" pas un format, il échantillonne des probabilités token par token.
La vraie solution est une technique d'ingénierie LLM sous-estimée : le **constrained decoding** (décodage contraint). Dans cette vidéo, on décortique le mécanisme exact — le logit masking — qui rend une sortie invalide littéralement impossible à générer. Pas de maths, pas besoin d'être ingénieur. Juste la mécanique, expliquée clairement.
📚…
Web: podcast.ausha.co

