Qu'est-ce qu'un LLM?

Comment ChatGPT arrive-t-il à converser avec vous ?
Dans cet épisode, vous découvrirez ce qu'est un LLM, un programme qui devine le mot suivant, pourquoi le contexte change tout, ce que veulent dire les « milliards de paramètres », et comment, à force de deviner des mots, une IA finit par apprendre des choses sur le monde.

Sources :
- GPT-3 et ses 175 milliards de paramètres, OpenAI, 2020 : https://arxiv.org/abs/2005.14165
- Llama 3.1 et ses 405 milliards de paramètres, Meta, juillet 2024 : https://ai.meta.com/blog/meta-llama-3-1/