Μετάβαση στο περιεχόμενο
Global sound
Marvin's Memos

Marvin's Memos

Zephyr: Direct Distillation of LM Alignment

· 12 λεπ. · Σεζόν 1 Επεισόδιο 29

Σημειώσεις επεισοδίου

This episode breaks down the 'Zephyr: Direct Distillation of LM Alignment' research paper, which describes ZEPHYR-7B, a smaller language model (LLM) aligned with user intent, which outperforms larger LLMs on chat benchmarks despite being trained using only distilled supervised fine-tuning (dSFT) and distilled direct preference optimisation (dDPO). The paper outlines three main steps in the development of this model: dSFT, where the model is fine-tuned using outputs from a larger teacher model; AI Feedback (AIF), where the teacher model ranks responses from other models; and dDPO, which uses…

Ιστότοπος: redcircle.com

Ζωντανά, τελευταία ώρα: 7.623 τραγούδια σε 3.114 σταθμούς σε 122 χώρες

Ανακαλύψτε τον κόσμο μέσα από το ραδιόφωνο

Περισσότεροι τρόποι ανακάλυψης (7)

Ακούσατε κάτι ωραίο; Αποθηκεύστε το ή ανοίξτε το απευθείας στο Spotify.

★ Artist of the week The fastest riser on the radio this week
Your song here? From € 9 per week →
XLFM - Cooma - 96.1 FMΣυνέχεια ακρόασης