Siirry sisältöön
Global sound
Prompt und Antwort

Prompt und Antwort

211 - Modelle selbst quantisieren

· 10 min · Kausi 1 Jakso 211

Jakson kuvaus

Kolibri, das Modell von Aleph Alpha, braucht in voller Genauigkeit 156 Gigabyte. Quantisieren rechnet es kleiner, indem die Gewichte auf ein gröberes Raster gerundet werden. Wir haben das noch nicht selbst gemacht, wollen es aber auf unserem DGX Spark und unserer Workstation mit RTX 4090 ausprobieren. In dieser Folge geht es darum, was dabei technisch passiert, was man vorher entscheiden muss und woran man hinterher misst, ob das Modell noch dasselbe kann.

• Was beim Runden passiert: Blöcke, Skalierungsfaktor, Rundungsfehler und warum Ausreißer das Kernproblem sind
• Die drei…

Sivusto: podcasters.spotify.com

Livenä, viimeisin tunti: 7 865 kappaletta 3 309 asemalla 129 maassa

Löydä maailma radion kautta

Lisää tapoja löytää (7)

Kuulitko jotain hyvää? Tallenna se tai avaa se suoraan Spotifyssa.

★ Artist of the week The fastest riser on the radio this week
Your song here? From € 9 per week →
GFM ROMANIA -Bacău 90,1 FMJatka kuuntelua