Zum Inhalt springen
Global sound
Prompt und Antwort

Prompt und Antwort

211 - Modelle selbst quantisieren

· 10 Min. · Staffel 1 Folge 211

Shownotes

Kolibri, das Modell von Aleph Alpha, braucht in voller Genauigkeit 156 Gigabyte. Quantisieren rechnet es kleiner, indem die Gewichte auf ein gröberes Raster gerundet werden. Wir haben das noch nicht selbst gemacht, wollen es aber auf unserem DGX Spark und unserer Workstation mit RTX 4090 ausprobieren. In dieser Folge geht es darum, was dabei technisch passiert, was man vorher entscheiden muss und woran man hinterher misst, ob das Modell noch dasselbe kann.

• Was beim Runden passiert: Blöcke, Skalierungsfaktor, Rundungsfehler und warum Ausreißer das Kernproblem sind
• Die drei…

Website: podcasters.spotify.com

Live, letzte Stunde: 7.338 Songs auf 3.059 Sendern in 128 Ländern

Entdecke die Welt über das Radio

Mehr zum Entdecken (7)

Etwas Schönes gehört? Speicher es oder öffne es direkt in Spotify.

★ Künstler der Woche Der schnellste Aufsteiger im Radio diese Woche
Dein Song hier? Ab € 9 pro Woche →
103.3 eD FMWeiterhören