Jakson kuvaus
Kolibri, das Modell von Aleph Alpha, braucht in voller Genauigkeit 156 Gigabyte. Quantisieren rechnet es kleiner, indem die Gewichte auf ein gröberes Raster gerundet werden. Wir haben das noch nicht selbst gemacht, wollen es aber auf unserem DGX Spark und unserer Workstation mit RTX 4090 ausprobieren. In dieser Folge geht es darum, was dabei technisch passiert, was man vorher entscheiden muss und woran man hinterher misst, ob das Modell noch dasselbe kann.
• Was beim Runden passiert: Blöcke, Skalierungsfaktor, Rundungsfehler und warum Ausreißer das Kernproblem sind
• Die drei…
Sivusto: podcasters.spotify.com

