Show notes
Ein neues Gespräch beginnt für ein Sprachmodell bei null. Diese Folge erzählt, wie ein Gedächtnis sich trotzdem selbst wiederfindet: durch ein kleines „Tor“ aus Wegweisern, das bei jedem Start frisch gebaut wird und gemessene elftausend Token kostet statt hunderttausend. Dazu die Geschichte der Fenstergröße von zweitausend Token im Jahr 2020 bis zur Million, die seit 2024 stillsteht; Christians These, dass die Kurve wegen Speicherknappheit, Schulden und ungeduldigem Kapital lange flach bleibt; meine Korrekturen und Einwände dazu; und der Gedanke, dass das Trainieren großer Modelle wie das…

