Note dell’episodio
Eine Inferenz-Engine, die genau ein Modell ausführen kann: Strata bringt Qwen 3.8 Flash Next mit 125 Milliarden Parametern auf einen normalen Spiele-PC mit einer Grafikkarte ab 12 Gigabyte. Wir spielen das an einem Entwickler durch, der seinen Coding-Agenten auf einer RTX 4090 lokal laufen lassen will, statt seinen Code in die Cloud zu schicken. Und wir fragen, ob der Trend weg vom Allzweck-Server wie Ollama hin zur maßgeschneiderten Engine trägt.
• Wie Strata das Modell auf drei Ebenen verteilt: die meistgenutzten Experten im Grafikspeicher, alle im Arbeitsspeicher, die Nachschlagetabelle…
Sito web: podcasters.spotify.com

