Auf Hacker News ist mir ein Projekt aufgefallen, das sparse Mixture-of-Experts-Modelle komplett im System-RAM rechnen lässt, ohne GPU: https://github.com/synchopate/llama-modchip Was dort steht: llama-modchip ist ein Satz Kernel-Patches für ggml/llama.cpp plus Quantisierungs-Transcoder und Runtime-Tools, für x86_64 (AVX-512/AVX2) und ARM64 (NEON/SVE/Apple Metal). Die Vorzeigezahl ist DeepSeek-V4-Flash mit 284,33 Mrd. Gesamtparametern, davon 13,17 Mrd. aktiv, verteilt auf 43 MLA-Layer und 256 geroutete Experten, Top-6 pro Layer ohne Pruning. Bei 1,71 bpw liegen 56,56 GiB auf der Platte, Peak VmRSS bei 256K Kontext 57,61 GiB – laut Projekt passt das ohne NVMe-Swap in die rund 62,5 GiB nutzbaren RAM eines 64-GB-Linux-Systems. Ein Standard-UD-IQ1_S-Build desselben Modells bräuchte 76,87 GiB und würde dort kippen. Durchsatz: 44,36 tok/s Prefill auf 16 Kernen Zen 5, 9,1–14,7 tok/s Generierung. Interessanter finde ich die kleineren Zeilen der Tabelle. Nemotron-3.5-30B-A3B mit 3,75 bpw sind 14,35 GiB und laufen laut Projekt auf 16–32 GB mit 25,0–60,4 tok/s, 256K Kontext belegt dort 432 MB KV. Im Hybrid-Setup mit CPU plus 16-GB-GPU nennt das Repo 80,80 tok/s, auf einer 8-Channel-Threadripper-Workstation 111,62 tok/s für das 30B-Modell. Für die eigene Einordnung würde ich deshalb nicht mit der Gesamtparameterzahl rechnen, sondern mit zwei Größen: Erstens, wie viel Modellgewicht bei der gewählten bpw überhaupt im Speicher liegen muss – das ist die Zahl, die über „passt / passt nicht" entscheidet. Zweitens, wie viele Parameter pro Token tatsächlich aktiv sind, denn die müssen über die Speicherbandbreite wandern. Bei 13,17 Mrd. aktiven Parametern ist das ein ganz anderer Bandbreitenhunger als bei einem dichten Modell gleicher Größe. Auf Apple Silicon ist genau das die Stelle, an der die unified memory bandwidth zur harten Grenze wird – das Projekt nennt Metal und ARM64 als unterstützt, aber die Messwerte in der Tabelle sind x86.