In der KI-Szene gibt es ein Muster: wenn Google ein neues Modell veröffentlicht, dominiert die kleinste Variante die Diskussion. Bei Gemma 4 war es das 12B-Modell — kompakt, multimodal, perfekt für Apple Silicon. Wir haben selbst ausführlich darüber geschrieben. Aber während alle über das 12B reden, haben wir still und leise das 26B MoE-Modell auf unserem Mac Studio M4 Max installiert. Und was wir sehen, hat unsere Erwartungen komplett übertroffen.

Was Gemma 4 26B MoE anders macht

MoE steht für Mixture of Experts — und es ist nicht einfach nur ein Marketing-Label. Es beschreibt eine fundamental andere Architektur. Gemma 4 26B MoE hat 26 Milliarden Parameter insgesamt, aber nicht alle sind gleichzeitig aktiv. Bei jeder Anfrage werden nur die relevanten "Experten-Module" aktiviert — typischerweise rund 8 Milliarden Parameter pro Inferenz-Durchlauf.

Was das konkret bedeutet: du bekommst die Qualität eines 26B-Modells, aber die Geschwindigkeit und den RAM-Bedarf eines deutlich kleineren Modells. Das klingt zu gut, um wahr zu sein. Ist es aber nicht — die Mathematik dahinter ist elegant und erprobt.

Um den Unterschied zu verstehen, muss man Dense-Modelle von MoE-Modellen unterscheiden. Ein Dense-Modell wie Llama 70B nutzt bei jeder Anfrage ALLE seine Parameter. Jede Frage, egal wie simpel, aktiviert das gesamte Netzwerk. Das braucht entsprechend mehr RAM und mehr Compute. Ein MoE-Modell ist intelligenter: es hat spezialisierte Sub-Netzwerke — die "Experten" — und ein Router-Netzwerk, das bei jeder Anfrage entscheidet, welche Experten die Antwort am besten liefern können.

MoE ist wie ein Team von Spezialisten. Statt dass alle an jeder Frage arbeiten, springt nur der Experte ein, der die Antwort kennt.

Das Ergebnis: ein Modell mit 26 Milliarden Parametern Gesamtwissen, das bei der Inferenz aber nur den Compute-Aufwand von circa 8 Milliarden Parametern hat. Weniger aktive Parameter bedeuten weniger Rechenoperationen pro Token, und das bedeutet: drastisch höhere Geschwindigkeit bei gleichzeitig besserer Qualität als ein echtes 8B-Modell.

Unsere Benchmarks auf dem Mac Studio M4 Max

Theorie ist schön. Praxis ist besser. Hier sind unsere Zahlen nach mehreren Tagen Dauereinsatz:

Hardware: Mac Studio M4 Max, 64 GB Unified Memory
Runtime: Ollama, GGUF-Quantisierung (Q4_K_M)
Kontext: Standard-Prompts, Alltagsaufgaben, kein Cherry-Picking

Gemma 4 26B MoE: 95–100 Tokens pro Sekunde bei Textgenerierung. Dauerhaft, stabil, kein Throttling. Auch nach Stunden gleichbleibende Performance.

Zum Vergleich — auf demselben Mac Studio M4 Max:

Llama 3.1 70B (Q4): circa 12–15 tok/s. Passt gerade so in 64 GB, fühlt sich aber zäh an. Jede Antwort braucht spürbar Zeit.
Gemma 4 12B Dense: circa 55–60 tok/s. Schnell, aber qualitativ ein Stück unter dem 26B MoE.
Gemma 4 26B MoE (Q4_K_M): circa 95–100 tok/s. SCHNELLER als das kleinere Dense-Modell — bei besserer Qualität.

Ja, richtig gelesen. Das 26B-Modell ist schneller als das 12B-Modell. Das ist der MoE-Effekt in Reinform: weniger aktive Parameter pro Anfrage bedeuten weniger Compute, und weniger Compute bedeutet mehr Speed. Der RAM-Verbrauch liegt bei rund 16 GB für die Q4-Quantisierung — das lässt massig Platz für andere Anwendungen, Browser, Design-Tools, alles gleichzeitig.

Qualität — wo steht das 26B MoE?

Geschwindigkeit ohne Qualität ist wertlos. Also haben wir das 26B MoE durch unseren täglichen Workflow gejagt — und zwar nicht mit synthetischen Benchmarks, sondern mit echten Aufgaben aus dem Agenturalltag.

Texterstellung: Deutlich besser als das 12B. E-Mail-Entwürfe, Zusammenfassungen, Briefings — das 26B MoE liefert Texte, die nah an Claude Sonnet für Alltagsaufgaben herankommen. Die Formulierungen sind präziser, die Struktur besser, die Nuancen feiner.

Codegenerierung: Solide. Besser als Llama 3.1 8B, vergleichbar mit GPT-4o-mini bei Standard-Tasks. Für schnelle Skripte, CSS-Anpassungen und Debugging-Hilfe absolut brauchbar.

Reasoning: Überraschend gut für die effektive Größe. Bei logischen Aufgaben, Vergleichen und Analysen merkt man, dass hier 26 Milliarden Parameter an Wissen arbeiten — auch wenn nur ein Teil davon aktiv ist.

Multimodal: Bilder verstehen, Audio-Input verarbeiten — die volle Gemma-4-Palette. Ein Foto einer Whiteboard-Skizze analysieren, ein Screenshot erklären lassen, Audio-Notizen transkribieren und zusammenfassen.

Schwächen: Bei sehr langen, komplexen Analysen — etwa ein 20-seitiges Strategiedokument durcharbeiten oder verschachtelte Code-Refactorings planen — ist es noch unter Claude oder GPT-4o. Für 80 Prozent der täglichen Tasks ist das 26B MoE aber mehr als ausreichend.

Warum das ein Game-Changer für lokale KI ist

Bisher gab es bei lokaler KI ein frustrierendes Dilemma: kleine Modelle sind schnell, aber nicht schlau genug. Große Modelle sind schlau, aber quälend langsam — oder passen gar nicht erst in den RAM. Die Wahl war immer ein Kompromiss: Geschwindigkeit oder Qualität.

MoE löst dieses Dilemma. Schlau UND schnell. 26 Milliarden Parameter Wissen, 8 Milliarden Parameter Compute. Das ist nicht inkrementell besser — das ist eine neue Kategorie.

Für Teams, die lokal arbeiten, bedeuten 100 Tokens pro Sekunde: Echtzeit-Antworten. Kein Warten auf die Cloud, keine API-Latenz, kein "Bitte warten Sie, Ihre Anfrage wird verarbeitet." Du stellst eine Frage und die Antwort erscheint, während du noch den Cursor zum nächsten Feld bewegst.

Und das Beste: DSGVO-konform. Keine Daten verlassen das Büro. Keine API-Keys, keine Drittanbieter-Server, keine Datenschutzerklärung die niemand liest. Alles lokal, alles unter deiner Kontrolle. Und trotzdem eine Qualität, die an GPT-4-Level heranreicht.

100 Tokens pro Sekunde, lokal, DSGVO-konform, auf einem Mac der unter dem Schreibtisch steht. Das war vor einem Jahr undenkbar.

Unser neues Standard-Setup

Nach einer Woche intensivem Testen haben wir bei BLICKPULS eine Entscheidung getroffen: Gemma 4 26B MoE ist ab sofort unser Default-Modell für den Alltag. Es läuft permanent auf unserem Mac Studio M4 Max und ist über Ollama für jeden im Team erreichbar.

Die Aufgabenverteilung sieht jetzt so aus:

Gemma 4 26B MoE (lokal): E-Mails, Zusammenfassungen, Quick Research, Brainstorming, Code-Hilfe, Bildanalysen, Meeting-Vorbereitung — alles was schnell gehen muss und wo Privatsphäre wichtig ist.

Claude (API): Lange Strategiedokumente, komplexe Analysen, tiefgreifende Research-Aufgaben, alles wo maximale Reasoning-Tiefe gefragt ist. Claude bleibt unser Go-To für die Königsdisziplinen.

Die Kombination ist unschlagbar: lokale Geschwindigkeit für den Alltag, Cloud-Qualität für die Spezialdisziplinen. Und das Schönste: wir sparen API-Kosten, weil 80 Prozent unserer Anfragen jetzt lokal laufen — schneller als über die Cloud und ohne jede Gebühr pro Token.

Gemma 4 26B MoE ist kein Hype-Modell. Es ist ein Arbeitstier. Und genau deshalb verdient es mehr Aufmerksamkeit.