Es gibt einen einfachen Test, ob eine KI wirklich lokal läuft: Ziehen Sie das Netzwerkkabel. Wenn sie weiterarbeitet, ist sie Ihre. Wir haben am 19. Juli 2026 nachgemessen, was ein Rechner der 1.500-Euro-Klasse dabei wirklich leistet — mit Zahlen, Stand-Datum und Methode.
Der Aufbau
Getestet wurde auf Hardware, die in einem Mittelstands-Büro stehen könnte: AMD Ryzen 7 3700X (8 Kerne), 48 GB Arbeitsspeicher, NVIDIA RTX 3060 mit 12 GB Grafikspeicher. Darauf läuft Ollama, eine freie Software zum Betrieb offener Sprachmodelle — vollständig im Haus, ohne dass eine einzige Anfrage nach außen geht.
Die Messung
Drei offene Modelle beantworteten dieselbe Büro-Frage. Gemessen: das Schreibtempo (Tokens pro Sekunde — grob: Silben pro Sekunde), die Ladezeit aus dem Kaltstart und die Belegung des Grafikspeichers. Bewusst eine Werkstatt-Messung, kein Labor: ein Durchlauf, Kaltstart inklusive — die unfreundlichste Betrachtung, nicht die geschönte.
| Modell | Dateigröße | Schreibtempo | Kaltstart | Grafikspeicher |
|---|---|---|---|---|
| Mistral NeMo 12B | 7 GB | 11,6 Tokens/s | 16 s | ~10,9 / 12 GB |
| Qwen3 14B (dicht) | 9,3 GB | 6,3 Tokens/s | 33 s | ~10,9 / 12 GB |
| Qwen3 30B (Mixture of Experts) | 18 GB | 18,9 Tokens/s | 32 s | ~10,9 / 12 GB + RAM |
Stand: 19.07.2026, eigene Messung. Tokens/s = Erzeugungsgeschwindigkeit der Antwort.
Das Ergebnis — und die Überraschung
Erstens: Die 12-GB-Klasse reichte in unserem Test für echte Büroarbeit. Mistral NeMo schrieb mit 11,6 Tokens pro Sekunde schneller als übliches Lesetempo — Diktat nachbearbeiten, Dokumente zusammenfassen, eine Wissensbasis befragen: alles in flüssigem Arbeitstempo, alles im Haus.
Zweitens die Überraschung: Das größte Modell im Test war das schnellste — obwohl es rechnerisch gar nicht in die Grafikkarte passt. Das 18-GB-Modell Qwen3 30B lieferte 18,9 Tokens pro Sekunde, dreimal so schnell wie das kleinere dichte 14B-Modell. Die alte Faustregel „größer = braucht mehr Karte = läuft langsamer“ hielt in unserer Messung nicht. Warum, erklärt der folgende Abschnitt.
FAQ: Was ist eine Mixture-of-Experts-Architektur?
Das Prinzip in einem Bild: Ein klassisches („dichtes“) Sprachmodell ist ein einzelner Generalist — bei jedem Wort, das es schreibt, denkt das gesamte Modell mit. Ein Mixture-of-Experts-Modell (MoE) ist dagegen ein Haus voller Spezialisten: Es besteht aus vielen Teil-Netzen („Experten“), und für jedes einzelne Wort wird nur eine Handvoll gerade passender Spezialisten geweckt — der Rest schläft weiter.
Warum macht das MoE-Modell schneller? Das Qwen3-30B-Modell trägt 30 Milliarden Parameter im Gepäck, aktiviert pro Wort aber nur rund 3 Milliarden. Es rechnet also pro Wort wie ein kleines Modell — mit dem Wissen eines großen. Deshalb schlägt es das dichte 14B-Modell beim Tempo, obwohl es doppelt so groß ist.
Warum passt es trotzdem auf den 12-GB-Rechner? Was nicht in den Grafikspeicher passt, liegt im normalen Arbeitsspeicher. Bei einem dichten Modell wäre das eine Vollbremsung — jedes Wort muss durch alles hindurch. Beim MoE-Modell fällt die Auslagerung kaum ins Gewicht, weil pro Wort nur der kleine aktive Teil gebraucht wird.
Die praktische Konsequenz für die Modellwahl: Nicht mehr fragen „Wie viele Parameter hat es?“, sondern „Wie viele sind pro Wort aktiv, und passt der aktive Teil flott auf meine Hardware?“ Die Architektur entscheidet, nicht die Größe.
Die Grenzen
Der Kaltstart kostet 16 bis 33 Sekunden — wer das nicht weiß, kann die Maschine für defekt halten (Lösung: das Modell im Speicher geladen halten, danach antwortet sie sofort). Dichte große Modelle bleiben auf dieser Karte zäh. Und: Die großen Cloud-Modelle sind den lokalen nach den gängigen Vergleichsmessungen in der Qualität weiterhin überlegen. Lokale KI ersetzt nicht die Cloud — sie macht den Copy-Paste-Moment überflüssig, in dem ein Arbeitszeugnis, eine Bewerbung oder eine Mandanten-Mail in ein fremdes Chat-Fenster wandert. Je Datenklasse das passende Werkzeug; ob eine Datenklasse das Haus verlassen darf, entscheidet Ihr Datenschutzbeauftragter oder Anwalt.
Was das für Ihren Betrieb heißt
Ob lokale KI für Ihre Aufgaben reicht, ist keine Glaubensfrage — es ist eine Nachmittags-Messung auf echter Hardware. Wie so eine Prüfung aussieht, steht auf der Seite KI lokal betreiben; das kompakte Verdikt zu dieser Messung gibt es im Befunde-Archiv.