Lokale KI im eigenen Betrieb.
Modelle, Hardware und Agenten - im laufenden Einsatz gemessen.
Ich teste Modelle, Hardware und Runtimes unter Unternehmensbedingungen: in produktiven Abläufen, mit echter Last. Hier steht, was funktioniert, was scheitert und was sich in einen laufenden Betrieb übernehmen lässt. Alle Zahlen stammen aus eigenen Messungen.
nex-platforms.com
Meine Spielwiese als System: dort laufen die Agenten, Szenen und Experimente, über die ich hier schreibe.
Qwen: Erst zwei Sparks. Jetzt reicht einer.
Ein großes lokales Modell hat zunächst beide Rechner gebunden. Mit angepasstem Serving und der n-Gram-Tabelle auf NVMe läuft es inzwischen auf einem einzigen Spark. Wie der Umbau funktioniert – und wie sich beide Varianten nachbauen lassen.
Beitrag lesen
Voice: Drei Modelle. Zwölf Gigabyte.
Spracherkennung, Sprech-Helfer und Sprachausgabe teilen sich eine RTX 4070 Ti. Wie daraus eine lokale Sprachkette wird – und welche Entscheidungen ein flüssiges Gespräch erst möglich machen.
Zur Voice Pipe
WingQ: Eine Zentrale für meine KI-Agenten.
Gespräche, Dateien und Arbeitsfortschritt gehören für mich zusammen. WingQ verbindet die Kommunikation mit unterschiedlichen Agenten-Laufzeiten. Welche darunter arbeitet, entscheide ich nach Aufgabe.
WingQ kennenlernen
WingQ: Eine Kommunikationszentrale für mehrere KI-Harnesses
Ich nutze verschiedene Agenten-Laufzeiten. WingQ hält die Kommunikation zusammen: Gespräche, Dateien und Fortschritt in einer Oberfläche, während dahinter unterschiedliche Harnesses arbeiten.
DGX Spark: Kleine Maschine, erstaunlich viel lokale KI
Qwen3.8 Flash Next, DeepSeek-V4-Flash-0731 und gpt-oss-120b: Was ich mit meinen Sparks betreibe, warum Unified Memory so viel verändert und wo das Serving die Arbeit macht.
Tool Router: Warum er für meine lokalen Agenten unverzichtbar ist
Viele Werkzeuge müssen nicht viele Schemas im Startkontext bedeuten. Wie mein NEX Tool Router sucht, Beschreibungen nachlädt und ausführt – und welche neuen Fehlerquellen dabei entstehen.
Qwen3.8 Flash Next: Erst zwei Sparks. Jetzt reicht einer.
Qwen3.8 Flash Next läuft bei mir inzwischen auf einem DGX Spark. Wie hybrides Quantisieren, PLE-Mapping und sauberes Serving aus zwei gebundenen Rechnern zwei unabhängig nutzbare Maschinen machen.
NexClaw: Warum ich meinen eigenen Harness baue
Ich nutze fertige Harnesses und entwickle zusätzlich NexClaw. Dabei geht es um passende Abläufe, lokale Modelle und die Frage, woran ein Agent erkennt, dass eine Aufgabe wirklich erledigt ist.
Voice Pipe: Lokal auf 12 GB VRAM
Voice ist der ehrlichste Beweis dafür, dass lokale KI im Betrieb trägt: eine komplette Sprachkette aus Erkennung, Sprech-Helfer und Ausgabe läuft auf einer einzigen Consumer-Grafikkarte. Der Engpass ist nicht die Intelligenz der Modelle, sondern der Speicher.
NEX Platforms ↗
Die Spielwiese im Netz - Szenen, Experimente, Showcases.
NEX als Projekt →
Warum ich NEX baue - 8 Server, 30+ Agenten, eigene Infrastruktur.
GitHub ↗
Configs, Skripte und Repos zum Nachmessen.
llm-benchmark.de ↗
Offene Messungen zu Tempo und Antwortqualität von Sprachmodellen - auf echter Hardware, reproduzierbar nachvollziehbar.
Du baust auch mit lokaler KI?
Lass uns über Modelle, Hardware und echte Anwendungsfälle sprechen.