Qwen 3.8 Max im Coding-Test
| Lauf | Throughput (tok/s) | TTFT (ms) | Score |
|---|---|---|---|
| C1 | 150.1 | 621 | 92% |
| C2 | 225.5 | 1057 | 90% |
| C4 | 269.4 | 1263 | 88% |
Warum dieser Test
Ich teste Modelle nicht in Demos, sondern unter echten Lastprofilen. Für einen Coding-Assistenten im Betrieb zählt nicht der Benchmark-Screenshot, sondern Durchsatz bei paralleler Nutzung, Latenz bis zum ersten Token und der VRAM-Verbrauch — denn der entscheidet, ob das Modell überhaupt auf die vorhandene Hardware passt.
Setup
Zwei DGX-Spark-Knoten (je GB10) im Tensor-Parallel-Betrieb, vLLM als Serving-Stack, NVFP4-Quantisierung. Gemessen wurde mit realen Coding-Prompts aus dem Tagesbetrieb, nicht mit synthetischen Sequenzen.
Beobachtung
Der Durchsatz skaliert bis C4 sauber mit; jenseits davon greift die KV-Cache-Grenze. Die Antwortqualität bei Reasoning-lastigen Aufgaben bleibt bis in lange Kontexte stabil — genau der Punkt, an dem viele kleinere Modelle abbauen.
Einordnung
Für lokale, datensouveräne Coding-Assistenz ist das eine tragfähige Basis. Der nächste Test vergleicht dasselbe Setup gegen eine Single-Node-Konfiguration.