Models

Welche Sprach- und Bildmodelle bei mir laufen, wie sie quantisiert sind und womit sie starten.

Modelle im Betrieb

Modell	Familie	Aufgabe	Quantisierung	Kontext	Status
Gemma-4-E2B	Gemma	Text	Q4	4k	im Betrieb
Qwen3-TTS-1.7B	Qwen	Text → Audio	-	-	im Betrieb
Qwen3-ASR-1.7B	Qwen	Audio → Text	Q8	4k	im Betrieb
Qwen 3.8 Max	Qwen	Text	NVFP4	262k	im Test

Runtimes llama.cppPyTorchvLLM 0.25

BeiträgeAlle Beiträge →

Models 2026-09-17

Qwen3.8 Flash Next: Erst zwei Sparks. Jetzt reicht einer.

Qwen3.8 Flash Next läuft bei mir inzwischen auf einem DGX Spark. Wie hybrides Quantisieren, PLE-Mapping und sauberes Serving aus zwei gebundenen Rechnern zwei unabhängig nutzbare Maschinen machen.

Weitere BereicheZurück zum AI Lab →

Models Hardware Inference Infrastructure Agents Voice Vision Development Guides