Hardware
Acht Maschinen, jede mit einer eigenen Rolle - keine macht alles. Das ist die wichtigste Entscheidung dieses Aufbaus: Ein Modell, das vierundzwanzig Gigabyte braucht, gehört nicht auf eine Karte mit sechs, und ein Suchindex braucht überhaupt keine große Karte. Alle Angaben stammen aus dem laufenden Betrieb.
- Beschleuniger
- 2 × GB10 (Grace-Blackwell)
- Speicher
- 2 × 128 GB unified
- Verbund
- 2 × 200 GBit
Für Modelle, die auf keine einzelne Karte passen. Beide Systeme sind direkt miteinander verbunden und teilen sich ein Modell. Unified Memory statt getrenntem Grafikspeicher - die Größenrechnung funktioniert hier anders als bei einer klassischen Karte.
- Beschleuniger
- RTX 3090 Ti
- Speicher
- 24 GB
Sprachmodelle im Produktivbetrieb - das Backend, gegen das meine Agenten sprechen. Dauerhaft warm gehalten, damit kein Aufruf auf einen kalten Speicher trifft.
- Beschleuniger
- RTX 4070 Ti
- Speicher
- 12 GB
Der komplette Sprach-Stack und die Bildgenerierung. Die engste Karte im Verbund - und deshalb die, an der ich am meisten über Speicherplanung gelernt habe.
- Beschleuniger
- RTX 5070
- Speicher
- 12 GB
Bildverstehen und Tests. Hier läuft, was noch nicht in die Produktion darf.
- Beschleuniger
- RTX 2060
- Speicher
- 6 GB
Embeddings für die Wissenssuche. Ein kleines Modell, das ununterbrochen indexiert - dafür reichen sechs Gigabyte. Der Beleg dafür, dass nicht jede Aufgabe eine große Karte braucht.
- Beschleuniger
- integrierte Grafik (AMD)
- Speicher
- 48 GB Arbeitsspeicher
Ausweichknoten ohne CUDA. Springt ein, wenn die Produktionskarte nicht erreichbar ist. Langsamer, aber erreichbar - und das zählt im Ausfall.
- Beschleuniger
- integrierte Grafik (AMD)
- Speicher
- 96 GB Arbeitsspeicher
Rechenarbeit ohne Beschleuniger und Ablage. Bewusst ohne Inferenz: wer hier ein Sprachmodell startet, wartet.
