Infrastructure

Beschleuniger

2 × GB10 (Grace-Blackwell)

Speicher

2 × 128 GB unified

Verbund

2 × 200 GBit

Für Modelle, die auf keine einzelne Karte passen. Beide Systeme sind direkt miteinander verbunden und teilen sich ein Modell. Unified Memory statt getrenntem Grafikspeicher - die Größenrechnung funktioniert hier anders als bei einer klassischen Karte.

Beschleuniger

RTX 3090 Ti

Speicher

24 GB

Sprachmodelle im Produktivbetrieb - das Backend, gegen das meine Agenten sprechen. Dauerhaft warm gehalten, damit kein Aufruf auf einen kalten Speicher trifft.

Beschleuniger

RTX 4070 Ti

Speicher

12 GB

Der komplette Sprach-Stack und die Bildgenerierung. Die engste Karte im Verbund - und deshalb die, an der ich am meisten über Speicherplanung gelernt habe.

Beschleuniger

RTX 5070

Speicher

12 GB

Bildverstehen und Tests. Hier läuft, was noch nicht in die Produktion darf.

Beschleuniger

RTX 2060

Speicher

6 GB

Embeddings für die Wissenssuche. Ein kleines Modell, das ununterbrochen indexiert - dafür reichen sechs Gigabyte. Der Beleg dafür, dass nicht jede Aufgabe eine große Karte braucht.

Beschleuniger

integrierte Grafik (AMD)

Speicher

48 GB Arbeitsspeicher

Ausweichknoten ohne CUDA. Springt ein, wenn die Produktionskarte nicht erreichbar ist. Langsamer, aber erreichbar - und das zählt im Ausfall.

Beschleuniger

integrierte Grafik (AMD)

Speicher

96 GB Arbeitsspeicher

Rechenarbeit ohne Beschleuniger und Ablage. Bewusst ohne Inferenz: wer hier ein Sprachmodell startet, wartet.