Sovereign AI Infrastructure

Cloud-basierte LLM-APIs sind einfach zu starten, aber für sensible Daten, Compliance und Kostenplanung oft ungeeignet. Private Infrastruktur gibt volle Kontrolle über Daten, Modelle und Betriebskosten. In der Schweiz sind Data-Residency-Anforderungen bei Gesundheits-, Finanz- und Behördendaten häufig eine harte Anforderung. Eine eigene Plattform ermöglicht zudem Air-Gapped-Betrieb und die Freiheit, Modelle auszutauschen oder anzupassen.

Das hängt stark vom Anwendungsfall ab. Für Inferenz reichen moderne NVIDIA-GPUs (A10G, L4, H100-Varianten) mit wenigen Nodes aus – abhängig von Modellgrösse und Durchsatz. Training erfordert deutlich mehr Kapazität und ist oft sinnvoller in der Cloud zu starten. Wir bewerten Ihren Anwendungsfall und empfehlen eine realistische Kapazitätsplanung – bestehende On-Premise-GPUs können oft sinnvoll integriert werden.

Wir integrieren AI-Workloads in bestehende Kubernetes-Umgebungen – keine Parallelstruktur. Das umfasst GPU-Scheduling mit dem NVIDIA GPU Operator, Namespace-Isolation, RBAC und bestehende Observability-Stacks. LLM-Serving mit vLLM, Ollama oder KServe wird in die gleichen GitOps-Prozesse eingebunden wie andere Workloads. Das Ergebnis ist eine betreibbare Plattform, kein Sonderprojekt.

Data Residency bedeutet, dass Daten die definierte Infrastruktur nicht verlassen – weder zur Verarbeitung noch zur Telemetrie. Konkret: Modelle laufen auf eigener Hardware, es gibt keine Verbindungen zu externen Model-Providern, und Zugriffsprotokolle sind lokal und auditierbar. In der Schweiz bedeutet das typischerweise Rechenzentrum in der Schweiz oder dem EWR sowie Konformität mit dem nDSG.