OpenAI-API, eigene Modelle, EU-RZ: So entkommen Banken dem KI-Vendor-Lock-in

Exoscale (A1 Digital-Tochter) bietet mit „Dedicated Inference“ einen neuen Service, der Organisationen die autonome Nutzung von KI ohne Vendor-Lock-in biete. Speziell für Kunden aus hochregulierten Branchen. Kunden sollen damit Zugriff auf eine serverlose, für KI-Anwendungen vorbereitete Umgebung mit dedizierten NVIDIA-GPUs erhalten, die in europäischen Rechenzentren ihrer Wahl gehostet wird, ohne dass sie die dazugehörige Infrastruktur verwalten müssen. In dieser DSGVO-konformen Umgebung können sie ein KI-Modell ihrer Wahl betreiben und jederzeit nach Bedarf hoch- oder herunterskalieren.

Dedicated Inference sei besonders geeignet für Teams, die den Schritt von der Experimentierphase in die Produktionsphase vollziehen möchten, ohne eine eigene KI-Plattform aufbauen und betreiben zu müssen.

Das ‚Dedicated‘ in ‚Dedicated Inference‘ nehmen wir sehr ernst: Die Daten und Tokens der Kunden teilen die Hardware nicht mit anderen Cloud-Nutzern. So profitieren sie von konstantem Durchsatz und extrem niedrigen Latenzen. Die Isolierung reicht bis tief in die Logs und den GPU-Speicher hinein, was maximalen Datenschutz garantiert.“

Antoine Coetsier, COO Exoscale

Mit Dedicated Inference übernimmt Exoscale das gesamte Management der Infrastruktur von der Skalierung bis zu den Updates im Hintergrund und bietet Entwicklern eine vertraute, OpenAI-kompatible Programmierschnittstelle.

Weil der gesamte Betrieb in europäischen Rechenzentren stattfindet, unterliegt die Datenverarbeitung den strengen Vorgaben sowohl der DSGVO als auch des revDSG, wodurch sich der Service besonders für hochregulierte Branchen eigne.

Die Abrechnung erfolgt transparent und sekundengenau auf Basis der bereitgestellten Hardware-Ressourcen. Darüber hinaus würde immer die neuesten NVIDIA-GPU-Generationen eingesetzt und per SLA garantiere eine Verfügbarkeit von mindestens 99,95 Prozent (also weniger als 4 Stunden, 22 Minuten pro Jahr Ausfallzeit).

Technischer Hintergrund

IT-Abteilungen, Data Scientists oder Business Application Owner können ein KI-Modell auf der weltweit meistgenutzten KI-Kollaborationsplattform Hugging Face auswählen und in ihrer dedizierten Dedicated Inference Umgebung auf Exoscale nutzen. Hierzu müssen sie lediglich auf die Modell-ID eines öffentlichen, geschützten (gated) oder privaten Modells auf dem Hugging Face Hub verweisen. Anschließend instanziiert Exoscale das geladene Modell auf dedizierten NVIDIA-Grafikkarten (GPUs) und stellt es dem Kunden sicher über eine OpenAI-kompatible Schnittstelle zur Verfügung.

Das LLM ist das Rückgrat unserer Pipeline. Daher sind Zuverlässigkeit, Sicherheit und Kontrolle unverzichtbar. Exoscale Dedicated Inference bietet uns genau das: eine vollständig verwaltete, DSGVO-konforme Umgebung mit der von uns benötigten Skalierbarkeit ohne die Risiken gemeinsam genutzter Ressourcen. Keine störenden Nachbarn, keine unvorhersehbare Leistung und keine erzwungenen Leistungsengpässe – sondern eine stabile, transparente Infrastruktur, in der wir die volle Kontrolle über unsere Modelle, die Nutzung und die Release-Zyklen behalten. Für unsere Kunden bedeutet das den Einsatz von Open-Source-LLMs ohne Hintertüren, eine absolut sichere Datenisolierung und die Gewissheit, dass ihre kritischen Arbeitsabläufe nicht durch externe Faktoren gestört werden.“

Géraud de Laval, Mitgründer von Recarta

Über Exoscale

Exoscale (Website) ist ein Anbieter europäischer Cloud-Infrastruktur und bietet, nach eigenen Angaben, vollständig datensouveräne Cloud-Lösungen. Mit Fokus auf Transparenz, Sicherheit und Unabhängigkeit lieferte Exoscale Cloud-Infrastruktur für Organisationen, die höchste Anforderungen an Datenschutz und Compliance stellen.aj