Unsere Daten dürfen nicht in die US-Cloud. Diesen Satz höre ich in fast jedem Gespräch über KI-Projekte im Mittelstand, und er hat in diesem Jahr mehr Gewicht denn je. Laut Bitkom halten 85 Prozent der deutschen Unternehmen Deutschland für zu abhängig von US-Cloud-Anbietern, fast zwei Drittel überdenken gerade ihre Cloud-Strategie. Gleichzeitig sind Open-Source-Sprachmodelle und die Werkzeuge für ihren Betrieb so reif wie nie. Zeit für eine nüchterne Betrachtung, wann sich der Betrieb eigener Sprachmodelle lohnt und wann nicht.

Was lokale Modelle heute können

Offene Modelle wie Llama, Mistral oder Qwen erreichen bei vielen praxisrelevanten Aufgaben ein Niveau, das für den Unternehmenseinsatz völlig ausreicht. Dokumente zusammenfassen, E-Mails klassifizieren, Informationen aus Texten ziehen oder interne Wissensbestände per RAG durchsuchbar machen funktioniert damit zuverlässig. Werkzeuge wie Ollama oder vLLM haben den Betrieb auf eigener Hardware vom Forschungsvorhaben zum kalkulierbaren Standardprojekt gemacht.

Ehrlich muss man bei den Grenzen bleiben. Die Spitzenmodelle der großen Anbieter sind bei komplexem Schlussfolgern, anspruchsvoller Codegenerierung und schwierigen Randfällen weiterhin deutlich besser. Ein lokal betriebenes Modell mit acht Milliarden Parametern ersetzt kein Frontier-Modell. Es ist ein anderes Werkzeug für andere Aufgaben, und wer das von Anfang an so einordnet, wird nicht enttäuscht.

Die Kostenrechnung

Cloud-APIs rechnen pro verarbeitetem Token ab und sind bei geringem Volumen konkurrenzlos günstig. Die Gleichung kippt bei hohem, gleichmäßigem Durchsatz. Wer täglich zehntausende Dokumente klassifiziert oder eine interne Suche mit vielen Anfragen betreibt, zahlt in der Cloud schnell vierstellige Monatsbeträge. Ein Server mit einer aktuellen Workstation-GPU kostet in der Anschaffung einen mittleren vierstelligen Betrag und verarbeitet solche Lasten lokal, danach fallen im Wesentlichen Stromkosten an.

Zur ehrlichen Gesamtrechnung gehört allerdings mehr als die Hardware. Einrichtung, Modell-Updates, Monitoring und Ausfallsicherheit liegen beim eigenen Betrieb in der eigenen Verantwortung, die sonst der Cloud-Anbieter trägt. Als Faustregel aus meinen Projekten: Unter einem dauerhaften, planbaren Grundvolumen lohnt sich eigene Hardware selten. Darüber wird sie schnell attraktiv, besonders wenn der Datenschutz ohnehin gegen die Cloud spricht.

Der eigentliche Treiber heißt Datenschutz

Für viele Branchen ist die Kostenfrage ohnehin zweitrangig. Arztpraxen und Gesundheitsdienstleister, Kanzleien, Personalabteilungen oder Unternehmen mit sensiblen Konstruktions- und Kundendaten wollen oder dürfen bestimmte Daten schlicht nicht an externe Dienste geben. Beim lokalen Betrieb verlassen die Daten das Haus nicht. Es gibt keine Auftragsverarbeitung bei einem Drittanbieter, keinen Drittlandtransfer und keine Abhängigkeit von der aktuellen Rechtslage zwischen EU und USA. Die datenschutzrechtliche Bewertung wird dramatisch einfacher, wenn es keinen externen Empfänger gibt.

Dazu kommt eine strategische Ebene, die oft übersehen wird. Ein lokales Modell kann nicht abgekündigt, umbepreist oder in seinen Nutzungsbedingungen geändert werden. Wer schon einmal erlebt hat, wie ein Cloud-Modell in Rente geschickt wird und eine Migration erzwingt, versteht den Wert dieser Kontrolle.

In der Praxis fährt man meist hybrid

Ein striktes Entweder-oder bewährt sich selten. Sinnvoller ist eine Aufgabenteilung, bei der sensible und hochvolumige Standardaufgaben lokal laufen, etwa Klassifikation, Extraktion und die interne Suche über Firmendokumente, während anspruchsvolle und seltene Aufgaben ohne sensible Daten an ein Frontier-Modell per API gehen. Eine sauber gebaute Abstraktionsschicht in der eigenen Software macht das Routing pro Aufgabe konfigurierbar und hält den Wechsel zwischen Modellen trivial.

Der Einstieg muss kein Großprojekt sein

Ich empfehle, mit einem Pilotprojekt und einem klar umrissenen Anwendungsfall zu starten. Das kann ein RAG-System über die interne Dokumentation sein, ein Klassifikator für den E-Mail-Eingang oder eine Zusammenfassungsfunktion für Berichte. Dafür reicht anfangs gemietete oder vorhandene Hardware, und gemessen wird an echten Aufgaben mit echten Daten. Erst wenn Qualität und Volumen stimmen, folgt die Investition in eigene Infrastruktur. So bleibt das Risiko klein, und die Entscheidung fällt auf Basis von Fakten statt Anbieterfolien.