Sprachmodelle können auf einem Server im eigenen Netz betrieben werden. Damit lassen sich Texte zusammenfassen, Dokumente durchsuchen, Code erläutern und interne Fragen bearbeiten, ohne Konstruktionsdaten, Rezepturen oder Verträge an einen öffentlichen Modelldienst zu übertragen.
On-Premise-KI ist jedoch kein Synonym für „automatisch sicher“ und auch nicht für „kostenlos“. Sie verlagert Verantwortung vom Cloud-Anbieter zum eigenen Betrieb. Hardware, Updates, Modelllizenzen, Zugriffsschutz und Qualitätsmessung müssen geplant werden. Für Unternehmen mit wertvollem Know-how kann genau diese Kontrolle den Aufwand rechtfertigen.
Kontrolle über Datenübertragung und Verarbeitung
Bei einem externen Dienst verlassen Eingaben technisch das eigene Netz. Verträge können Nutzung für Training ausschließen und europäische Speicherorte zusichern; dennoch bleiben Lieferkette, Administrationszugriff und Fehlkonfiguration zu prüfen. Ein lokales System reduziert diese Übertragungsfläche. Es kann sogar vollständig ohne Internetzugang betrieben werden.
Die französische Datenschutzaufsicht CNIL empfiehlt bei generativer KI, einen konkreten Zweck festzulegen, erlaubte und verbotene Nutzung zu definieren und je nach Risiko lokale, sichere und spezialisierte Systeme zu bevorzugen. Gleichzeitig gilt: Auch intern verarbeitete personenbezogene Daten fallen nicht aus der DSGVO. Zweckbindung, Datenminimierung, Löschung und Zugriffsrechte bleiben notwendig.
Hardware und Investitionsrahmen
Der Hardwaremarkt hat sich deutlich verändert. NVIDIA beschreibt für den kompakten DGX Spark 128 Gigabyte gemeinsamen Speicher und lokale Inferenz für Modelle mit bis zu 200 Milliarden Parametern. Der Hersteller erhöhte den US-Listenpreis im Februar 2026 von 3.999 auf 4.699 US-Dollar. Vergleichbare Systeme anderer Hersteller und klassische GPU-Workstations liegen je nach Speicher und Support in unterschiedlichen Bereichen.
Damit ist für einen begrenzten KMU-Anwendungsfall ein Hardwarebudget unter 10.000 Euro grundsätzlich realistisch. Das ist keine Pauschalofferte: Mehrere gleichzeitige Nutzer, lange Dokumente, Bildmodelle, Hochverfügbarkeit oder besonders schnelle Antworten können stärkere beziehungsweise mehrere Systeme erfordern. Hinzu kommen Einrichtung, Strom, Backup und Administration.
Auswahl von Modell und Systemarchitektur
Für eine interne Wissenssuche ist ein kleineres, gut eingebundenes Modell oft wertvoller als das größte verfügbare Modell ohne Quellenzugang. Ein 8- bis 30-Milliarden-Parameter-Modell kann für Zusammenfassung, Extraktion und deutschsprachige Fragen ausreichend sein. Entscheidend sind Dokumentqualität, Suchverfahren, Kontextlänge und Tests mit echten Fachfragen.
Die Architektur besteht typischerweise aus fünf Teilen:
- einer Web- oder Chatoberfläche mit Firmenanmeldung,
- einem Modellserver für die Textgenerierung,
- einem Suchindex für freigegebene Dokumente,
- einer Rechteprüfung gegen Benutzer und Gruppen,
- Protokollen, Qualitätsfeedback und Monitoring.
Das Modell selbst ist nur eine Komponente. Der wirtschaftliche Wert entsteht durch die kontrollierte Verbindung mit den richtigen Daten.
Laufende Kosten und Kapazitätsgrenzen
Bei lokaler Inferenz gibt es keine nutzungsabhängige Rechnung eines Cloud-Modellanbieters. Viele interne Abfragen können deshalb ohne zusätzliche Tokengebühr laufen. „Unbegrenzt“ ist die Kapazität trotzdem nicht: Gleichzeitig aktive Nutzer teilen sich Rechenzeit, Strom wird verbraucht und Hardware altert. Ein Lasttest mit realistischen Dokumenten ist aussagekräftiger als theoretische Spitzenleistung.
Ein einfaches Wirtschaftlichkeitsmodell vergleicht über drei Jahre: Anschaffung und Einrichtung plus Strom, Wartung und interne Betriebszeit gegen Cloud-Abonnement, variable Nutzung und Risikokosten. Bei zehn gelegentlichen Nutzern kann Cloud günstiger sein. Bei sensiblen Daten, hoher Nutzung oder besonderen Integrationen kann lokal früh wirtschaftlich werden.
Sicherheitsanforderungen an den lokalen KI-Server
- kein direkter Zugriff aus dem öffentlichen Internet,
- zentrale Anmeldung und rollenbasierte Dokumentrechte,
- verschlüsselte Datenträger und gesicherte Backups,
- versionierte Modelle, Abhängigkeiten und Konfigurationen,
- Protokollierung von administrativen Änderungen und Datenimporten,
- ein definierter Prozess für Sicherheitsupdates und Modellwechsel.
Besonders kritisch ist der Dokumentimport. Schadhaft präparierte Dateien können Suchergebnisse manipulieren oder vertrauliche Inhalte in falsche Bereiche tragen. Quellen werden deshalb freigegeben, bereinigt und mit Eigentümer sowie Schutzklasse versehen.
Einführung mit einem begrenzten Anwendungsfall
Ein guter Pilot umfasst eine Abteilung, einige tausend kuratierte Dokumente und 50 reale Fragen. Vier Wochen lang werden Antwortzeit, Quellenqualität, fachliche Richtigkeit und nicht beantwortbare Fragen gemessen. Erst danach folgen weitere Datenbereiche oder automatisierte Aktionen.
On-Premise-KI ist kein Rückzug aus moderner Technologie. Sie ist eine Architekturentscheidung: Rechenleistung kommt ins Unternehmen, weil Datenhoheit und Integration wichtiger sind als der bequemste öffentliche Dienst. Mit klarer Aufgabe und professionellem Betrieb ist diese Option für Mittelständler inzwischen finanziell erreichbar.