Der Satz „Wir betreiben das Sprachmodell lieber lokal“ fällt in Gesprächen schnell. Er ist meist eine Reaktion auf Datenschutzbedenken und selten eine Hardwareentscheidung. Genau dort beginnt die Schwierigkeit. Ein Unternehmen erwartet, dass ein Rechner für wenige tausend Euro dieselbe Arbeit erledigt wie ein öffentlicher Dienst. In der Praxis entscheidet nicht die Rechenleistung über die Einsatzfähigkeit, sondern der Speicher – und mit ihm der Preis, die Geschwindigkeit und die Zahl gleichzeitiger Nutzer.
Der Datenschutzaspekt lokaler Modelle ist an anderer Stelle ausführlich beschrieben, siehe On-Premise-KI für vertrauliche Unternehmensdaten. Hier geht es um die nüchterne Frage: Welche Hardware trägt welche Aufgabe, was kostet der Betrieb über drei Jahre, und wo liegen die Grenzen?
Speicher und Bandbreite bestimmen die Grenze
Ein Sprachmodell muss vollständig in den schnellen Speicher passen. Die Faustregel lautet: Der Speicherbedarf ergibt sich aus der Zahl der Parameter mal der Genauigkeit, mit der sie abgelegt werden. Ein Modell mit 70 Milliarden Parametern belegt in 16-Bit-Genauigkeit rechnerisch etwa 140 Gigabyte. Mit 4-Bit-Quantisierung sinkt der Bedarf grob auf ein Viertel, also rund 35 bis 40 Gigabyte – dafür sinkt in der Regel auch die Qualität, und zwar je nach Modell und Aufgabe unterschiedlich stark.
Dazu kommt der Zwischenspeicher für den Gesprächsverlauf, der mit der Kontextlänge und mit jedem gleichzeitigen Nutzer wächst. Ein Modell, das im Einzeltest flüssig antwortet, kann bei acht parallelen Anfragen mit langen Dokumenten in den Speicher laufen. Wer lokal plant, muss deshalb nicht nach der größten Parameterzahl fragen, sondern nach dem Speicherbedarf bei realistischer Last.
Zweiter Faktor ist die Speicherbandbreite. Sie bestimmt, wie viele Wörter pro Sekunde erzeugt werden. Zwei Systeme mit identischem Speicher können sich hier deutlich unterscheiden, und damit auch das Arbeitstempo der Nutzer.
Drei Hardwareklassen und ihre Grenzen
GPU-Workstation mit einer einzelnen Karte
Eine Workstation mit einer Grafikkarte der oberen Mittelklasse bietet heute typischerweise 24 bis 32 Gigabyte Grafikspeicher. Damit laufen kleinere Modelle mit 8 bis 14 Milliarden Parametern bequem, größere nur stark quantisiert. Diese Klasse eignet sich für Zusammenfassung, Klassifikation, Feldextraktion und kurze Dialoge mit einer oder zwei Personen gleichzeitig. Für eine Abteilung mit zehn Nutzern ist sie zu knapp.
Kompakte Systeme mit gemeinsamem Speicher
Eine zweite Klasse nutzt einen gemeinsamen Speicherpool statt getrennten Grafikspeicher. NVIDIA beschreibt für den DGX Spark 128 Gigabyte gemeinsamen Speicher und lokale Inferenz für Modelle mit bis zu 200 Milliarden Parametern; Apple bietet den Mac Studio mit dem M3 Ultra mit bis zu 512 Gigabyte gemeinsamem Speicher an. Solche Systeme tragen quantisierte 30- bis 70-Milliarden-Modelle für ein kleines Team. Die Bandbreite liegt unter der einer Server-Grafikkarte, das Arbeitstempo entsprechend niedriger.
Server-Grafikkarten im Rack
Die dritte Klasse sind Server-Grafikkarten mit 80 Gigabyte und mehr, meist mehrere pro System. Sie liefern hohen Durchsatz für viele gleichzeitige Nutzer und große Kontexte. Dafür steigen Preis, Strombedarf und Kühlungsaufwand deutlich, und der Betrieb verlangt einen Serverraum oder ein geeignetes Rack. Diese Klasse lohnt, wenn ein Modell von vielen Menschen genutzt wird oder sehr große Dokumente verarbeitet werden.
Was der Betrieb über drei Jahre kostet
Die Anschaffung ist nur ein Teil. Eine Beispielrechnung mit offen benannten Annahmen macht das sichtbar: Ein System mit 400 Watt Dauerleistung verbraucht bei 8.000 Betriebsstunden im Jahr rund 3.200 Kilowattstunden. Bei einem Arbeitspreis von 30 Cent pro Kilowattstunde sind das etwa 960 Euro Stromkosten pro Jahr, also knapp 2.900 Euro über drei Jahre. Die Annahmen sind bewusst transparent, weil Strompreis und Laufzeit jedes Unternehmen anders treffen.
Hinzu kommen Einrichtung und Inbetriebnahme, laufende Administration, Updates für Betriebssystem, Laufzeitumgebung und Modell, verschlüsselte Datenträger, Backup der Modell- und Konfigurationsdateien sowie ein Ersatzgerät oder eine Wartungsvereinbarung. In Summe übersteigt der Betriebsaufwand bei kleinen Installationen häufig den Hardwarepreis. Auf der anderen Seite stehen beim lokalen Betrieb keine nutzungsabhängigen Tokenkosten, und viele interne Abfragen lassen sich ohne zusätzliche Gebühr beantworten. „Unbegrenzt“ ist die Kapazität dennoch nicht, weil Rechenzeit geteilt wird.
Daraus folgt keine allgemeine Empfehlung. Bei wenigen gelegentlichen Nutzern und unkritischen Inhalten ist ein externer Dienst meist günstiger und schneller verfügbar. Lokal wird es interessant, wenn viele Abfragen anfallen, wenn Inhalte das Haus nicht verlassen dürfen oder wenn eine enge Anbindung an eigene Systeme gefordert ist. Sinnvoll ist ein Vergleich über drei Jahre mit denselben Nutzungsannahmen für beide Varianten. Wer nur die Anschaffung gegen ein Monatsabo stellt, vergleicht ungleiche Größen.
Modellwahl und Qualität
Für interne Aufgaben ist ein mittleres Modell mit guter Anbindung an die eigenen Dokumente fast immer wertvoller als das größte verfügbare Modell ohne Quellenzugang. Modelle mit 8 bis 30 Milliarden Parametern reichen für Zusammenfassung, Extraktion und deutschsprachige Fachfragen häufig aus. Entscheidend sind Deutschqualität, Kontextlänge, Sauberkeit der Trainingsdaten und die Fähigkeit, Anweisungen zuverlässig zu befolgen.
Wer Modelle vergleicht, sollte sie nicht nach Eindruck beurteilen, sondern mit einem festen Fragensatz aus dem eigenen Haus. Dasselbe gilt für Quantisierungsstufen: Eine 4-Bit-Variante kann bei Zusammenfassungen gleichwertig sein und bei Extraktion messbar schlechter. Solche Unterschiede fallen nur mit Prüffragen auf. Wie der Testaufbau aussieht, beschreiben wir unter RAG für eigene Dokumente.
Grenzen im Betrieb
- Gleichzeitigkeit: Ab einer bestimmten Nutzerzahl sinkt die Antwortgeschwindigkeit spürbar.
- Latenz und Kontext: Sehr lange Dokumente verlängern die Antwortzeit überproportional.
- Keine automatische Skalierung: Lastspitzen lassen sich nicht kurzfristig auslagern.
- Wartungsfenster: Updates und Modellwechsel erfordern geplante Ausfallzeiten.
- Einzelgerät als Risiko: Ohne Ersatz oder Hochverfügbarkeit ist der Ausfall eines Systems ein Ausfall der Anwendung.
- Bindung an Lieferketten: Ersatzteile und Treiberverfügbarkeit sind über mehrere Jahre nicht garantiert.
Deshalb ist eine hybride Aufteilung oft die vernünftige Antwort: unkritische Aufgaben bei einem externen Dienst, sensible oder besonders häufige Aufgaben lokal. Diese Entscheidung sollte pro Anwendungsfall fallen und nicht pauschal für das ganze Unternehmen. Wie der lokale Betrieb in eine Wissensbasis eingebettet wird, steht unter interne Wissensdatenbank mit KI.
Fazit: Ein Sprachmodell lokal zu betreiben ist heute für begrenzte Aufgaben mit vier- bis fünfstelligem Budget machbar. Die Grenzen liegen beim Speicher, bei der Bandbreite und bei der Zahl gleichzeitiger Nutzer, nicht bei der Modellgröße allein. Wer den Speicherbedarf ehrlich rechnet, den Betriebsaufwand über drei Jahre einbezieht und die Qualität mit eigenen Fragen prüft, bekommt eine belastbare Entscheidungsgrundlage statt einer teuren Enttäuschung.