ChatGPT und Claude versus lokaler KI-Agent: komplett in Deutschland auf eigenem Server gehostet

Die kurze Antwort vorab: Über das Betriebsmodell entscheidet die Datenklasse einer Aufgabe, nicht die Rangliste der Modelle. ChatGPT und Claude bieten die höchste Leistung und in den Unternehmenstarifen belastbare Zusagen zu Training, Eigentum an den Ergebnissen und Datenhaltung[1][2]. Ein lokaler KI-Agent, der komplett in Deutschland auf einem eigenen Server gehostet wird, bietet dagegen einen anderen Rechtsraum, ein eigenes Gedächtnis und Betriebskontrolle, bleibt bei der Spitzenleistung aber zurück[3]. Für viele mittelständische Unternehmen ist deshalb nach unserer Einschätzung ein Betrieb in zwei Spuren tragfähig, gesteuert über eine Richtlinie zu Datenklassen.

Transparenzhinweis: Avolang betreibt mit Alwisr Company OS selbst einen lokalen KI-Agenten und hat deshalb ein wirtschaftliches Interesse am Ergebnis dieser Betrachtung. Der Beitrag stützt sich auf öffentliche Studien und Anbieterangaben, benennt auch die Grenzen des eigenen Ansatzes und kennzeichnet eigene Einschätzungen als solche. Stand aller Angaben: 29. Oktober 2026. Die Ausführungen ersetzen keine Rechtsberatung.

Ausgangslage: Die Nutzung wächst schneller als die Steuerung

Künstliche Intelligenz (KI) hat den Unternehmensalltag erreicht, und mit ihr die Frage nach dem richtigen Betriebsmodell. Die Boston Consulting Group (BCG) ordnet in ihrem Applied AI Index 2026, einer Befragung von 1.330 Führungskräften, 7,5 Prozent der Unternehmen als „future-built“ ein. Weitere 41 Prozent skalieren KI aktiv und erzielen zum Beispiel das 1,8-Fache der Aktionärsrendite der Nachzügler[10]. Im Vorjahr hatte BCG 5 Prozent als „future-built“, 35 Prozent als skalierend und 60 Prozent als Nachzügler mit minimalen Erträgen geführt[11]. Die jährliche State-of-AI-Umfrage von McKinsey & Company, über die das FM Magazine am 1. September 2026 berichtet, zeichnet ein nüchterneres Bild. Nur rund 6 Prozent der Befragten gelten als „High Performer“; sie führen mindestens 5 Prozent ihres Ergebnisses vor Zinsen und Steuern (EBIT) auf KI zurück und beschreiben deren Wirkung als bedeutend. Zumindest einen gewissen EBIT-Effekt sehen 37 Prozent[12].

Die Steuerung hält mit diesem Tempo nicht Schritt. Laut BCG haben sich die KI-Ausgaben binnen eines Jahres von rund 1,7 Prozent auf 3,3 Prozent des Umsatzes verdoppelt, und mehr als 80 Prozent davon liegen außerhalb des IT-Budgets. 42 Prozent der Unternehmen erwarten, KI-Agenten bis 2030 echte Entscheidungsbefugnis zu geben, doch nur 5 Prozent verfügen heute über die vollständigen Kontrollen dafür. Nach BCG liegt die entscheidende Begrenzung inzwischen bei der Frage, ob Unternehmen KI kontrollieren und steuern können[10].

Wie diese Lücke im Alltag aussieht, zeigt eine Befragung von 604 Unternehmen ab 20 Beschäftigten, die der Digitalverband Bitkom im Sommer 2025 durchführen ließ. In 8 Prozent der Unternehmen sind private KI-Werkzeuge wie ChatGPT weit verbreitet (2024: 4 Prozent), in weiteren 17 Prozent gibt es Einzelfälle. Einen Zugang zu generativer KI stellen 26 Prozent der Unternehmen ihren Beschäftigten bereit, Regeln für den Einsatz haben 23 Prozent aufgestellt[13]. Einen Hinweis auf die finanzielle Dimension liefert der Cost of a Data Breach Report 2025 von IBM und dem Ponemon Institute: Organisationen mit hohem Anteil an Schatten-KI, also nicht genehmigter KI-Nutzung, verzeichneten im Durchschnitt um 670.000 US-Dollar höhere Kosten je Datenvorfall als solche mit geringer oder ohne Schatten-KI. Die Stichprobe umfasst 600 Organisationen, die einen Datenvorfall erlebt haben, und ist damit kein Querschnitt aller Unternehmen[14].

Für die Betriebsmodell-Frage folgt daraus: Die Entscheidung zwischen ChatGPT, Claude und einem lokalen Agenten ist zuerst eine Frage der Governance und erst danach eine Produktfrage (Einschätzung Avolang). Bitkom rät, Wildwuchs zu vermeiden, klare Regeln aufzustellen und KI-Technologien selbst bereitzustellen[13]. Den Rahmen für eine solche Richtlinie beschreiben wir im Leitfaden zur KI-Richtlinie und im Beitrag zur KI-Governance im Unternehmen; die Haftungsfragen der Schatten-KI behandelt unser Whitepaper.

Frontier-Modelle: Spitzenleistung und belastbare Unternehmensverträge

Frontier-Modelle, also die jeweils leistungsfähigsten Sprachmodelle der großen Anbieter, bilden weiterhin die Referenz. Der AI Index 2026 des Stanford Institute for Human-Centered AI beschreibt für März 2026 eine enge Spitzengruppe: Anthropic (1.503), xAI (1.495), Google (1.494) und OpenAI (1.481) liegen innerhalb von 25 Elo-Punkten, einem aus dem Schach entlehnten Bewertungsmaß, hier auf Grundlage menschlicher Abstimmungen im Arena Leaderboard. Stanford leitet daraus ab, dass sich der Wettbewerbsdruck auf Kosten, Zuverlässigkeit und fachspezifische Leistung verlagert[3]. Für die Wahl zwischen ChatGPT und Claude bedeutet das: Eine einzelne Rangliste trägt die Entscheidung nicht. Wichtiger sind Integration, Vertragsbedingungen und die Ergebnisse auf den eigenen Aufgaben (Einschätzung Avolang).

Gegenüber offenen Modellen besteht weiterhin ein Abstand. Das beste geschlossene Modell lag im März 2026 um 3,3 Prozent vor dem besten offenen Modell, im August 2024 waren es 0,5 Prozent[3]. Epoch AI beziffert den Rückstand der leistungsfähigsten offenen Modelle im Epoch Capabilities Index, einem aggregierten Leistungsmaß, seit Januar 2026 auf durchschnittlich vier Monate, bei strengerer Definition auf sechs Monate[15]. Für Aufgaben an der Leistungsgrenze, etwa komplexe Analysen, anspruchsvolle Programmierung oder sehr lange Dokumente, sind Frontier-Modelle nach unserer Einschätzung die erste Wahl.

Hinzu kommen Vertragsbedingungen, die bei ChatGPT für Unternehmen und bei Claude für Unternehmen deutlich über das Verbraucherangebot hinausgehen. OpenAI trainiert seine Modelle standardmäßig nicht mit Daten aus den ChatGPT-Business-Tarifen und der Programmierschnittstelle (API), es sei denn, ein Kunde stimmt ausdrücklich zu. Seit Februar 2025 bietet OpenAI Datenresidenz in Europa an, also die Speicherung und Verarbeitung von Daten in einer gewählten Region: Neue Arbeitsbereiche von ChatGPT Enterprise und Edu können Inhalte in Europa speichern, und für neue API-Projekte lässt sich Europa als Region wählen. Im Januar 2026 kamen Optionen für die Verarbeitung auf Grafikprozessoren (GPU) in Europa oder den USA für berechtigte Kunden von ChatGPT Enterprise und Edu hinzu[1]. Anthropic sichert in seinen Commercial Terms zu, dass dem Kunden die Rechte an seinen Eingaben verbleiben, dass ihm die Ergebnisse gehören und dass Anthropic Modelle nicht mit Kundeninhalten trainieren darf. Bei Ansprüchen Dritter wegen Verletzung geistigen Eigentums durch die bezahlte Nutzung stellt Anthropic den Kunden frei[2]. Diese Zusagen beziehen sich auf die gewerblichen Produkte, für private Tarife gelten gesonderte Bedingungen[5]. Private Zugänge von Beschäftigten, wie sie Bitkom beschreibt, fallen nicht unter die Unternehmensverträge.

Auch ein Gedächtnis bieten die Anbieter inzwischen. Anthropic hat für Team- und Enterprise-Tarife ein Gedächtnis eingeführt, das nach Projekten getrennt ist; Administratoren können Erinnerungen bearbeiten, und Abonnenten von Team-Tarifen können Erinnerungen importieren und exportieren[7]. OpenAI beschreibt für ChatGPT Funktionen zum Einsehen, Korrigieren und Löschen gespeicherter Erinnerungen, weist aber darauf hin, dass Funktionen und Steuerung nach Tarif, Region, Plattform und Arbeitsbereich variieren[8].

Zusammengefasst sprechen für Frontier-Modelle:

• die höchste verfügbare Modellleistung bei breitem Aufgabenspektrum
• sofortige Nutzbarkeit ohne eigenen Betrieb und ohne Integrationsprojekt
• vertragliche Zusagen zu Training, Eigentum und, bei OpenAI, Datenresidenz in Europa
• eine Freistellung bei Ansprüchen Dritter wegen geistigen Eigentums, zumindest bei Anthropic
• laufende Weiterentwicklung der Modelle durch den Anbieter

Datenschutz bei ChatGPT und Claude: Rechtsraum und Aufbewahrung als offene Punkte

Vertragszusagen zum Training beantworten eine Frage nicht: In welchem Rechtsraum steht der Anbieter? Für die Weitergabe personenbezogener Daten an einen Dienstleister verlangt die Datenschutz-Grundverordnung (DSGVO) einen Auftragsverarbeitungsvertrag nach Artikel 28, für die Übermittlung in ein Drittland gelten die Artikel 44 bis 49[16]. Für Übermittlungen in die Vereinigten Staaten kommt das EU-U.S. Data Privacy Framework in Betracht. Die Europäische Kommission hat dazu am 10. Juli 2023 einen Angemessenheitsbeschluss erlassen; personenbezogene Daten dürfen danach frei an Unternehmen in den USA fließen, die am Rahmenwerk teilnehmen[17][18].

Das Gericht der Europäischen Union hat die Klage gegen diesen Beschluss am 3. September 2025 abgewiesen und bestätigt, dass die Vereinigten Staaten zum Zeitpunkt des Beschlusses ein angemessenes Schutzniveau gewährleisteten[18]. Gegen das Urteil ist beim Gerichtshof ein Rechtsmittel eingelegt worden (Rechtssache C-703/25 P)[19]; nach unserem Kenntnisstand ist darüber am 29. Oktober 2026 noch nicht entschieden. Eine Prognose zum Ausgang geben wir nicht ab. Für die Planung heißt das: Der Rahmen gilt, steht rechtlich aber nicht außer Streit.

Unabhängig davon bleibt die Frage nach dem Zugriff durch US-Behörden. Nach 18 U.S. Code § 2713, den der US CLOUD Act (Clarifying Lawful Overseas Use of Data Act) 2018 eingefügt hat, müssen Anbieter von elektronischen Kommunikationsdiensten und von Diensten zur Datenverarbeitung aus der Ferne (Remote Computing Service) die Pflichten des einschlägigen Kapitels zur Aufbewahrung, Sicherung und Offenlegung von Inhalten und Kundendaten erfüllen, soweit sich diese in ihrem Besitz, ihrer Verwahrung oder ihrer Kontrolle befinden, gleich ob sie innerhalb oder außerhalb der Vereinigten Staaten liegen[6]. Der Europäische Datenschutzausschuss und der Europäische Datenschutzbeauftragte haben die Auswirkungen des Gesetzes auf den europäischen Rechtsrahmen bereits 2019 in einer gemeinsamen Antwort an den Ausschuss für bürgerliche Freiheiten, Justiz und Inneres des Europäischen Parlaments behandelt[20]. Daraus folgt nach unserer Einschätzung: Eine Speicherung in Europa verändert den Speicherort, nicht automatisch den Rechtsraum des Anbieters. Ob ein konkretes Herausgabeverlangen zulässig wäre und wie es sich zur DSGVO verhält, ist eine Rechtsfrage des Einzelfalls.

Hinzu kommen Aufbewahrungspflichten aus Gerichtsverfahren. OpenAI sagt zu, gelöschte Unterhaltungen in ChatGPT innerhalb von 30 Tagen aus seinen Systemen zu entfernen, sofern es nicht zur Aufbewahrung verpflichtet ist[21]. Wie weit solche Pflichten reichen können, zeigt eine Anordnung eines US-Gerichts im Verfahren der New York Times. Sie erfasste nach Angaben von OpenAI die Tarife ChatGPT Free, Plus, Pro und Team sowie die API ohne Zero-Data-Retention-Vereinbarung, nicht aber ChatGPT Enterprise und Edu[21]. Die Wahl des Tarifs ist damit auch eine Datenschutzentscheidung.

Diese Punkte sprechen nicht gegen die Nutzung von Frontier-Modellen. Sie bestimmen, für welche Daten sie geeignet sind. Die Bewertung im Einzelfall gehört in die Hände der Datenschutz- und Rechtsberatung.

Der lokale KI-Agent: komplett in Deutschland, auf eigenem Server, mit eigenem Gedächtnis

Agenten sind kein Randthema mehr. BCG erwartet, dass agentische KI bis 2030 rund 40 Prozent des gesamten KI-Werts ausmacht[10]. Laut McKinsey skalieren bereits 40 Prozent der großen Unternehmen KI-Agenten in mindestens einer Funktion (Vorjahr: 27 Prozent), während der Wert bei kleineren Organisationen unverändert bei 22 Prozent liegt[12].

Ein lokaler KI-Agent ist ein KI-Assistent, der für ein einzelnes Unternehmen betrieben wird: auf Servern in einem Rechtsraum, den das Unternehmen wählt, mit eigenem Gedächtnis und mit Freigaben vor jeder Aktion. „Lokal“ bezeichnet dabei Standort und Zuordnung, nicht den einzelnen Arbeitsplatzrechner: Wer eine KI lokal betreiben möchte, muss sie nicht im eigenen Haus aufstellen. Der Agent läuft auf Servern in Deutschland, getrennt von anderen Kunden, und nicht bei einem KI-Anbieter im Ausland. Für Systeme, bei denen ein Unternehmen Rechtsraum, Betrieb und Datenhaltung selbst bestimmt, wird auch der Begriff souveräne KI verwendet.

Avolang bietet einen solchen Agenten mit Alwisr Company OS an. Nach der Produktbeschreibung läuft das System komplett in Deutschland; jedes Unternehmen erhält einen eigenen, abgeschotteten Bereich auf Servern in Deutschland. Avolang nutzt Kundeninhalte nicht zum Training, und die Modelle laufen bei Avolang oder beim Kunden, nicht bei einem KI-Anbieter im Ausland. Das System merkt sich Inhalte über alle Gespräche hinweg. Senden, Löschen, Ändern und Befehle erfolgen nur nach Klick oder in einer freigegebenen Automatisierung, und neue Automatisierungen laufen zunächst sieben Tage im Schattenmodus, also ohne etwas zu senden oder zu ändern[4].

Die Produktbeschreibung unterscheidet drei Betriebsarten, die alle in Deutschland laufen[4]:

• Von Avolang gehostet. Der Agent läuft in einem deutschen Rechenzentrum, in einem getrennten Bereich für das Unternehmen. Das ist die günstigste Variante und der schnellste Start.
• Eigener Server. Der Agent läuft auf einem Server in Deutschland, der nur für das Unternehmen bereitsteht und von allen anderen Kunden getrennt ist.
• Vor Ort auf eigener Hardware. Agent und Modelle laufen auf Hardware im Unternehmen. Das verlangt leistungsstarke Server und ist die teuerste Variante.

Avolang betreibt die gehostete Variante nach eigenen Angaben im Rechenzentrum von IONOS in Deutschland, mit Sprachmodellen, die deutlich kleiner sind als die Frontier-Modelle. Der Betrieb eigener Modelle auf eigenen Servern ist technisch etabliert: Auch Frontier-Anbieter veröffentlichen offene Modelle. OpenAI beschreibt gpt-oss-120b als leistungsstarkes offenes Modell, das auf einen einzelnen H100-Grafikprozessor passt, und stellt es unter der Apache-2.0-Lizenz bereit[22]. Wie sich Betrieb vor Ort, gehosteter Betrieb und hybride Lösungen abwägen lassen, beschreibt der Beitrag zur lokalen IT-Infrastruktur.

Dass kleine Modelle für viele Aufgaben genügen können, wird auch außerhalb des Anbietermarkts vertreten. NVIDIA Research argumentiert in einem Positionspapier, kleine Sprachmodelle seien für viele Aufrufe in agentischen Systemen leistungsfähig genug, besser geeignet und wirtschaftlicher; wo allgemeine Gesprächsfähigkeit gefragt sei, seien Systeme mit mehreren unterschiedlichen Modellen die natürliche Wahl[23]. Gartner prognostizierte im April 2025, dass Unternehmen bis 2027 kleine, aufgabenspezifische Modelle dreimal häufiger einsetzen werden als universelle Sprachmodelle[24]. Beides sind Positionen und Prognosen, keine Messungen im einzelnen Unternehmen. Ob ein kleines Modell die eigenen Aufgaben löst, lässt sich nur an eigenen Testaufgaben entscheiden.

Die Grenzen des lokalen Ansatzes sind ebenso klar zu benennen:

• Geringere Spitzenleistung. Selbst die leistungsfähigsten offenen Modelle liegen im Schnitt vier Monate zurück[15]; kleinere Modelle liegen nach unserer Einschätzung weiter zurück und erreichen bei komplexem Schlussfolgern und anspruchsvollen Texten nicht das Niveau der Frontier-Modelle.
• Einrichtungs- und Integrationsaufwand. Ein Agent nützt erst, wenn er an Postfächer, Dokumentenablagen und Fachsysteme angebunden ist. Das verlangt Projektarbeit, die ein sofort nutzbarer Chat nicht braucht.
• Datenqualität. Ein Gedächtnis ist nur so gut wie die Inhalte, die es enthält. Veraltete oder widersprüchliche Dokumente führen zu veralteten oder widersprüchlichen Antworten (Einschätzung Avolang).
• Abhängigkeit vom Betreiber. Wer den Betrieb auslagert, ersetzt die Abhängigkeit von einem US-Anbieter durch die von einem Dienstleister. Datenrückgabe und Export des Gedächtnisses gehören deshalb in den Vertrag (Einschätzung Avolang).
• Betriebsverantwortung. Sicherheitsupdates, Überwachung und Wiederherstellung müssen geregelt sein, ob beim Dienstleister oder im eigenen Haus (Einschätzung Avolang).

Das Gedächtnis: sechs Anforderungen an einen KI-Agenten mit eigenem Kontext

Das Gedächtnis ist der Punkt, an dem sich ein Agent im Alltag am stärksten von einem Chat unterscheidet: Er kennt Kunden, Vorgänge und Entscheidungen auch am nächsten Tag. Zugleich ist es der datenschutzrechtlich sensibelste Teil, denn dort sammelt sich Wissen über Personen und Geschäft. Aus den dokumentierten Funktionen der Frontier-Anbieter leiten wir sechs Anforderungen ab, die ein KI-Gedächtnis unabhängig vom Betriebsort erfüllen sollte (Einschätzung Avolang). Sie beschreiben Anforderungen und keine Produktzusagen; welche davon eine konkrete Lösung erfüllt, ist im Einzelfall zu prüfen.

1. Trennung nach EigentümernErinnerungen sind je Unternehmen, Team oder Projekt getrennt, damit vertrauliche Inhalte nicht in fremde Kontexte gelangen. Anthropic nennt diese Projektgrenzen ausdrücklich als Schutzvorkehrung[7].
2. NachvollziehbarkeitJede Antwort zeigt, auf welche Erinnerungen oder Dokumente sie sich stützt. OpenAI blendet dafür bei personalisierten Antworten Quellen ein, weist aber darauf hin, dass diese nicht jeden Einflussfaktor zeigen[8].
3. Einsicht und KorrekturGespeicherte Inhalte sind einsehbar, korrigierbar und löschbar, durch Nutzer und durch Administratoren[8][7].
4. Aufbewahrung und LöschungFür jede Art von Erinnerung gelten feste Fristen, und die Löschung wirkt auch in Sicherungen. Zu beachten bleibt der Vorbehalt gesetzlicher Aufbewahrungspflichten, den selbst OpenAI für gelöschte Unterhaltungen nennt[21].
5. Export und PortabilitätDas Gedächtnis lässt sich in einem offenen Format exportieren, damit ein Anbieterwechsel nicht bei null beginnt. Anthropic ermöglicht in Team-Tarifen den Import und Export von Erinnerungen, bezeichnet den Import aber als experimentell und noch in Entwicklung[7].
6. Gezielter Abruf statt DauerkontextRelevante Einträge werden gezielt abgerufen, zum Beispiel über eine Kombination aus Stichwort- und Bedeutungssuche, statt alles in jede Anfrage zu laden. Eine Studie von 2023 zeigt, dass Modelle Informationen aus der Mitte langer Eingaben schlechter nutzen als solche am Anfang oder Ende, auch bei Modellen mit langem Kontext[25]. Wie stark das bei heutigen Modellen ausfällt, ist im Einzelfall zu testen.

Wie ein solches Gedächtnis auf Firmenwissen aufsetzt, zeigt der Vergleich Enterprise Search, Wissensdatenbank oder KI-Assistent.

Direktvergleich: sieben Kriterien im Überblick

Abbildung 1 stellt beide Betriebsmodelle gegenüber. Quellenverweise stehen in den Zellen; Aussagen ohne Verweis geben die Einschätzung von Avolang wieder.

Abbildung 1: Frontier-Modelle und lokaler KI-Agent im Vergleich

Kosten eines lokalen KI-Agenten: die Größenordnung der Modellkosten

Bei der Kostenfrage lohnt es, die Bausteine zu trennen: Einrichtung, Betrieb der Plattform, Integration, Datenpflege, Support und Modellnutzung. Bei gehosteten offenen Modellen fällt die Modellnutzung im Verhältnis zu den übrigen Posten meist gering aus (Einschätzung Avolang). Abbildung 2 rechnet die Größenordnung an drei Aufgabenprofilen mit den öffentlichen Listenpreisen des AI Model Hub von IONOS Cloud nach[9]. Abgerechnet wird nach Token, das sind die Texteinheiten, in die ein Modell Ein- und Ausgaben zerlegt. Profil C beschreibt einen Agentenlauf, bei dem der wachsende Kontext in jedem Arbeitsschritt erneut an das Modell geht; die Annahmen zu den Profilen stammen von Avolang. Auf einem eigenen Server entfällt die Abrechnung nach Token; an ihre Stelle tritt die bereitgestellte Rechenleistung (Einschätzung Avolang).

Abbildung 2: Modellkosten je 1.000 Aufgaben in Euro (Listenpreise, Stand 29. Oktober 2026)

Listenpreise je 1 Million Token (Eingabe / Ausgabe): Mistral Small 24B Instruct 0,10 € / 0,30 €, gpt-oss-120b 0,15 € / 0,65 €, Qwen3.5-397B-A17B 0,60 € / 3,60 €[9]. Werte auf zwei Nachkommastellen gerundet. Eigene Berechnung von Avolang auf Grundlage der Preisseite, abgerufen am 29. Oktober 2026. Die Preisseite nennt keine Umsatzsteuer; die Beträge sind wie aufgeführt übernommen. Mengenrabatte und Mindestabnahmen sind nicht berücksichtigt. Nicht enthalten sind Einrichtung, Plattformbetrieb, Integration, Datenpflege und Support. gpt-oss-120b hat 117 Milliarden Parameter, davon 5,1 Milliarden aktiv[22].

Selbst das größte der drei Modelle verursacht bei 2.200 Agentenläufen im Monat 261,36 Euro Modellkosten, das kleinste 38,28 Euro. Kostenbestimmend sind in der Praxis Einrichtung, Integration, Datenpflege und Betrieb (Einschätzung Avolang). Die Zahlen zeigen die Größenordnung der Modellkosten bei gehosteten offenen Modellen, nicht den Preis von Alwisr. Bei Alwisr steht die Einrichtung als Festpreis vorab schriftlich fest, der Betrieb kostet monatlich je nach Variante, und die Modellkosten werden im Angebot ausgewiesen[4].

Preise der Frontier-Anbieter sind nicht Teil dieser Rechnung. Sie hängen von Modell, Tarif und Nutzungsmuster ab und ändern sich häufig. Ein belastbarer Vergleich setzt voraus, die eigenen Aufgabenprofile gegen die aktuellen Preislisten beider Seiten zu rechnen.

Empfehlung: zwei Spuren, gesteuert über Datenklassen

Aus der Gegenüberstellung folgt keine Entweder-oder-Entscheidung. Sinnvoll ist ein Betrieb in zwei Spuren, die eine Richtlinie zu Datenklassen steuert: Unkritische Aufgaben laufen über Unternehmenszugänge zu Frontier-Modellen, personenbezogene und vertrauliche Aufgaben über einen lokalen Agenten in Deutschland. Beide Spuren sind getrennte Zugänge und technisch nicht miteinander verbunden; Alwisr nutzt Modelle auf Servern in Deutschland und ruft keinen KI-Anbieter im Ausland auf[4]. Das hat einen Preis: Die Beschäftigten müssen wissen, welche Spur für welche Daten gilt (Einschätzung Avolang). Den Rahmen für die zugehörige Richtlinie beschreibt der Leitfaden zur KI-Richtlinie.

Abbildung 3: Datenklassen und empfohlene Spur (Einschätzung Avolang)

Fünf Entscheidungsfragen für die Geschäftsführung

1. Welche Datenklassen fallen an?Ohne Klassifizierung lässt sich keine Spur zuordnen. Wer legt die Klassen fest, und wer prüft ihre Einhaltung?
2. Welche Aufgaben wiederholen sich?Wiederkehrende Aufgaben mit Firmenwissen rechtfertigen Integration und Gedächtnis, einmalige Aufgaben meist nicht.
3. Welche Leistung ist tatsächlich nötig?Die Antwort liefern eigene Testaufgaben, nicht Ranglisten.
4. Wie sieht der Ausstieg aus?Datenrückgabe, Export des Gedächtnisses und Vertragsende sind vor Vertragsabschluss zu klären, bei beiden Spuren.
5. Wer trägt Betrieb und Verantwortung?Intern, beim Dienstleister oder geteilt: Die Antwort bestimmt Rollen, Reaktionszeiten und Haftung.

In 90 Tagen zum tragfähigen Betriebsmodell

Wer einen lokalen KI-Agenten erstellen lassen möchte, sollte schrittweise vorgehen. Gartner prognostizierte im Juni 2025, dass bis Ende 2027 über 40 Prozent der Projekte mit agentischer KI eingestellt werden[26]. Ein gestufter Einstieg mit klaren Messpunkten senkt dieses Risiko (Einschätzung Avolang).

Häufige Fragen zu ChatGPT, Claude und dem lokalen KI-Agenten

Fazit

Frontier-Modelle und ein lokaler KI-Agent in Deutschland lösen unterschiedliche Probleme. Frontier-Modelle bieten die höchste Leistung und belastbare Unternehmensverträge; bei Rechtsraum und Steuerung des Gedächtnisses bleiben Unternehmen jedoch auf die Zusagen des Anbieters angewiesen. Ein lokaler Agent bietet Rechtsraum, Gedächtnis und Freigaben unter eigener Kontrolle, erreicht aber nicht die Spitzenleistung und verlangt Einrichtung, Datenpflege und einen verlässlichen Betreiber. Für viele mittelständische Unternehmen führt der Weg nach unserer Einschätzung über eine Richtlinie zu Datenklassen, zwei getrennte Spuren und einen gestuften Einstieg mit eigenen Testaufgaben. Nach 90 Tagen liegt damit eine belastbare Entscheidungsgrundlage vor, die auf Daten und eigenen Ergebnissen beruht statt auf einer Produktpräferenz.