KI im Mittelstand einführen: vom ersten Anwendungsfall bis zum laufenden Betrieb

Viele Unternehmen haben KI längst ausprobiert: Einzelne Mitarbeiter nutzen Chat-Werkzeuge im Browser, es gab einen Workshop, vielleicht einen kleinen Test. Im Tagesgeschäft hat sich trotzdem wenig verändert. Wer KI im Mittelstand dauerhaft nutzen will, braucht weniger Begeisterung für Werkzeuge und mehr Klarheit über Abläufe, Daten und Verantwortung. Dieser Leitfaden zeigt, wie Sie vom ersten Anwendungsfall über den Pilot zum laufenden Betrieb kommen und welche rechtlichen Punkte Sie dabei beachten sollten.

Warum KI im Mittelstand oft im Test stecken bleibt

Die Ursache liegt selten am KI-Modell. Meist fehlt eines von vier Dingen:

• Anbindung: Ein allgemeines Chatfenster kennt weder Ihre Aufträge noch Ihre Verträge. Ergebnisse werden kopiert, eingefügt und von Hand nachgearbeitet.
• Ein konkretes Ziel: „Wir sollten etwas mit KI machen“ ist kein Projekt. Ohne messbares Ziel lässt sich kein Erfolg feststellen.
• Verantwortung: Nach dem Test ist niemand zuständig. Die Lösung bleibt ein Experiment.
• Klarheit beim Datenschutz: Solange unklar ist, wo Daten verarbeitet werden, halten sich viele Unternehmen zu Recht zurück.

Alle vier Punkte lassen sich planen. Die folgenden fünf Schritte führen strukturiert durch die Einführung.

Schritt 1: Anwendungsfälle finden, bei denen KI Arbeit abnimmt

Beginnen Sie nicht bei der Technik, sondern bei der Arbeit, die Ihr Team heute Zeit kostet. Fragen Sie in den Fachbereichen, welche Tätigkeiten sich ständig wiederholen, und sammeln Sie diese in einer einfachen Liste. Gute Kandidaten für KI erfüllen mehrere dieser Kriterien:

• Die Aufgabe kommt häufig vor, täglich oder wöchentlich.
• Sie besteht vor allem aus Lesen, Einordnen, Zusammenfassen oder Formulieren.
• Die nötigen Informationen liegen digital vor, etwa in E-Mails, Dokumenten oder einem ERP-System.
• Ein Fehler lässt sich erkennen und korrigieren, bevor er Schaden anrichtet.
• Der heutige Aufwand ist spürbar und lässt sich grob beziffern.

Typische Beispiele im Mittelstand sind das Sortieren des Posteingangs, das Vorbereiten von Angebotsentwürfen, das Ablegen von Rechnungen und Verträgen oder das Nachschlagen in technischen Unterlagen. Für Belege und Verträge eignet sich ein Dokumentenmanagement mit KI, das Dokumente liest, die Ablage vorschlägt und Fristen erkennt.

Steckt das Wissen in Katalogen, Handbüchern und Datenblättern, hilft eine KI-Wissensdatenbank, die Fragen in normaler Sprache mit Quelle beantwortet. Nicht jede Aufgabe braucht allerdings KI: Folgt ein Ablauf festen Regeln, reicht oft eine klassische Automatisierung, die günstiger und berechenbarer ist.

Schritt 2: Den richtigen Anwendungsfall für den Start wählen

Aus der Liste wählen Sie einen Anwendungsfall für den Pilot. Der beste Kandidat ist nicht der mit dem größten denkbaren Nutzen, sondern der mit dem besten Verhältnis aus Nutzen, Datenlage und Risiko. Eine einfache Bewertung hilft:

Legen Sie für den gewählten Fall fest, woran Sie Erfolg messen: Zeit pro Vorgang, Zahl der bearbeiteten Fälle, Anteil der Entwürfe, die ohne große Änderung übernommen werden, oder die Zufriedenheit des Teams. Ohne diese Messgrößen wird aus dem Pilot eine Geschmacksfrage.

Schritt 3: Daten, Systeme und Datenschutz klären

Bevor entwickelt wird, klären Sie drei Fragen: Welche Daten braucht die KI, wo liegen sie, und wer darf was sehen? Aus den Antworten entstehen die Anbindung an Ihre Systeme und ein Rechtekonzept, damit jede Person nur Antworten aus Daten erhält, die sie auch sonst sehen dürfte.

Beim Thema KI und Datenschutz im Unternehmen sind diese Punkte besonders wichtig:

• Betriebsort und Modell: Läuft die Lösung bei einem externen Anbieter, auf einem Server in Deutschland oder mit einem lokal betriebenen KI-Modell im eigenen Haus? Für sehr sensible Daten ist ein lokales Modell eine ernsthafte Option.
• Auftragsverarbeitung: Verarbeitet ein Dienstleister personenbezogene Daten in Ihrem Auftrag, verlangt Artikel 28 DSGVO einen Vertrag, der unter anderem Gegenstand, Dauer, Art und Zweck der Verarbeitung festlegt.
• Datenschutzbeauftragter: Binden Sie ihn früh ein. Eine gute Grundlage ist die Orientierungshilfe „Künstliche Intelligenz und Datenschutz“, die die Datenschutzkonferenz am 6. Mai 2024 veröffentlicht hat.
• Betriebsrat: Gibt es einen, ist er nach § 90 BetrVG über die Planung von Arbeitsverfahren und Arbeitsabläufen einschließlich des Einsatzes von Künstlicher Intelligenz zu unterrichten. Bei technischen Einrichtungen, die dazu bestimmt sind, Verhalten oder Leistung der Beschäftigten zu überwachen, hat er nach § 87 Abs. 1 Nr. 6 BetrVG ein Mitbestimmungsrecht.

Schritt 4: Prototyp und Pilot mit echten Daten

Ein klickbarer Prototyp zeigt früh, wie die Lösung im Alltag aussieht: welche Bildschirme es gibt, welche Begriffe verwendet werden und an welcher Stelle ein Mensch prüft. So lassen sich Missverständnisse klären, bevor Aufwand in die Entwicklung fließt. Wie aus einem Prototyp Schritt für Schritt eine nutzbare Lösung wird, beschreibt unser Beitrag vom klickbaren Prototyp zum MVP.

Im Pilot arbeitet eine kleine Gruppe mit echten Daten. Sinnvoll ist ein Betrieb, in dem die KI zunächst nur Vorschläge macht und Ihr Team jeden Vorschlag prüft. So sehen Sie, wie gut die Ergebnisse sind, ohne ein Risiko einzugehen. Halten Sie im Pilot fest:

• welche Vorschläge übernommen, geändert oder verworfen werden,
• wo die KI Informationen falsch oder gar nicht findet,
• wie viel Zeit das Team tatsächlich spart,
• welche Fragen und Bedenken im Team auftauchen.

Am Ende steht eine klare Entscheidung: ausweiten, nachbessern oder beenden. Auch ein beendeter Pilot ist ein Ergebnis, denn er verhindert Investitionen in eine Lösung, die im Alltag nicht getragen hätte.

Schritt 5: Vom Pilot in den laufenden Betrieb

Der Schritt in den Betrieb wird oft unterschätzt. Jetzt geht es um Anbindung, Stabilität und Zuständigkeiten:

1. Systeme anbinden: Buchhaltungssoftware, ERP-System, Postfächer und Ablagen werden über Schnittstellen oder regelmäßige Exporte verbunden, damit niemand Daten von Hand überträgt.
2. Freigaben festlegen: Schriftlich regeln, was die KI selbst erledigen darf und was eine Freigabe braucht.
3. Zuständigkeit klären: Eine Person im Fachbereich verantwortet Inhalte und Regeln, eine technische Stelle den Betrieb.
4. Qualität beobachten: Stichproben, Rückmeldungen aus dem Team und ein Protokoll zeigen, ob die Ergebnisse stabil bleiben.
5. Wartung einplanen: Modelle, Schnittstellen und Sicherheitsanforderungen ändern sich. Updates, Sicherheits-Patches und Backups gehören zum Betrieb.
6. Team befähigen: Wer mit der Lösung arbeitet, sollte wissen, was sie kann, wo ihre Grenzen liegen und wann ein Ergebnis zu prüfen ist.

Wie weit Sie der KI dabei Handlungsspielraum geben können, hängt vom Ablauf ab. Einen Überblick über Freigabestufen gibt unser Beitrag zu KI-Agenten für Unternehmen.

Was die KI-Verordnung von Unternehmen verlangt

Die europäische KI-Verordnung (Verordnung (EU) 2024/1689) ist am 1. August 2024 in Kraft getreten, ihre Pflichten gelten gestaffelt. Die Verordnung spricht von „Betreibern“: Gemeint ist jede Stelle, die ein KI-System in eigener Verantwortung verwendet, außer für rein persönliche, nicht berufliche Zwecke. Für Unternehmen, die KI einsetzen, sind derzeit drei Punkte besonders wichtig.

KI-Kompetenz der Beschäftigten

Seit dem 2. Februar 2025 gilt Artikel 4 zur KI-Kompetenz. Mit der Änderungsverordnung (EU) 2026/1744, dem sogenannten Digital Omnibus zur KI, die am 27. Juli 2026 in Kraft getreten ist, wurde die Pflicht neu gefasst: Anbieter und Betreiber ergreifen Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen zu unterstützen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind. Ein bestimmtes Kompetenzniveau müssen sie nicht garantieren.

Eine Zertifizierungspflicht für Schulungen sieht die Verordnung nach Angaben der Bundesnetzagentur nicht vor, sie empfiehlt aber, die Maßnahmen zu dokumentieren. Praktisch heißt das: kurze, auf die eingesetzten Werkzeuge zugeschnittene Schulungen, eine interne Richtlinie zur KI-Nutzung und ein Nachweis, wer wann geschult wurde.

Transparenz bei Chatbots und KI-Inhalten

Seit dem 2. August 2026 gelten die Transparenzpflichten nach Artikel 50. KI-Systeme, die direkt mit Menschen kommunizieren, etwa ein Chatbot auf Ihrer Website, müssen so gestaltet sein, dass die Nutzer erfahren, dass sie mit einer KI sprechen, sofern das nicht offensichtlich ist. Betreiber müssen außerdem offenlegen, wenn Bilder, Videos oder Tonaufnahmen als Deepfakes künstlich erzeugt oder manipuliert wurden. Dasselbe gilt für KI-erzeugte oder manipulierte Texte, die veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, sofern sie nicht von einem Menschen redaktionell geprüft und verantwortet werden.

Hochrisiko-Anwendungen

Strengere Regeln gelten für Hochrisiko-KI-Systeme. Dazu zählen nach Anhang III unter anderem Systeme für die Auswahl von Bewerbern oder für Entscheidungen über Beförderungen und Kündigungen. Die Pflichten für diese Systeme gelten nach der Änderung durch den Digital Omnibus ab dem 2. Dezember 2027. Für einen ersten Pilot sollten Sie solche Anwendungsfälle meiden.

KI-Beratung für den Mittelstand: woran Sie gute Beratung erkennen

Viele Unternehmen holen sich für den Einstieg Unterstützung von außen. Eine gute KI-Beratung für den Mittelstand

• beginnt bei Ihren Abläufen, nicht bei einem bestimmten Produkt,
• ordnet Anwendungsfälle nach Aufwand und Nutzen und sagt auch, wo sich KI nicht lohnt,
• denkt Datenschutz, Rechte und Betriebsform von Anfang an mit,
• beschreibt einen Weg vom Prototyp in den Betrieb, statt mit einer Präsentation zu enden.

Ob ein fertiges KI-Werkzeug genügt oder eine eigene Lösung sinnvoller ist, lässt sich nach denselben Kriterien entscheiden wie bei jeder anderen Software. Mehr dazu im Beitrag Individualsoftware oder Standardsoftware?

Suchen Sie eine Einschätzung, die unabhängig von einer späteren Umsetzung ist, bietet eine unabhängige IT-Beratung den richtigen Rahmen.

Checkliste: KI im Unternehmen einführen

1. Zeitfresser in den Fachbereichen sammeln.
2. Anwendungsfälle nach Nutzen, Datenlage und Risiko bewerten.
3. Einen Fall für den Pilot wählen und Messgrößen festlegen.
4. Datenquellen, Rechte und Betriebsort klären, Datenschutzbeauftragten und gegebenenfalls Betriebsrat einbinden.
5. Einen klickbaren Prototyp abstimmen.
6. Pilot mit kleiner Gruppe und echten Daten, die KI macht nur Vorschläge.
7. Entscheiden: ausweiten, nachbessern oder beenden.
8. Anbindung, Freigaben, Zuständigkeiten und Wartung für den Betrieb festlegen.
9. Maßnahmen zur KI-Kompetenz durchführen und dokumentieren.
10. Nach einigen Monaten die Wirkung prüfen und den nächsten Anwendungsfall angehen.

So unterstützt THEONEAGENCY Sie bei der Einführung

THEONEAGENCY entwickelt KI-Lösungen für Unternehmen im Mittelstand, von der KI-Beratung über Assistenten, Dokumenten-KI und Automatisierungen bis zum Betrieb. Bevor programmiert wird, sehen Sie einen klickbaren Prototyp, vor Projektstart erhalten Sie ein festes Angebot. KI-Lösungen brauchen bei uns typischerweise 3 bis 6 Monate. Auf Wunsch läuft die Lösung auf einem Server in Deutschland, in Ihrem Rechenzentrum oder mit einem lokalen KI-Modell.

Eine erste Kostenschätzung für Ihr Vorhaben erhalten Sie im Projekt-Kalkulator in rund drei Minuten. Auf Anfragen antworten wir innerhalb von 24 Stunden.

Hinweis: Dieser Beitrag ist eine allgemeine Information mit Stand September 2026 und keine Rechtsberatung. Für die Bewertung Ihres Einzelfalls wenden Sie sich an Ihren Datenschutzbeauftragten oder an eine Rechtsberatung.

Häufige Fragen

Wie führt man KI im Unternehmen ein?

Am besten mit einem klar umrissenen Anwendungsfall statt mit einem großen Programm für alles. Sammeln Sie wiederkehrende Aufgaben, bewerten Sie sie nach Nutzen, Datenlage und Risiko und prüfen Sie den besten Kandidaten in einem Pilot mit echten Daten. Erst wenn der Pilot überzeugt, folgen die Anbindung an Ihre Systeme, feste Freigaberegeln und der laufende Betrieb.

Welche KI eignet sich für den Mittelstand?

Das hängt von Aufgabe, Datenlage und Datenschutzanforderungen ab, ein Modell für alles gibt es nicht. Für Fragen an Dokumente eignet sich ein Assistent mit Quellenangabe, für wiederkehrende Abläufe eine Automatisierung, für besonders sensible Daten ein lokal betriebenes KI-Modell. Entscheidend ist meist weniger das Modell als die Anbindung an Ihre Daten und Abläufe.

Lässt sich KI im Unternehmen datenschutzkonform einsetzen?

Ja, wenn der Datenschutz von Anfang an mitgeplant wird. Dazu gehören ein klarer Zweck, ein Rechtekonzept, ein Vertrag zur Auftragsverarbeitung mit Dienstleistern und ein passender Betriebsort, etwa ein Server in Deutschland oder ein lokales KI-Modell. Die Bewertung im Einzelfall treffen Sie mit Ihrem Datenschutzbeauftragten.

Müssen Mitarbeiter nach der KI-Verordnung geschult werden?

Anbieter und Betreiber von KI-Systemen müssen nach Artikel 4 der KI-Verordnung Maßnahmen ergreifen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. Die Pflicht gilt seit dem 2. Februar 2025 und wurde durch die am 27. Juli 2026 in Kraft getretene Änderungsverordnung (EU) 2026/1744 neu gefasst, ein bestimmtes Kompetenzniveau muss danach nicht garantiert werden. Zertifikate sind nicht vorgeschrieben, die Bundesnetzagentur empfiehlt aber, die Maßnahmen zu dokumentieren.

Wie lange dauert es, KI im Unternehmen einzuführen?

Das hängt vom Anwendungsfall und von der Zahl der angebundenen Systeme ab. Bei THEONEAGENCY brauchen KI-Lösungen typischerweise 3 bis 6 Monate, einen klickbaren Prototyp sehen Sie schon vor der Entwicklung. Den Zeitplan legen wir vor Projektstart gemeinsam fest.