Firmen-KI: Dein Wissen, deine Regeln, dein System

Marco Heer
27. November 2025
11 Min. Lesezeit
Firmen-KI: Dein Wissen, deine Regeln, dein System

Die meisten "Company GPTs" sind nutzlos. Und ich sag dir warum.

Ich muss mal kurz Dampf ablassen.

Jede Woche sehe ich auf LinkedIn irgendwelche Posts: "Wir haben unser eigenes Company GPT gebaut!" Und dann zeigen die eine ChatGPT-Oberfläche wo du "Fragen an dein Unternehmenswissen stellen kannst". Toll. Hast du mal gefragt, was passiert wenn die Antwort falsch ist? Hast du mal gecheckt ob das Ding nicht einfach halluziniert und dir irgendwas erzählt, das plausibel klingt aber Quatsch ist?

Die Wahrheit: Die meisten Chatbot-Demos sind nutzlos. Ein echtes Firmen-KI-System muss an deine DATEN ran. Es muss wissen, wo dein QM-Handbuch liegt, was in deinen Prozessbeschreibungen steht, wie deine Gewährleistung geregelt ist. Und es muss dir sagen WOHER es die Antwort hat -- mit Quellenangabe. Alles andere ist Spielzeug.

Und genau das baue ich. Für mich selbst und für meine Kunden. Also lass mich dir zeigen, wie eine echte Firmen-KI funktioniert -- nicht die LinkedIn-Demo-Version.


Was eine echte Firmen-KI von ChatGPT unterscheidet

Der Unterschied lässt sich in einem Wort zusammenfassen: RAG.

RAG steht für Retrieval-Augmented Generation. Klingt kompliziert, ist im Grunde simpel. Ich erklär's dir so:

ChatGPT ohne deine Daten ist wie ein schlauer Praktikant am ersten Tag. Der weiss viel über die Welt, aber NICHTS über deinen Laden. Wenn du fragst "Wie ist unser Eskalationsprozess bei Reklamationen?" -- dann ratet der. Und das Fiese: Die Antwort klingt verdammt überzeugend. Aber sie ist erfunden.

RAG ändert das komplett. So funktioniert's:

  1. Du fragst: "Wie ist unser Eskalationsprozess bei Reklamationen?"
  2. Das System sucht: In deiner Wissensdatenbank werden die passendsten Dokument-Abschnitte rausgesucht
  3. Die KI antwortet MIT Quelle: "Laut QM-Handbuch v3.2, Abschnitt 7.2: Bei Reklamationen über 500 Euro greift der Eskalationspfad..." -- mit Verweis auf das Original-Dokument

Ohne RAG ratet die KI. Mit RAG zitiert sie deine Dokumente. Das ist der Unterschied zwischen Spielzeug und einem echten System.

Ich nutz das selbst. Mein eigenes CRM auf crm.synclaro.de hat ein RAG-System im Hintergrund. Wenn ich morgens reingucke, hat die KI meine Kundennotizen durchsucht und mir eine Zusammenfassung vorbereitet -- basierend auf echten Daten, nicht auf Geraten.


Karls Geschichte: 40 Jahre Wissen retten

Pass auf, das ist einer der Cases die mich am meisten berührt haben.

Karl hat eine Spenglerei in Bayern. Spenglerei Medvejsek. Kleiner Betrieb, gutes Team. Und da war dieser eine Mitarbeiter -- 40 Jahre Erfahrung. Der wusste alles. Welche Abdichtungsnorm bei welchem Flachdach. Welches Material bei welcher Temperatur. Welche Fehler man bei bestimmten Dachneigungen vermeiden muss. Alles im Kopf. Nirgendwo aufgeschrieben.

Und der geht in Rente.

Die Frage war: Wie kriegen wir das Wissen aus seinem Kopf raus, bevor er weg ist?

Was wir gebaut haben: Ein KI-gestütztes Wissenssystem mit RAG. Der Mitarbeiter hat erzählt -- Stunde um Stunde. Wir haben transkribiert, die KI hat strukturiert, alles ist in einer durchsuchbaren Datenbank gelandet. Supabase mit Vektorsuche als Backend. Kein teures Enterprise-DMS. Kein Vendor-Lock-in. Kein monatliches Abo an irgendeinen Anbieter.

Jetzt kann jeder im Betrieb fragen: "Wie mach ich das bei einer Flachdach-Abdichtung unter 5 Grad?" -- und bekommt eine Antwort die auf den echten Erfahrungen basiert. Neue Azubis finden sich schneller zurecht. Die erfahrenen Leute werden nicht mehr ständig aus ihrer Arbeit gerissen.

Karls altes DMS war am End-of-Support. Statt einfach das nächste teure System zu kaufen, hat er jetzt ein modernes, RAG-fähiges System das IHM gehört. Keine Lizenzgebühren die jedes Jahr steigen. Das ist digitale Autarkie.


Danielas strukturierte Sprachnotizen

Daniela von Holzbau Ott hatte ein anderes Problem -- aber die Lösung hat auch mit Firmenwissen zu tun.

Bei ihr lagen jeden Tag 10+ Telefonnotizen auf gelben Zetteln rum. Zettel verschwinden, Chef hat null Überblick, wichtige Infos gehen verloren. Das ist kein Wissensmanagement. Das ist organisiertes Chaos.

Was haben wir gemacht? Daniela spricht jetzt ihre Notizen als Sprachnotiz ein. Die KI transkribiert, strukturiert automatisch (Projekt, Priorität, zuständiger Mitarbeiter) und leitet alles an die richtige Person weiter. Und -- das ist der Clou -- die strukturierten Daten landen in einer durchsuchbaren Datenbank. Also quasi ein Mini-RAG für Projektnotizen.

Daniela ist Geschäftsführerin, über 50, hatte vorher nur ChatGPT-Erfahrung. In 10 Coaching-Stunden hat sie gelernt, selbst Workflows zu bauen. Sie spart jetzt locker 15 Stunden pro Woche. Und wenn sich was ändert, kann sie das System selbst anpassen. Keine Abhängigkeit.


Andreas: Wenn die KI dein ERP versteht

Andreas von J.S. Fenster und Türen in Amberg hat es nochmal anders gemacht. Bei ihm ging es um ein Auftragsmanagement-Dashboard. Die Auftragsdaten lagen im ERP (Work for All), aber die Monteure auf der Baustelle hatten keinen Zugriff. Rückfragen per Telefon, verlorene Details, genervte Kunden.

Wir haben die relevanten Daten per SQL-Zugriff aus dem On-Prem-Server nach Supabase gespiegelt. Ein Web-Dashboard gibt den Monteuren Echtzeit-Zugriff. Und dann der Bonus: Wenn ein Fenster kaputt ist, macht der Kunde ein Foto, lädt es hoch, die KI erkennt den Schadentyp und schlägt direkt die richtigen Ersatzteile vor. Zack, Angebot raus. 50% weniger Rückfragen.

Das ist ein echtes Firmen-KI-System. Nicht weil da irgendwo "GPT" im Namen steht. Sondern weil die KI die echten Firmendaten kennt und damit arbeitet.


Die Architektur: Einfacher als du denkst

Während Konzerne Millionen für Enterprise-Plattformen ausgeben, zeig ich dir den Weg der tatsächlich funktioniert. Für Selbständige und kleine Teams.

Die fünf Bausteine deiner Firmen-KI

  1. Chat-Oberfläche: Einfaches Web-Interface, Teams oder Slack -- was du halt schon nutzt
  2. n8n als Schaltzentrale: Alle Abläufe laufen als Workflows -- Dokumente einlesen, Fragen beantworten, Ergebnisse ausliefern. Du klickst dir das zusammen wie Lego.
  3. Supabase als Wissensspeicher: PostgreSQL-Datenbank mit Vektorsuche-Erweiterung. Speichert deine Dokumente UND deren "mathematischen Fingerabdruck" für die semantische Suche.
  4. Dateispeicher: S3-kompatibler Speicher für deine Original-Dokumente (die bleiben unangetastet)
  5. KI-Schnittstelle: Claude, GPT-5.2 oder europäische Modelle wie Mistral -- je nachdem was dir beim Datenschutz wichtig ist

Cloud, Hybrid oder Self-Hosting?

Meine Empfehlung für die meisten Teams: Hybrid. n8n und Supabase self-hosted auf einem deutschen Server (Hetzner oder Netcup -- kostet nen Appel und n Ei), KI-Calls über EU-Rechenzentren. Deine Dokumente bleiben in Deutschland. Die KI-Modelle kommen von aussen. Beste Balance aus Kontrolle und Komfort.

Wenn du komplett paranoid bist (und hey, manchmal ist das berechtigt): Komplett On-Premise mit Open-Source-Modellen wie Mistral geht auch. Mehr Aufwand, aber maximale Kontrolle.


Wie aus Dokumenten Antworten werden: Die RAG-Pipeline

Auch wenn du kein Techie bist -- du solltest verstehen was unter der Haube passiert. Ist gar nicht so wild.

1. Dokumente einlesen und aufteilen

Ein 50-seitiges PDF wird in rund 100 Abschnitte aufgeteilt. Die überlappen sich ein bisschen, damit kein Kontext verloren geht. n8n automatisiert das komplett.

2. Bedeutung in Zahlen übersetzen

Jeder Abschnitt wird von einem Embedding-Modell in einen Zahlenvektor umgewandelt. Stell dir das vor wie einen mathematischen Fingerabdruck der Bedeutung. Klingt abgefahren, passiert aber vollautomatisch. Du merkst davon nichts.

3. Speichern in der Wissensdatenbank

Supabase mit der pgvector-Erweiterung speichert diese Vektoren. Keine Raketenwissenschaft -- eine Datenbank-Erweiterung die Ähnlichkeitssuche per Abfrage ermöglicht.

4. Frage stellen, passende Abschnitte finden

Jemand fragt "Wie lange ist die Gewährleistung bei Produkt X?" -- die Frage wird ebenfalls in einen Vektor umgewandelt und gegen die Datenbank abgeglichen. Die 5-10 passendsten Abschnitte kommen zurück.

5. KI antwortet mit Quellenangabe

n8n fügt die gefundenen Abschnitte zusammen mit einem klaren Auftrag an die KI: "Antworte NUR auf Basis der folgenden Dokumente. Zitiere immer die Quelle. Wenn du nichts findest, sag das ehrlich."

Die KI generiert dann: "Laut Produkthandbuch v2.3, Abschnitt 7.2: Die Gewährleistung beträgt 24 Monate ab Lieferung." -- mit Link zum Original-Dokument.

So minimierst du Halluzinationen. Die KI kann nur das sagen, was in deinen Dokumenten steht. Und sie muss zeigen woher.


Sicherheit und Datenschutz: Kein Nachgedanke

Ich sag's mal direkt: Wenn dir jemand eine Firmen-KI verkaufen will und Datenschutz kommt erst auf Folie 47 -- lauf.

DSGVO

  • Verarbeitungsverzeichnis: Dokumentiere welche Daten wo verarbeitet werden
  • Datenschutz-Folgenabschätzung: Bei sensiblen Wissensbereichen (Personaldaten, Verträge) Pflicht
  • Transparenz: Dein Team muss wissen, dass Abfragen protokolliert werden
  • Löschkonzepte: Was passiert wenn ein Mitarbeiter geht? Wenn Dokumente veralten?

EU AI Act (ab 2026)

Ein interner Wissensassistent ist in der Regel "limited risk" -- erfordert aber trotzdem:

  • Nutzer müssen erkennen dass sie mit KI interagieren
  • Kritische Entscheidungen (Rechtsfragen, Personalthemen) dürfen nicht ungefiltert von der KI kommen
  • Logging von Abfragen, Antworten und verwendeten Quellen

Die gute Nachricht: Mit n8n Self-Hosting fliessen keine Daten an Drittplattformen -- ausser dem KI-Call, den du über EU-Rechenzentren abwickelst. Oder mit lokalen Modellen komplett umgehst.


Dein 12-Wochen-Plan zur eigenen Firmen-KI

Viele denken, ein RAG-System braucht Monate und Data Scientists. Quatsch. Mit klarem Fokus geht das in 8-12 Wochen. Ich hab's mit meinen Kunden oft genug gesehen.

Phase 1: Planung (Woche 1-3)

  • Use Case festlegen: Welches Wissensgebiet zürst? Support-Handbücher, QM-Dokumente, Fachfragen?
  • Datenquellen prüfen: Was ist vorhanden, gut strukturiert, rechtlich unbedenklich?
  • Architektur wählen: Ich empfehle den Hybrid-Ansatz für die meisten Teams
  • Verantwortlichkeiten klären: Wer pflegt das System weiter?

Phase 2: Aufbau des MVP (Woche 4-8)

  • n8n-Workflows für Dokumentenaufnahme, Chunking und Embedding aufsetzen
  • Supabase mit pgvector initialisieren, erste 50-100 Dokumente einlesen
  • Einfache Chat-Oberfläche bauen
  • Erste Testabfragen, Qualität messen, Prompts optimieren

Phase 3: Pilotbetrieb (Woche 9-12)

  • Pilotgruppe (5-15 Personen) nutzt das System produktiv
  • Feedback sammeln: Was funktioniert, wo hakt's?
  • Dokumente nachpflegen, Systemprompts schärfen, Berechtigungen verfeinern
  • Interne Schulung

Phase 4: Rollout

  • Ausweitung auf alle relevanten Bereiche
  • Regelmässige Re-Indexierung bei neuen Dokumenten
  • Laufende Pflege als fester Prozess etablieren

Was gehört rein -- und was nicht

Der Erfolg deiner Firmen-KI steht und fällt mit der Qualität der Wissensquellen. Müll rein, Müll raus. So einfach ist das.

Gute Startquellen

  • Produkthandbücher und Datenblätter
  • QM-Dokumentation und Arbeitsanweisungen
  • Interne FAQs und Wiki-Seiten
  • Richtlinien und Policies

Spätere Erweiterung

  • Support-Tickets (anonymisiert)
  • Projekt-Dokumentationen
  • E-Mail-Archive (selektiv, mit klarem Rechte-Management)

Wer darf was sehen?

Nicht jeder darf alles wissen. Dein KI-Assistent braucht ein Rollenmodell:

  • Vertrieb sieht Produkt-Specs, aber keine interne Kalkulation
  • Service sieht Support-Historie, aber keine Vertriebs-Forecasts
  • Geschäftsführung sieht alles

Technisch löst du das über Metadaten an jedem Dokument-Abschnitt. n8n filtert automatisch bevor die KI antwortet.


Pflege: Eine Firmen-KI ist kein Einmal-Projekt

Das muss ich klar sagen: Wenn du denkst "einmal einrichten und fertig" -- dann lass es. Eine Firmen-KI ist wie ein Garten. Du musst dich drum kümmern. Sonst verwildert das Ding.

Wichtige Kennzahlen

  • Nutzung: Abfragen pro Tag, aktive Nutzer
  • Qualität: Bewertung pro Antwort (Daumen hoch/runter), Fehlerrate
  • Effizienz: Antwortzeit, Reduktion der Suchzeit
  • Compliance: Alle Abfragen protokolliert? Zugriffsrechte korrekt?

Laufende Pflege

  • Wöchentlich: Neue Dokumente automatisch einlesen (n8n-Cron-Job)
  • Monatlich: Veraltete Abschnitte prüfen und archivieren
  • Quartalsweise: Gesamtreview, neue Modelle oder Prompts testen

Die häufigsten Fragen zur Firmen-KI

Was ist eine Firmen-KI?

Eine Firmen-KI ist ein KI-System das ausschliesslich auf dein eigenes Unternehmenswissen zugreift. Anders als ChatGPT, das nur allgemeines Wissen hat, kennt dein System deine Produkte, Prozesse und Richtlinien -- und antwortet nur auf Basis deiner Dokumente. Mit Quellenangabe.

Wie funktioniert RAG?

RAG ist -- ganz vereinfacht -- wenn deine KI nicht nur labern kann, sondern auch in deinen echten Firmendaten nachgucken kann. Wissensverwaltung auf Koks, wenn du so willst. Die KI sucht erst in deiner Datenbank nach passenden Dokumenten und antwortet dann NUR auf dieser Basis. So werden Halluzinationen minimiert.

Brauche ich Programmierkenntnisse?

Nein. Mit n8n und Supabase kannst du ein vollständiges RAG-System aufbauen ohne eine Zeile Code. Daniela von Holzbau Ott, Geschäftsführerin über 50, hat in 10 Coaching-Stunden gelernt, selbst Workflows zu bauen. Wenn sie das kann, kannst du das auch.

Ist mein Firmenwissen sicher?

Ja -- wenn du die richtige Architektur wählst. Mit Self-Hosting auf einem deutschen Server bleiben deine Daten in Deutschland. Nur der KI-Call geht verschlüsselt an einen externen Anbieter -- und selbst das kannst du mit lokalen Open-Source-Modellen vermeiden. Dazu kommt ein Rollen- und Rechtekonzept.

Was kostet das?

Für ein kleines Team mit 5-20 Personen: Cloud-Hosting und KI-Calls liegen im niedrigen dreistelligen Bereich pro Monat. Kein Vergleich zu Enterprise-Lösungen die fünf- oder sechsstellig kosten. Im Erstgespräch klären wir was für deine Situation realistisch ist.

Wie lange dauert das?

Mit klarem Fokus und guten Datenquellen ist ein Pilotprojekt in 8-12 Wochen produktiv. Entscheidend: Mit EINEM konkreten Use Case starten, dann schrittweise erweitern.


Und jetzt ehrlich: Was bringt's?

Guck, ich könnte dir jetzt irgendwelche Studien zitieren. Mach ich nicht. Ich erzähl dir was ich SEHE.

Karl hat 40 Jahre Fachwissen gerettet, das sonst einfach verloren gegangen wäre. Die neuen Azubis finden sich in der Hälfte der Zeit zurecht. Die erfahrenen Leute können arbeiten statt ständig die gleichen Fragen zu beantworten.

Daniela hat ihr gelbe-Zettel-Chaos in ein durchsuchbares System verwandelt. 15 Stunden pro Woche gespart. Und sie kann es SELBST pflegen.

Andreas hat sein ERP aufgebrochen und seinen Monteuren Echtzeit-Zugriff auf Auftragsdaten gegeben. 50% weniger Rückfragen.

Das sind keine Konzernprojekte. Das sind Betriebe mit 5-20 Mitarbeitern. Handwerker, Geschäftsführer, Selbständige. Leute die keinen IT-Leiter haben. Und die bauen trotzdem Sachen, die sich manche IT-Abteilung nicht traut.


Dein nächster Schritt

Du willst deine eigene Firmen-KI bauen? Nicht die LinkedIn-Demo-Version, sondern ein echtes System das an deine Daten rankommt?

Zum kostenlosen Webinar anmelden -- dort zeig ich dir live, wie ein RAG-System mit n8n und Supabase in der Praxis aussieht. Du siehst die Architektur in Aktion und kannst Fragen stellen.

Oder du willst direkt loslegen? Buch dir ein kostenloses Erstgespräch -- wir gucken gemeinsam auf deine Situation, prüfen ob eine Firmen-KI für dich Sinn macht und finden den richtigen Weg. Kein Verkaufsdruck. Nur eine ehrliche Einschätzung.

Die Frage ist nicht ob du eine Firmen-KI brauchst. Die Frage ist: Wie lange willst du noch zusehen, wie dein Firmenwissen in E-Mails, Ordnern und den Köpfen einzelner Leute versauert?

Marco Heer

Über den Autor

Marco Heer

Ex-Cisco Network Engineer (CCNP) mit 10+ Jahren IT-Erfahrung. Marco ist Gründer von Synclaro und hilft Selbstständigen und KMU, KI strategisch einzusetzen und Prozesse zu automatisieren.

Mehr zum Thema KI-Agenten

Bereit, KI in Ihrem Unternehmen einzusetzen?

In einem kostenlosen Erstgespräch analysieren wir Ihre Anforderungen und zeigen konkrete Möglichkeiten für KI-Automatisierung in Ihrem Unternehmen.