Firmen-KI bauen: Dein eigener Wissensassistent mit RAG und n8n

AI Content Team

27. November 2025

12 Min. Lesezeit

Warum eine eigene Firmen-KI das Gamechanger-Projekt für dein Unternehmen ist

Während rund 20 % der deutschen Unternehmen KI bereits produktiv nutzen, kennen die meisten kleinen Teams und Selbstständigen das Problem: Du hast ChatGPT ausprobiert, vielleicht erste Workflows mit n8n gebaut – aber zwischen Experimentieren und echtem Produktiveinsatz klafft eine Lücke. Was du brauchst, ist ein Leuchtturmprojekt, das zeigt, was KI in deinem Business wirklich kann.

Eine Firmen-KI – also ein eigener Wissensassistent auf Basis von RAG (Retrieval-Augmented Generation), n8n und Supabase – ist genau dieses Projekt. Anders als ein öffentlicher ChatGPT-Account, der dein Firmenwissen nicht kennt und Datenschutzfragen aufwirft, greift dein KI-Assistent ausschließlich auf deine eigenen, kuratierten Wissensquellen zu: Produkthandbücher, QM-Dokumente, Prozessbeschreibungen, Support-Tickets, Wikis.

Das Ergebnis? Du und dein Team findet in Sekunden Antworten, die früher Stunden Suche oder Rückfragen an Kollegen gekostet haben. Fraunhofer IPK betont: Ein besonders erfolgversprechender KI-Einsatz liegt im betrieblichen Wissensmanagement. Die Universität Bayreuth zeigt im KIWise-Whitepaper, dass Unternehmen einen erheblichen Teil der Arbeitszeit mit Informationssuche verbringen – genau hier setzt ein KI-Wissensassistent an.

So funktioniert eine Firmen-KI: RAG statt Halluzinationen

Ein KI-Wissensassistent für dein Business unterscheidet sich fundamental von Standard-KI-Tools. Während ChatGPT ohne deine Unternehmensdaten nur allgemeines Wissen liefert – und dabei oft „halluziniert" – nutzt deine Firmen-KI Retrieval-Augmented Generation (RAG):

Frage stellen: „Wie ist unser Eskalationsprozess bei Reklamationen?"
Kontextsuche (RAG): Das System durchsucht deine Wissensdatenbank nach den passendsten Dokumenten-Abschnitten
KI-Antwort mit Quellen: Die KI erhält nur diese relevanten Abschnitte als Kontext und antwortet: „Laut QM-Handbuch v3.2, Abschnitt 7.2: ..." – mit Quellenangabe

Fraunhofer IESE erklärt: Der Einsatz von RAG-Ansätzen wird empfohlen, um KI-Antworten an überprüfbare Wissensquellen zu binden. Ohne RAG rät die KI – mit RAG zitiert sie deine Dokumente.

Typische Einsatzbereiche – gerade für kleine Teams besonders wertvoll:

Onboarding: Neue Teammitglieder fragen den KI-Assistenten, statt erfahrene Kollegen zu unterbrechen
Support & Service: Kundenanfragen auf Basis aktueller Produktdoku beantworten – in Sekunden
Compliance & Richtlinien: DSGVO-, Arbeitssicherheits- oder Vertragsdetails sofort klären
Prozesswissen: „Wie buche ich Dienstreisen?", „Welche Freigaben brauche ich für Investitionen über 10.000 €?"

Praxis-Case: Dachdeckerei digitalisiert ihr Firmenwissen

Ein konkretes Beispiel aus unserer Arbeit: Eine Spenglerei und Dachdeckerei mit 12 Mitarbeitenden hatte ein altes Dokumentenmanagementsystem am End-of-Support. Statt einfach ein neues DMS zu kaufen, haben wir gemeinsam ein modernes, RAG-fähiges System mit Supabase aufgebaut.

Vorher: Wer eine Fachfrage hatte – etwa zu Flachdach-Abdichtungsnormen, Materialspezifikationen oder Sicherheitsvorschriften – musste im besten Fall den erfahrensten Gesellen fragen. Im schlechtesten Fall wurde minutenlang in Ordnern und Dateien gesucht, ohne eine klare Antwort zu finden.

Nachher: Die Mitarbeitenden tippen ihre Frage ein und bekommen in Sekunden eine fundierte Antwort – mit Verweis auf das genaue Dokument. Neue Azubis finden sich deutlich schneller zurecht, und die erfahrenen Handwerker werden nicht mehr ständig aus ihrer Arbeit gerissen.

Dieses Beispiel zeigt: Eine Firmen-KI ist kein Konzernthema. Gerade Betriebe mit 5 bis 20 Mitarbeitenden, die viel Fachwissen in den Köpfen einzelner Personen haben, profitieren enorm.

Architektur: n8n, Supabase und RAG – einfach erklärt

Während Konzerne teure Enterprise-Plattformen kaufen, zeigt Synclaro einen praktischeren Weg: Firmen-KI bauen mit Standard-Tools, die du selbst verstehst und erweitern kannst.

Die fünf Bausteine deiner Firmen-KI

Chat-Oberfläche: Einfaches Web-Interface, Microsoft Teams oder Slack
Orchestrierung (n8n): Alle Abläufe – vom Einlesen neuer Dokumente bis zur Beantwortung von Fragen – laufen als n8n-Workflows. n8n bietet DSGVO-konforme Hosting-Optionen
Wissensspeicher (Supabase): Postgres-Datenbank mit pgvector-Erweiterung – speichert sowohl Metadaten als auch die Vektoren für die semantische Suche
Dateispeicher: S3-kompatibler Speicher für deine Original-Dokumente
KI-Schnittstelle: OpenAI, Anthropic Claude oder europäische Modelle wie Mistral – je nach Datenschutzanforderung

AWS beschreibt diese RAG-Architektur als Standardmuster für produktive KI-Wissensassistenten.

Cloud, Hybrid oder Self-Hosting?

Cloud-gehostet (Supabase Cloud + n8n Cloud + OpenAI): Schnellster Start, wenig IT-Aufwand
Hybrid (n8n und Supabase auf deutscher VM, KI-API extern): Gute Balance aus Kontrolle und Komfort – unsere Empfehlung für die meisten Teams
Komplett On-Premise (inkl. Open-Source-KI wie Llama oder Mistral): Maximale Datenkontrolle, höherer Aufwand

Für Selbstständige und kleine Teams empfehlen wir den Hybrid-Ansatz: n8n und Supabase self-hosted auf einem deutschen Server (Hetzner, Netcup), KI-Calls über das EU-Rechenzentrum von OpenAI – so bleiben deine Dokumente in Deutschland, während du die besten KI-Modelle nutzt.

RAG-Pipeline: Wie aus Dokumenten Antworten werden

Auch ohne Entwickler-Hintergrund solltest du verstehen, wie ein RAG-System funktioniert. Hier die fünf Schritte, die jede Abfrage durchläuft:

1. Dokumente einlesen und aufteilen

Ein 50-seitiges PDF wird in rund 100 Abschnitte (sogenannte Chunks) aufgeteilt – mit Überlappung, damit kein Kontext verloren geht. n8n-Workflows automatisieren das Einlesen, Aufbereiten und Speichern.

2. Bedeutung in Zahlen übersetzen (Embedding)

Jeder Abschnitt wird von einem Embedding-Modell in einen Zahlenvektor verwandelt – eine Art mathematischer Fingerabdruck der Bedeutung. Klingt kompliziert, passiert aber vollautomatisch im Hintergrund.

3. Speichern in der Wissensdatenbank

Supabase mit pgvector speichert diese Vektoren. Das ist keine Raketenwissenschaft – es ist eine Datenbank-Erweiterung, die Ähnlichkeitssuche per einfacher Abfrage ermöglicht.

4. Frage stellen, ähnliche Abschnitte finden

Wenn jemand fragt „Wie lange ist die Gewährleistung bei Produkt X?", wird diese Frage ebenfalls in einen Vektor umgewandelt und gegen die Datenbank abgeglichen. Die 5 bis 10 passendsten Abschnitte werden zurückgegeben.

5. KI antwortet mit Quellenangabe

n8n fügt die gefundenen Abschnitte zusammen mit einem klaren Auftrag an die KI: „Antworte NUR auf Basis der folgenden Dokumente. Zitiere immer die Quelle. Wenn du nichts findest, sag das ehrlich."

Die KI generiert dann zum Beispiel: „Laut Produkthandbuch v2.3, Abschnitt 7.2: Die Gewährleistung beträgt 24 Monate ab Lieferung." – mit Link zum Original-Dokument.

So minimierst du Halluzinationen, wie Fraunhofer IESE betont: Strenge Prompts, Quellenpflicht und klare Konfidenz-Schwellen.

Sicherheit, DSGVO und EU AI Act: Von Anfang an richtig

Viele Unternehmen zögern beim KI-Einsatz – oft aus Unsicherheit über Datenschutz und Regulierung. Ein eigener KI-Wissensassistent muss DSGVO und EU AI Act erfüllen:

DSGVO-Anforderungen

Verarbeitungsverzeichnis: Dokumentiere, welche Daten wo verarbeitet werden
Datenschutz-Folgenabschätzung: Bei sensiblen Wissensbereichen (Personaldaten, Verträge) Pflicht
Transparenz: Dein Team muss wissen, dass Abfragen protokolliert werden – und warum
Löschkonzepte: Wie gehst du mit Mitarbeiter-Austritten oder veralteten Dokumenten um?

EU AI Act (ab 2026 verpflichtend)

Der Bayerische KI-Leitfaden 2025 zeigt, dass auch interne KI-Assistenten eine Risikoklassifizierung brauchen. Ein Wissensassistent ist in der Regel „limited risk" – erfordert aber trotzdem:

Transparenz: Nutzer müssen erkennen, dass sie mit KI interagieren
Human Oversight: Kritische Entscheidungen (z. B. Rechtsfragen) dürfen nicht ungefiltert von der KI kommen
Auditfähigkeit: Logging von Abfragen, Antworten und verwendeten Quellen

Die gute Nachricht: Mit n8n Self-Hosting fließen keine Daten an Drittplattformen – außer dem KI-Call, den du über EU-Rechenzentren oder lokale Modelle abwickelst.

Schritt-für-Schritt: In 12 Wochen zur eigenen Firmen-KI

Viele denken, ein RAG-System braucht Monate und Data Scientists. Praxisbeispiele zeigen, dass ein Pilotprojekt mit klarem Fokus in 8 bis 12 Wochen produktiv gehen kann – wenn Architektur, Daten und Skills stimmen.

Phase 1: Planung (Woche 1–3)

Use Case festlegen: Welches Wissensgebiet zuerst? (z. B. Support-Handbücher, QM-Dokumente, Fachfragen)
Datenquellen prüfen: Was ist vorhanden, gut strukturiert, rechtlich unbedenklich?
Architektur wählen: Cloud, Hybrid oder Self-Hosting?
Verantwortlichkeiten klären: Wer kümmert sich um Pflege und Weiterentwicklung?

Phase 2: Aufbau des MVP (Woche 4–8)

n8n-Workflows für Dokumentenaufnahme, Chunking und Embedding aufsetzen
Supabase mit pgvector initialisieren, erste 50 bis 100 Dokumente einlesen
Einfache Chat-Oberfläche erstellen (n8n-Webhook + Frontend oder Teams-Bot)
Erste Testabfragen durchführen, Qualität messen, Prompts optimieren

Phase 3: Pilotbetrieb und Feintuning (Woche 9–12)

Pilotgruppe (5 bis 15 Personen) nutzt das System produktiv
Feedback sammeln: Welche Fragen funktionieren gut, wo hakt es?
Dokumente nachpflegen, Systemprompts schärfen, Berechtigungen verfeinern
Interne Schulung und Kommunikation

Phase 4: Rollout

Ausweitung auf alle relevanten Bereiche
Verantwortliches Team übernimmt Wartung und Weiterentwicklung
Regelmäßige Re-Indexierung bei neuen Dokumenten

Datenquellen und Rechte: Was gehört in deine Firmen-KI?

Der Erfolg deiner Firmen-KI steht und fällt mit der Qualität der Wissensquellen. Das KIWise-Whitepaper zeigt: Wer mit strukturierten, gepflegten Quellen startet, erzielt deutlich höhere Akzeptanz.

Gute Startquellen

Produkthandbücher und Datenblätter (PDF, Markdown)
QM-Dokumentation (ISO-Handbücher, Arbeitsanweisungen)
Interne FAQs und Wiki-Seiten
Richtlinien und Policies (Datenschutz, Arbeitszeit, Spesen)

Spätere Erweiterung

Support-Tickets (anonymisiert und kategorisiert)
Projekt-Dokumentationen (Lessons Learned, Abschlussberichte)
E-Mail-Archive (selektiv, mit klarem Rechte-Management)

Wer darf was sehen?

Nicht jeder darf alles wissen. Dein KI-Assistent braucht ein einfaches Rollenmodell:

Vertrieb sieht Produkt-Specs und Preislisten, aber keine interne Kalkulation
Service sieht Support-Historie und Handbücher, aber keine Vertriebs-Forecasts
Geschäftsführung sieht alles

Technisch löst du das über Metadaten: Jeder Abschnitt bekommt Tags wie role:vertrieb oder confidentiality:intern. n8n filtert automatisch, bevor die KI antwortet.

Governance und Wartung: Eine Firmen-KI ist kein Einmal-Projekt

Ein KI-Wissensassistent ist kein „einmal einrichten und vergessen"-Projekt. Fraunhofer IAO betont, dass Datenqualität und laufende Pflege entscheidend sind.

Wichtige Kennzahlen für deinen KI-Assistenten

Nutzung: Abfragen pro Tag, aktive Nutzer
Qualität: Bewertung pro Antwort (Daumen hoch/runter), Fehlerrate
Effizienz: Antwortzeit, Reduktion der Suchzeit (vorher/nachher)
Compliance: Alle Abfragen protokolliert? Zugriffsrechte korrekt?

Laufende Pflege

Wöchentlich: Neue Dokumente automatisch einlesen (n8n-Cron-Job)
Monatlich: Veraltete Abschnitte prüfen und archivieren
Quartalsweise: Gesamtreview, neue KI-Modelle oder Prompts testen

FAQ: Die wichtigsten Fragen zur eigenen Firmen-KI

Was ist eine Firmen-KI bzw. ein Company GPT?

Eine Firmen-KI ist ein KI-Chatbot, der ausschließlich auf dein eigenes Unternehmenswissen zugreift. Anders als ChatGPT, das nur allgemeines Wissen hat, kennt dein KI-Assistent deine Produkte, Prozesse und Richtlinien – und antwortet nur auf Basis deiner Dokumente.

Brauche ich Programmierkenntnisse, um eine Firmen-KI aufzubauen?

Nein. Mit No-Code-Tools wie n8n und Supabase kannst du ein vollständiges RAG-System aufbauen, ohne eine Zeile Code zu schreiben. Ein Community-Beispiel auf Reddit zeigt: Selbst Nicht-Entwickler bauen komplette RAG-Systeme mit n8n + Supabase. Synclaro bietet dafür fertige Blueprints und Schritt-für-Schritt-Anleitungen.

Wie funktioniert RAG (Retrieval-Augmented Generation)?

RAG ist die Technik, die deine Firmen-KI zuverlässig macht. Statt frei zu „raten", sucht die KI zuerst in deiner Wissensdatenbank nach passenden Dokumenten-Abschnitten und antwortet dann nur auf dieser Basis – immer mit Quellenangabe. So werden Halluzinationen minimiert.

Ist mein Firmenwissen in einer eigenen KI sicher?

Ja – wenn du die richtige Architektur wählst. Mit Self-Hosting auf einem deutschen Server bleiben deine Daten in Deutschland. Nur der KI-Call geht (verschlüsselt) an einen externen Anbieter – und selbst das kannst du mit lokalen Open-Source-Modellen vermeiden. Dazu kommt ein Rollen- und Rechtekonzept, das steuert, wer welche Informationen sehen darf.

Was kostet es, eine eigene Firmen-KI aufzusetzen?

Das hängt von Teamgröße und Komplexität ab. Für ein kleines Team mit 5 bis 20 Personen ist der Einstieg mit Cloud-Tools bereits mit überschaubarem Budget möglich. Die laufenden Kosten für Cloud-Hosting und KI-Calls liegen je nach Nutzung im niedrigen dreistelligen Bereich pro Monat. Im kostenlosen Erstgespräch klären wir, was für deine Situation realistisch ist.

Wie lange dauert es, bis meine Firmen-KI einsatzbereit ist?

Mit klarem Fokus und guten Datenquellen ist ein Pilotprojekt in 8 bis 12 Wochen produktiv. Entscheidend ist, mit einem konkreten Use Case zu starten (z. B. Produktwissen oder QM-Dokumente) und dann schrittweise zu erweitern.

So gehst du jetzt weiter

Du weißt jetzt, wie eine Firmen-KI mit RAG, n8n und Supabase funktioniert – von der Architektur über die Umsetzung bis zum laufenden Betrieb. Kein Spielzeug-Chatbot, sondern ein produktives System, das Suchzeiten drastisch senkt und Wissen zugänglich macht.

Webinar: Firmen-KI in der Praxis

In unserem kostenlosen Webinar zeigen wir live, wie du dein eigenes RAG-System mit n8n und Supabase aufbaust. Du siehst die Architektur in Aktion, bekommst praktische Tipps und kannst deine Fragen stellen. Jetzt kostenlos anmelden.

Persönliche Begleitung gewünscht?

In unserem Intensiv-Coaching arbeiten wir gemeinsam daran, dass du und dein Team die eigene Firmen-KI selbst aufbauen und weiterentwickeln könnt – von der ersten Architektur-Entscheidung bis zum produktiven Rollout.

Strategisches KI-Wissen für Entscheider

Das Mastermind Retreat vom 26. Februar bis 2. März 2026 bringt Unternehmer zusammen, die in 5 Tagen das strategische Fundament für KI-Entscheidungen legen wollen – kompakt, praxisnah und ohne Technik-Overload.

Lieber selbst lernen?

Der Videokurs bietet 48 Stunden Inhalte in 17 Kapiteln – von den ersten n8n-Workflows bis zu fertigen RAG-Systemen. Mit Blueprints, Schritt-für-Schritt-Anleitungen und Community-Support.

Der erste Schritt ist ein Gespräch.

Vereinbare ein kostenloses Erstgespräch – wir schauen gemeinsam auf deine Situation, bewerten die Eignung einer Firmen-KI für dein Business und finden den richtigen Weg. Kein Verkaufsdruck, keine Standardlösungen – nur eine ehrliche Einschätzung.

Deine eigene Firmen-KI ist kein Zukunftsprojekt – sie ist der logische nächste Schritt für jedes Unternehmen, das KI wirklich produktiv nutzen will. Die Frage ist nicht ob, sondern wann. Lass uns gemeinsam starten.

Über den Autor