Company GPT bauen: KMU-Leitfaden 2025 mit RAG & n8n

AI Content Team

27. November 2025

12 Min. Lesezeit

Company GPT bauen: KMU-Leitfaden 2025 mit RAG & n8n

Warum ein Company GPT das Signature-Projekt für KMU-KI-Transformation ist

Während rund 20% der deutschen Unternehmen KI bereits produktiv nutzen, stehen KMU vor einem konkreten Problem: Die Lücke zwischen ChatGPT-Experimenten und echten, produktiven Unternehmenssystemen. Sie haben Ihre Teams in KI-Grundlagen geschult, vielleicht ein Kernteam gebildet und erste Workflows mit n8n gebaut. Jetzt brauchen Sie ein Leuchtturm-Projekt, das zeigt, wozu KI im eigenen Unternehmen wirklich fähig ist. Ein Company GPT – ein firmeneigener Wissensassistent basierend auf RAG (Retrieval-Augmented Generation), n8n und Supabase – ist genau dieses Projekt. Anders als öffentliche ChatGPT-Accounts, die kein Unternehmenswissen besitzen und Datenschutzrisiken bergen, greift Ihr Company GPT ausschließlich auf interne, kuratierte Wissensquellen zu: Produkthandbücher, QM-Dokumente, Prozessbeschreibungen, Support-Tickets, Wikis. Das Ergebnis? Mitarbeitende finden in Sekunden Antworten, die früher Stunden Suche oder Rückfragen an Kollegen kosteten. Fraunhofer IPK betont: „Ein erfolgversprechender Einsatz dieser Art generativer KI liegt im Bereich des betrieblichen Wissensmanagements." Die Universität Bayreuth zeigt im KIWise-Whitepaper, dass KMU einen erheblichen Teil der Arbeitszeit mit Informationssuche verbringen – genau hier setzt der Knowledge Assistant für Unternehmen an.

So funktioniert ein Company GPT im KMU: RAG statt Halluzinationen

Ein Wissensassistent Unternehmen unterscheidet sich fundamental von Standard-LLMs. Während ChatGPT ohne Unternehmensdaten nur allgemeines Wissen liefert – und dabei oft „halluziniert" – nutzt Ihr Company GPT Retrieval-Augmented Generation:

Nutzerfrage: „Wie ist unser Eskalationsprozess bei Reklamationen?"
Kontextsuche (RAG): Das System durchsucht Ihre Vektordatenbank (pgvector) nach den semantisch ähnlichsten Dokumenten-Chunks
LLM-Antwort mit Quellen: GPT-4o erhält nur diese relevanten Chunks als Kontext und antwortet: „Laut QM-Handbuch v3.2, Seite 47: ..." Fraunhofer IESE erklärt: „Der Einsatz von RAG-Ansätzen wird empfohlen, um Antworten an überprüfbare Wissensquellen im Unternehmen zu binden." Ohne RAG rät das LLM – mit RAG zitiert es Ihre Dokumente. Typische Use Cases für KI Automatisierung lernen im KMU-Kontext:

Onboarding: Neue Mitarbeitende fragen den Company GPT statt erfahrene Kollegen zu unterbrechen
Support & Service: Erste Ebene beantwortet Kundenanfragen auf Basis aktueller Produktdokumentationen
Compliance & Richtlinien: Vertrieb und Projektteams klären DSGVO-, Arbeitssicherheits- oder Vertragsdetails sofort
Prozesswissen: „Wie buche ich Dienstreisen?", „Welche Freigaben brauche ich für Investitionen über 10.000 €?"

Architektur-Blueprint: n8n, Supabase & RAG für KMU

Während große Konzerne proprietäre Enterprise-Plattformen kaufen, zeigt SYNCLARO KMU den Implementation-Bridge-Ansatz: Ein Company GPT bauen mit Standard-Tools, die Sie selbst beherrschen und erweitern können.

Die fünf Kern-Komponenten (KI Wissensdatenbank KMU)

Chat-Frontend: Web-Interface, Microsoft Teams- oder Slack-Bot
Orchestrierung (n8n): Alle Workflows – von Dokumentenaufnahme bis Query-Routing – laufen in n8n. n8n bietet DSGVO-konforme Self-Hosting-Optionen
Wissensspeicher (Supabase/Postgres): Postgres mit pgvector-Extension speichert sowohl strukturierte Metadaten (Dokumententitel, Versionen, Berechtigungen) als auch hochdimensionale Vektor-Embeddings für semantische Suche
Objektspeicher: S3-kompatible Ablage (z.B. MinIO self-hosted oder EU-Cloud) für Original-Dokumente
LLM-API: OpenAI GPT-4o, Anthropic Claude oder EU-Modelle (Aleph Alpha, Mistral) – je nach Datenschutzanforderungen AWS Prescriptive Guidance beschreibt diese RAG-Architektur als Standardmuster für produktive KI-Wissensassistenten.

Cloud vs. Self-Hosting: Entscheidungsbaum für KMU

Vollständig Cloud-gehostet (z.B. Supabase Cloud + n8n Cloud + OpenAI EU): Schnellster Start, geringste IT-Last, höhere monatliche Kosten (~500-2.000 €/Monat je nach Nutzung)
Hybrid (n8n & Supabase self-hosted auf deutscher VM, LLM-API extern): Balance zwischen Kontrolle und Komfort
Vollständig On-Premise (inkl. Open-Source-LLM wie Llama oder Mistral): Maximale Datenkontrolle, höchste Anfangsinvestition, erfordert GPU-Server Für die meisten KMU mit 50-500 Mitarbeitenden empfiehlt SYNCLARO den Hybrid-Ansatz: n8n RAG Supabase self-hosted auf Hetzner/NetCup, LLM-Calls zu OpenAI im EU-Rechenzentrum – so bleiben Unternehmensdokumente in Deutschland, während Sie die besten LLMs nutzen.

Datenquellen & Wissensdesign: Was gehört in Ihren RAG System bauen-Prozess?

Der Erfolg Ihres Company GPT steht und fällt mit der Qualität der Wissensquellen. Das KIWise-Whitepaper zeigt: Unternehmen, die mit strukturierten, gepflegten Quellen starten, erzielen deutlich höhere Akzeptanz als solche, die chaotische Dateiablagen ungefiltert einlesen.

Start: Hochstrukturierte Quellen (Phase 1, Woche 1-4)

Produkthandbücher & Datenblätter (PDF, Markdown)
QM-Dokumentation (ISO-Handbücher, Arbeitsanweisungen)
Interne FAQs & Wiki-Seiten (Confluence, Notion)
Richtlinien & Policies (Datenschutz, Arbeitszeit, Spesen)

Erweiterung: Semi-strukturierte Quellen (Phase 2, ab Monat 3)

Support-Tickets (JIRA, Zendesk – anonymisiert und kategorisiert)
Projekt-Dokumentationen (Lessons Learned, Abschlussberichte)
E-Mail-Archive (selektiv, mit strengem Rechte-Management)

Daten-Governance & Rechte

Nicht jeder darf alles wissen. Ihr Company GPT im KMU braucht Rollenmodelle:

Vertrieb sieht Produkt-Specs und Preislisten, aber keine internen Kostenkalkulation
Service sieht Support-Historie und Handbücher, aber keine Vertriebs-Forecasts
Geschäftsführung sieht alles Technisch lösen Sie das durch Metadaten in Postgres: Jeder Chunk erhält Tags wie role:vertrieb, department:technik, confidentiality:intern. n8n filtert vor dem LLM-Call.

RAG-Pipeline im Detail: Von Dokumenten zu Antworten

Auch ohne Entwickler-Hintergrund sollten Entscheider verstehen, wie RAG System bauen funktioniert. Hier die fünf Schritte, die jede Abfrage durchläuft:

1. Dokumentenaufnahme & Chunking

Ein 50-seitiges PDF wird in ~100 Chunks à 500-1.000 Zeichen geteilt – mit Überlappung, damit Kontext nicht reißt. n8n-Workflows automatisieren das Einlesen, Parsen (PDF → Text), Chunking und Speichern in Postgres.

2. Embedding-Generierung

Jeder Chunk wird von OpenAI text-embedding-3-large (oder alternativ Open-Source-Modelle) in einen Vektor mit 3.072 Dimensionen verwandelt – eine mathematische Repräsentation der Bedeutung.

3. Speicherung in pgvector-Wissensdatenbank

Supabase/Postgres mit pgvector-Extension speichert diese Vektoren. pgvector Wissensdatenbank ist keine Raketenwissenschaft – es ist eine Postgres-Extension, die Ähnlichkeitssuche per SQL ermöglicht: SELECT * FROM chunks ORDER BY embedding <-> $query_vector LIMIT 5.

4. Nutzerfrage → Embedding → Ähnlichkeitssuche

Wenn jemand fragt „Wie lange ist die Gewährleistung bei Produkt X?", wird diese Frage ebenfalls in einen Vektor konvertiert und gegen die Datenbank gesucht. Die 5-10 ähnlichsten Chunks werden zurückgegeben.

5. LLM-Call mit Kontext & Quellenpflicht

n8n fügt die gefundenen Chunks plus einen Systemprompt zusammen: „Du bist ein Unternehmensassistent. Antworte NUR auf Basis der folgenden Dokumente. Zitiere immer die Quelle. Wenn keine passende Information vorliegt, sage: 'Dazu finde ich keine Informationen.'" GPT-4o generiert: „Laut Produkthandbuch v2.3, Abschnitt 7.2: Die Gewährleistung beträgt 24 Monate ab Lieferung." – mit Link zum Original-Dokument. So minimieren Sie Halluzinationen, wie Fraunhofer IESE betont: Strenge Prompts, Quellenpflicht, Konfidenz-Schwellen.

Security, DSGVO & EU AI Act: Compliance by Design

Nur 9% der KMU nutzen KI bereits – oft aus Unsicherheit über Rechtsfragen. Ein KI Wissensassistent muss DSGVO und EU AI Act genügen:

DSGVO-Anforderungen

Verarbeitungsverzeichnis: Dokumentieren Sie, welche Daten wo fließen (Postgres, LLM-API, Logs)
Datenschutz-Folgenabschätzung: Bei sensiblen Wissensbereichen (Personaldaten, Verträge) Pflicht
Transparenz: Mitarbeitende müssen wissen, dass Abfragen protokolliert werden – und zu welchem Zweck
Löschkonzepte: Wie gehen Sie mit Mitarbeiter-Austritten oder veralteten Dokumenten um?

EU AI Act (ab 2026 verpflichtend)

Der Bayerische KI-Leitfaden 2025 zeigt, dass auch interne Assistenten Risikoklassifizierung brauchen. Ein Wissensassistent mit Zugriff auf Compliance-Dokumente ist wahrscheinlich „limited risk" – erfordert aber trotzdem:

Transparenz: Nutzer müssen erkennen, dass sie mit KI interagieren
Human Oversight: Kritische Entscheidungen (z.B. Rechtsfragen) dürfen nicht ungefiltert vom Bot kommen
Auditfähigkeit: Logging von Abfragen, Antworten und verwendeten Quellen n8n bietet Self-Hosting-Optionen, sodass kein Datenfluss zu Drittplattformen nötig ist – außer dem LLM-Call, den Sie via EU-Rechenzentren (OpenAI Azure EU, Anthropic EU) oder On-Premise-Modelle lösen.

Implementierungsfahrplan 2025/26: 12-18 Wochen zum produktiven Company GPT

Viele KMU glauben, ein RAG System bauen dauert Monate und braucht Data Scientists. Die imos AG zeigte, dass ein Pilotprojekt mit klarem Scope in 8-12 Wochen produktiv gehen kann – wenn Architektur, Daten und Skills stimmen.

Phase 1: Scoping & Architektur (Wochen 1-3)

Use-Case-Definition: Welches Wissensgebiet zuerst? (z.B. Support-Handbücher oder QM-Dokumente)
Datenquellen-Audit: Was ist vorhanden, strukturiert, rechtlich unbedenklich?
Architektur-Entscheidung: Cloud, Hybrid oder Self-Hosting? Welcher LLM-Anbieter?
Team-Rollen: Wer ist Owner (KI-Kernteam), wer Pilot-User, wer IT-Betrieb?

Phase 2: RAG-MVP & Datenaufbereitung (Wochen 4-9)

n8n-Workflows für Dokumenten-Ingestion, Chunking, Embedding-Generierung aufsetzen
Supabase/Postgres mit pgvector initialisieren, erste 50-100 Dokumente indizieren
Einfache Chat-UI (z.B. als n8n-Webhook + minimales Frontend oder Teams-Bot)
Erste Testabfragen: Qualität messen, Prompts optimieren, Chunking-Strategie anpassen

Phase 3: Pilot, Monitoring & Feintuning (Wochen 10-16)

Pilotgruppe (10-20 Mitarbeitende) nutzt System produktiv
Monitoring-Dashboard: Wie viele Abfragen? Zufriedenheitsrating? Antwortzeit?
Iterative Verbesserung: Dokumente nachpflegen, Systemprompte schärfen, Berechtigungen verfeinern
Change Management: Interne Kommunikation, Schulungen, FAQ zur Nutzung

Phase 4: Rollout & Übergang in Betrieb (ab Woche 17)

Ausweitung auf alle relevanten Abteilungen
Owner-Team übernimmt Wartung: Re-Indexierung bei neuen Dokumenten, Qualitätssicherung, Support
Dokumentation und Runbooks für IT-Betrieb Gesamtaufwand für KMU (100-250 Mitarbeitende): €15.000-40.000 initial (Setup, Datenaufbereitung, Coaching) + ~€500-2.000/Monat Betriebskosten (Cloud/LLM-Calls).

ROI-Logik: Warum sich ein Company GPT rechnet

Laut IW Köln sehen Unternehmen KI als Wettbewerbsfaktor – scheitern aber an messbarem Nutzen. Hier ein konkretes Rechenbeispiel für KI für KMU:

Beispiel: 150-Mitarbeiter-Unternehmen, Maschinenbau

Problemkosten ohne Company GPT:

150 Mitarbeitende suchen durchschnittlich 30 Min/Tag nach Informationen = 75h/Tag = 375h/Woche
Bei €50 Lohnkosten/h = €18.750/Woche = €975.000/Jahr für Informationssuche
Annahme: 20% davon ist redundant oder führt zu Fehlern wegen veralteter Infos = €195.000 Verbesserungspotenzial Einsparungen durch Company GPT:
Reduktion der Suchzeit um 30% (konservativ) = 22,5h/Tag = €56.250/Woche = €2,9 Mio/Jahr
Schnellere Einarbeitung neuer Mitarbeitender: -2 Wochen Onboarding-Zeit = ~€8.000/Neueinstellung × 15 neue/Jahr = €120.000/Jahr
Weniger Supportrückfragen: Entlastung von 2 Senior-Experten je 5h/Woche = €26.000/Jahr Gesamtpotenzial: ~€3 Mio/Jahr bei €40.000 initialer Investition → ROI nach 1-2 Monaten. Selbst mit vorsichtiger Rechnung (10% Suchzeit-Reduktion) bleibt ein massiver Business Case.

Skill Progression: Vom ChatGPT-User zum Automation Builder

Die meisten KI Automatisierung lernen-Programme stoppen bei Prompt Engineering und einfachen ChatGPT-Workflows. Die Mittelstand-Digital-Studie zeigt: KMU brauchen Befähigung für konkrete Implementierung, nicht nur Konzepte.

Level-Sprung: Von ChatGPT (Level 40) zu RAG-Systemen (Level 85)

Level 20-40: ChatGPT nutzen, Prompts schreiben, erste n8n-Workflows → Hier stoppen die meisten Kurse
Level 50-70: Datenmodelle verstehen, APIs integrieren, Webhooks & Authentifizierung → n8n RAG Supabase Grundlagen
Level 75-85: Vektordatenbanken, Embedding-Pipelines, RAG-Architekturen, Monitoring & Governance → Production-ready Company GPT

Welche Skills braucht Ihr Team?

Geschäftsführer: Strategisches Verständnis von RAG, Business-Case-Rechnung, Compliance-Anforderungen
KI-Kernteam (2-4 Personen): n8n-Workflows bauen, Supabase-Datenbanken modellieren, Prompts optimieren, Monitoring aufsetzen
Citizen Developer: Dokumente aufbereiten, Testabfragen durchführen, Feedback sammeln, kleinere Anpassungen selbst machen

Lernpfade bei SYNCLARO

Intensiv-Coaching: 100-150 Stunden 1:1 oder in Gruppen – vom ersten Workflow bis zum produktiven Company GPT
Mastermind Retreat (26. Feb - 2. März 2026): 5 Tage strategisches KI-Entscheidungswissen für Geschäftsführer
Videokurs: 48 Stunden Content in 17 Kapiteln – RAG-Architekturen, n8n-Blueprints, Vibe Coding mit KI Ein Community-Beispiel auf Reddit zeigt: Selbst Nicht-Entwickler bauen vollwertige RAG-Systeme mit n8n + Supabase + OpenAI – wenn sie die richtigen Blueprints haben.

Governance, Monitoring & Wartung: Der Company GPT als lebendiges System

Ein Knowledge Assistant für Unternehmen ist kein „Set-and-Forget"-Projekt. Fraunhofer IAO betont, dass Datenqualität und laufende Pflege entscheidend sind.

KPIs für Ihren Wissensassistenten

Nutzung: Abfragen/Tag, aktive User, Abdeckung der Abteilungen
Qualität: Durchschnittliches Rating pro Antwort (Daumen hoch/runter), False-Positive-Rate
Effizienz: Antwortzeit, Suchzeit-Reduktion (vorher/nachher-Messung)
Compliance: Alle Abfragen protokolliert? Sensible Bereiche mit Access-Control?

Change Management & interne Kommunikation

Kick-off-Workshop: Was kann der Bot, was nicht? Wie stelle ich gute Fragen?
Champions-Programm: Power-User in jeder Abteilung, die Kollegen helfen
Feedback-Kanal: Slack-Channel oder Ticketsystem für schlechte Antworten → Owner-Team verbessert Prompts/Daten
Regelmäßige Reviews: Quartalsweise Auswertung der KPIs, Roadmap-Planung

Wartung & Re-Indexierung

Unternehmenswissen ändert sich: Neue Produktversionen, überarbeitete Richtlinien, abgeschlossene Projekte. Ihr Owner-Team plant:

Wöchentlich: Neue Dokumente aus definierten Quellen automatisch einlesen (n8n-Cron)
Monatlich: Alte Chunks auf Aktualität prüfen, veraltete Versionen archivieren
Quartalsweise: Vollständiger Datenbank-Review, A/B-Tests mit neuen LLMs oder Prompts

Ihre nächsten Schritte zur digitalen Autonomie

Sie haben gesehen, wie ein Company GPT im KMU mit RAG, n8n und Supabase von der Architektur über die Implementierung bis zum Betrieb funktioniert. Sie verstehen, dass dies kein Spielzeug-Chatbot ist, sondern ein produktives System, das Suchzeiten drastisch senkt, Wissen demokratisiert und Ihr Team befähigt. Jetzt stellt sich die Frage: Wie kommen Sie vom Wissen zum Können? Option 1: Intensive persönliche Transformation In unserem Intensiv-Coaching arbeiten wir 100-150 Stunden gemeinsam daran, dass Sie zu den Top 1% der Unternehmen gehören, die KI wirklich meistern. Wir bauen Ihren Company GPT gemeinsam mit Ihrem KI-Kernteam – von der Architektur-Entscheidung über Datenaufbereitung bis zum produktiven Rollout. 1:1 oder in Gruppen – Sie entscheiden. Option 2: Strategische Entscheidungskompetenz in 5 Tagen Das Mastermind Retreat vom 26. Februar bis 2. März 2026 bringt Geschäftsführer zusammen, die in kompakter Zeit das strategische Fundament für KI-Entscheidungen legen wollen. Sie verstehen nach diesen 5 Tagen, ob ein Company GPT für Ihr Unternehmen Sinn macht, welche Architektur passt und wie Sie den Business Case rechnen. Option 3: Strukturiertes Selbstlernen mit Blueprint Der Videokurs bietet 48 Stunden Content in 17 Kapiteln – von den ersten n8n-Workflows bis zu production-ready RAG-Systemen. Sie erhalten die n8n-Blueprints für Company-GPT-Architekturen, Schritt-für-Schritt-Anleitungen für Supabase/pgvector und konkrete Prompt-Templates. In Ihrem Tempo, mit Community-Support. Option 4: Professionelle Umsetzung beauftragen Keine Zeit oder Ressourcen für DIY? Unser Done-For-You Service setzt Ihren Company GPT professionell um – von der Anforderungsanalyse über Architektur und Implementierung bis zu Schulung und Übergabe. Sie erhalten ein betriebsbereites System und ein befähigtes Owner-Team. Der erste Schritt ist immer ein Gespräch. Vereinbaren Sie ein kostenloses Erstgespräch – wir analysieren gemeinsam Ihre Wissenslandschaft, bewerten die Eignung eines Company GPT für Ihr Unternehmen und finden heraus, welcher Weg für Ihre Situation der richtige ist. Kein Verkaufsdruck, keine Standardlösungen – nur ehrliche Einschätzung, ob und wie ein eigener Wissensassistent Ihr Unternehmen nach vorne bringt. Company GPT ist kein Zukunftsprojekt mehr – es ist der Signature-Use-Case 2025/26 für KMU, die KI wirklich verstanden haben. Die Frage ist nicht mehr „ob", sondern „wann" und „wie". Lassen Sie uns gemeinsam Ihren Weg finden.