01 · Vorbereiten
Das brauchst du für den Start.
- Ein abgegrenzter Wissensbestand, zum Beispiel Handbücher, Leistungsbeschreibungen oder Projektberichte.
- Zehn Testfragen mit bekannter richtiger Antwort.
- Ein KI-Zugang im Firmenkonto mit geklärtem Datenschutz.
- Eine Entscheidung, welche Inhalte die KI verwenden darf und welche nicht.
02 · Nachmachen
So baust du den Ablauf auf.
Verstehen, was RAG eigentlich macht
Bei RAG wird die Frage zuerst gegen deinen Wissensbestand gesucht. Die passendsten Stellen werden der KI zusammen mit der Frage übergeben, und sie formuliert daraus die Antwort mit Quellenangabe. Die KI lernt dabei nichts dauerhaft dazu, sie liest nur die Stellen, die ihr gezeigt werden.
Prüfpunkt: Du kannst in zwei Sätzen erklären, warum die Antwort nur so gut ist wie die gefundenen Stellen.
Dokumente in sinnvolle Abschnitte zerlegen
Lange Dokumente werden in Abschnitte geteilt, die jeweils einen Gedanken enthalten, zum Beispiel ein Kapitel oder einen Arbeitsschritt. Jeder Abschnitt behält Titel, Dokument, Stand und Fundstelle. Zu große Abschnitte verwässern die Suche, zu kleine verlieren den Zusammenhang.
Prüfpunkt: Ein beliebiger Abschnitt ist für sich verständlich und nennt seine Herkunft.
Suche nach Bedeutung einrichten
Jeder Abschnitt wird in eine Zahlenfolge übersetzt, die seine Bedeutung beschreibt, ein sogenanntes Embedding. Diese Werte liegen in einer Vektordatenbank. So findet die Suche auch Stellen, die andere Wörter benutzen als die Frage. Viele Systeme kombinieren das mit klassischer Stichwortsuche.
Prüfpunkt: Eine Testfrage mit anderen Worten als im Dokument findet trotzdem die richtige Stelle.
Treffer neu sortieren und begrenzen
Die ersten Treffer sind nicht immer die besten. Ein zweiter Schritt sortiert sie nach Passung neu, das nennt man Reranking. Übergib der KI nur die besten Stellen und weise sie an, ausschließlich daraus zu antworten und jede Aussage zu belegen.
Prüfpunkt: Die Antwort enthält zu jeder Aussage eine Quelle, und ohne passende Quelle sagt die KI, dass sie es nicht weiß.
Rechte in die Suche einbauen
Die Suche darf nur Abschnitte finden, die für die fragende Person freigegeben sind. Das muss im System selbst geregelt sein, nicht nur in der Anweisung an die KI. Sonst kann eine geschickte Frage vertrauliche Inhalte hervorholen.
Prüfpunkt: Eine Testperson ohne Berechtigung erhält auf eine gezielte Frage keine vertraulichen Inhalte.
Mit Testfragen messen und nachschärfen
Stelle regelmäßig dieselben Testfragen und vergleiche die Antworten mit den bekannten richtigen. Liegt die KI falsch, prüfe zuerst die Suche: Wurde die richtige Stelle gefunden? Meist liegt der Fehler dort und nicht im Modell.
Prüfpunkt: Es gibt eine Testliste mit Soll-Antworten, und die Trefferquote wird nach jeder Änderung neu gemessen.
Zum Ausprobieren
Dein Startauftrag für die KI.
Ersetze die Angaben in eckigen Klammern. Nutze zum Üben anonymisierte Beispieldaten in einem für deinen Betrieb freigegebenen Werkzeug.
Beantworte die folgende Frage ausschließlich mit den Textstellen unten: [Frage]. Textstellen mit Quelle: [Abschnitt 1 mit Dokument und Fundstelle], [Abschnitt 2 …]. Nenne zu jeder Aussage die Quelle in Klammern. Wenn die Textstellen die Frage nicht beantworten, schreibe „Dazu liegt keine Quelle vor“ und was fehlt. Ergänze nichts aus eigenem Wissen.
Den Auftrag findest du auch im frei herunterladbaren Arbeitsblatt. Prüfe den Entwurf anhand der Schritte oben.
Aus der Praxis
So lösen unsere Kunden das.
Zwei Kunden, die ihre KI mit eigenem Wissen arbeiten lassen, und das System aus unserer Ergebnisgalerie. Die Texte stammen aus den veröffentlichten Geschichten.
Firmenwissen im eigenen KI-Chat nutzen
Ein internes Portal verbindet KI mit SQL-Daten und Informationen aus SharePoint. Bei Fragen zu Kunden oder Projekten zeigt der Chat die verwendeten Quellen an.
Ganze Geschichte ansehen
Ein eigenes Wissenssystem aufbauen
Entscheidungen, Erfahrungen und Projektverläufe werden in einem gemeinsamen Wissensbestand für Alexander und seine KI erschlossen. Eine Suche nach inhaltlicher Bedeutung hilft beim Wiederfinden.
Ganze Geschichte ansehen
Firmenwissen mit KI durchsuchen
Fragen zum Unternehmen stellen und passende Antworten samt zugehörigen Quellen finden.
In der Ergebnisgalerie ansehen
Website-Assistent mit Unternehmenswissen
Besucherfragen anhand der eigenen Inhalte beantworten und den nächsten passenden Schritt erleichtern.
In der Ergebnisgalerie ansehenPersönliche Erfahrungen und dokumentierte Projektstände unserer Kunden. Der Status zeigt, wie weit ein Projekt ist. Porträts teilweise KI-bearbeitet. Die Galerie zeigt Systeme, Abläufe und Funktionen aus unserer Arbeit und Kundenprojekten. Ihre Bilder sind KI-generierte Illustrationen.
03 · Fiktives Arbeitsbeispiel
Fragen zu Wartungsverträgen
Ein Heizungsbauer mit 25 Mitarbeitenden will, dass das Büro Fragen zu Wartungsverträgen schneller beantwortet.
Das gibst du hinein
40 Vertragsmuster und Leistungsbeschreibungen, in Abschnitte zerlegt, dazu zehn typische Kundenfragen.
So soll das Ergebnis aussehen
Auf „Ist der Austausch der Zündelektrode enthalten?“ antwortet die KI mit der passenden Klausel aus dem Vertragsmuster und der Fundstelle. Bei einer Frage zu einem Sondervertrag sagt sie, dass sie dazu keine Quelle hat.
Darauf kommt es an: Eine gute RAG-Anwendung ist ehrlich, wenn sie nichts findet. Erfundene Antworten entstehen meist dann, wenn die KI ohne Quelle antworten darf.
Diese Stolperstellen kannst du früh erkennen.
Die KI ohne Quelle antworten lassen
Darf die KI aus allgemeinem Wissen ergänzen, klingen falsche Antworten genauso überzeugend wie richtige. Weise sie an, nur aus den gefundenen Stellen zu antworten.
Rechte nur in der Anweisung regeln
„Zeig keine Personaldaten“ in einer Anweisung schützt nichts. Rechte gehören in die Suche selbst, sonst landen vertrauliche Stellen im Antwortkontext.
Ohne Testfragen arbeiten
Ohne feste Testliste merkt niemand, ob eine Änderung die Antworten besser oder schlechter macht. Miss vor und nach jeder Änderung.
04 · Prüfen
Bereit für den nächsten Schritt?
Hake ab, was du tatsächlich geprüft hast. Offene Punkte werden zu deinen nächsten Aufgaben.