KI mit eigenen Daten: RAG für Unternehmen ========================================= Synclaro · Arbeitsblatt zur eigenen Bearbeitung https://synclaro.de/ki-mit-eigenen-daten/ DEIN ZIEL Dein erster Ablauf beantwortet Fragen zu einem abgegrenzten Wissensbestand mit Quellenangabe. Du weißt, wie Dokumente zerlegt, gesucht und an die KI übergeben werden, und hast mit echten Testfragen geprüft, wie zuverlässig die Antworten sind. VORBEREITUNG [ ] Ein abgegrenzter Wissensbestand, zum Beispiel Handbücher, Leistungsbeschreibungen oder Projektberichte. [ ] Zehn Testfragen mit bekannter richtiger Antwort. [ ] Ein KI-Zugang im Firmenkonto mit geklärtem Datenschutz. [ ] Eine Entscheidung, welche Inhalte die KI verwenden darf und welche nicht. DEIN STARTAUFTRAG FÜR DIE KI Beantworte die folgende Frage ausschließlich mit den Textstellen unten: [Frage]. Textstellen mit Quelle: [Abschnitt 1 mit Dokument und Fundstelle], [Abschnitt 2 …]. Nenne zu jeder Aussage die Quelle in Klammern. Wenn die Textstellen die Frage nicht beantworten, schreibe „Dazu liegt keine Quelle vor“ und was fehlt. Ergänze nichts aus eigenem Wissen. SCHRITTE 1. Verstehen, was RAG eigentlich macht Bei RAG wird die Frage zuerst gegen deinen Wissensbestand gesucht. Die passendsten Stellen werden der KI zusammen mit der Frage übergeben, und sie formuliert daraus die Antwort mit Quellenangabe. Die KI lernt dabei nichts dauerhaft dazu, sie liest nur die Stellen, die ihr gezeigt werden. Prüfpunkt: Du kannst in zwei Sätzen erklären, warum die Antwort nur so gut ist wie die gefundenen Stellen. Eigene Notiz: ______________________________ 2. Dokumente in sinnvolle Abschnitte zerlegen Lange Dokumente werden in Abschnitte geteilt, die jeweils einen Gedanken enthalten, zum Beispiel ein Kapitel oder einen Arbeitsschritt. Jeder Abschnitt behält Titel, Dokument, Stand und Fundstelle. Zu große Abschnitte verwässern die Suche, zu kleine verlieren den Zusammenhang. Prüfpunkt: Ein beliebiger Abschnitt ist für sich verständlich und nennt seine Herkunft. Eigene Notiz: ______________________________ 3. Suche nach Bedeutung einrichten Jeder Abschnitt wird in eine Zahlenfolge übersetzt, die seine Bedeutung beschreibt, ein sogenanntes Embedding. Diese Werte liegen in einer Vektordatenbank. So findet die Suche auch Stellen, die andere Wörter benutzen als die Frage. Viele Systeme kombinieren das mit klassischer Stichwortsuche. Prüfpunkt: Eine Testfrage mit anderen Worten als im Dokument findet trotzdem die richtige Stelle. Eigene Notiz: ______________________________ 4. Treffer neu sortieren und begrenzen Die ersten Treffer sind nicht immer die besten. Ein zweiter Schritt sortiert sie nach Passung neu, das nennt man Reranking. Übergib der KI nur die besten Stellen und weise sie an, ausschließlich daraus zu antworten und jede Aussage zu belegen. Prüfpunkt: Die Antwort enthält zu jeder Aussage eine Quelle, und ohne passende Quelle sagt die KI, dass sie es nicht weiß. Eigene Notiz: ______________________________ 5. Rechte in die Suche einbauen Die Suche darf nur Abschnitte finden, die für die fragende Person freigegeben sind. Das muss im System selbst geregelt sein, nicht nur in der Anweisung an die KI. Sonst kann eine geschickte Frage vertrauliche Inhalte hervorholen. Prüfpunkt: Eine Testperson ohne Berechtigung erhält auf eine gezielte Frage keine vertraulichen Inhalte. Eigene Notiz: ______________________________ 6. Mit Testfragen messen und nachschärfen Stelle regelmäßig dieselben Testfragen und vergleiche die Antworten mit den bekannten richtigen. Liegt die KI falsch, prüfe zuerst die Suche: Wurde die richtige Stelle gefunden? Meist liegt der Fehler dort und nicht im Modell. Prüfpunkt: Es gibt eine Testliste mit Soll-Antworten, und die Trefferquote wird nach jeder Änderung neu gemessen. Eigene Notiz: ______________________________ PRÜFLISTE [ ] Der Wissensbestand ist abgegrenzt und freigegeben. [ ] Abschnitte nennen ihre Herkunft. [ ] Die Suche findet auch andere Formulierungen. [ ] Rechte gelten in der Suche selbst. [ ] Eine Testliste misst die Trefferquote. NÄCHSTER SCHRITT Verantwortliche Rolle: ______________________ Erster Testfall: ___________________________ Offene Frage: ______________________________ Termin für die Prüfung: ____________________ Mit Begleitung weiterlernen: https://synclaro.de/ki-kickstart/ Ein Vorhaben besprechen: https://synclaro.de/kontakt/