Was ist RAG (Retrieval-Augmented Generation)? (2026)

Eine RAG-Pipeline hat zwei Phasen. Zunächst die Erfassung (vorbereitend): Sie teilen Ihre Quelldokumente in kleinere Passages (Chunking) auf, wandeln jede in ein Embedding um – einen numerischen Vektor, der ihre Bedeutung erfasst – und speichern diese Vektoren in einer Datenbank.

Zweitens der Abruf und die Generierung (zur Abfragezeit): Sie embedden die Frage des Nutzers, finden die semantisch ähnlichsten Passages durch Vektorsuche und fügen diese Passages zusammen mit der Frage in den Prompt ein. Das Modell generiert dann eine auf dem bereitgestellten Text basierende Antwort, idealerweise mit Verweisen auf die Quelle.

Der ganze Sinn besteht darin, dass das Modell auf Grundlage von Belegen antwortet, die Sie in sein Kontextfenster eingefügt haben – nicht auf Grundlage dessen, was es zufällig während des Trainings gelernt hat. Das macht Antworten nachverfolgbar – Sie können zeigen, welche Passage eine Aussage stammt – und hält sie aktuell, ohne dass Umschulung erforderlich ist.

Diese lösen unterschiedliche Probleme. RAG injiziert Wissen – Fakten, Dokumente, Richtlinien – zur Abfragezeit in den Prompt. Fine-Tuning passt die Gewichte des Modells an, um Verhalten, Stil oder Format zu verändern. Eine hilfreiche Faustregel: RAG ist für das, was das Modell wissen soll; Fine-Tuning ist für die Art, wie es sich verhalten soll.

Nutzen Sie RAG, wenn sich Ihr Wissen oft ändert, umfangreich oder privat ist oder zitiert werden muss – Produktdokumentation, Support-Tickets, Verträge, ein internes Wiki. Sie können die Wissensbasis sofort aktualisieren, ohne das Modell zu ändern. Nutzen Sie Fine-Tuning, wenn Sie ein konsistentes Ausgabeformat, einen einheitlichen Ton oder ein enges Aufgabenverhalten benötigen, das Prompting allein nicht zuverlässig durchsetzen kann. Die beiden schließen sich nicht gegenseitig aus – viele Produktionssysteme nutzen Fine-Tuning für Verhalten und RAG für Fakten.

Wir vergleichen die Kompromisse, Kosten und Fehlerquellen ausführlich in RAG vs Fine-Tuning: Wann jedes gewinnt.

RAG verwenden, wenn: Wissen sich oft ändert, umfangreich oder privat ist oder zitiert werden muss; Sie Antworten benötigen, die in spezifischen Dokumenten verankert sind; Sie Fakten aktualisieren wollen, ohne umzuschulen.
Fine-Tuning verwenden, wenn: Sie konsistentes Format, einheitlichen Ton oder enges Verhalten benötigen; die Aufgabe stabil ist; Prompting allein die erforderliche Ausgabeform nicht zuverlässig durchsetzen kann.

RAG ändert die Prompt-Struktur. Ihr Prompt hat jetzt drei Teile: Anweisungen, der abgerufene Kontext und die Frage des Nutzers. Halten Sie sie klar getrennt durch Trennzeichen (Überschriften, XML-ähnliche Tags oder Triple-Backticks), damit das Modell seine Anweisungen von den bereitgestellten Daten unterscheiden kann – dies reduziert auch das Risiko von Injection durch nicht vertrauenswürdige Dokumente.

Teilen Sie dem Modell mit, dass es nur aus dem bereitgestellten Kontext antworten soll und zu sagen, wenn die Antwort nicht dort vorhanden ist. Eine Fallback-Anweisung wie ‚Wenn der Kontext die Antwort nicht enthält, sagen Sie, dass Sie das nicht wissen' ist das, was verhindert, dass ein verankertes System heimlich Fakten erfindet. Die Anforderung von Verweisen auf die verwendeten Passages macht Antworten überprüfbar.

Hier ist ein minimales Grundgerüst für einen verankerten Antwort-Prompt:

``` Sie sind ein Support-Assistent. Antworten Sie NUR auf Grundlage des folgenden Kontexts. Wenn die Antwort nicht im Kontext vorhanden ist, sagen Sie "Ich habe diese Information nicht". Zitieren Sie die Quell-Passagen-Nummer für jede Aussage. Kontext: [1] {retrieved_passage_1} [2] {retrieved_passage_2} Frage: {user_question} ```

Die meisten RAG-Probleme sind Abrufprobleme, nicht Generierungsprobleme. Wenn die richtige Passage nie abgerufen wird, kann das Modell nicht korrekt antworten, egal wie gut der Prompt ist – daher liegt der Fokus der meisten Optimierungen auf der Abrufqualität (Chunking-Strategie, Embedding-Modell und wie viele Passages Sie abrufen).

Weitere häufige Probleme: Chunks, die zu groß für Präzision oder zu klein zur Bedeutungsvermittlung sind; zu viel abgerufener Text, der die Frage überflutet oder die relevante Passage in einem langen Kontext verbirgt; und blindes Vertrauen in abgerufene Inhalte, was Prompt-Injection öffnet, wenn Ihre Quellen nicht vertrauenswürdig sind. Verankerungsanweisungen, Zitate und präziser Abruf sind die Standard-Abwehrmechanismen.