LLM, Agent, Prompt, RAG: 7 technische KI-Begriffe, um jedem Gespräch in 2026 zu folgen

Vom LetzAgents-Team · Veröffentlicht am 27. Mai 2026

Seit achtzehn Monaten tauchen diese Wörter in Sitzungen auf, in der Wirtschaftspresse, bei Beratern. LLM, Prompt, Agent, Token, RAG, Fine-Tuning, Halluzination. Sieben Begriffe, die darüber entscheiden, ob Sie an einer technologischen Entscheidung teilnehmen können. Dieses Glossar liefert Ihnen die genauen Definitionen ohne Entwicklerjargon, in weniger als fünfzehn Minuten.

Eine nützliche Klarstellung: Dies ist ein technisches Glossar, nicht juristisch. Es behandelt weder den AI Act noch die DSGVO, den Cloud Act, die CNPD oder die DSFA. Dafür sehen Sie unser juristisches KI-Glossar (AI Act, DSGVO, DSFA) aus Anfang Mai. Wenn Sie wirklich bei Null anfangen, lesen Sie zuerst unseren Einstiegsweg in vier Schritten vom 22. Mai und kommen Sie dann hierher zurück. Mit Mistral, das nun über AI4LUX vor Ort einsetzbar ist, sind diese sieben Begriffe keine kalifornische Theorie mehr: Sie beschreiben Bausteine, die Treuhandgesellschaften, Family Offices und Anwaltskanzleien auf der place financière bei sich installieren.

1. LLM (Large Language Model): eine statistische Maschine, die das nächste Wort vorhersagt

Ein LLM ist ein Programm, das auf riesigen Textmengen trainiert wurde, um Wort für Wort die wahrscheinlichste Fortsetzung eines Satzes vorherzusagen. Wenn Sie „Sehr geehrter Herr, in Bezug auf Ihr Schreiben vom…" in ChatGPT eintippen, berechnet das LLM, was statistisch folgt, ausgehend von den Milliarden Beispielen, die es während des Trainings gesehen hat (Quelle: Vaswani et al., Google Research, 2017, grundlegendes Transformer-Papier).

Die Analogie unter Führungskräften: eine überdimensionierte Rechtschreibkorrektur. Ihre Word-Rechtschreibkorrektur schlägt ein Wort vor, das LLM schlägt tausend hintereinander vor. Anwendungsfälle für Endverbraucher: ChatGPT (OpenAI), Claude (Anthropic), Mistral Le Chat, Gemini (Google).

Die Nuance, die viele KI-Vertriebler vergessen: Ein LLM versteht nicht, es sagt vorher. Kein Wahrheitsbegriff, keine Repräsentation der Welt, keine Absicht. Das erklärt, warum ein LLM einen einwandfrei formulierten und sachlich falschen Satz produzieren kann, und warum ein Mensch immer das Ergebnis prüfen muss, vor allem in einem regulierten Beruf.

2. Prompt: die Frage (oder Anweisung), die Sie dem Modell geben

Ein Prompt ist die Anweisung, die Sie dem LLM schreiben: eine Frage („Fassen Sie diesen Vertrag in fünf Punkten zusammen"), eine Anweisung („Schreiben Sie diese E-Mail in einem formelleren Ton um"), ein Kontext. Das ist das Äquivalent des Briefings, das Sie einem Praktikanten geben würden, dem Sie zum ersten Mal eine Aufgabe anvertrauen.

Die Analogie ist genau: unklares Briefing, unklares Ergebnis. „Schreib mir eine Vertriebs-E-Mail" produziert eine Allerwelts-E-Mail. „Verfassen Sie eine Mahn-E-Mail an einen Luxemburger Kunden zu einer seit fünfundvierzig Tagen offenen Rechnung, fester aber höflicher Ton, Siezen, Unterschrift des Partners" produziert etwas Brauchbares. Drei praktische Ratschläge: Geben Sie den Kontext (wer spricht, zu wem, mit welchem Ziel), präzisieren Sie das erwartete Format, geben Sie ein Beispiel, falls Sie eines haben.

Die Nuance, die Zeit spart: Ein guter Prompt korrigiert kein schlechtes Modell. Wenn die Aufgabe das übersteigt, was das LLM leisten kann, wird kein Prompt das Ergebnis retten.

3. KI-Agent: ein Programm, das handelt, nicht eines, das antwortet

Ein KI-Agent ist ein Programm, das eine Abfolge von Aktionen ausführt, um ein Ziel zu erreichen. Ein Chatbot antwortet. Ein Agent handelt. Das ist die häufigste Verwechslung in Sitzungen, und die Nuance ist nicht kosmetisch: Sie entscheidet darüber, was Sie kaufen und was es kostet.

Ein konkreter Fall aus der Praxis: Eine Luxemburger Maklergesellschaft betraut einen KI-Agenten mit der Qualifizierung ihrer Interessenten. Der Agent liest die eingehende E-Mail, prüft das LinkedIn-Profil, schaut im CRM nach, verfasst eine Zusammenfassung, plant eine Wiedervorlage. Ein weiterer Fall: das KI-Morgenbriefing für Vertriebler und Kundenbetreuer, bei dem ein Agent jeden Morgen die Marktbeobachtung zusammenstellt und vor 8 Uhr eine achtzeilige Zusammenfassung verschickt. Am anderen Ende nimmt ein KI-Telefonagent rund um die Uhr Anrufe entgegen, qualifiziert den Anrufer, vereinbart einen Termin.

Die professionelle Nuance: Der Agent ersetzt den Menschen nicht, er liefert einen Entwurf. Der Vertriebler liest die Qualifizierung gegen, der Kundenbetreuer liest das Briefing gegen, das Sekretariat bestätigt den Termin. Der Agent nimmt die mechanische Zeit weg, nicht die Verantwortung.

4. Token: die Maßeinheit eines LLM

Ein Token ist ein Wortteil, weder ein Buchstabe noch ein ganzes Wort. Auf Deutsch entspricht ein Token etwa drei Vierteln eines Wortes (Quelle: offizieller OpenAI-Tokenizer). „Buchhaltung" ergibt zwei Token, „der" ein Token.

Warum es nützlich ist, das zu verstehen: weil es die Abrechnungseinheit ist. Wenn ein Anbieter den Zugang zu seinem Modell per API verkauft, rechnet er pro verbrauchtem Token ab. Wenn von einem modernen Modell die Rede ist, das „200.000 Token an Kontext" verarbeitet (Quelle: offizielle Anthropic-Dokumentation, Claude 3), bedeutet das, dass es auf einen Schlag rund einhundertfünfzig Seiten lesen kann, was verändert, was es zu bearbeiten vermag (eine vollständige Mandantenakte, ein Vertrag über 80 Seiten, ein gesamtes Geschäftsjahr).

Die budgetäre Nuance: Mehr verbrauchte Token bedeutet höhere Kosten. Eine bei Ihnen installierte private KI verschiebt diese Rechnung: Die Kosten fallen nicht mehr pro Token an, sondern als gepoolte Infrastrukturkosten. Für intensive Nutzung ist das der Kern der Frage was eine private KI für ein Luxemburger KMU kostet.

5. RAG (Retrieval-Augmented Generation): das LLM mit Ihren Dokumenten antworten lassen

RAG ist der Baustein, der ein LLM mit Ihrer Dokumentenbasis verbindet, damit es mit Ihren Dokumenten antwortet und nicht mit seinem Allgemeinwissen (Quelle: Lewis et al., Meta AI Research, NeurIPS 2020, grundlegendes RAG-Papier). Es ist wahrscheinlich das nützlichste Konzept des Glossars, denn es ist meistens das, was Sie kaufen, wenn jemand mit Ihnen über „Unternehmens-KI" spricht.

Die Kanzlei-Analogie: ein Assistent, der vor dem Antworten Ihre Aktenordner, Ihre Mandantenverträge, Ihre internen Verfahren einsieht und dann eine Antwort formuliert, die auf diesen Dokumenten beruht. Ohne RAG antwortet das LLM aus dem Gedächtnis. Mit RAG liest es zuerst Ihre Dokumente.

Ein Fall aus der Praxis: Eine Wirtschaftsprüfungskanzlei installiert einen internen Chatbot, der Fragen zu internen Verfahren beantwortet. Derselbe Mechanismus dient dazu, die Dokumentenverarbeitung zu automatisieren, indem die KI Aktenstapel liest. Kaufmännische Nuance: RAG ist nicht Fine-Tuning. RAG liest im Live-Betrieb. Fine-Tuning trainiert das Modell neu. Zwei Zielsetzungen, zwei Kostenprofile.

6. Fine-Tuning: ein Modell dauerhaft an eine Domäne anpassen

Fine-Tuning ist das Neutrainieren eines bestehenden Modells mit spezifischen Daten, damit es einen Stil, ein Vokabular oder eine Denkweise aufnimmt, die einem Beruf eigen sind.

Die praktische Regel: In der großen Mehrheit der KMU-Fälle ist es RAG, nicht Fine-Tuning (Quelle: Databricks-Leitfaden RAG vs Fine-Tuning, 2024). Wenn ein Anbieter Ihnen Fine-Tuning für einen einfachen Fall verkauft (FAQ-Chatbot, Dokumentenassistent), fragen Sie nach, warum es nicht RAG ist. Oft verkauft er, was er kann, nicht, was Ihnen nützt.

7. Halluzination: wenn das Modell mit Überzeugung erfindet

Eine Halluzination ist eine falsche Antwort, die das LLM mit derselben Sicherheit produziert wie eine wahre Antwort: erfundene Rechtsprechung, fabrizierte Zahl, falsches Datum, ein Gesetzesartikel, der nicht existiert. Es ist kein punktueller Fehler, es ist eine strukturelle Eigenschaft: Da das Modell das nächste wahrscheinlichste Wort ohne internen Überprüfungsmechanismus vorhersagt, kann es eine einwandfrei plausible Folge produzieren, die in der Realität nicht verankert ist.

Bekanntes Beispiel: Im Fall Mata v. Avianca (United States District Court, Southern District of New York, Juni 2023) reichte ein amerikanischer Anwalt einen Schriftsatz mit sechs Entscheidungen ein, die aus ChatGPT stammten (Quelle: Gerichtsakte Mata v. Avianca, CourtListener). Keine der sechs existierte. In einem Beruf, in dem die Richtigkeit der Information Ihre berufliche Haftung berührt, ist das ein Risiko, das man verstehen muss.

Die operative Nuance: Halluzination lässt sich nicht zu 100 % beseitigen. Sie wird durch drei kumulierte Hebel reduziert: RAG (das die Antwort in Ihren Dokumenten verankert), die systematische menschliche Prüfung jeder Ausgabe (Zitat, Zahl, Datum) und Software-Sicherungen, die „zu glatte" Antworten erkennen. Die Regel lässt sich in einem Satz zusammenfassen: Prüfen Sie Zahlen und Zitate, bevor Sie sie verwenden, immer.

Und jetzt?

Sie haben die sieben Wörter. Sie unterscheiden einen Chatbot von einem Agenten, Sie verstehen, warum RAG in der Mehrheit der KMU-Fälle relevanter ist als Fine-Tuning, Sie folgen einem Gespräch zwischen einem KI-Berater und Ihrem IT-Leiter. Um diese Begriffe auf einen konkreten Fall zu übertragen, vereinbaren Sie einen Termin.

Über LetzAgents

LetzAgents konzipiert und betreibt souveräne KI-Agenten für Unternehmen in Luxemburg: Treuhandgesellschaften, Family Offices, Anwaltskanzleien und KMU in regulierten Branchen. Europäisches Hosting, DSGVO- und AI-Act-Konformität, operative Partnerschaft mit europäischen KI-Modellen (insbesondere Mistral). Unser Team verbindet KI-Engineering mit Kenntnis des Luxemburger Finanzplatzes.

Mehr über LetzAgents erfahren

FAQ

1. Was ist der konkrete Unterschied zwischen einem Chatbot und einem KI-Agenten?

Ein Chatbot beantwortet eine Frage mit Text. Ein Agent erhält ein Ziel und führt eine Abfolge von Aktionen aus (E-Mail lesen, Datenbank abfragen, Termin vereinbaren, Zusammenfassung schreiben). Der Chatbot antwortet und wartet auf die nächste Frage. Der Agent führt einen Prozess aus. Das ist es, was den Umfang und die Kosten einer Einführung verändert.

2. RAG oder Fine-Tuning, was wählen für ein KMU?

Für die große Mehrheit der KMU ist es RAG. RAG verbindet das LLM mit Ihrer Dokumentenbasis und ermöglicht eine auf Ihren Dokumenten beruhende Antwort, in Echtzeit aktualisiert. Fine-Tuning trainiert das Modell neu, ist teuer und rechtfertigt sich nur bei sehr großem Volumen und ausgeprägtem Eigenstil. Wenn ein Anbieter Ihnen Fine-Tuning für einen einfachen Fall anbietet, fragen Sie nach, warum es nicht RAG ist.

3. Kann ein LLM wirklich eine Rechtsprechung oder eine offizielle Zahl erfinden?

Ja, und das ist ein strukturelles Risiko, das Halluzination heißt. Das Modell produziert eine plausible, aber falsche Antwort, mit derselben Sicherheit wie eine wahre. Die Ursache ist mechanisch: Das LLM sagt das wahrscheinlichste nächste Wort vorher, ohne den Wahrheitsgehalt zu prüfen. In regulierten Berufen (Recht, Treuhand, Gesundheit) lautet die Regel, jedes Zitat und jede Zahl vor der Veröffentlichung menschlich zu prüfen.

4. Was bedeutet „200.000 Token an Kontext" in einem Produktdatenblatt?

Dass das Modell auf einen Schlag rund 150 Seiten Text einlesen kann. Das Token ist die Maßeinheit eines LLM (etwa drei Viertel eines Wortes auf Deutsch) und die Abrechnungseinheit bei den meisten KI-API-Anbietern, also eine direkte Kostenvariable.

5. Ersetzt dieses Glossar das juristische Glossar zu AI Act / DSGVO?

Nein, es ergänzt es. Dieses Glossar ist technisch. Das juristische KI-Glossar (AI Act, DSGVO, Cloud Act, NIS2, DORA, DPF) regelt die rechtliche Nutzung einer KI in Luxemburg. Beide Vokabulare sind nötig, um ein KI-Projekt in einem regulierten Beruf zu steuern.

6. Wie kann man sich konkret zu diesen sieben Begriffen in Luxemburg weiterbilden?

Das kostenlose Programm Elements of AI Luxembourg, getragen vom Ministerium für Konnektivität, dem Digital Learning Hub und dem INFPC, bietet jedes Jahr ein für alle zugängliches Schulungsmodul an (Quelle: Digital Learning Hub Luxembourg, offizielle Seite Elements of AI). Die 5. Ausgabe endete am 22. Mai 2026. Die folgenden Ausgaben werden auf dlh.lu angekündigt. Um bei den für Ihren Beruf spezifischen Anwendungsfällen weiterzugehen, vereinbaren Sie einen Termin, um Ihren Anwendungsfall zu besprechen.