Die meisten Chatbot-Projekte scheitern nicht an der Technik. Sie scheitern an der Frage, was passiert, wenn die Antwort falsch ist.
Bei einem Assistenten für Restaurantempfehlungen ist das verschmerzbar. Bei einem Portal, das Arbeitgebern Auskunft zu Meldepflichten, Beitragssätzen und Fristen gibt, ist es das nicht. Eine erfundene Frist ist kein Schönheitsfehler — sie kann dem Nutzer ein Bußgeld einbringen.
Für genau so ein Portal haben wir die Architektur gebaut. Hier ist, was wir gelernt haben.
Das Sprachmodell ist nicht das Produkt
Der naheliegende Ansatz sieht so aus: Fachtexte in den Kontext, Nutzerfrage dazu, Antwort ausgeben. Das funktioniert in der Demo zuverlässig und im Betrieb nicht.
Denn ein Sprachmodell hat keinen Begriff davon, ob es gerade etwas weiß oder etwas plausibel formuliert. Es produziert in beiden Fällen denselben souveränen Tonfall. Wer verbindliche Auskünfte geben will, braucht deshalb Struktur um das Modell herum.
In unserem Aufbau ist das Modell einer von mehreren Bausteinen:
- Intent-Erkennung — worum geht es überhaupt? Erst wenn das feststeht, ist klar, welches Wissen und welche Regeln gelten
- Orchestrierung — welcher Weg wird eingeschlagen: direkte Antwort, geführter Dialog oder Verweis an einen menschlichen Ansprechpartner
- Spezialisten — abgegrenzte Zuständigkeiten statt eines Allwissenden, der alles ein bisschen kann
- Wizards — für Fälle, in denen die Antwort von mehreren Angaben abhängt, führt ein strukturierter Dialog durch die Fragen, statt sie aus dem Fließtext zu raten
- Guard — eine Instanz, die prüft, was hinausgeht
Das klingt nach mehr Aufwand als „Prompt schreiben und fertig”. Das ist es auch. Der Unterschied zeigt sich erst, wenn jemand eine Frage stellt, die knapp neben dem liegt, was der Assistent abdecken soll.
Die wichtigste Fähigkeit: nicht antworten
Der Reflex bei Assistenzsystemen ist, möglichst viele Fragen zu beantworten. Die Trefferquote fühlt sich wie das Qualitätsmerkmal an.
Im regulierten Umfeld ist es andersherum. Ein Assistent, der bei neun von zehn Fragen korrekt antwortet und bei der zehnten überzeugend danebenliegt, ist schlechter als einer, der bei acht antwortet und bei zwei sagt: Dazu kann ich nichts Verbindliches sagen, hier ist der Kontakt.
Der erste erzeugt Fälle, die niemand bemerkt. Der zweite erzeugt Anrufe. Anrufe sind billiger.
Redaktion schlägt Retrieval
Ein verbreiteter Ansatz ist, die vorhandene Dokumentenlandschaft zu indizieren und das Modell darauf suchen zu lassen. Das spart die Redaktionsarbeit — und verlagert das Problem.
Fachdokumente sind für Menschen geschrieben, die den Kontext kennen. Sie enthalten Ausnahmen, Übergangsregelungen und Verweise. Ein Textabschnitt, der isoliert in den Kontext wandert, verliert genau diese Einordnung und wird dadurch falsch, obwohl er wörtlich korrekt zitiert ist.
Wir setzen deshalb auf gepflegte, strukturierte Inhalte statt auf Volltextsuche über alles. Das kostet redaktionellen Aufwand und verlagert Verantwortung dorthin, wo die Fachkenntnis sitzt. Dafür lässt sich bei jeder Antwort sagen, worauf sie beruht.
Mehrsprachigkeit ist kein Übersetzungsproblem
Das Portal antwortet in fünf Sprachen. Der naive Weg — Antwort auf Deutsch erzeugen, dann übersetzen — funktioniert bei Fachbegriffen nicht. Ein maschinell übersetzter Rechtsbegriff ist im Zweifel ein anderer Begriff.
Sprachen gehören deshalb in die redaktionelle Pflege, nicht in die Ausgabeschicht.
Was wir beim nächsten Mal früher machen würden
Die Abgrenzung zuerst definieren. Nicht „was soll der Assistent können”, sondern „wobei soll er ausdrücklich nicht helfen”. Diese Liste ist wertvoller als der Funktionsumfang und entsteht leichter am Anfang als nachträglich.
Die Übergabe an Menschen von Anfang an mitbauen. Wenn der Weg zum echten Ansprechpartner erst später nachgerüstet wird, ist der Assistent in der Zwischenzeit die einzige Instanz — und damit unter Druck, auch das zu beantworten, was er nicht sollte.
Protokollieren, was nicht beantwortet wurde. Die abgelehnten Fragen sind die interessanteste Datenquelle im ganzen System. Sie zeigen, was Nutzer erwarten und wo die Inhalte Lücken haben.
Sie stehen vor einer ähnlichen Aufgabe? Sprechen Sie uns an — wir sagen Ihnen ehrlich, ob sich der Aufwand für Ihren Fall lohnt.