RAG-Assistent für Compliance in einer österreichischen Versicherung

Hintergrund: Versicherung mit 320 Mitarbeitern in Wien

Die nachfolgende Fallstudie ist ein Composite aus Mustern, die Forfis in der Praxis beobachtet hat. Es handelt sich nicht um einen namentlich genannten Kunden, sondern um eine plausible Zusammensetzung aus typischen Engagements im Versicherungsbereich. Die genannten Zahlen sind realistische Größenordnungen, keine exakten Messwerte eines einzelnen Projekts.

Die beschriebene Versicherung ist ein mittelständischer Anbieter in Wien mit 320 Mitarbeitern, davon 45 in der Compliance-Abteilung. Das Unternehmen bietet Sach- und Haftpflichtversicherungen an und unterliegt der Aufsicht der FMA (Finanzmarktaufsicht). Die IT-Infrastruktur basiert auf Microsoft 365, mit Microsoft Teams als primärem Kommunikationskanal. Die Compliance-Dokumentation umfasst rund 1 200 Dokumente: interne Richtlinien, Vertragsklauseln, regulatorische Vorgaben und FAQ-Dokumente. Die meisten Anfragen an die Compliance-Abteilung betreffen die Einordnung neuer Produkte, die Prüfung von Vertragsänderungen oder die Klärung von regulatorischen Anforderungen.

Herausforderung: 4,2 Stunden Antwortzeit und EU AI Act-Druck

Die Compliance-Abteilung stand unter Druck: Die Antwortzeit auf interne Anfragen lag bei durchschnittlich 4,2 Stunden, die Fehlerquote bei der ersten Einordnung bei 18 %. Die Hauptursache war die manuelle Suche in der Dokumentenbasis. Ein Mitarbeiter musste für jede Anfrage die relevanten Dokumente identifizieren, die Passagen lesen und eine Antwort formulieren. Bei 150 Anfragen pro Woche bedeutete das rund 630 Stunden reine Such- und Lesearbeit pro Monat.

Zusätzlich bestand der Druck, den EU AI Act (Verordnung (EU) 2024/1689) umzusetzen. Die Versicherung plante, KI-Systeme für interne Prozesse einzuführen, und brauchte ein System, das die Transparenzpflichten des Artikels 13 und die Nicht-Irreführungs-Pflicht des Artikels 14 erfüllt. Die Compliance-Abteilung sollte nicht nur die Anfragen beantworten, sondern auch die KI-Systeme des Unternehmens überwachen. Ein RAG-Assistent, der die regulatorischen Dokumente als Wissensbasis nutzt, war die naheliegende Lösung.

Vorgehen: Prozess-Audit und RAG-Pilot in vier Wochen

Forfis startete mit einem Prozess-Audit über zwei Wochen. Ziel war es, die 150 wöchentlichen Anfragen zu kategorisieren und zu identifizieren, welche sich für eine Automatisierung eignen. 62 % der Anfragen waren Routinefragen, bei denen die Antwort in den vorhandenen Dokumenten stand. 28 % erforderten eine Einordnung, die über die Dokumente hinausging. 10 % waren komplexe Fälle, die menschliche Expertise erforderten.

Der Pilot umfasste die 62 % Routinefragen. Die Architektur basierte auf LangChain für die Dokumenten-Verarbeitung und LangGraph für die Agenten-Steuerung. Die Dokumente wurden in einem Vektorindex gespeichert, der auf Azure Cognitive Search lief. Der LLM-Aufruf erfolgte über die OpenAI API, da die Qualität der Antworten für Compliance-Fragen entscheidend war. Die Integration in Microsoft Teams erfolgte über einen Bot, der auf @-Erwähnungen reagierte. Jeder Antwort wurde ein Link zur Originalquelle angehängt, um die Transparenzpflicht des EU AI Act zu erfüllen.

Ergebnis: Antwortzeit von 4,2 Stunden auf 12 Minuten

Nach vier Wochen war der Pilot produktiv. Die Antwortzeit auf Routinefragen sank von 4,2 Stunden auf 12 Minuten, die Fehlerquote bei der ersten Einordnung von 18 % auf 4 %. Die Compliance-Abteilung konnte sich auf die 38 % komplexeren Anfragen konzentrieren, die menschliche Expertise erforderten.

Die Validationsphase lief parallel zum manuellen Prozess über drei Wochen. In dieser Phase beantwortete die Compliance-Abteilung die Anfragen weiterhin manuell, der Assistent lieferte seine Antwort im Hintergrund. Die Abweichungen wurden dokumentiert und die Prompts sowie der Retrieval-Layer angepasst. Nach der Validationsphase wurde der Assistent als primäre Antwortquelle freigegeben, der menschliche Review blieb aber für alle Fälle mit niedriger Konfidenz bestehen.

Die laufenden Betriebskosten lagen im niedrigen vierstelligen Bereich pro Monat, die Amortisation erfolgte innerhalb von sechs Monaten durch die eingesparte Zeit der Compliance-Abteilung.

Lektionen für ähnliche Teams

• Prozess-Audit vor der Technologie: Die zweiwöchige Audit-Phase war entscheidend. Ohne die Kategorisierung der 150 wöchentlichen Anfragen hätte der Pilot die falschen Fälle automatisiert. Die 62 % Routinefragen waren der richtige Scope, die 28 % Einordnungsfälle hätten den Pilot überfordert.

• Quellen-Transparenz ist kein Nice-to-have: Der Link zur Originalquelle in jeder Antwort war nicht nur eine EU AI Act-Pflicht, sondern auch der wichtigste Akzeptanzfaktor für die Compliance-Abteilung. Ohne diesen Link hätten die Mitarbeiter dem Assistenten nicht vertraut.

• Parallelbetrieb in der Validationsphase: Die drei Wochen Parallelbetrieb waren aufwendig, aber notwendig. Sie haben die Fehlerquote von 18 % auf 4 % gesenkt, bevor der Assistent als primäre Antwortquelle freigegeben wurde. Ein Big-Bang-Rollout hätte das Vertrauen der Compliance-Abteilung zerstört.

• Model-Agnostik als Architekturprinzip: Die Entscheidung, OpenAI für die Qualität und Open-Weight-Modelle für sensible Daten zu nutzen, hat die Skalierbarkeit gesichert. Als die Versicherung später einen zweiten Pilot für die Vertragsprüfung plante, konnte die Architektur ohne Neuentwicklung auf die neuen Dokumente erweitert werden.