RAG-Assistent im E-Commerce: Fehlerquote um 40 % senken

Hintergrund: E-Commerce-Unternehmen in der Wachstumsphase

Dieser Fallbericht ist ein Komposit aus Mustern, die in der Praxis beobachtet wurden. Es werden keine realen Firmennamen genannt, um die Vertraulichkeit der Kunden zu wahren. Die beschriebenen Metriken und Prozesse basieren auf typischen Engagements in der Schweiz und in DACH-Märkten.

Hintergrund:
Ein Schweizer E-Commerce-Unternehmen mit 320 Mitarbeitern, spezialisiert auf Outdoor-Ausrüstung, betreibt einen eigenen Online-Shop und ein B2B-Portal für Wiederverkäufer. Der Support besteht aus 12 FTE, verteilt auf zwei Schichten. Die IT-Stack umfasst Salesforce als CRM, Zendesk als Helpdesk und Notion als zentrale Wissensdatenbank. Die Firma befindet sich in der Wachstumsphase und plant die Expansion in den DACH-Raum.

Herausforderung:
Die Fehlerquote im Back-Office lag bei 18 %, gemessen an fehlerhaften Retourenbearbeitungen und falschen Produktzuordnungen. Die Hauptursache war die unklare Zuordnung von Tickets: 35 % der Anfragen wurden an die falsche Abteilung geroutet, was zu doppelten Bearbeitungen und verzögerten Antworten führte. Zusätzlich drohte der Verlust von Fachwissen durch den Abgang von drei erfahrenen Support-Leads. Die Compliance-Abteilung forderte eine Lösung, die keine Kundendaten an US-Cloud-Provider überträgt, um die DSGVO und den Schweizer Datenschutz zu wahren.

Herausforderung: Fehlerquote und Compliance-Druck

Der Auftrag lautete: Reduzierung der Fehlerquote im Back-Office um mindestens 30 % innerhalb von drei Monaten, ohne die bestehende Infrastruktur zu ersetzen. Die operative Dränge resultierte aus der bevorstehenden Black-Friday-Saison, bei der das Ticketvolumen um 40 % steigt. Die Compliance-Abteilung verlangte eine On-Premise-Lösung, da Kundendaten (Namen, Adressen, Bestellhistorie) nicht den Schweizer Standort verlassen durften. Zudem musste das System den EU AI Act erfüllen, der ab August 2024 in Kraft tritt und Transparenzpflichten für KI-Systeme im Kundenkontakt vorsieht.

Die technische Herausforderung bestand in der Integration eines RAG-Assistenten in das bestehende Zendesk-System, ohne die API-Endpunkte zu modifizieren. Die Wissensbasis in Notion war unstrukturiert: 1.200 Seiten mit gemischter Qualität, veralteten Preisen und widersprüchlichen Retourenrichtlinien. Die Datenbereinigung war daher der kritischste Pfad im Projekt.

Ansatz: Integration-Sprint mit On-Premise-LLM

Forfis startete mit einem zweiwöchigen Prozess-Audit, der die Top-5-Ticket-Kategorien identifizierte: Retouren, Produktinformationen, Lieferstatus, Reklamationen und B2B-Abrechnungen. Der Pilot fokussierte sich auf Retouren und Produktinformationen, die 60 % des Volumens ausmachten.

Technische Architektur:

• Modell: Mistral Large 70B, On-Premise auf zwei NVIDIA A100 GPUs im Schweizer Rechenzentrum.
• RAG-Pipeline: LangChain mit Weaviate als Vektor-Datenbank. Embeddings via BGE-M3 (multilingual, optimiert für Deutsch).
• Integration: Webhook in Zendesk, der neue Tickets an das RAG-System sendet. Das System klassifiziert das Ticket, generiert einen Draft-Antwort und routet es an die zuständige Abteilung.
• Human-in-the-Loop: Alle Antworten, die Geldbeträge oder Vertragsklauseln enthalten, erfordern eine manuelle Freigabe durch einen Support-Mitarbeiter.

Die Notion-Dokumente wurden in Chunks von 512 Tokens aufgeteilt und in Weaviate indexiert. Ein Prompt-Template sicherte, dass das LLM nur auf Basis der abgerufenen Chunks antwortet und bei Unsicherheit den Menschen kontaktiert.

Ergebnis: Metriken nach drei Monaten

Nach zwölf Wochen im Parallelbetrieb (KI-Entwürfe neben menschlichen Antworten) zeigten die Messungen folgende Ergebnisse:

• Fehlerquote: Von 18 % auf 11 % gesenkt (-39 %).
• Routing-Genauigkeit: 92 % der Tickets wurden in die richtige Abteilung geroutet (vorher 65 %).
• Bearbeitungszeit: Durchschnittliche Zeit pro Ticket von 14 Minuten auf 9 Minuten reduziert (-36 %).
• Erstantwort-Zeit: Von 4 Stunden auf 45 Minuten verkürzt.
• Kosten: Keine zusätzlichen Cloud-Kosten. Hardware-Investition von 45.000 EUR, amortisiert nach 14 Monaten durch reduzierte Personalkosten (2 FTE weniger in der Spitzenzeit).

Die Compliance-Abteilung bestätigte, dass keine Daten den Standort verlassen haben. Der EU AI Act-Check ergab, dass das System unter „limited risk“ fällt, da es keine automatischen Entscheidungen über Personen trifft, sondern nur Vorschläge generiert. Die Transparenzpflicht wurde durch einen Hinweis im Ticket erfüllt: „Diese Antwort wurde von einer KI generiert und von einem Menschen geprüft.“

Lektionen: Skalierung über Abteilungen hinweg

Die Skalierung auf weitere Abteilungen (B2B-Abrechnungen, Reklamationen) erforderte drei Anpassungen:

• Datenqualität: Die Notion-Dokumente mussten monatlich aktualisiert werden. Ein automatisierter Job prüft auf veraltete Preise und leitet Änderungsanfragen an die Produktmanager weiter.
• Modell-Tuning: Für B2B-Tickets wurde ein separater Prompt mit spezifischen Vertragsklauseln erstellt. Das generische Modell erreichte nur 85 % Genauigkeit, der spezialisierte Prompt 94 %.
• Human-in-the-Loop-Prozess: Die Freigabe-Schleife wurde von 100 % auf 30 % der Tickets reduziert, da die Routing-Genauigkeit für einfache Fälle (z. B. Lieferstatus) über 98 % lag. Kritische Fälle (Reklamationen über 500 EUR) bleiben manuell.

Lektionen für ähnliche Teams:

• Starte mit einem engen Scope (eine Ticket-Kategorie), nicht mit „allem“.
• Investiere in die Datenbereinigung vor dem Modell-Tuning.
• On-Premise ist in der Schweiz oft die einzige Compliance-Option für Kundendaten.
• Mische Open-Weight-Modelle (Kostenkontrolle) mit API-Modellen (Qualität) je nach Sensitivität der Daten.
• Dokumentiere den Human-in-the-Loop-Prozess für den EU AI Act-Compliance-Check.