Checkliste: KI-Piloten zu produktiven Knowledge-Search-Systemen skalieren

Phase 1: Prozess-Audit und Pilot-Design

1. Definieren Sie den Pilot-Scope auf ein einzelnes, messbares Szenario. Wählen Sie ein Use Case, das eine klare Vorher-Nachher-Messung erlaubt, z. B. die Suchzeit für Support-Dokumente. Ein isolierter Pilot muss in 4 Wochen einen messbaren Baseline-Wert liefern, um Skalierungsentscheidungen zu stützen.

2. Dokumentieren Sie die bestehenden manuellen Prozesse im Back-Office. Erfassen Sie, wie viele Stunden pro Woche Senior-Staff für Datenpflege und Dokumentenrecherche aufwenden. Diese Daten bilden die Grundlage für die ROI-Berechnung und die Freigabe durch das Management.

3. Auditieren Sie die Datenqualität im CRM und im DMS. Identifizieren Sie fehlende Felder, Duplikate und veraltete Einträge, die die KI-Performance beeinträchtigen. Ohne saubere Eingabedaten liefert das Embedding-Modell keine verwertbaren Ergebnisse.

4. Entscheiden Sie sich für eine model-agnostic Architektur. Planen Sie die Nutzung von OpenAI- oder Anthropic-APIs für die Textgenerierung und Open-Weight-Modelle auf eigener Hardware für die Embedding-Erzeugung. Diese Trennung ermöglicht es, sensible Daten innerhalb des Unternehmens zu halten und gleichzeitig die beste Textqualität zu nutzen.

Phase 2: Technische Architektur und Datenbereinigung

5. Implementieren Sie pgvector in Ihrer bestehenden PostgreSQL-Instanz. Laden Sie die Dokumente aus dem DMS und dem CRM in die Datenbank und generieren Sie die Vektoren mit einem Embedding-Modell. pgvector erlaubt es, Vektordaten und strukturierte Metadaten in einer einzigen Datenbank zu verwalten, was die Latenz reduziert und die Transaktionskonsistenz sicherstellt.

6. Integrieren Sie die Knowledge-Search über eine Custom REST API. Verbinden Sie das Such-Tool mit dem bestehenden Helpdesk und dem CRM, ohne diese Systeme zu ersetzen. Die API sollte Filter für Berechtigungslevel, Abteilung und Dokumenttyp unterstützen, um Compliance-Risiken zu minimieren.

7. Konfigurieren Sie Webhooks für Echtzeit-Updates. Stellen Sie sicher, dass Änderungen im CRM oder im DMS automatisch die Vektordaten aktualisieren. Ohne diese Synchronisation veraltet die Knowledge-Search innerhalb weniger Wochen und verliert ihre Nützlichkeit.

8. Implementieren Sie einen Human-in-the-Loop-Prozess für die Datenanreicherung. Die KI schlägt fehlende CRM-Felder vor, aber ein Datenpfleger muss diese Vorschläge manuell freigeben. Dieser Schritt verhindert, dass fehlerhafte KI-Ausgaben die operative Datenbasis verschmutzen und ist besonders wichtig bei sensiblen Daten.

Phase 3: Pilot-Implementierung und Messung

9. Messen Sie die Baseline-Metriken vor dem Pilot-Start. Erfassen Sie die durchschnittliche Suchzeit, die Fehlerquote und die Anzahl der manuellen Eingriffe pro Woche. Diese Werte sind der Referenzpunkt für die Erfolgsmessung des KI-Systems.

10. Führen Sie den Piloten mit einer kleinen, definierten Nutzergruppe durch. Beginnen Sie mit 10 bis 20 Mitarbeitenden aus der Customer-Support-Abteilung. Eine kleine Gruppe ermöglicht es, Feedback schnell zu sammeln und die Modelle anzupassen, bevor ein breiter Rollout erfolgt.

11. Erfassen Sie die Fehlerquote durch ein Feedback-Widget. Lassen Sie die Nutzer jeden Suchtreffer als „hilfreich“ oder „falsch“ markieren. Diese Daten sind essenziell, um die Embedding-Modelle zu retrainen und die Qualität der Knowledge-Search kontinuierlich zu verbessern.

12. Validieren Sie die Berechtigungslogik im Pilot. Testen Sie, ob die Knowledge-Search nur Dokumente zurückgibt, auf die der jeweilige Nutzer Zugriff hat. Ein Fehler in der Berechtigungslogik kann zu Compliance-Verstößen gegen die DSGVO und den EU AI Act führen.

Phase 4: Compliance, Rollout und Managed Operations

13. Prüfen Sie die Compliance mit dem EU AI Act (VO (EU) 2024/1689). Stellen Sie sicher, dass das System als „minimal risk“ klassifiziert ist und dass keine sensiblen Daten in ungesicherte Modelle fließen. Artikel 4 des Gesetzes verlangt KI-Kompetenz der Mitarbeitenden, die durch Schulungen und klare Nutzungsrichtlinien abgesichert werden muss.

14. Dokumentieren Sie die Datenfluss-Architektur für den Audit. Erstellen Sie eine detaillierte Map, die zeigt, welche Daten von welchem System in welches Modell fließen und wo sie gespeichert werden. Diese Dokumentation ist für interne und externe Audits erforderlich und erleichtert die Nachvollziehbarkeit der Datenverarbeitung.

15. Planen Sie den Übergang in den Managed-AI-Operations-Betrieb. Definieren Sie SLAs für Verfügbarkeit (z. B. 99,5 Prozent), Reaktionszeit auf kritische Fehler (z. B. 4 Stunden) und regelmäßiges Re-Training der Modelle. Ein Managed-Betrieb stellt sicher, dass das System auch nach dem Rollout auf dem aktuellen Stand bleibt und die Performance nicht nachlässt.