Automatisierung des Kundenservice mit KI

Künstliche Intelligenz (KI) kann die Bearbeitung von Supportanfragen nicht nur beschleunigen, sondern auch deutlich verbessern. Ich arbeite bei Innovaforge im Bereich der generativen KI und möchte Ihnen erzählen, wie wir mit einem der größten deutschen Energieunternehmen zusammengearbeitet haben und durch automatische Bearbeitung von Kunden-Supportanfragen die KI in den Kundenservice integriert haben.

Herausforderung: Überforderung durch steigende Anfragezahlen

Das Unternehmen erhält monatlich mehrere zehntausend Anfragen über verschiedene Kanäle: Post, Telefon, Self-Service-Portal usw. Unter diesen Bedingungen stießen die herkömmlichen Bearbeitungsmethoden an ihre Grenzen: hohe Arbeitsbelastung der Manager, manuelle Weiterleitung, lange Bearbeitungszeiten, Fehler und der Faktor Mensch. Dies war ein Grund, nach neuen Lösungen zu suchen. Darüber hinaus schuf die Entwicklung und Einführung von Large Language Model (LLM)-Technologien einen zusätzlichen Anreiz, innovative Ansätze für die Bearbeitung von Anfragen zu erforschen.

Entscheidung: Automatisierung durch KI

Ähnliche Automatisierungsprojekte wurden bereits weltweit und auch in Deutschland erfolgreich durchgeführt, insbesondere bei Standard- und wiederkehrenden Anfragen.

Ziele und erwartete Ergebnisse

In der Anfangsphase des Projekts wurden die wichtigsten Ziele und die erwarteten Auswirkungen klar definiert:

1. Automatisierung der anfänglichen Klassifizierung und Weiterleitung von per Post eingehenden Anfragen: Mehr als die Hälfte aller Anfragen pro Monat sollten automatisiert klassifiziert und weitergeleitet werden, um die Arbeitsbelastung der Sachbearbeiter zu reduzieren.
2. Schnellere Bearbeitung von Anfragen: Dank der schnellen und präzisen Weiterleitung von Anfragen verkürzt der Dienst die Reaktionszeit auf Nutzeranfragen.
3. Prüfung der Hypothese, dass eine bessere Klassifizierung von Anfragen durch interaktive Verfeinerung der Interaktionen des LLM-Modells mit den Nutzern möglich ist.
4. Senkung der Betriebskosten: Durch den Einsatz fortschrittlicher Technologien der künstlichen Intelligenz und umfangreicher Sprachmodelle sollen Routineaufgaben auf ein Minimum reduziert und damit die Kosten für manuelle Arbeit gesenkt werden.

Beschreibung des Geschäftsprozesses

Das Herzstück des Benutzersupportprozesses ist das ITSM-System, das den Fluss der Anfragen verwaltet. Benutzeranfragen aus verschiedenen Kanälen werden zunächst manuell nach Inhalt, Priorität und anderen Parametern kategorisiert. Hierfür sind die Manager des Call Centers zuständig. Nach der Kategorisierung werden die Anrufe an die entsprechenden Servicegruppen in der zweiten Reihe zur weiteren Bearbeitung oder Lösung weitergeleitet.

Die Rolle von AI-ICS bei der Weiterleitung von Anfragen

Die erste Version des Dienstes „Incident Classification System (AI-ICS)“ wurde entwickelt, um den Klassifizierungs- und Routing-Prozess zu automatisieren.

• AI-ICS analysiert und klassifiziert Anfragen auf der Grundlage ihres Inhalts und identifiziert die richtigen Kategorien: Dienstleistung, Kategorie, Art der Anfrage und Zielgruppe.
• Von AI-ICS klassifizierte Anfragen werden automatisch entweder direkt an die zuständigen Abteilungen oder zur weiteren Überprüfung weitergeleitet, wenn das System sich der Klassifizierung nicht sicher ist.

Die Hauptakteure sind AI-ICS, das ITSM-System und die Manager des Kontaktzentrums unseres Kunden, die zusammenarbeiten, um die Effizienz und Genauigkeit bei der Bearbeitung von Benutzeranfragen sicherzustellen.

Abbildung 1: Plattformkomponenten, Geschäftsprozessbeteiligte und ihr Zusammenspiel

Trainingsdaten und Trainingskit

Umfang und Quellen der Daten

Für das Projekt wurde ein umfangreicher Datensatz von fast einer Million Anfragen aus den letzten zwei Jahren verwendet. Diese Daten enthielten folgende Angaben:

• Struktur der Anfragen: Ungefähr 50 % der Anfragen wurden in 7 Dienste, 14 Kategorien und 15 Gruppen eingeteilt. Die restlichen 50 % der Daten verteilten sich auf 50 Dienste, 107 Kategorien und 83 Gruppen, was insgesamt etwa 5 300 eindeutige Kombinationen ergab.
• Eignung der Daten: Vom gesamten Array waren etwa 79 % der Anfragen für das Training und den Test des Modells „wie es ist“ geeignet. Dabei handelte es sich um kurze Anfragen, die nicht länger als 500 Zeichen waren. Längere Texte erforderten eine Vorverarbeitung, einschließlich Zusammenfassung und Entfernung redundanter Informationen.
• Integration von Anhängen: Ein erheblicher Teil der Anfragen (34 %) enthielt grafische Anhänge. Die Tests zeigten jedoch, dass das Hinzufügen von Daten aus diesen Anhängen die Genauigkeit des Modells nicht verbesserte.

Ansatz für die Implementierung von AI-ICS

Entwicklung und Einsatz

Das Projekt umfasste mehrere Schlüsselphasen bei der Entwicklung und Implementierung des KI-Kundenservice-Systems:

1. Auswahl des ML-Modells: Identifizierung des geeigneten Modells für die Klassifizierung und Weiterleitung von Anfragen.
2. Service-Entwicklung: Erstellung eines Docker-Containers für das ML-Modell und Entwicklung einer API für die Integration mit dem ITSM-System.
3. Pre-Training des Modells: kontinuierliches Training des Modells auf der Grundlage neuer Daten aus dem Helpdesk.
4. Berichterstattung und Bewertung: Einführung eines Berichterstattungssystems zur Analyse der AI-ICS-Leistung.
5. Tests und Qualitätsbewertung: Durchführung von Tests und Bewertung der Leistung des Systems.
6. Systemverwaltung: Entwicklung von Werkzeugen zur Verwaltung von Modellparametern und Anfragearten.

Werkzeuge für maschinelles Lernen

Der AI-ICS-Dienst nutzt eine Reihe fortschrittlicher Technologien für maschinelles Lernen:

• PyTorch: das wichtigste Framework für die Arbeit mit Modellen.
• Pandas: ein Werkzeug zur Verarbeitung und Analyse von Daten.
• MLflow: eine Plattform für die Verwaltung von maschinellem Lernen und die Automatisierung von Pipelines.
• Matplotlib und Seaborn: Bibliotheken für die Datenvisualisierung.
• LaBSE: ein Transformationsmodell, das für die Aufgabe der Klassifizierung und des Routings von Zugriffen in verschiedenen Sprachen optimiert ist.

Klassifikatorarchitektur auf der Grundlage des LaBSE-Modells

Einführung in große Sprachmodelle

Große Sprachmodelle wie GPT und BERT haben die Verarbeitung natürlicher Sprache revolutioniert, indem sie Übersetzungs-, Zusammenfassungs- und Fragebeantwortungsfunktionen bieten. LaBSE wurde für den mehrsprachigen Einsatz optimiert und ist ideal für globale Unternehmen mit mehrsprachigen Anfragen.

Auswahl des Modells

Die Entscheidung für das LaBSE-Modell war das Ergebnis sorgfältiger Untersuchungen und Experimente. Während des AI-ICS-Entwicklungsprozesses haben wir GPT2, BERT und andere Transformationsmodelle getestet. In jeder Phase wurden Hypothesen getestet, die Leistung analysiert und unsere Anforderungen an Genauigkeit und Verarbeitungsgeschwindigkeit erfüllt. LaBSE erwies sich als das effektivste Modell, da es mehrsprachige Aufgaben bewältigen kann, leichtgewichtig ist, eine hohe Verarbeitungsgeschwindigkeit bietet und die Anfragen am genauesten klassifizieren und weiterleiten kann. Darüber hinaus erwies sich LaBSE als widerstandsfähig gegenüber Datenänderungen und als flexibel bei der Integration – wichtige Faktoren bei der Auswahl des Modells für das Projekt.

Die Rolle von LaBSE bei der Weiterleitung von Anfragen

Im Unternehmen spielt eine Klassifizierungsarchitektur, die auf dem LaBSE-Transformer-Modell basiert, eine Schlüsselrolle bei der intelligenten Weiterleitung von Anfragen an den IT-Support. Und so funktioniert es:

1. Datenaufbereitung: Der AI-ICS-Dienst beginnt mit dem Empfang der Antragsdaten. Dazu gehören der Text der Anfrage selbst, Daten über den Manager, der die Anfrage gestellt hat, und ein spezielles Kennzeichen „isSpecial“. Dieses Kennzeichen wird verwendet, um Nutzer zu identifizieren, deren Anfragen möglicherweise besondere Aufmerksamkeit oder eine manuelle Kategorisierung erfordern, obwohl sie auch in die allgemeine Analyse für die statistische Datenerhebung einbezogen werden.
2. Tokenisierung und Einbettung: Der Adresstext und die zugehörigen Daten werden kombiniert und mit dem LaBSE-Tokeniser verarbeitet, der den Text in eine Vektordarstellung umwandelt. Diese Vektoren oder Einbettungen helfen dabei, den semantischen Inhalt des Textes in ein maschinenverarbeitbares Format zu kodieren.
3. Klassifizierung von Attributen: Einbettungen werden mit Hilfe von Klassifizierungsmodellen analysiert, die Schlüsselattribute für jede Anfrage definieren (Art des Dienstes, Kategorie der Anfrage usw.). In einigen Fällen kann ein einziges Modell verwendet werden, um mehrere zusammenhängende Attribute zu definieren – z. B. Kategorie und Dienst zur gleichen Zeit.
4. Rückgabe von Ergebnissen: Klassifizierungsmodelle geben Werte für jedes der Merkmale zusammen mit Parametern zurück, die das Vertrauen des Modells in jede der Vorhersagen widerspiegeln. Diese Parameter helfen beim weiteren Anfrage-Routing.
5. Weiterleitung der Anfragen: Auf der Grundlage der Attributdaten und des Vertrauensgrads des Modells entscheidet AI-ICS über die Weiterleitung der Anfrage. Ist das Vertrauen hoch, wird die Anfrage direkt an die zuständige Abteilung weitergeleitet. Wenn das Modell nicht ausreichend vertrauenswürdig ist oder wenn die Anfrage zusätzlichen Regeln unterliegt (z. B. Anfragen von speziellen Nutzern), kann sie zur zusätzlichen manuellen Validierung weitergeleitet werden.

Praktische Vorteile der Verwendung von LaBSE

• Schnellere Verarbeitung: Die Automatisierung der Klassifizierung verkürzt die Bearbeitungszeit von Anfragen bis zu 60%.
• Verbesserte Genauigkeit: Die genaue Erkennung von Kategorien reduziert Routingfehler.
• Kostenreduzierung: Durch die effiziente Automatisierung werden die für die manuelle Sortierung und Anfrageverarbeitung erforderlichen Ressourcen reduziert. (In unserem Fall betrug die Kostenreduzierung während des Testmonats etwa 34 %, vorausgesetzt, das Personal wurde für andere Aufgaben eingesetzt.)

Ergebnisse des Prototyps des AI-ICS-Dienstes in den Geschäftsprozessen unseres Kunden

Effizienz der Klassifizierung

Während des Testzeitraums wurden 61 % der Anfragen von der KI im Kundenservice mit einer Konfidenzschwelle (Confidence Threshold, CT) von 0,8 klassifiziert, die restlichen 39 % wurden zur manuellen Validierung weitergeleitet (Abbildung 2).

Abbildung 2: Dynamik der Supportanrufe unseres Kunden

Von den verarbeiteten AIs wurden 84 % genau nach Dienst, Kategorie, Typ und Gruppenattributen kategorisiert, was eine Gesamtabdeckung von 51,24 % (84 % * 61 %) ergibt (Abbildung 3).

Abbildung 3: Dynamik von AI-Routing und Klassifizierungsqualität

 

Der durchschnittliche Anteil der korrekt klassifizierten und weitergeleiteten Anrufe im Kontaktzentrum liegt bei 75 % pro Tag (Abbildung 4).

Abbildung 4: Dynamik der Qualität der Weiterleitung und Klassifizierung von Anrufen durch die Manager des Kontaktzentrums

Prozessoptimierung

Durch den Einsatz von KI und IKS konnte die Klassifizierungsgenauigkeit auf 85 % erhöht werden, und die Zeit und Kosten für die Bearbeitung von Anfragen wurden gesenkt, indem der Anteil der Anfragen, die eine manuelle Klassifizierung erfordern, verringert wurde. Dies wiederum führte zu Ressourceneinsparungen und einer verbesserten Qualität des Kundendienstes.

Voraussichtliche Ergebnisse

Es wird erwartet, dass bis zu 80 % aller elektronischen Anfragen von der KI im Kundenservice effizient bearbeitet werden, ohne dass eine manuelle Weiterleitung erforderlich ist, und dass bis zu 84 % der Anfragen korrekt weitergeleitet werden. Dies bestätigt das Potenzial des Systems, die Betriebskosten erheblich zu senken und gleichzeitig hohe Qualitätsstandards bei der Bearbeitung von Anfragen aufrechtzuerhalten.

Weiterentwicklung von KI-ICS im Unternehmen des Kunden: Vertiefung der Automatisierung und Integration von neuen Modellen

Erweiterung der Möglichkeiten der KI im Kundenservice

Im Rahmen der kontinuierlichen Weiterentwicklung des KI-ICS-Systems arbeitet das Unternehmen aktiv an der Einführung von Funktionen zur automatischen Bearbeitung von Standardanfragen. Mit Hilfe der Intent-Auswahl und der anschließenden automatischen Beantwortung wird das Modell in der Lage sein, typische Aufgaben selbstständig zu lösen, ohne Spezialisten einzubeziehen. Dadurch wird der Serviceprozess deutlich beschleunigt und seine Effizienz mithilfe von KI im Kundenservice deutlich erhöht.

Verbesserte Benutzerinteraktion

Eine der neuen Funktionen ist die Fähigkeit der KI, klärende Fragen zu stellen. Dadurch kann sie Anfragen genauer klassifizieren und die am besten geeigneten Lösungen finden, was die Wahrscheinlichkeit von Fehlern minimiert und die Kundenzufriedenheit erhöht.

Integration fortschrittlicher KI-Modelle

Die Tool-Linie umfasst die neuesten Modelle des maschinellen Lernens, wie LLAMA 3 und Mixtral, die verbesserte Möglichkeiten für die Analyse und Verarbeitung von Anfragen bieten. Diese leistungsstarken Modelle bieten ein tieferes kontextuelles Verständnis und sind in der Lage, komplexe Anfragen mit hoher Genauigkeit zu verarbeiten.

Zukünftige Pläne

Das Unternehmen plant die weitere Integration neuer Technologien, um die Abhängigkeit vom menschlichen Faktor bei der Bearbeitung von Anfragen zu verringern. Die Entwicklung und Erprobung neuer Funktionen hat bereits deutliche Erfolge gezeigt, und dieser Trend mit KI im Kundenservice wird sich fortsetzen – sowohl in Bezug auf die Schnelligkeit des Dienstes als auch auf die Qualität der Antragsbearbeitung.

Wir freuen uns darauf, Sie bei der Verarbeitung Ihrer Daten zu unterstützen! Wir verfügen über umfangreiche Erfahrung in der Modellierung von Data Warehouses, im Aufbau von Berichtssystemen in einer Cloud-Infrastruktur und im Einsatz von maschinellem Lernen zur Lösung realer Geschäftsprobleme.

Kostenlose Beratungstermine können ab sofort hier gebucht werden.