Copilot-Bereitschaft: Die fehlende Säule, die niemand misst

Microsoft und viele andere Anbieter stellen praktische Checklisten zur Verfügung, mit denen Sie prüfen können, ob Sie für Copilot bereit sind. Das ist zwar hilfreich, doch alle Checklisten, die ich bisher gelesen habe, konzentrieren sich auf denselben Aspekt: die Datenanforderungen für die Steuerung der Eingaben in M365 Copilot:

All das ist notwendig. Doch bei all diesen Punkten gibt es eine eklatante Lücke.

Bedenken Sie Folgendes: Bei vielen Kunden ist das auffälligste Ergebnis der KI keineswegs eine Copilot-Chat-Eingabeaufforderung, sondern die Besprechungszusammenfassung, die nach jeder Besprechung automatisch angezeigt wird: die „Intelligent Teams“-Besprechungszusammenfassung. Je nach Lizenzierung und Nutzung ist dies möglicherweise die von Ihnen am häufigsten genutzte Copilot-Funktion, die für Folgendes zuständig ist:

Im Grunde hängt all dies von einem einzigen Faktor ab: der Qualität der Tonaufnahme.
Nun ist das Protokoll kein Dokument, das von jemandem zusammengestellt wurde. Es handelt sich um ein in Echtzeit vom Computer erstelltes Protokoll, das über das jeweilige Mikrofon, den jeweiligen Raum und den jeweiligen Netzwerkpfad erfasst wurde, die jeder Teilnehmer während dieser Besprechung zufällig genutzt hat. Die Qualität der Aufzeichnung bestimmt also die Qualität aller daraus abgeleiteten Ergebnisse.

Wer ist denn nun eigentlich dafür zuständig?

Ich bin kein Experte für die Copilot-Einführung. Meines Wissens nach stützt sich die Diskussion über die Einführungsbereitschaft jedoch hauptsächlich auf zwei Säulen, und bei beiden geht es um bereits vorhandene Daten.

Beim Datenzugriff geht es darum, wer die von Copilot erstellten Inhalte einsehen darf. Bei der Datenqualität geht es darum, ob die gespeicherten Inhalte korrekt und aktuell sind. Die Verantwortlichen für diese beiden Säulen sind in der Regel unterschiedliche Personen, die häufig in verschiedenen Abteilungen tätig sind.

Meiner Meinung nach fehlt noch ein dritter Punkt: die Qualität der Aufzeichnung.
Entsprach das, was wir aufgezeichnet und transkribiert haben, tatsächlich dem, was in der Sitzung geschehen ist?

Nun könnte man argumentieren, dass die Erfassungsqualität lediglich ein Teil der Datenqualität ist. Konzeptionell hätten Sie damit recht. Dennoch würde ich sie weiterhin separat betrachten, da sie eine Eigenschaft aufweist, die die beiden anderen nicht teilen: Sie lässt sich nachträglich nicht korrigieren.

Ein Fehler in einem Dokument kann nächste Woche korrigiert oder gelöscht werden. Eine falsch zugewiesene Berechtigung kann korrigiert werden. Beide Arbeitsabläufe sind rückwirkend und wiederholbar.
Eine schlecht aufgezeichnete Besprechung lässt sich nicht erneut aufzeichnen. Es gibt keinen einfachen zweiten Durchgang, keine Nachbearbeitung und kein „Wir werden das in Phase zwei korrigieren“, da die Aufzeichnung und die Transkription bereits unzuverlässig sind. Der Organisator der Besprechung kann theoretisch die Transkription durchgehen und anpassen, doch was Sie nicht tun können, ist, den Ton neu aufzunehmen. Und genau hier ist der Verlust bereits eingetreten.

Diese Asymmetrie ist eine Diskussion wert. Zwei der drei Eingaben für Copilot lassen sich nachträglich korrigieren. Bei der dritten haben Sie genau einen Versuch; sie erfolgt in Echtzeit, tausende Male pro Woche, und in der Regel beobachtet niemand den Vorgang.

Bei einer Teams-Besprechung wird ein einziges Protokoll erstellt. Dieses wird in der Cloud aus der Audioaufzeichnung generiert, sobald diese beim Cloud-Dienst eingeht. Es gibt keine Version für jeden Teilnehmer einzeln. Alle lesen denselben Text.

Diese Tatsache allein unterteilt Netzwerkbeeinträchtigungen in zwei Kategorien:

Störungen auf der Eingangsseite: Die Qualität Ihres eingehenden Audiostreams verschlechtert sich. Das WLAN zu Hause ist schlecht, alle klingen wie Roboter, und Sie verpassen die Hälfte der Diskussion. Ihr Erlebnis ist getrübt, doch das Transkript bleibt davon unberührt, und der Dienst hatte bereits saubere Audioaufnahmen von allen Teilnehmern.

Ausgehende Signalbeeinträchtigungen: Die Qualität Ihres ausgehenden Audiostreams verschlechtert sich. Paketverluste auf Ihrer Übertragungsstrecke oder einfach die Verwendung eines defekten Mikrofons. Ihre Audioaufzeichnung gelangt in verschlechterter Qualität beim Transkriptionsdienst an, und diese Verschlechterung wird in das gemeinsam genutzte Transkript übernommen. Und zwar dauerhaft. Für alle dreißig Teilnehmer und für jeden KI-Agenten, der es anschließend nutzt.

Die „Poor Call Rate“ und die Transkriptintegrität weisen also tatsächlich in unterschiedliche Richtungen. Sie können die erstgenannte Kennzahl senken und dennoch fast nichts über die zweitgenannte erfahren. Dies ist nur möglich, wenn Sie wissen, welche Erfahrungen der KI-Agent gesammelt hat.

Das untenstehende Bild zeigt, dass der Aufzeichnungsbot-Dienst in der Cloud bei einer bestimmten Besprechung Probleme hatte, einen einwandfreien Audio-Medienstream zu empfangen. Genau das, was Sie aufzeichnen möchten, was die meisten Tools jedoch nicht leisten. Auch Copilot wird Ihnen nicht mitteilen, dass es Probleme gab. Es interpretiert einfach das, was es „erfasst“ – ob gut oder schlecht –, ohne jemals einen Alarm auszulösen. Das Ergebnis ist ein Transkript, das möglicherweise nicht Ihren Erwartungen entspricht …

Was die Ursache für eine schlechte Gesprächsqualität bei einem Teilnehmer oder einem KI-Agenten ist, stellt ein eigenständiges Thema dar und steht nicht im Mittelpunkt dieses Artikels.

Und hier ist, was meiner Meinung nach angesprochen werden sollte: Die Unternehmensführung macht fehlerhafte Transkripte tatsächlich gefährlicher, nicht weniger gefährlich. Eine Aufbewahrungsrichtlinie verpflichtet Sie dazu, diese aufzubewahren. Eine Vertraulichkeitskennzeichnung verleiht ihr den Status einer offiziellen Akte. eDiscovery garantiert, dass jemand sie in drei Jahren finden wird. Und anders als bei einem Rechenfehler in einer Tabellenkalkulation können Sie ein fehlerhaftes Protokoll nicht durch bloßes Lesen erkennen. Ein Satz, der mit Überzeugung falsch transkribiert wurde, liest sich einwandfrei. So wenden wir letztendlich unternehmensweite Strenge auf etwas an, dessen Richtigkeit niemand jemals überprüft hat.

Sie benötigen nicht unbedingt ein neues Programm. Sie müssen vor allem die beiden bestehenden Säulen um eine weitere ergänzen und die Verteilung messen. Welche Nutzer, Standorte, Netzwerke, Räume oder sogar wiederkehrende Besprechungen erzeugen systematisch Audioaufnahmen, bei denen man sich nicht wirklich auf die KI-Copilot-Ebene verlassen sollte?

Dies ist eine Frage, die sich auf die gesamte Nutzergruppe bezieht, und obwohl die ursprüngliche fehlerhafte Erfassung nicht mehr korrigiert werden kann, ermöglichen es Ihnen die Erkenntnisse aus der Nutzergruppe, die Ursachen zu beheben und künftige Erfassungsprobleme zu vermeiden. Beispielsweise durch den Austausch alter Headsets oder die Verbesserung der WLAN-Abdeckung usw.

Wesentliche Faktoren zur Verbesserung der Erfassungsqualität:

Beim Datenzugriff geht es darum, wer die Daten einsehen darf. Bei der Datenqualität geht es darum, ob die Daten korrekt sind. Bei der Erfassungsqualität geht es darum, ob wir die Informationen von vornherein richtig aufgenommen haben – und dies ist der einzige der drei Aspekte, den Sie nachträglich nicht mehr korrigieren können.

Früher war schlechte Audioqualität ein Kritikpunkt hinsichtlich der Benutzererfahrung. Mittlerweile hat sich dies still und leise zu einem Problem der KI-Datenqualität entwickelt, von dem immer mehr entscheidende Copilot-Funktionen abhängen, und ich bin der Meinung, dass es auf die Governance-Checkliste gehört. Die Erfassungsqualität ist der einzige Bereich, in dem die einzige verfügbare Maßnahme die Messung ist, nicht die Behebung. Daher ist es vielleicht an der Zeit, dies in Ihr Copilot-Vorbereitungsprogramm aufzunehmen.

Offenlegung: Ich arbeite bei panagenda. Unser Produkt „TrueDEM“ misst die Qualität der eingehenden und ausgehenden Medienstreams pro Anruf und pro Teilnehmer, einschließlich des für die Aufzeichnung und Transkription zuständigen Mitarbeiters. Bitte wenden Sie sich gerne an uns, wenn Sie mehr erfahren möchten.