Die ordnungsgemäße Überwachung der Endbenutzererfahrung auf SaaS-Plattformen ist ein sehr fortschrittliches Thema. Aber wir wissen, dass das Verständnis der Ergebnisse nicht sein sollte. Daher liefern wir Ergebnisse in Form einer leicht verständlichen Punktzahl. Stellen Sie es sich wie ein Testergebnis in der Schule vor – 100 ist das beste Ergebnis, das Sie erreichen können, und 0 ist das schlechteste. 

Wie soll ich die Partituren lesen?

Unsere Scores kommen mit ein paar eingebauten Ranges aus der Box. 

• Gutes
  • Werte zwischen 85+ – 100
  • Farbcodiertes Grün in Status-Widgets im Portal
  • Benutzer würden berichten, dass die Plattform normal läuft, wenn die Punktzahlen im guten Bereich liegen.
  • Statistisch gesehen ist ein Wert von 87 schlechter, aber der Benutzer wird es wahrscheinlich nicht bemerken.
• Betroffene
  • Werte zwischen 50+ – 85
  • Farbkodiert Gelb in Status-Widgets im Portal
  • Der durchschnittliche Benutzer würde „wahrnehmen“, dass die überwachte SaaS-Plattform langsam läuft, aber die Langsamkeit reicht wahrscheinlich nicht aus, um zu prevent der Benutzer funktioniert nicht.
• Verschlechtert
  • Werte zwischen 0 – 50
  • Farbcodiert Rot in Status-Widgets im Portal
  • Die Benutzererfahrung wird so stark beeinträchtigt, dass die Benutzer nicht in der Lage wären, normal zu funktionieren.

Wie punkten wir?

Es gibt viele Faktoren, die in unseren Bewertungsmechanismus einfließen. Zunächst einmal: Wir verbinden uns nicht nur mit M365 und sagen, dass es in Ordnung ist.

Die Möglichkeit, einen SaaS-Dienst zu „erreichen“, bedeutet nicht, dass der Dienst für Ihre Benutzer zufriedenstellend funktioniert. Unsere Punktzahl ist also das Produkt mehrerer realer Benutzersimulationen, die wir kontinuierlich aus dem Kontext des Benutzers heraus durchführen und in drei charakteristischen Punktzahlen gipfeln, die uns helfen, potenzielle Ursachenbereiche zu identifizieren und zu isolieren:

1. Authentifizierung: Können sich Benutzer erfolgreich beim SaaS-Dienst authentifizieren und authentifiziert bleiben?
2. Networking: Können Benutzer den SaaS-Dienst erfolgreich und zufriedenstellend erreichen?
3. API: Können Benutzer erfolgreich und zufriedenstellend mit dem SaaS-Dienst interagieren?

Wir tun dies für jeden der überwachten Personen M365 Workloads/Dienste und jeden Benutzer einzeln analysieren und dann mit dem vergleichen, was als „normal“ erwartet wird.

Was meinen wir mit „erwarteter Normalzustand“?

Um die erwartete Normalität zu berechnen, betrachten wir die individuelle Situation und Erwartungen des Benutzers. Die Erwartungen eines Benutzers an das Netzwerkerlebnis, wenn er in einem Büro mit einer 100-Gb-LAN-Verbindung arbeitet, unterscheiden sich wahrscheinlich ein wenig von denen seines Home Offices mit einem 10-MB-Wi-Fi-Netzwerk.

Sie müssen auch berücksichtigen, dass der erwartete „Normalwert“ von Tageszeit und Wochentag abhängen kann. Wenn sich beispielsweise am Montagmorgen alle gleichzeitig anmelden, ist die Authentifizierung wahrscheinlich für alle etwas langsamer und sollte daher nicht mit Freitagnachmittag verglichen werden. Der Benutzer bemerkt dies möglicherweise nicht einmal, aber ein normales Überwachungstool würde und könnte einen falschen Alarm ausgeben, wenn Sie diese spezifischen zeitbezogenen Situationen nicht berücksichtigen.

Und ähnlich für all die verschiedenen Dienste. Jeder Workload/Dienst besteht aus mehreren Funktionen und APIs, die für die zu verwendenden Dienste zugänglich sein müssen. Mal einzeln, mal nacheinander. Das Verständnis der Feinheiten der Konnektivität zwischen ihnen und die Möglichkeit, sie zu verfolgen, gibt uns die Möglichkeit anzuzeigen, ob ein Ausfall beispielsweise OneDrive (einschließlich der Weboberfläche) oder nur beim Öffnen im Desktop-Client betrifft. So haben Sie die Möglichkeit, Ihre Benutzer umzuleiten, falls nur einer der beiden Clients betroffen ist.

Die obigen Beispiele sind nur einige der vielen Kriterien und erweiterten Berechnungen, die bei der Berechnung des „erwarteten Normalwerts“ der Benutzer ins Spiel kommen. In Wirklichkeit besteht es aus Hunderten von Millionen Datenpunkten, die jede Minute berechnet und berücksichtigt werden.

Welche Werte ermitteln wir?

Wir bewerten die Benutzererfahrung sowohl für einzelne Benutzer als auch für die Organisation.

• User Experience: Diese Punktzahl gibt an, wie die aktuelle Erfahrung des Benutzers im Vergleich zur normalen Erfahrung des Benutzers unter ähnlichen Umständen ist.
• Unternehmensweite Benutzererfahrung: Diese Punktzahl hilft Ihnen, schnell zu erkennen, ob es Kohorten oder Bereiche Ihres Unternehmens gibt, die eine weniger als optimale Erfahrung haben, welche Dienste betroffen sind und Trends erkennen.

Zusätzlich bewerten wir die Anrufqualität von Teams:                                    

• Anrufqualitätsfaktor: Basierend auf unseren einzigartigen Daten, die uns minutengenaue Anrufmetriken liefern, gibt diese Bewertung an, wie die Gesamtqualität eines Anrufs basierend auf der Erfahrung des einzelnen Teilnehmers war. Für diesen Score gewichten wir die Auswirkungen, die Störungen während des Gesprächs auf die Nutzer selbst und auf andere haben. Zum Beispiel, wenn die gesendete Video- oder Audioqualität eines Benutzers während der Präsentation schlecht ist (was sich auf alle auswirkt) oder ob ein Benutzer eingehendes Audio/Video schlecht empfängt, während er sich im Nur-Hören-Modus befindet (was nur ihn betrifft).

Anforderungen & Überlegungen

Um ein genaues benutzer- oder unternehmensweites Scoring bereitzustellen, benötigen wir idealerweise mindestens 1 Woche gesammelte Daten und für ein genaues organisationsweites Scoring idealerweise mindestens 100 überwachte Benutzer.