RateMyCall Awareness

Teams fragt bei ca. 10% der Verbindungen am Ende nach einer Sterne-Bewertung. Als Administrator sollten Sie ihre Anwender darüber aktiv informieren, damit die Daten auch wertvoll sind.

Beachte dazu auch die Seite Teams User Feedback

Auslöser

Fast alle Anwender kennen mittlerweile die Abfrage am Ende eines Anrufs oder eines Meetings, bei der Teams um eine Bewertung der Verbindung bittet. Diese Daten wird vermutlich Microsoft anonym verarbeiten aber sie landen auch auf jeden Fall in den CDQ-Reports und Call-Records. Sie können als von ihnen als Administrator ausgewertet werden. In einem CQD-Bericht sieht das z.B. wie folgt aus:

Sie sehen die Anzahl der Bewertungen pro Monat und die durchschnittliche Bewertung. Hier gab es im Juli 2023 insgesamt 42 Bewertungen mit einem Schnitt von 4,81 Punkten. Allerdings sind hier auch 4,76% Bewertungen als "schlecht" eingestuft und im halben Oktober geht der Trend (Orange) nach unten und Rot zeigt noch mehr Problemverbindungen.

Nun ist eine durchschnittliche Bewertung von 4.81 eigentlich gut aber was passiert, wenn Sie bei einem Kunden nur auf Werte von 2-3 kommen?  Natürlich sollten wir dann umgehend weiter analysieren, warum dies so ist und ob es technische Gründe, z.B. UDP 3478-3481 Sperrung, falsche DNS-Server, Proxy-Server, Bandbreitenprobleme gibt. Aber manchmal ist der Grund auch rein menschlich.

Wer misst, misst Mist

Wie gefällt es ihnen, wenn jemand ihren Arbeitsfluss stört, indem immer mal wieder eine Umfrage eingestreut wird? Wenn Sie mit ihren Anwendern nicht kommunizieren, dann können Anwender auch eine Protestposition einnehmen. Auf den Dialog mit den 1-5 Sternen hat ein Anwender nämlich mehrere Reaktionsmöglichkeiten. Er kann ehrlich antworten, falsch antworten oder nicht antworten.

Verbindungs-qualität RateMyCall-Antwort Status Beschreibung

Gut

5 Sterne

OK

Wenn ein Call gut ist und der Benutzer und das mitteilt, dann passen die Auswertungen in CQD

Gut

keine Antwort

OK

Wenn ein Call gut ist aber der Benutzer genervt einfach das Fenster schließt, oder er zu den 90% gehört, die gar nicht gefragt werden, dann ist die "Keine Antwort" dennoch in Ordnung, denn Sie verfälscht nichts.

Gut

1 Stern

Schlecht

Es passiert tatsächlich, dass Benutzer einen guten Call trotzdem schlecht bewerten. Die Bewertung bezieht sich dann aber nicht auf den Anruf selbst, sondern dass dem Benutzer etwas anderes stört und er vielleicht einfach durch die Rückfrage genervt wird. Dem Betrieb hilft das natürlich nicht weiter, weil die CQD-Daten dann schlechter als gefordert sind und die Suche nach Probleme ja durchaus Zeit und Geld kostet, obwohl es keine Probleme gibt. Es ist daher schon zu überlegen, ob sie auf schlechte Bewertungen aktiv den Benutzer darauf ansprechen.

Schlecht

5 Sterne

Schlecht

Das ist natürlich gar nicht hilfreich, wenn ein Benutzer einen schlechten Call hatte, gefragt wird und er einfach irgendwas

Schlecht

1 Stern

OK

Wenn der Benutzer nach einem schlechten Call gefragt wird und er das auch meldet, dann hilft das den Benutzer im aktuellen Fall nicht direkt weiter. Aber der Betrieb kann davon Aktionen ableiten, z.B. Fehler suchen. Optimal wäre es, wenn Teams bei so einem Rating direkt eine Meldung in einen Kanal senden würde

Schlecht

keine Antwort

Schlecht

Wenn die Verbindung schlecht war und der Benutzer die Anfrage einfach ohne Bewertung wegklickt, dann verpasst er die Change die Ursache zu beheben.

Leider wissen wir nie, viel viele Bewertungen korrekt und damit sinnvoll sind und welche die Ergebnisse verfälschen. Das Problem potenziert sich noch, wenn wenige Benutzer irgendwann einfach jeden Anruf mit "1 Stern" bewerten, weil Sie von Teams an sich genervt sind und alle guten Call gar nicht mehr bewertet sondern einfach geschlossen werden.

Kommunikation!

Daher sollten Sie zeitgleich mit der Einführung von Teams aktiv ihre Mitarbeiter auf die Bedeutung der Rückmeldung zu beendeten Verbindungen mittels "RateMyCall" aufklären, Es geht gerade nicht darum, die Mitarbeiter zu nerven oder zu ärgern oder sich Lob zu erschleichen. Die Bitte um Feedback finden Sie in anderen Programmen meist nicht oder nur bei der Deinstallation oder nach einem größeren Update. Wer aber pro Tag 10-20 Telefonate führt, wird mehrere Feedback-Meldungen angeboten bekommen. Das geht ja noch weiter, weil bei einer Wertung mit weniger als 5 Sternen noch genauer nachgefragt wird, was es denn gewesen sein könnte.

Damit die Ergebnisse sinnvoll sind, müssen Sie den Mehrwert für die Anwender deutlich herausstellen. Nur dann werden Sie auch aussagekräftige Daten erhalten. Der Spruch "Wer misst, misst Mist" kommt nicht von ungefähr und bedeutet, dass Sie immer die Plausibilität der Daten über verschiedene Wege gegenprüfen müssen. Dazu gehört auch das aktive Angehen von Anrufen die den Status "Poor" oder weniger als 5 Sterne haben. Für den Anfang können Sie sich erst einmal die Verbindungen mit 1 Stern anschauen.

Auf jeden Fall sollten Sie den Anwendern mitgeben:

  • RateMyCall hilft dem Betrieb, Probleme ausfindig zu machen
    Kein Admin kontrolliert Daten wie Paketloss, Latenz, Jitter bei jeder stattgefundenen Übertragung oder hört einem Gespräch zu. Wir brauchen ihr Feedback, wenn sie ein Problem erkannt haben, was das System nicht bemerkt hat.
  • Sterne beziehen sich auf Audio/Video/Desktopsharing
    Die Bewertung dient nicht dazu, über ein Problem in der Bedienung von Team, Kanälen, Nachrichten, Chats etc. zu berichten.
  • Bitte keine Falschbewertungen
    Es hilft niemandem, wenn eine gute Verbindung aus "Rache" schlecht bewertet wird oder eine schlechte Verbindung nicht bewertet wird. Wenn Sie keine Bewertung abgeben wollen, dann schließen sie einfach das Fenster aber geben Sie nicht irgendwelche Sterne.

Wenn sich ihre Anwender daran halten, dann erhalten Sie recht aussagekräftige Informationen über die Qualität der Audio/Video/Sharing-Verbindungen, selbst wenn nur jede zehnte Verbindung abgefragt wird.

Nächste Schritte

Es reicht aber nicht die Benutzer zu einer korrekten Bewertung zu bitten. Sie müssen mit den Daten natürlich etwas anfangen. Eine Kontrolle der "Rate my Call" werden im Call Quality Dashboard ist nur der Einstieg. Damit Sie die Bewertungen auf Standorte oder Netzwerke filtern und gruppieren können, müssen Sie ihre Netzwerktopologie (Subnetze, Maske, Standorte) als CSV-Datei hochladen. Dann können sie die Ergebnisse auch einordnen, denn "Mittelwert über alles" ist nicht nur im übertragenen Sinne nur "Mittelmaß".

Ideal wäre es, wenn eine schlechte Bewertung durch einen Anwender direkt eine Aktion auslösen könnte. Das ist aber in Teams aktuell nicht vorgesehen. Sie müssten schon warten, bis die Daten entweder in Call Analytics oder CQD eingespeichert wurden.

Weitere Links