Teams Transkription

Microsoft Teams kann bei Besprechungen nicht nur Untertitel addieren, sondern auch ein Protokoll führen. Informationen über "menschliche Simultanübersetzen" finden Sie auf Teams Dolmetscher

Untertitel mit Übersetzung

Bei einem Meeting in Teams gibt es leider immer nur genau einen Audio-Kanal. Ein richtiger Dolmetscher oder eine Live-Übersetzung ist so erst einmal nicht möglich. Aber erste Funktionen gibt es schon

  • Speech to Text
    Das gesprochene Wort wird zu Text umgesetzt und unten eingeblendet. Das ist hilfreich, wenn Teilnehmer sonst nicht dem Ton folgen können, z.B. wegen körperlicher Einschränkungen oder wenn Sie in einer ruhigen Umgebung nicht stören wollen. Ein wichtiger Aspekt dieser Funktion ist aber, dass ein Text viel einfacher wieder gefunden werden kann. Wenn die Besprechung samt dem transkribierten Text aufgezeichnet wird, macht eine Volltextsuche in einem Datenbestand viel mehr Sinn. Wenn Teams dann noch den aktiven Sprecher protokolliert, lassen sich Textstellen relativ wieder auffinden.
    Selbst wenn Sie das Meeting nicht aufzeichnen, können Sie die Transkription herunter laden.
  • Text zu Text-Übersetzung
    Wenn Teams nun aber schon den Text kennt, dann kann der Text auch schnell maschinell übersetzt werden. Und nun wird es interessant, dass genau diese Funktion zumindest in LiveEvents schon enthalten ist.
  • Text2Speech
    Nun fehlt natürlich nur noch, dass z.B. der Teams Client aus dem Text wieder Sprache macht. Diese Funktion ist aber noch nicht vorhanden. Sie müssen also "mitlesen".

Richtlinien zur Transkription

Sowohl für Teams Meetings als auch LiveEvents können Teams Administratoren über Richtlinien steuern, welche Benutzer diese Funktion nutzen dürfen. Hier die Einstellung für Live Events:

Die gleiche Einstellung gibt es für reguläre Meetings:

Hinweis: Auch in der vordefinierten "AllOn"-Policies ist diese Einstellung nicht aktiv. Sie müssen eine selbst angelegte Richtlinie anpassen und an die Benutzer zuweisen. Es kann durchaus einige Stunden dauern, bis der Anwender dann die Funktion nutzen kann

Nutzung im Meeting

Wenn Sie dann in der Besprechung sind, können Sie in den Einstellungen die "Transkription" aktivieren.

Verwechseln sie dies nicht mit "Liveuntertitel (LiveCaptions) bei denen das gesprochene Wort unten in der Präsentation eingeblendet aber nicht als Text aufgezeichnet wird

Die Aktivierung wird im Meeting oben eingeblendet.

Über die drei Punkte kann ich die primäre Sprache einstellen. Die Liste ist mittlerweile recht umfangreich.

Und dann können Sie auch schon lossprechen. Die Speech2Text-Umsetzung sehen Sie rechts im  Bereich der Transkription.

Sobald ich als Organisator das Meeting verlassen, wird die Transkription beendet. Über den Kalendereintrag kann ich später auf die Inhalte der Besprechung wieder zugreifen.

..

Ein Teilnehmer, der später in das Meeting kommt, sieht keine früheren Einträge. Selbst wenn ich als Organisator das Meeting verlasse und wieder betrete, sind die Texte im Meeting selbst nicht einsehbar sondern nur über den Kalendereintrag.

LiveEvent

Was einem kleinen Teams-Meeting recht ist, kann in LiveEvents nicht fehlen. Es war sogar anders herum, dass die Transkription zu erst in Live Events vorhanden war. Allerdings ist der Einsatzbereich von Live Events durch die großen Meetings (bis 1000 Teilnehmer) in Teams schon in die Niesche gewandert. Hier findet sich während der Planung:

Nach dem Meeting-Ende kann der Organisator in Teams noch einmal auf das Meeting gehen und dort die Aufzeichnung einsehen

Hinweis: Früher hat Teams die Aufzeichnungen in Microsoft Streams ablegt und Streams konnte die Sprache zu einem Untertitel und Transcript versehen. Das ist mit dem Wechsel der Ablage ins persönliche OneDrive oder Group Mailbox nicht mehr der Fall. Es finden sich natürlich immer noch Hinweise zu Untertitel in Streams

Backend

Die Aufzeichnungen landen bei Einladungen durch den Anwender in dessen OneDrive und bei Besprechungen im Teams-Kanal analog im Teams Bereich. Ob Sie dort nun  im SharePoint oder in der Group Mailbox liegen, habe ich noch nicht weiter betrachtet. Per Fiddler sehe ich aber, dass der Client gegen die folgende URL geht. (Zur Lesbarkeit umgebrochen)

https://mi.svcs.teams.office.com
       /MeetingIntelligence
          /TranscriptService
             /storage
                  /<UserGUID>@<TenantGUID>
                       /scope/<meetingGUID>/?state=latest

Die Authentifizierung erfolgt per Bearer-Token mit den folgenden Schlüsselelementen: (Auszug)

"aud": "https://outlook.office365.com/",
"iss": "https://sts.windows.net/de21c301-xxxxxxxxxxxxxxxx/",
"app_displayname": "Microsoft Teams",
"appid": "1fec8e78-bce4-4aaf-ab1b-5451cc387264",
"scp": "Calendars.ReadWrite Contacts.ReadWrite EWS.AccessAsUser.All 
        Files.Read.All Files.ReadWrite.All 
        Group.ReadWrite.All 
        Mail.ReadWrite Mail.Send OWA.AccessAsUser.All 
        SCIS-Internal.ReadWrite Signals.ReadWrite SubstrateSearch-Internal.ReadWrite 
        User.Read User.ReadBasic.All",
"unique_name": "transcripttest@msxfaq.de",
"upn": "transcripttest@msxfaq.de",

Das ist mein ganz normales "Teams OAUTH"-Token. Die Rückantwort ist eine JSON-Struktur, die natürlich per HTTPS gesichert ist aber ansonsten gelesen werden kann.

Der Teams-Client greift also nicht z.B. per EWS oder Graph direkt auf die Datenspeicher zu, wie er es beim Kalender macht. Er nutzte eine Middleware.

Wäre es also möglich, mit einer App die gleichen Berechtigungen zu bekommen, wäre ein programmatischer Zugriff denkbar.

Datenschutz

Sie ahnen schon, dass Sie vor der Aktivierung dieser Funktion vielleicht einmal über den Datenschutz nachdenken sollten. Es gibt da einige Aspekte, Sie die betrachten sollten:

  • Wer sagt was
    Die Mitschrift erfasst den Sprecher samt Zeitpunkt und natürlich seiner Aussagen.
  • Wo findet die Verarbeitung statt?
    Wer in Europa ein Meeting startet, sollte auch durch eine Sprachverarbeitung in Europa bedient werden. Aber was passiert mit Multi-Geo-Firmen oder Mitarbeitern im Ausland, die das Meeting starten?
  • Ablage der Daten
    Die Daten liegen in ihrem Tenant und sind durchsuchbar. Wie lange dürfen oder wollen Sie die Texte denn aufbewahren?

Die Liste ist nicht vollständig und ich kann ich keine vollumfängliche Antwort geben. Hier müssen sich die Vertragspartner (Firma, Mitarbeitervertretung, Datenschutz) abstimmen. Natürlich hat jede Verarbeitung von Daten auch ein Risiko aber die Inklusion von Personen, die allein mit Audio nur eingeschränkt die Informationen erschließen können und die optimierte Durchsuchbarkeit u.a. sind schon sehr interessante Themen

Skype Translator

Nur der Vollständigkeit möchte ich noch die Links zu einem recht interessanten Ansatz in der Skype for Business/SkypeWelt liefern. Schon damals gab es von Microsoft erste Versuche die Sprache automatisch zu verstehen, zu übersetzen und wieder als Sprache weiter zu geben. In der ersten Version wurden erst einmal Instant Messages übersetzt.

Weitere Links