Express Route

Die meisten Cloud-Angebot nutzen das Internet als Transport. Der Client ist also irgendwo beim Kunden und der Anbieter irgendwo anders. Dazwischen werden die Daten über unterschiedlicher Carrier und ggfls. Landesgrenzen übertragen. Und das ist nicht immer "problemlos

Wie gut ist eine Verbindung ?

Eine Verbindung über das Internet zu einem Service durchläuft mehrere Stationen, die alle unterschiedlichen Begrenzungen unterliegen. Meist ist es Bandbreite die eine absolute Obergrenze hat und wenn diese hoch belastet ist, direkten Einfluss auf die Laufzeit (Latenz, Jitter) und bei extremer Überlast natürlich auch auf die Erreichbarkeit (Packet Loss). Auch der Weg zwischen zwei Stationen ist nicht immer identisch. Redundante Router und Verbindungen als auch Rerouting durch Ausfälle können das Verhalten ändern. Erschwerend kommt dazu , dass auch der Faktor Zeit eine Rolle spielt. Wenn die Einwohner abends Video On Demand nutzen, dann hat das nicht nur Einfluss auf ein Home-Office, sondern über das Backbone auch auf Firmenverbindungen über das Internet. Behalten Sie als die Kriterien im Kopf:

  • Latenz, Jitter
  • Durchsatz und Packet Loss
  • Zuverlässigkeit

Wenn mehr Firmen die Qualität ihrer Leitung korrekt erfassen würden, würden dies viel häufiger auffallen. (Sieh z.B. ). Das gilt für Express Route noch um so mehr, dass Sie nicht nur einen Carrier für eine gute Verbindung bezahlen, sondern auch kontrollieren, dass die gelieferte Ware stimmt. Microsoft selbst überwacht von seiner Seite aus die Qualität aber das ist keine echte "Ende zu Ende"-Überwachung.

Network Assessment sind keine einmalige Aktion vor der Einführung einer Lösung, sondern eine permanente Aufgabe.

Der Weg der Pakete vom internen Client zum Service ist bei der Nutzung von Hosting-Angeboten natürlich deutlich länger und steiniger als zu einem internen Server. für externe Client kann es je nach Standort aber sogar besser sein, den Dienst in der Cloud zu nutzen. Ein interner Client durchläuft in der Regel folgende Stationen:

  1. Internes LAN
    Wenn es sich um den Hauptstandort mit z.B. Gigabit handelt, dann ist dies gleichwertig zum Betrieb interner Server. Etwas anders sieht es aus, wenn Sie intern auch noch ihre eigenes WAN mit mehreren Standorten haben. Dann sind diese Links relevant. ExpressRoute verbindet immer einen Standort mit Office 365.
  2. Internet Connection zum Carrier
    Ohne Express Route gehen die Verbindungen zum Hosting-Provider natürlich über das "Internet" und damit auch über ihren WAN-Link zu ihrem Zugangsprovider. Hier müssen sich die Office 365 Daten natürlich die Bandbreite mit all den anderen Daten (YouTube-betrachten, Mailverkehr, Surfen, VPN etc.) teilen.
  3. Carrier Backbone
    Ihr "Internet Provider" leitet die Daten dann über sein eigenes Backbone entweder direkt zum Ziel, z.B. wenn ihr Carrier schon eine Verbindung mit Office 365 hat. In den meisten Fällen wird die Verbindung aber über einen der großen Carrier gehen, mit denen ihr Provider entsprechende Abkommen geschlossen hat oder über große Austauschpunkte wie das DECIX und andere.
  4. Carrier Peering
    DECIX und andere haben sicher genug "Backplane"-Kapazität um alle Daten zu vermitteln. Aber jeder Carrier hat natürlich nur einen begrenzten Anschluss an solch einen Austauschpunkt.
  5. Peering Carrier Backbone (auch mehrere)
    Damit sind die Daten nun bei einem zweiten Carrier, der aber keinen direkten Vertrag mit ihnen hat, sondern nur über das Peering die Daten weiter leitet. Auch dieses Backbone ist natürlich nicht unendlich leistungsfähig.
  6. Hosting Connection
    Zuletzt gibt es auch den Übergang zum Microsoft Netzwerk. Sie können sicher sein, dass Microsoft nicht nur an seinen direkten Serverstandorten entsprechende Übergänge hat, sondern selbst ein weltweites WAN in Eigenverantwortung betreibt. Je nach Standort ihres Clients löst z.B. "outlook.office365.com" auf eine andere IP-Adresse auf, so dass der Weg über das "nicht qualitätsgesicherte" Internet möglichst kurz ist und die Daten schnell z.B. bei einem Exchange Server landen, der dann diese über ein internes QoS-gesichertes Netz an den Postfachserver weiter gibt.

Leider veröffentlichen nicht alle Provider sehr freizügig ihre Daten über das interne Netzwerk. Selbst wenn das aber jeder Provider tun würde, könnten wohl die wenigsten Kunden daraus die richtigen Schlüsse ziehen. Hier dennoch mal ein paar Links zu solchen Seiten:

Express Route Connectivity Partners

Um diese "Probleme" zu reduzieren, bietet Microsoft in Verbindung mit entsprechenden Partnern eigene qualitätsgesicherte Verbindungen zwischen dem Kundennetzwerk und Office 365 an. Express Route ist also nicht nur eine reine Konfigurationsmaßnahme, sondern ein zugelassener Carrier schaltet ihnen eine entsprechende exklusive Verbindung zum Office 365 Datacenter mit einer garantierten Bandbreite aber auch eine zugesicherten Verfügbarkeit. Microsoft schreibt selbst dazu:

Each ExpressRoute circuit automatically delivers two active physical connections für high availability, and the Microsoft networking elements are backed by our connection uptime SLA of 99.9 percent. We’re the only public cloud provider to offer this level of guaranteed availability für the connection. Of course, we are also the only public cloud provider who can offer both Azure and Office 365 services on a single network connection.
Quelle: hhttps://blogs.office.com/2015/03/17/announcing-azure-expressroute-connectivity-to-office-365/

ExpressRoute is available today für access to Azure services, and is expected to be available für Office 365 in the third quarter of 2015. Network capacity planning is a first step to any networking project,

Achtung:
Azure Express Route ist eine Verbindung zur Cloud mit einer garantierten Bandbreite und Verfügbarkeit. für den Einsatz mit CloudPBX ist es aber dringend angeraten, einen Carrier zu wählen, die auch die Office 365 Workload in dem Tunnel per QoS priorisieren und das Tagging erlauben. Nicht alle Provider unterstützen dies.

Früher war es angeblich so gar möglich, eine eigene WAN-Verbindung bis in das Datacenter von Microsoft zu legen und quasi dort dann noch Firewall, Router etc. zu betreiben. Das war aber nur für sehr große Firmen und für die Anfangszeit eine Option. So eine Technik skaliert natürlich nicht. Daher nutzt Express-Route aktuell entsprechende Provider, die ihrerseits die komplexe Anbindung an Microsoft auf ihrer Seite umgesetzt haben und nun die Kunden in diesen Verbund einbinden. Es gibt einige bekannte Provider auf dem Bild von September 2015:

Aktuell ist natürlich die Liste der Standorte und Partner auf den Seiten von Microsoft

Zumal die nächsten Monate sicher weitere Netzwerkstandorte und damit Netzwerkknoten dazu kommen. Auch die Liste der Carrier wird sicher noch wachsen. So werden vermutlich auch Telekom und Vodafone ein Stück vom Kuchen haben wollen. Eigentlich bin ich überrascht, dass Sie noch nicht dabei sind, da sie ja durchaus viele Kunden mit einem MPLS-Netzwerk versorgen und der Übergang eigentlich nur logisch erscheint.

Preise

Microsoft hat auf seiner Webseite Preise für "Ports" angegeben, die nach Geschwindigkeit abgerechnet werden. Allerdings ist das nur der Preis, den Sie an Microsoft für die Anbindung zahlen. Der Weg dorthin ist in dem Preis nicht enthalten.

Sobald ich einige Anbindungen mit Express Route aufgebaut und die Freigabe vom Kunden habe, werde ich hier weitere Details senden.

Routing von Paketen

Nun ist es an der Zeit zu überlegen, wie die Pakete von den Clients zu Office 365 kommen und wie diese den "richtigen" Weg dorthin nehmen. Ohne Azure Express Route können Sie drei Netzwerkbereiche:

  • Das interne LAN
    Dieses Netzwerk in ihrer Firma nutzt idealerweise private IP-Adressen (10.x.x.x, 172.16.x.x-172.32.x.x oder 192.168.x.x) oder in seltenen Fällen ihnen offiziell zugewiesene Adressen. Wer hier Adressen aus anderen Bereichen nutzt, kann ohne zusätzliche Umsetzungen kaum Dienste in der Cloud nutzen. Auch ein internes privates WAN gehört in diesen Bereich.
  • Das Internet
    Über das große Internet mit allen anderen Adressen kommunizieren alle beteiligten Partner damit. Alle Endpunkte müssen dazu öffentliche und routingfähige IP-Adressen verwenden, die auch in den Leitwegen, früher RIP und heute BGP (Border Gateway Protocol). Office 365 ist auch einfach nur eine Gegenstelle
  • Home Office / Mobile User)
    Neben den Firmenanwendern gibt es natürlich auch Personen, die aus dem Hotel, dem Zuhause oder Mobil arbeiten und dort meist ebenfalls private Adressen nutzen, die aber nur per NAT-Router zum Internet übersetzt werden.
    VPN-User, die einen komplette Tunnel fahren, fallen hingegen wieder in das "interne LAN"
  • Office 365 internes Netzwerk
    Natürlich hat Microsoft interne Netzwerke, die sie aber nicht wirklich sehen und über deren Aufbau nicht so viel bekannt ist. Wer einen Teilbereich davon erleuchten möchte, möge einfach mal die SMTP-Header einer Mail betrachten. Teilweise sind hier Rechnernamen und auch IP-Adressen zu sehen. für die weitere Betrachtung sind diese ebenfalls private Netzwerke aber nicht relevant.

Zwischen den Netzwerken gibt es natürlich Übergänge und zwischen den privaten Adressen im internen LAN oder Home-Office muss eine Adressumsetzung Richtung Internet erfolgen. Im Home Office ist das in der Regel der DSL-Router. In Firmen meist ein HTTP-Proxy-Server.

Mit einer Azure Express Route ändert sich hier hier nur an einer Stelle etwas: Die Clients im internen Netzwerk dürfen nicht mehr den normalen Weg über die Internet-Anbindung der Firma zu Office 365 nehmen, sondern müssen über den Express Route Weg gehen. Die Clients fragen aber weiterhin per DNS die gleichen Zugangspunkte von Office 365 ( z.B. outlook.office365.com oder login.microsoftonline.com etc.) ab und bekommt natürlich auch weiterhin die gleichen Adressen geliefert.

Die Anbindung von Express Route arbeitet nun derart, dass die IP-Leitwege zum Internet "umgestellt" werden. Über BGP-Routen bekommen die Router mit, dass bestimmte Subnetze nicht mehr über die "Default Route" laufen, sondern über einen anderen Weg.

Hier in dem Beispiel sind zwei Router bei der Firma installiert und über Leitwege wird sichergestellt, dass die Office 365-Netzwerk über Express Route laufen. Natürlich muss auch hier an der Schnittstelle eine Adressumsetzung erfolgen, damit auf dem Express Route und Office 365 nur offizielle IP-Adressen erscheinen. Schließlich muss auch Office 365 den Rückweg zu diesem Kunden genauso über Express Route weiter leiten.

Das hier ist eine vereinfachte Beschreibung. Sie können über Express Route natürlich auch z.B. Systeme mit privaten IP-Adressen im LAN mit anderen Systemen in Azure, die ebenfalls private IP-Adressen nutzen, verbinden.

MPLS und Express Route

Anfangs hatte ich geschrieben, dass Express Route je Standort einzurichten ist. Sie können mit einer Express Route Verbindung also nicht mehrere Standorte verbinden. Jeder Standort bräuchte seine eigene Express Route Verbindung. Allerdings haben die meisten dezentralen Firmen auch heute schon WAN-Verbindungen, die in der Regel von einem Carrier bereit gestellt werden. Ich kenne mehr Firmen, die MPLS nutzen, als Firmen, die eigene Daten-Direkt-Verbindungen betreiben oder auf VPN-Verbindungen über das Internet als Standortlink verwalten.

Wenn natürlich dieser Carrier heute schon ein privates WAN für sie als Firma aufbaut, dann wäre es natürlich unlogisch, wenn Sie dann eine Express Route-Verbindung zum zentralen Standort konfigurieren würden. Alle Daten der Niederlassungen würden dann über das Firmen-WAN erst einmal zur Zentrale laufen und dann vielleicht sogar über die gleiche Leitung wieder zu Microsoft.

Interessanter ist es hier dann, wenn der MPLS-Provider selbst quasi einen "virtuellen Standort" der Firma an einem günstig gelegenen Netzknotenpunkt aufbaut und die Verbindung zu Office 365 und Azure als Teil seiner WAN-Leistung betrachtet. Dann könnte jeder Standort seine "Cloud-Daten wie gewohnt über das MPLS verschlüsselt, abgeschottet und qualitätsgesichert zur Verbindung Richtung Office 365 senden. Die Daten müssten nicht mehr den Umweg über die "Zentrale" und eigene Express-Route-Verbindungen in Niederlassungen wären auch überflüssig.

Express Route mit mehreren Sites

Größere Firmen haben natürlich mehrere Standorte, die sie mit eigenen MPLS-Verbindungen o.ä. verlinkt haben. Wenn nun alle Standorte auch Office 365 Dienste nutzen, dann kann eine Firma natürlich den Client Traffic zuerst über die eigenen Leitungen bis zum eigenen Express Route Knotenpunkt leiten und dann in die Cloud. Viel interessanter ist natürlich eine lokale Verbindung per Express-Route zu Microsoft. Zum einen dürfte Microsoft ein besseres und schnelleres (eigenes) Netzwerk haben als sie als Kunde ihre MPLS-Leistung aufrüsten. Zudem entlasten Sie ihre MPLS-Leistung von Office 365 Verkehr, der schon vor Ort das Firmennetzwerk Richtung Cloud verlässt.

So ähnlich hat es auch Microsoft in einem Broadcast Meeting veröffentlicht. Nicht ganz ohne eine entsprechendes Zitat, welches letztlich nur symbolisch abgeschwächt wurde.

You should have one Express Route Connection per Continent, because the Microsoft Netzwork is better than your MPLS
Quelle: Quelle: SfB Video Broadcast: Ep. 17 Networking https://www.youtube.com/watch?v=4VcWKPGX-30 Minute 36

Einrichtung / BGP

Microsoft beschreibt die Einrichtung relativ allgemein. Das mag auch daran liegen, dass die verschiedenen Carrier eigene Vorgehensweisen haben. Die meisten Firmen werden sich auch gar nicht mit BGP-Routen etc. beschäftigen und überlassen diese Einrichtungen dem Express Route Provider.

Daher möchte ich es hier bei einer kurzen Punkteliste belassen:

  • Azure Subscription abschließen
    Für den Einsatzsatz von Express route ist eine aktives Azure-Subscription erforderlich.
  • Express Route Connectivity Provider festlegen
    Suchen Sie sich dann den "passenden" Provider, der ihnen an ihren Standorten ein entsprechendes Angebot erstellt. Microsoft führt die Provider auf der Liste unter https://azure.microsoft.com/en-us/documentation/articles/expressroute-locations/ auf. Dieser Schritt wird vermutlich der aufwändigste Teil sein, da hier verschiedene Angebote einzuholen sind. Allerdings wird der Provider Sie natürlich fragen, wie viel Bandbreite sie brauchen, womit wir vielleicht vorher doch noch eine Analyse hierzu ansetzen sollten. Siehe dazu auch Office 365:WAN-Bandbreite u.a.
  • Azure Powershell installieren
    Die weitere Einrichtung erfolgt per Powershell in Azure. Sie benötigen daher die Azure PowerShell Module
    (Download unter https://azure.microsoft.com/de-de/documentation/articles/powershell-install-configure/)
  • ExpressRoute Service Key anfordern (Standard oder Premium)
    Diese Schlüssel ist nichts anderes als eine GUID, die in der Folge alle Konfigurationseinstellungen kennzeichnet.
  • Service Key an Provider geben
    Diesen Schlüssel benötigt auch der Provider, um die Anbindung an Microsoft durchzuführen
  • NAT und BGP-Routing einrichten
    Nun wird es interessant, da Sie z.B. den Übergang von ihrem privaten Netzwerk in die Express-Route-Verbindung natürlich per NAT konfigurieren müssen. Dazu müssen ihre internen Clients aber auch mit bekommen, welchen neuen besseren Weg es nun Richtung Office 365 gibt. Microsoft

Hallo Express Route Provider in Deutschland:
Wie können mir gerne Links zu entsprechend hilfreichen Seiten für meine Leser senden.

Sie haben nun an mehreren Stellen den Begriff "BGP" gelesen. Viel mehr, als dass es ich dabei um ein Routing-Protokoll handelt, kann ich aktuell auf der MSXFAQ nicht beschreiben. Hier sind andere Webseiten und Personen gefragt, die eine solche "Netzwerkanbindung" korrekt ausführen

Weitere Links