Die Cloud in Zahlen

Die wenigsten Personen werden einmal die Gelegenheit haben, ein Microsoft DataCenter von innen zu sehen und ich selbst war bislang schon mal ein Generation 3 DataCenter in der Nähe von Redmond, in dem aber angeblich die Entwicklung von Windows ihre Tests und Builds laufen lässt. Also nicht Office 365. Hier gab es aber damals (ca. 2013) schon die ersten Generation 4 Container als Test, die mittlerweile (2018) wohl Standard sind. Aber was steckt eigentlich hinter Office 365, Azure und dem Microsoft Netzwerk?

Die Zahlen und Werte habe ich aus verschiedenen Quellen und sind allesamt öffentlich. Wenn jemand weitere Quellen und Zahlen hat, würde ich mich über einen Rückmeldung freuen.

Das Netzwerk

Microsoft betreibt ein eigenes weltweites Netzwerk, welches das Internet und einzelne Carrier direkt mit dem Microsoft Services verbindet. Das Netzwerk dient natürlich auch der internen Kommunikation. Es firmiert unter dem Namen MGN - Microsoft Global Network. Manchmal finden Sie in Vorträgen von Microsoft auch mal einen Übersichtsplan, denn ein detaillierter Plan dürfte für den Laien undurchschaubar sein. Kennzahlen, die ich mal gefunden habe. Alle Stand Sep 2018:

  • BGP-ASN 8075
    Allein über diese "Netzwerknummer können Sie schon sehr viele Informationen erhalten
    https://www.peeringdb.com/asn/8075
    https://bgpview.io/asn/8075
    https://bgp.he.net/AS8075
    z.B.:
    • >20 Mio IPv4 Adressen
    • 363 BGP Peers
    • 1500 IPv4 Prefixes
    • 500 IPV6 Prefixes
  • Peerings
    Microsoft versucht natürlich möglichst nahe an die Kunden zu kommen und mit privaten Peerings zu Carrieren das "Internet" möglichst zu vermeiden. Dennoch sind Peerings mit solchen Internet Exchange-Knoten (DECIX, AMS-IX u.a.) notwendig. Wobei hier die Bandbreiten kleiner sind, als z.B. die Anbindung von Apple, Facebook und Co an diese Knoten. Office 365 und Azure sind natürlich ein anderes Geschäft.

    Ausschnitt aus https://bgpview.io/asn/8075#map
    Folgende Daten habe ich von https://www.peeringdb.com/asn/8075 extrahiert
    • DeCIX Frankfurt: 2x 100 GBit
    • AMS-IX  2x 200 GBit
    • ca. 170 öffentlich gelistete Public Peerings
    • ca. 130 öffentlich gelistete "Private" Peerings
  • 50% Saturation Max
    Leitungen werden erweitert, wenn diese zu 50% ausgelastet sind. Damit will man zum einen wohl Reserven vorhalten aber ich denke dass ohne QoS im Internet viel Luft das Beste Gegenmittel gegen hohe Latenzzeiten oder PaketLoss sind.

    Quelle: https://peering.azurewebsites.net/peering
  • Interne Verbindungen
    Verbindungen sind das Gold der Zukunft, um Dienste darauf abzubilden. Das gilt nicht nur für die Straßen für Fahrzeuge, die den Handel und Wirtschaft ermöglichen sondern auch für die Datenautobahnen. Microsoft nutzt zwar das Internet für den Zugang der Kunden aber intern dürfte Microsoft ein sehr sehr großes Netzwerk betreiben. Manchmal gibt es auch ein Bild, was natürlich immer nur eine stark vereinfachte Version sind

    Quelle: https://azure.microsoft.com/en-us/blog/the-network-is-a-living-organism/
  • Eigene Schiffe, eigene Kabel
    Microsoft besitzt eigene WAN-Kabel, die sie selbst verlegt haben. Das beschränkt sich aber nicht auf Landverbindungen. Mit eigenen Schiffen oder gecharterten Schiffen werden Seekabel gelegt, die natürlich auch gewartet und im Fehlerfall schnell repariert werden müssen.

Microsoft veröffentlicht auch die "Peerings"-Orte für Office 365 und Azure. Diese Informationen finden Sie bei Microsoft direkt oder z.B. der PeeringDB.

Die DataCenter

Microsoft betreibt nicht nur ein großes Netzwerk. Die Daten müssen irgendwo ja auch landen. Dafür gibt es natürlich entsprechende Rechenzentren und DataCenter. Microsoft organisiert seine Daten in "Regionen", so das Kunden vorgeben können, wo die Daten geografisch verortet sind aber Microsoft dennoch die Flexibilität hat, die Daten innerhalb einer Region zu verlagern und redundant vorzuhalten. Es ist allgemein bekannt, dass in den Niederlanden bei Amsterdam und in Irland die ersten Office 365 Datacenter für Europa in Betrieb gegangen sind. Aber mittlerweile gibt es weitere Datacenter in Österreich (bei Wien) und Finnland.


Quelle: https://azure.microsoft.com/de-de/global-infrastructure/regions/ ( Sep 2018)

Auf der Seite Clouds von Microsoft könne Sie aber lesen, dass es weitere "Clouds" gibt und einige Datacenter als "geheim" hier nicht aufgeführt sind. Teilweise können Sie über den Namen der Stationen beim Traceroute und Server bei HTTP-Anfragen den Standort ermitteln. Router sind wohl dreistellig während Server mit zwei Stellen anfangen. Nicht an jedem Router-Standort gibt es auch Server

Wenn Sie weitere Prefixe gesehen haben oder zuordnen können, dann freue ich mich über eine kurze Meldung

Routerprefix Serverprefix Ort Land

AMS

AM

Amsterdam

NL

VIE

VI

Wien

AT

FRA

 

Frankfurt

DE

LON

 

London

UK

CWL

 

Cardiff

UK

 

CY

 

USA

ASH

 

Virginia

USA

ATB

 

Georgia

USA

LAX

 

Los Angeles

USA

 

TY

Tokio

JPN

SIN

 

Singapur

 

NYC

 

New York

DE

LTS

 

 

Europa

BN

 

 

 

SN

 

 

 

Nicht alle Datacenter beherbergen dabei alle Dienste. Es gibt deutlich mehr Standorte für Azure-Dienste als für den klassischen Office 365 Dienste.

Server

In einem Datacenter gibt es natürlich auch noch Netzwerk-Komponenten, um die Daten strukturiert an die Server zu liefern. Auch hierzu macht Microsoft z.B. auf https://azure.microsoft.com/en-us/blog/the-network-is-a-living-organism/ diverse Angaben:


https://azure.microsoft.com/en-us/blog/the-network-is-a-living-organism/

Es gibt also Server im Rack und oben im Rack gibt es den Switch für alle Server im Rack. Die Racks sind zu Clustern zusammen gefasst, in denen die Racks redundant an Switche angebunden sind. Diese Cluster-Switche sind dann mit Datacenter-Switches verbunden. Ich könnte mir gut vorstellen, dass so ein Cluster nicht anderes als ein Container ist.

Interessant fand ich die Aussagen von Torsten Scholl, Technologieberate Geschäftsanwendungen Microsoft, in dem ERP-Podcast Folge 44) http://erp-podcast.de/podcast/44/ mit dem Thema "Folge 44 – Microsoft in der Cloud: Azure, Dynamics365, Office365 & Co – Interview mit Thorsten Scholl ". Ab Minute 9:44 wird z.B. gesagt:

  • 20 Millionen Server
    Das wäre angeblich die aktuelle Anzahl an Servern. Wenn ich nun das Wachstum außen vor lasse und konservativ annehme, dass Server 5 Jahre betrieben werden, dann werden über 10.000 Server pro Tag alleine ausgetauscht. Repariert werden die Server ja nicht mehr
  • IT-Pack = Server im Container
    Denn bei der Zahl schraubt keiner mehr Server einzeln irgendwo ein. Microsoft bezieht die Server wohl fertig installiert in Kontainern, in denen 2000 Server zusammengefasst sind. Die gelieferten Kontainer müssen dann nur noch an Strom, Daten und Wasser (zur Kühlung) angeschlossen werden. Ausgefallene Server werden wohl nicht mehr repariert, da es einfach zu gefährlich ist, dass bei einem Eingriff Folgeschäden auftreten.
  • 36 +6 Regionen
    Aktuell gibt es wohl 36 Regionen weltweit und 6 weitere Regionen sind schon fest geplant. In diesen Regionen sind "weit über 100" Datacenter aufgestellt. Aus Verfügbarkeitsgründen wird jede Region ehr schon 3 oder mehr Datacenter haben. In dem Podcast wird von 16 Gebäuden gesprochen, in denen ca. 600.000 Server beheimatet sind. 36 Regionen x 600.000 Server kommt schon nahe an die 20 Mio Server heran
  • Datacenter
    Jedes der über 100 Datacenter hat wohl die Größe eines Fußballfeldes. Wenn ich dann die Luftbilder sehen, dann dürften mehrere Datacenter durchaus an einem Standort stehen. Ein Datacenter ist wohl eher als die nächst größere logische Einheit eines Kontainers sein.

Die Daten dürften aber auch schon wieder sich geändert haben.

Microsoft Datacenter Tour (long version) (Stand 2014)
https://www.youtube.com/watch?v=0uRR72b_qvc

Vergleiche

Auch wenn neutrale Vergleiche hier kaum möglich sind, ist es schon interessant die Größen anderer Anbieter gegenüber zu stellen. Inwieweit diese Aussagen wirklich zutreffen und auf welche Basis sie gemacht wurden, ist nicht belegt. Insofern ist Vorsicht angebracht, um nicht auch "Fake News" zu berichten.

  • Angeblich ist die Microsoft Cloud 7x größer als Google
  • Angeblich ist die Microsoft Cloud 2,5x größer als Amazon
  • Angeblich sind 75% aller Cloud-Unternehmenskunden bei Office 365
    Dem gegenüber wären nur 5% bei Google und 20% auf andere Provider verteilt

Letztlich ist es aber egal, wie die Zahlen genau auszulegen sind. Schauen Sie sich einfach an, welche Leistung und SLAs sind von ihrem Dienstleister bekommen und wenn noch der Preis passt, dann habe Sie ja wohl die richtige Entscheidung getroffen.

Weitere Links