Crowdstrike Lernkurve

Bedingt durch einen Kurzurlaub und mangels Kunden mit Crowdstrike konnte ich mir die Aufregung mit etwas Abstand und Ruhe anschauen. Dennoch gibt es auch ohne aktive Beteiligung ein par "Takeaways", die ich in meine zukünftige Arbeit einfließen lassen will.

Auslöser 19. Jun 2024

Wer in der IT arbeitet und nicht ganz blind und taub ist, wird die größere Störung auf Windows Clients am 19. Jun 2024 und den Folgetagen mitbekommen haben. Es waren nur Windows Client betroffen, die mit der Crowdstrike Falcon-Schutzlösung versehen waren und ein fehlerhaftes Update bekommen haben. Das Problem wurde also nicht direkt von Windows oder Microsoft verursacht, auch wenn nur das Betriebssystem "Windows" vom Hersteller Microsoft betroffen war. Es hätte aber genauso gut andere Systeme und andere Hersteller betreffen können.

Technisch ist "Falcon" eine Endpoint Protection Lösung, wie Sie auch von anderen Herstellern (Microsoft Defender for Endpoint, Sophos EDR, etc.) kommt und von Gardner immer wieder verglichen werden.


Quelle: https://www.crowdstrike.com/blog/crowdstrike-named-leader-2023-gartner-magic-quadrant-for-epp/

CrowdStrike wird im Jahr 2023 als "Leader" geführt und daher ist es umso bitterer, weil viele Firmen dann auch das Produkt eingesetzt haben. Das bedeutet aber nicht, das all die Marktbegleiter ein geringeres Risiko darstellen. Alle "Endpoint Protection Systeme" sind mittlerweile mehr als nur einfache "Antivirenprodukt", die über eine Mustererkennung auf Malwaresuche auf dem Dateisystem gehen. Wer heute etwas auf sich hält, überwacht auch die individuellen Prozess-Aktivitäten, d.h. das nachladen von DLLs, der Start von Prozessen, die Namensauflösung, Netzwerkverbindungen und generell das gesamte "Verhalten"

Damit ist verbunden, dass all diese Produkte sehr tief in das System eingreifen, um nicht selbst von dem Schadcode umgangen zu werden. Die entsprechende Software integriert sich in den Kernel und Treiber-Bereichen, addiert Filter-Treiber und kommuniziert selbst direkt oder indirekt mit Servern von Crowdstrike. Crowdstrike dürfte daher nach dem Ausspielen des Update sehr schnell gemerkt haben, dass ihr Kunden quasi "nicht mehr kommunizieren".

Dennoch gab es gerade am Anfang viele Meldungen, dass "Microsoft ein Cloud-Problem" hat, oder ein "Windows Problem" als Ursache anzunehmen wäre und diese Meinung ist wohl auch einige Tage danach immer noch zitiert und weiter verbreitet worden. Natürlich kann ein durch Crowdstrike gestörter Proxy-Server  oder DNS-Server auch bei ansonsten funktionierenden Clients den Zugriff auf Cloud-Dienste nicht mehr ermöglichen und sehr sicher wird es auch in Azure einige Server mit Crowdstrike-Installation geben, die nun auch nicht mehr funktionieren.

Wir sehen wir das gleich Dilemma wie bei anderen "News". Zu viele Personen möchten an der Spitze der "Neuigkeiten" sein um vermutlich Reichweite und damit Werbeeinnahmen zu generieren. Gerade im Bereich Sicherheit ist dies aber kontraproduktiv, da es Leser auch zu falschen Entscheidungen verleiten kann.

Hilfe durch Microsoft?

Gerade am Anfang wusste natürlich auch Microsoft nicht, ob es nicht doch ein "Problem" auf ihrer Seite sein könnte. In einer vernetzten Welt ist ja alles möglich und es betraf ja nur Windows Clients. Hinzu kam, dass auch Microsoft quasi zur gleichen Zeit selbst mit Problemen zu kämpfen hatte:


Quelle Microsoft Admin Center

Nach wenigen Stunden war aber dann doch klar, was die Ursache war und die Administratoren den Lösungsweg kannten, mussten Sie dennoch irgendwie erst einmal an die Windows Installation kommen. Die Crowdstrike-Software hat sich wohl an einem "Pattern-File" verschluckt, welche eigentlich neues "Wissen" mitbringen sollte. Allein durch die Entfernung dieser Datei konnte das System wieder starten.

Nur wie kommen Sie an eine Windows Installation, wenn Windows nicht läuft? Sie müssen ein "Recovery Windows" von einem USB-Stick. CD-Rom, PXE oder lokal starten und benötigen natürlich auch den Code zur Festplattenverschlüsselung (Bitlocker o.ä.).

Wer Bitlocker einsetzt, sollte jetzt prüfen, ob er schnell Zugriff auf diese Key im Fehlerfahll bekommen kann. Ein "Backup" im Active Directory reicht nicht aus, wenn ihre DCs down wären. Sie können problemlos die Bitlocker-Keys von den Clients in AD oder AzureAD "sichern" lassen, aber sollten diese immer mal wieder zyklisch auch auf ein Offline-Medium exportieren.

Interessanterweise hat Microsoft hier sogar eine Anleitung und ein Tool zur Erstellung eben dieser Notfallmedien bereitgestellt:

Insbesondere der KB-Artikel zeigt, wie ein so defektes Windows doch recht einfach über viele Optionen wieder bereitgestellt werden kann, z.B.:

  • Troubleshoot  +Safemode
    Das geht nur, wenn Windows an sich noch irgendwie in den Safe Mode booten kann. So bekommen Sie eine CMD-Shell und können die fraglichen Dateien löschen
  • System Restore
    Über die Schattenkopien können Sie auf einem Client auch ein Rollback auf eine vorherige Version machen. Das finde ich aber weniger elegant

Beim Server lohnt sich natürlich auch der Weg über eine Recovery-Version von Windows zuzugreifen.

Damit können Sie auf dem System von einem USB-Key, CD-Laufwerk oder PXE-Server eine Recovery-Umgebung starten und nach Eingabe des Bitlocker-Schlüssels die Aktionen durchführen. Leider stellt Microsoft nicht einfach ein fertiges ISO-Image bereit, sondern zwingt uns erst das "Microsoft Recovery Tool" zu laden und dann mit dem PowerShell-Skript "MsftRecoveryToolForCS.ps1" das "Windows Assessment and Deployment Kit (Windows ADK)" installieren um dann ein ISO-File oder einen USB-Stick erstellen zu lassen.

Ich denke, dass ein Administrator in der Notsituation dadurch eher genervt wird. Aber vielleicht sollten Sie heute schon den Prozess zum "Offline Bearbeiten eines Windows Clients/Server" in ihrem Netzwerk durchspielen. Ein "Nicht bootender" Server kann auch bei einem defekten Windows Update oder mit anderen Produkten immer mal wieder passieren.

VPN, Internet und Schutzbedarf

Die hohe Verbreitung und die davon veröffentlichten Berichte über Ausfälle in Kliniken, Fluggesellschaften etc. zeigen, so heute überall Windows noch eingesetzt wird. Es sind nicht nur die Arbeitsplätze von Anwender sondern Produktionssysteme, digitale Displays, Kassen und Buchungsterminals waren genauso betroffen. Da muss ich dann aber schon mal hinterfragen, warum Crowdstrike auf diesen Systemen eingesetzt werden muss, die doch eine ganz klare Funktionsbeschreibung haben.

Ich werde auf einem Mitarbeiterarbeitsplatz immer den maximal den Schutz anstreben, auch wenn dies Geld, Ram, CPU-Last und auch Batterielaufzeit kostet. Das Risiko ist einfach hoch, dass ein unbedarfter Anwender eine zugesandte Mail mit einem Link, einer Anlage oder über andere Quellen aktiviert und damit das System gefährdet. Auch auf Servern ist ein Schutz gegen interne und externe Angriffe wichtig.

Aber darum sollte ein "Digitales Display" oder ein "reduzierter Client" all diese Funktionen benötigen? So ein Digitales Display startet entweder automatisch immer einen Browser, der einen bestimmte Webseite immer wieder aktualisiert oder eine spezielle "Digital Signage"-App zur Anzeige und Eingabe von Daten, z.B. ein Bestellterminal in der Systemgastronomie. Bei solchen Systemen wird aber nie ein Benutzer auf eine Shell oder den Desktop kommen und ein physikalischer Zugriff ist bauartbedingt zumindest stark erschwert.

Als weiteren Schutz kann ich diese Systeme in ein eigenes VLAN/Netzwerk setzen, aus dem diese Systeme nur eine Verbindung zu ihren "Datenlieferanten", ein bekanntes System im Intranet oder Internet aufbauen können. Es gibt gar keine Anforderung, dass diese System mit dem weltweiten Internet oder vielen Servern in der Firma kommunizieren oder ansprechbar sind. Vielleicht muss noch eine Überwachungslösung oder Fernsteuerung auf das System zugreifen können aber auch hier kann der Zugriff über Firewalls und Subnetze limitiert werden.

Wurde da vielleicht vertrieblich etwas überzogen, dass wirklich alles mit einem "Windows Logo" auch einen Crowdstrike-Agenten bekommen muss? Manchmal ist weniger mehr oder es wird zumindest eine Verzögerung eingebaut.

Delay, Funktionstests

Der Fehler liegt aus meiner Sicht ganz klar bei Crowdstrike, die ein fehlerhaftes Update verteilt haben. Dabei wurden wohl sehr viele Vorsichtsmaßnahmen und Qualitätssicherungen einfach nicht umgesetzt. Leider kenne ich Crowdstrike nicht aus dem eigenen Betrieb und kann damit nicht sagen, ob ein Kunde auch selbst bestimmen kann, wie schnell die Clients neue Updates einspielen. In der Microsoft-Welt kenne wir verschiedene "Ringe" und ein Microsoft 365 Administrator kann selbst bestimmen, welche Anwender oder Clients neue Funktionen zuerst bekommen. Das betrifft aber meist Office-Funktionen. Bei "PatternUpdates" für Schutzlösungen macht es wenig Sinn, ein Updates ein paar Tage zu verzögern um erst mal selbst zu prüfen. Dazu müsste ein eigenes Operating ja quasi in Echtzeit ein neues Updates an ein paar Clients verteilen und dann für den Rest freigeben. Das ist heute nicht mehr praktikabel, denn Updates kommen schon lange nicht mehr wöchentlich sondern in der vernetzten Welt eher im Stundentakt oder sogar noch häufiger.

Es bleibt also wieder am Hersteller hängen, dass er neue Bedrohungen und Angriffsmuster nicht nur zeitnah einsammelt, analysiert und als Regelwerk bereitstellt, sondern das neue Regelwerk auch eine Funktionstest unterzieht. Dafür bezahlen letztlich die Kunden.

Allerding ist das kein "Crowdstrike"-Problem, sondern betrifft die komplette Branche. Es gab auch vor dem 19. Jun 2024 schon Vorfälle, wo Produkte eigentlich erwünschte Dateien oder Kommunikationen als bösartig klassifiziert und geblockt haben. Bei Windows XP SP3 hatte damals der Virenscanner von McAfee die zentrale Datei "Svchost.exe" geblockt. Kleine Randnotiz: Der CEO war in beiden Fällen George Kurtz.

Ich gehe nicht davon aus, dass der CEO nun persönlich die Prozesse zur Freigabe von Pattern verantwortet. Ich würde aber nicht ausschließen wollen, dass auch in Zukunft ein auf vielen PCs installiertes Produkt wieder einmal ganz viele Clients temporär außer Funktion setzt.

Schaden, Kosten Haftung

Angeblich waren ca. 8.5 Millionen Geräte betroffen, auf denen Windows nicht mehr gestartet hat und die manuell neu konfiguriert werden mussten. Die Zahl basiert angeblich auf den Systemen, die Absturzberichte an Microsoft senden. Schon diese Korrekturen kosten natürlich Zeit und Personal. ein Büro-Computer kann man vielleicht mit 10-15 Minuten von einem USB-Stick oder CD booten und die Änderungen rückgängig machen. Es gab aber auch Systeme, bei denen erst einmal eine Leiter und mechanische Vorarbeiten erforderlich waren, um an den eigentlichen Computer zu kommen. Selbst wenn Sie nur 20€/PC annehmen, sind das bei 8,5 Mio Geräten 170Mio € allein zur Wiederherstellung. Die realen Kosten sind natürlich deutlich höher, denn die Computer liefern ja auch eine Leistung ab und wenn Flüge oder Operationen abgesagt werden müssen, die Produktion steht etc., dann sind ganz andere Summen im Spiel.

Damit stellt sich natürlich die Frage, wer für den Schaden aufkommt. Ursächlich war ein Fehler bei Crowdstrike und der Aktienkurz hat auch entsprechend gelitten (350€ -> 250€) aber als Kunden werden Sie zumindest jetzt noch einmal genau die Verträge durchlesen und dort hat sich Crowdstrike abgesichert.

Die Aussagen sind von Crowdstrike in "GROSSBUCHSTABEN" gesetzt worden, damit sie auffallen.

8.6 Haftungsausschluss
..ES GIBT KEINE GEWÄHRLEISTUNG, DASS DIE ANGEBOTE ODER CROWDSTRIKE-TOOLS FEHLERFREI SIND ODER DASS SIE OHNE UNTERBRECHUNG FUNKTIONIEREN ODER BESTIMMTE ZWECKE ODER BEDÜRFNISSE DES KUNDEN ERFÜLLEN. DIE CROWDSTRIKE-ANGEBOTE UND CROWDSTRIKE-TOOLS SIND NICHT FEHLERTOLERANT UND NICHT FÜR DEN EINSATZ IN GEFÄHRLICHEN UMGEBUNGEN AUSGELEGT ODER VORGESEHEN, DIE EINE AUSFALLSICHERE LEISTUNG ODER EINEN AUSFALLSICHEREN BETRIEB ERFORDERN.
WEDER DIE ANGEBOTE NOCH DIE CROWDSTRIKE-TOOLS SIND FÜR DEN BETRIEB VON FLUGZEUGNAVIGATION, NUKLEARANLAGEN, KOMMUNIKATIONSSYSTEMEN, WAFFENSYSTEMEN, DIREKTEN ODER INDIREKTEN LEBENSERHALTENDEN SYSTEMEN, FLUGVERKEHRSKONTROLLE ODER ANWENDUNGEN ODER ANLAGEN BESTIMMT, BEI DENEN EIN AUSFALL ZU TOD, SCHWEREN KÖRPERVERLETZUNGEN ODER SACHSCHÄDEN FÜHREN KÖNNT...
https://www.crowdstrike.com/terms-and-conditions-de/

Durch den Ausschluss dürfte es sehr schwerer werden, Forderungen zu stellen. Denn der Käufer muss sich ja fragen, warum er gegen besseren Wissens einen Service gekauft und eingeführt hat. Da dürfte auch das "Der nächste Kaffee geht auf uns"-Angebot eher wie Hohn klingen.

Windows "ReadOnly" neu denken?

Ich weiß nicht, wie Microsoft mit dieser generellen Problematik umgehen wird und welche Verbesserungen Crowdstrike in ihrer  CI/CD-Pipeline umsetzen wird. Das Risiko bleibt aber weiter vorhanden, dass irgendeine Konfigurationsänderung, Softwareupdate, Softwarefehler o.ä. erneut viele Computer unbrauchbar macht. Das BSI hat dies auch schon erkannt und am 29.7 einen Aktionsplan veröffentlicht:

Ich bin aber sicher dass auch bei Microsoft aktuell einige Köpfe darüber nachdenken, wie solche Fälle besser behandelt werden können. Solange Windows noch erkennt, dass ein Problem vorliegt, kann es auch reagieren. Das Anzeigen eines "blauen Bildschirms" ist keine Lösung. Oft hilft ein Reboot aber wenn selbst dies nicht funktioniert, dann könnte Windows ja selbst einen "LastKownGood"-Status nutzen. Bei kritischen BIOS-Updates gibt es ja auch schon Motherboards, die ein Backup-BIOS oder Notfall-BIOS haben. Auch bei Netzwerk Switches habe ich schon gesehen, dass ich immer zwei BIOS-Versionen im Flash habe und wenn die zuletzt aktualisierte aktive Version nicht erfolgreich startet, dann schwenkt das System auf die vorherige Version:

Nun haben Virenscanner und Endpoint Protection Produkte einen eigenen Update-Zyklus für ihre Pattern, so dass Windows mit dem "last known good" der "Vorherigen Version" nicht arbeiten kann. Hier werden ja nur Schattenkopien bei der Installation von Programmen angefertigt. Vielleicht ist das ein Grund, warum Defender Updates als "Softwareupdates" erscheinen?

Dennoch müssen wir für "kritische Computer" und eine Failover-Strategie überlegen. Ich habe schon früher gerne eine zweite Windows Installation neben meinem Computer betrieben und beim Start konnte ich dann zwischen den beiden Betriebssystemen wechseln. Könnte es nicht eine Lösung sein, dass ein Computer einfach zwei Windows-Installationen, z.B. auf zwei Partitionen betreibt und die aktive oder passive Version aktualisiert wird und durch einen schnellen Neustart dann live geht. Wenn dies dann erfolgreich war, könnte diese über eine lokale VSS-Kopie dann wieder auf die zweite Instanz geklont werden. Windows müsste quasi die Clone-Funktion und das fehlertolerante Rebooting erhalten.

ich habe nun nicht alle Fälle durchdacht und sicher gibt es Situationen, in denen auch genau diese Funktion wieder nicht ausreicht. Aber wenn ich an die "Digital Signage"-Produkte oder Terminals an Flughäfen denken, die nach mehreren erfolglosen Starts einfach das Backup starten? Früher gab es ISA/PCI-Steckkarten für Schulen, die alle Schreibzugriffe umgeleitet haben und das eigentliche System "Readonly". Das kann sogar der kleine RaspberryPI um die Schreibzugriffe auf die SD-Karte zu optimieren.

Vielleicht ist dies die Lösung, dass das Basissystem von Windows ReadOnly ist und nach einem Update die Konfiguration aktiv mit einem "COMMIT" übertragen werden muss.

Ich weiß nicht, was in Redmond dazu alles gerade durchgespielt wird. Dieser Absatz ist

Zwischenstand

Wer durch den Crowdstrike-Ausfall betroffen war, hat auf jeden Fall einen Wissensvorsprung vor der Mehrheit der Windows Administratoren, die diesmal nicht betroffen waren. Schadenfreude oder "Glück gehabt" ist nun aber die falsche Herangehensweise, wenn Endpoint Protection Systeme sind gekommen um zu bleiben und durch ihre tiefe Integration in die Systeme werden wir auch zukünftig darauf vertrauen müssen, dass die Hersteller ihre Software nach hohen Qualitätsstandards entwickeln und betreiben. Das ist aber nur eine Hoffnung und so sollte jeder Betreiber sich vorbereiten.

Viel zu wenige Firmen haben schon mal ein "Desaster Recovery", oder "AD-Recovery" oder auch nur einmal ein "Server Rollback" durchgespielt. Ich erwarte nicht, dass dies nun jeder Administrator selbst macht. Ein erster Schritt könnte aber sein, dass Sie ihre Bitlocker-Schlüssel und einen USB-Stick mit einem Windows Notfallsystem bereitstellen und immer mal wieder üben, ob dieser noch funktioniert. Je kleiner eine Firma ist, desto eher kommen dann Dienstleister ins Spiel, die ihre Sicherheitslösungen betreiben und hoffentlich im Problemfall gut skalieren.

Der komplette Verzicht auf eine Endpoint Protection Lösung ist aber keine Alternative und selbst ein Rückschritt auf "nur Virenscanner" reduziert nicht das Risiko, denn es gibt noch viele andere Komponenten, die ein System außer Funktion können.

Weitere Links