Πως η Crowdstrike σε 1,5 ώρα έβγαλε εκτός 8,5 εκατομμύρια PC.

[anderm]

Για όσους δεν τη γνωρίζουν, η Crowdstrike είναι ένας πάροχος υπηρεσιών ασφαλείας που απευθύνονται κυρίως σε εταιρικούς πελάτες.

Την Παρασκευή 19/7 μεταξύ 04:09 - 05:27, προώθησαν μια αναβάθμιση διαμόρφωσης του λογισμικού τους, falcon, που οδήγησε όσα συστήματα ήταν online να κρασάρουν.

Κατά την Crowdstrike:

Technical Details​

On Windows systems, Channel Files reside in the following directory:

C:\Windows\System32\drivers\CrowdStrike\

and have a file name that starts with “C-”. Each channel file is assigned a number as a unique identifier. The impacted Channel File in this event is 291 and will have a filename that starts with “C-00000291-” and ends with a .sys extension. Although Channel Files end with the SYS extension, they are not kernel drivers.

Channel File 291 controls how Falcon evaluates named pipe1 execution on Windows systems. Named pipes are used for normal, interprocess or intersystem communication in Windows.

The update that occurred at 04:09 UTC was designed to target newly observed, malicious named pipes being used by common C2 frameworks in cyberattacks. The configuration update triggered a logic error that resulted in an operating system crash.

Channel File 291​

CrowdStrike has corrected the logic error by updating the content in Channel File 291. No additional changes to Channel File 291 beyond the updated logic will be deployed. Falcon is still evaluating and protecting against the abuse of named pipes.

This is not related to null bytes contained within Channel File 291 or any other Channel File.

Λόγω αυτού, περίπου 8,5 εκατομμύρια PC κράσαραν σε BSOD και έκαναν επαναλμβανόμενες επανεκκινήσεις (bootloop).

Για να επαναφέρει το εκάστοτε IT το επηρεαζόμενο PC απαιτείται φυσική πρόσβαση σε περίπτωση μη χρήσης κάποιου pre-boot remote access λύσης ή/και κρυπτογράφισης του δίσκου.

Τα βήματα επίλυσης κατά τη Microsoft KB5042421 είναι τα ακόλουθα:

KB5042421: CrowdStrike issue impacting Windows endpoints causing an 0x50 or 0x7E error message on a blue screen

1. Hold the power button for 10 seconds to turn off your device and then press the power button again to turn on your device.
2. On the Windows sign-in screen, press and hold the Shift key while you select Power > Restart.
3. After your device restarts to the Choose an option screen, select Troubleshoot.
4. On the Troubleshoot screen, select Advanced options > Startup Settings > Enable safe mode.
5. Restart your device.
   Note You may be asked to enter your BitLocker recovery key. When the device restarts, continue pressing F4 and then it will log you in to safe mode. Please note, for some devices, you need to press F11 to log in through safe mode.
6. Once in safe mode, right-click Start, click Run, type cmd in the Open box, and then click OK.
7. If your system drive is different than C:\, type C: and then press Enter. This will switch you to the C:\ drive.
8. Type the following command and then press Enter:CD C:\Windows\System32\drivers\CrowdStrike
9. Once in the CrowdStrike directory, locate the file matching “C-00000291*.sys”. To do this, type the following command and then press Enter:
   dir C-00000291*.sys
10. Permanently delete the file(s) found. To do this, type the following command and then press Enter.
    del C-00000291*.sys
11. Manually search for any files that match “C-00000291*.sys” and delete them.
12. Restart your device.

Δημιουργήθηκε δε εξαιρετικά μεγάλο πρόβλημα στη περίπτωση που ορισμένες υπηρεσίες IT, αποθήκευσαν τα recovery keys του bitlocker αποκλειστικά σε μηχανήματα τα οποία ήταν online και χρησιμοποιούσαν και εκείνα τον Falcon agent της crowdstrike.

 

[athlon6401]

Όποιος χρησιμοποιεί Windows για ασφάλεια είναι άξιος της μοίρας του

 

[Alexandros_Wallace]

Εκτός από τους πελάτες τις, η όλη φάση έχει σοβαρό αντίκτυπο στους επενδυτές τις
μιας και θεωρείται τοπ μετοχή σε έναν από τους πιο υποσχόμενους τομείς.

 

[Δημήτρης Δημητρακούδης]

Εδώ στην Ελλάδα από όσο γνωρίζω η Crowdstrike δεν έχει πελάτες, οπότε γι' αυτό τη γλιτώσαμε.

Κατά πάσα πιθανότητα το κακό έγινε επειδή έκαναν roll out ένα update χωρίς να το έχουν δοκιμάσει σωστά.

Εντύπωση επίσης μου έχει κάνει το ότι ο τύπος (τόσο στην Ελλάδα όσο και στο εξωτερικό) έσπευσε να συνδέσει το πρόβλημα με την Microsoft.
Και ακόμα και αφού είχε γίνει γνωστή η αιτία, τα ίδια sites συνέχιζαν να κατηγορούν.. την Microsoft!

Και ακόμα και αργότερα, που είχαν καταλάβει όλοι τι είχε γίνει, έγραφαν ότι η Crowdstrike σχετίζεται με την Microsoft!

Έλεος πια με το clickbait.. φυλλάδες..

 

[Kosh]

Επανήλθε «σημαντικός αριθμός» συστημάτων μετά το ψηφιακό μπλακ άουτ - «Τρέχει» τώρα η CrowdStrike για την αποκατάσταση των υπολοίπων

Η CrowdStrike δεν ανέφερε πόσες συσκευές εξακολουθούν να επηρεάζονται - Αναπτύσσει μια νέα διόρθωση, που ελπίζει ότι θα επιταχύνει την ανάκαμψη των υπολοίπων συστημάτων

www.protothema.gr

 

[pontios]

Όποιος χρησιμοποιεί Windows για ασφάλεια είναι άξιος της μοίρας του

Σοβαρότατη άποψη. Επικυρωμένη, με αδιάσειστα στοιχεία.

Για αυτούς λοιπόν που όντως ενδιαφέρονται να μάθουν, η crowdstrike είναι εταιρεία που προσφέρει ασφάλεια εναντίον των λεγόμενων κυβερνοεπιθέσεων (cyberattacks) σε ΟΠΟΙΟΔΗΠΟΤΕ σύστημα λογισμικού. Στην συγκεκριμένη ενημέρωση, ο σκοπός της ήταν να αναβαθμιστεί η προστασία για τα λειτουργικά Windows (10 και 11).
Για κάποιο λόγο (προφανώς κάποιος manager φώναζε να βγει πιο γρήγορα), δεν προσέξανε ότι το αρχείο ενημέρωσης (41kb όλο κι όλο), είχε πολλούς null (μηδενικούς) χαρακτήρες, το οποίο είχε σαν αποτέλεσμα όταν ξεκινούσανε τα windows, να προσπαθούνε να το διαβάσουνε και να μην μπορούν, με αποτέλεσμα την μπλε οθόνη με unhandled exception error.
Εάν η ενημέρωση ήταν για άλλο λειτουργικό, θα είχαμε παρόμοια αποτελέσματα, καθώς το αρχείο ξεκινάει από το λεγόμενο kernel (την βάση του λειτουργικού). Για παράδειγμα, η SNCF στην Γαλλία, που είναι ακόμα σε Windows XP, δεν είχε κανένα θέμα.
Το θέμα ήταν, ότι έπρεπε σε πολλές περιπτώσεις να γίνει χειροκίνητη αλλαγή του αρχείου, αφού το λογισμικό δεν μπορούσε καν να ξεκινήσει.
Η δε αναβάθμιση όλως των υπολογιστών την ίδια στιγμή, είναι αποτέλεσμα της τάσης των τελευταίων ετών, που προστάζει τα συστήματα να είναι Evergreen (ενημερωμένα άμεσα και όχι μετά από μήνες). Όπως και η λεγόμενη Agile μεθοδολογία του σημερινού ΙΤ, που χρησιμοποιείται για την γρηγορότερη παράδοση ενός project, τμηματικά, αντί με την ολοκλήρωση του.
Άμα δε βάλουμε μέσα και την τάση για coding με ΑΙ, ας μην το συζητάμε καλύτερα.

 

[athlon6401]

Το Linux αγαπητέ έχει ήδη σοβαρό επίπεδο ασφάλειας (SELinux, Apparmor κτλ) και δε χρειάζεται να εμπιστεύεσαι την ασφάλειά σου σε 3rd party λογισμικό που μάλιστα κάνει bind σε kernel level. Και να τα αποτελέσματα φυσικά. Τι ακριβώςς να προστατέψει η Crowdstrike σε ένα Linux kernel; Αντίθετα τέτοιες λύσεις είναι πολλές φορές ύποπτες για back doors από συγκεκριμένες three letter κρατικές υπηρεσίες. Linux και πάλι Linux.

 

[epinefelos]

Εδώ στην Ελλάδα από όσο γνωρίζω η Crowdstrike δεν έχει πελάτες, οπότε γι' αυτό τη γλιτώσαμε.

Κατά πάσα πιθανότητα το κακό έγινε επειδή έκαναν roll out ένα update χωρίς να το έχουν δοκιμάσει σωστά.

Εντύπωση επίσης μου έχει κάνει το ότι ο τύπος (τόσο στην Ελλάδα όσο και στο εξωτερικό) έσπευσε να συνδέσει το πρόβλημα με την Microsoft.
Και ακόμα και αφού είχε γίνει γνωστή η αιτία, τα ίδια sites συνέχιζαν να κατηγορούν.. την Microsoft!

Και ακόμα και αργότερα, που είχαν καταλάβει όλοι τι είχε γίνει, έγραφαν ότι η Crowdstrike σχετίζεται με την Microsoft!

Μάλλον, είμαστε η εξαίρεση γιατί η δική μας εταιρεία ταλαιπωρήθηκε και ταλαιπωρείται ακόμα. Γύρω στα 400 PC χτυπήθηκαν άμεσα, λιγότερα laptop, δηλαδή όσα άνοιξαν. Το Σαββατοκύριακο οι ITδες τα έφεραν στα ίσια και σήμερα λειτουργούν σχεδόν όλα. Το μεγάλο πρόβλημα όμως παραμένει στα remote (πολλαπλάσια pc ) και μάλιστα δύσκολο remote, απρόσιτο και δορυφορικό. Εκεί συνεχίζεται η μάχη ακόμα και μάλλον θα κρατήσει καιρό.

 

[pontios]

Το Linux αγαπητέ έχει ήδη σοβαρό επίπεδο ασφάλειας (SELinux, Apparmor κτλ) και δε χρειάζεται να εμπιστεύεσαι την ασφάλειά σου σε 3rd party λογισμικό που μάλιστα κάνει bind σε kernel level. Και να τα αποτελέσματα φυσικά. Τι ακριβώςς να προστατέψει η Crowdstrike σε ένα Linux kernel; Αντίθετα τέτοιες λύσεις είναι πολλές φορές ύποπτες για back doors από συγκεκριμένες three letter κρατικές υπηρεσίες. Linux και πάλι Linux.

Στο σπίτι σου, που κανείς δεν ασχολείται μαζί σου και δεν σε ενδιαφέρουν κάποια πράγματα, φυσικά. Εδώ μιλάμε όμως για πολυεθνικές και τεράστια συστήματα τα οποία σε συγκεκριμένες περιπτώσεις και να θέλανε δεν μπορούν να είναι Linux.
Όλα, μα όλα τα συστήματα, έχουν κάποιες ευπάθειες (ναι ακόμα και το Linux), ειδικά όταν μιλάς για εκατομμύρια υπολογιστές, που μπορεί να μην είναι (ή να μην μπορούν) ενημερωμένοι στις τελευταίες ευπάθειες. Και οι περισσότεροι, είναι υπολογιστές που δεν χειρίζεται ένας χρήστης, αλλά πολλοί ή και κανένας.
Σε πολυεθνική δουλεύω και ξέρω πολύ καλά τι χρησιμοποιούμε για να προστατέψουμε τους Linux server μας, όπως και ακόμα και raspberry pi που τρέχουν Debian.

 

[pontios]

Εντύπωση επίσης μου έχει κάνει το ότι ο τύπος (τόσο στην Ελλάδα όσο και στο εξωτερικό) έσπευσε να συνδέσει το πρόβλημα με την Microsoft.
Και ακόμα και αφού είχε γίνει γνωστή η αιτία, τα ίδια sites συνέχιζαν να κατηγορούν.. την Microsoft!

Και ακόμα και αργότερα, που είχαν καταλάβει όλοι τι είχε γίνει, έγραφαν ότι η Crowdstrike σχετίζεται με την Microsoft!

Έλεος πια με το clickbait.. φυλλάδες..

Μέχρι και η γιαγιά σου ξέρει την Microsoft και πόσο μεγάλη εταιρεία είναι. Που να εξηγούν τι είναι η crowdstrike.

 

[athlon6401]

Στο σπίτι σου, που κανείς δεν ασχολείται μαζί σου και δεν σε ενδιαφέρουν κάποια πράγματα, φυσικά. Εδώ μιλάμε όμως για πολυεθνικές και τεράστια συστήματα τα οποία σε συγκεκριμένες περιπτώσεις και να θέλανε δεν μπορούν να είναι Linux.
Όλα, μα όλα τα συστήματα, έχουν κάποιες ευπάθειες (ναι ακόμα και το Linux), ειδικά όταν μιλάς για εκατομμύρια υπολογιστές, που μπορεί να μην είναι (ή να μην μπορούν) ενημερωμένοι στις τελευταίες ευπάθειες. Και οι περισσότεροι, είναι υπολογιστές που δεν χειρίζεται ένας χρήστης, αλλά πολλοί ή και κανένας.
Σε πολυεθνική δουλεύω και ξέρω πολύ καλά τι χρησιμοποιούμε για να προστατέψουμε τους Linux server μας, όπως και ακόμα και raspberry pi που τρέχουν Debian.

Δε μιλάω για το σπίτι μου, έχω διαχειριστεί και διαχειρίζομαι εκατοντάδες servers. Δε θα αναλάμβανα ποτέ να υποστηρίξω μία λύση Windows και γι' αυτό στα 20+ χρόνια δουλειάς μου το μόνο που κατάφεραν εναντίον των συστημάτων που διαχειριζόμουν ήταν μεμονωμένα denial of service. Οι περισσότερες εταιρείες που βασίζονται σε 3rd party λύσεις σαν την Crowdstrike, δεν επένδυσαν σε δικό τους τμήμα IT ή οι managers τους προτίμησαν να πάρουν τις προμήθειες της Microsoft και λοιπών εταιρειών.

 

[anderm]

Ένας οργανισμός, μια εταιρία η οποία έχει realtime operations, όπως ένα αεροδρόμιο, μια τράπεζα, μια αεροπορική κλπ, είναι αφελές να πιστέψει πως μπορεί το IT να αντικατασταθεί από την οποιαδήποτε λύση, ανεξαρτήτως πως αυτή θα μαρκετάρεται κάθε φορά. Και για να αποφύγεις τέτοιου είδους καταστροφές, δεν χρειάζεται ούτε να τρέχεις windows xp σε pentium 4 και web apps με ie6 ούτε και να γυρίσεις όλα τα τερματικά σε linux.

Έχουν γίνει απίστευτες επενδύσεις στο out of band management τα τελευταία αρκετά χρόνια και τα εργαλεία που έχει στη διάθεση της μια σοβαρή δομή IT, κάνουν τα πάντα. Είναι απόλυτα σωστό το να είσαι realtime up to date στα signatures των λύσεων ασφαλείας, εφόσον το cost to benefit ratio, είναι ασύμετρα υπέρ οποιασδήποτε δυσλειτουργίας έναντι μιας πιθανής κυβερνοεπίθεσης. Τα configuration updates από την άλλη, πρέπει πάντα, να τα δοκιμάζεις πριν το rollout στους πιθανούς συνδυασμούς μηχανημάτων που έχεις στην εταιρία.

Όσες εταιρίες είναι σοβαρές στο IT τους, εφαρμόζουν τα παραπάνω θεμελιώδη και δεν κάνουν τα τσαρλατάνικα που γίνονται συνήθως, δεν είχαν, έχουν ούτε και θα έχουν τόσο διευρυμένο πρόβλημα.

 

[pontios]

Όλες οι πολυεθνικές, χωρίς εξαίρεση, δεν έχουν ΙΤ τέτοιων γνώσεων πια και για αυτό προτιμούν ή καλύτερα επενδύουν σε λύσεις τύπου crowdstrike. Εδώ μιλάμε είναι πάροχος υπηρεσιών στο πεντάγωνο των ΗΠΑ.
Οι εταιρείες πια επενδύουν σε λύσεις ΙΤ τύπου Ινδία για level 1 και 2 support. Κρατάνε το level 3 συνήθως in house. Όλα στον βωμό του κόστους όπως πάντα. Από την άλλη, είναι χαζό να επενδύεις τρελά σε μια in house λύση, με άγνωστα αποτελέσματα, όταν έχει μια εξειδικευμένη εταιρία που μπορεί να σου προσφέρει το service. Αν μη τι άλλο, για αυτό υπάρχουν τα KPI και ειδικά τα SLA με πρόστιμα. Και σε τέτοιες περιπτώσεις, μιλάμε για SLA του 99%.
Εννοείται ότι πρέπει να υπάρχουν δοκιμές σε indus περιβάλλον και μετά limited pilots σε production. Ε΄δω κάποιος τα σκάτωσε τελείως. Δεν έπρεπε να έχει βγει ποτέ αυτό το update. Το γιατί βγήκε, μπορεί να μην το μάθουμε ποτέ. Αλλά εάν ήταν να παίξω όλα μου τα λεφτά υποχρεωτικά σε κάτι, θα έπαιζα σε manager που πίεσε να βγει το update γιατί είχε deadline και θα έχανε κάποιο bonus.

 

[anderm]

Το ότι θα χρησιμοποιήσεις το falcon της crowdstrike ως endpoint protection δεν λειτουργεί διαζευτικά με το να υπάρχει IT. Εάν δεν χρησιμοποιούσαν τη crowdstrike, θα χρησιμοποιούσαν κάποιον άλλο μεγάλο πάροχο υπηρεσιών ασφαλείας, sentinel/trendmicro/sophos/symantec/fortinet κλπ. Ούτε και το level 1 support διαχειρίζεται το out of band management όσον αφορά τα rollout των updates.

 

[Δημήτρης Δημητρακούδης]

Το να μην έχεις internal L1 / L2 support είναι ένα πράγμα, το να μην έχεις out-of-band management στους σταθμούς εργασίας σου είναι εντελώς άλλο.

Μπορείς να έχεις out-of-band management και να έχεις δώσει outsource το support σου.

Αλλά πρέπει να έχει κόψει σε κάποιον για να έχεις out-of-band management, και να έχεις δώσει και κάποια χρήματα παραπάνω (όχι πολλά).

Γιαυτό παρατηρείτε ότι ο χαμός έγινε στα endpoints και όχι στους servers. Όλοι οι servers πρακτικά έχουν είτε out-of-band management είτε είναι VMs με remote console, οπότε σώζονται εύκολα.

 

[Δημήτρης Δημητρακούδης]

Μάλλον, είμαστε η εξαίρεση γιατί η δική μας εταιρεία ταλαιπωρήθηκε και ταλαιπωρείται ακόμα. Γύρω στα 400 PC χτυπήθηκαν άμεσα, λιγότερα laptop, δηλαδή όσα άνοιξαν. Το Σαββατοκύριακο οι ITδες τα έφεραν στα ίσια και σήμερα λειτουργούν σχεδόν όλα. Το μεγάλο πρόβλημα όμως παραμένει στα remote (πολλαπλάσια pc ) και μάλιστα δύσκολο remote, απρόσιτο και δορυφορικό. Εκεί συνεχίζεται η μάχη ακόμα και μάλλον θα κρατήσει καιρό.

Η αλήθεια είναι ότι όταν έγραφα το παραπάνω είχα στο μυαλό μου κυρίως το ελληνικό Δημόσιο, ως τον μεγαλύτερο πελάτη όλων αυτών των λύσεων.

Μήπως κατά σύμπτωση η εταιρεία σας είναι πολυεθνική; Θα το εξηγούσε..

 

[pontios]

Το ότι θα χρησιμοποιήσεις το falcon της crowdstrike ως endpoint protection δεν λειτουργεί διαζευτικά με το να υπάρχει IT. Εάν δεν χρησιμοποιούσαν τη crowdstrike, θα χρησιμοποιούσαν κάποιον άλλο μεγάλο πάροχο υπηρεσιών ασφαλείας, sentinel/trendmicro/sophos/symantec/fortinet κλπ. Ούτε και το level 1 support διαχειρίζεται το out of band management όσον αφορά τα rollout των updates.

Μα αυτό λέω ακριβώς. Τελευταία φορά βέβαια που είχε γίνει κάτι παρόμοιο, το 2010 με την McAffee, ο ίδιος CEO ήταν εκεί που είναι τώρα στην Crowdstrike. 2 στα 2 έχει το παλικάρι σε παγκόσμιες κρίσεις.

 

[aneas]

Εγώ που είμαι ανίδεος, και γράφω απλά με τα όσα έχω διαβάσει, είναι δυνατόν το οποιοδήποτε τμήμα ΙΤ για την ασφάλεια μιας εταιρείας να έχει πρόσβαση στις υπογραφές των επιθέσεων των ιών κλπ που γίνονται ασταμάτητα παγκοσμίως; Αυτά όπως πιστεύω εγώ τα ανταλλάσουν μεταξύ τους οι μεγάλες εταιρίες κυβερνοασφαλειας με συμφωνίες ώστε να καλύπτουν όσο μπορούν τα κενά ασφάλειας. Οσο μεγάλη και να είναι μια εταιρεία και να έχει πολυπληθες τμήμα ασφαλείας ΙΤ πως να φτάσει μια εταιρεία που ασχολείται μόνο με κυβερνοασφαλεια;

Τώρα να λέει κάποιος ότι το Linux είναι πιο ασφαλές από τα Windows , ή και αναποδα κατευθείαν σταματω κάθε είδους αντιπαράθεση κουνώ συγκαταβατικα το κεφάλι μου και πάμε για καμία μπύρα καλύτερα να συζητήσουμε για γκόμενες για μπάλα για πολιτικά....

 

[epinefelos]

Η αλήθεια είναι ότι όταν έγραφα το παραπάνω είχα στο μυαλό μου κυρίως το ελληνικό Δημόσιο, ως τον μεγαλύτερο πελάτη όλων αυτών των λύσεων.

Μήπως κατά σύμπτωση η εταιρεία σας είναι πολυεθνική; Θα το εξηγούσε..

Καλημέρα, ναι είναι πολυεθνική και δεν έχει και καμία σχέση με το Δημόσιο.

 

[Δημήτρης Δημητρακούδης]

Έτσι εξηγείται. Προφανώς η επιλογή σας σε endpoint security έχει έρθει από τα κεντρικά σας, που δεν είναι στην Ελλάδα.