Výpadek Cloudflare: Klíčová analýza incidentu, který zasáhl internet

Nedávný šestihodinový výpadek jedné z klíčových sítí pro doručování obsahu (CDN) postihl tisíce webových stránek a služeb po celém světě. Ačkoliv incident způsobil značné komplikace, následná detailní analýza poskytuje cenné poznatky pro celou technologickou komunitu.

Výpadek Cloudflare: Klíčová analýza incidentu, který zasáhl internet

Nedávný incident znovu upozornil na zásadní roli, kterou sítě pro doručování obsahu, jako je Cloudflare, hrají v infrastruktuře internetu. Šestihodinový výpadek způsobil nedostupnost tisíců webových stránek a služeb, včetně mnoha globálně významných platforem. Tato událost zdůraznila, jak hluboká je závislost mnoha online služeb na jediném poskytovateli, což bylo patrné i při dřívějších výpadcích jiných velkých cloudových služeb.

Cloudflare rychle zveřejnil detailní analýzu incidentu, která objasnila příčiny a průběh celé události. Kořenová příčina spočívala v chybném šíření konfiguračního souboru do modulu pro správu botů. Tento soubor způsobil pád modulu, což následně vyřadilo z provozu proxy vrstvu Cloudflare. Tato vrstva je klíčová pro ochranu zdrojů zákazníků, minimalizaci síťového provozu a efektivní cachování statických dat v síti CDN.

Celý incident byl spuštěn na základě zdánlivě nevinné změny oprávnění v databázi. Cloudflare se snažil zlepšit bezpečnost a spolehlivost systémů přechodem od sdílených systémových účtů k individuálním uživatelským účtům. Bohužel, vedlejším efektem této změny bylo, že dotaz na získávání metadat pro modul správy botů začal neúmyslně vracet mnohem větší objem dat, než bylo očekáváno – konkrétně dvojnásobek původního počtu funkcí. Modul správy botů má interní limit 200 funkcí (pro které alokuje paměť), a pokud je tento počet překročen, systém se ocitne ve stavu paniky. Chyba nastala v části kódu, kde se neočekávalo, že by funkce vracející data mohla selhat, což vedlo k nekontrolovanému pádu systému při pokusu o „rozbalení“ neočekávané chybové hodnoty. Postupně tak docházelo k selhávání jednotlivých edge uzlů, jak se chybný konfigurační soubor šířil systémem.

Zjištění skutečné příčiny výpadku trvalo neobvykle dlouho – přibližně dvě a půl hodiny. Prvotní zavádějící indicie vedly tým k podezření na koordinovaný útok. V kritickém okamžiku totiž došlo k výpadku i na stránce se stavem služeb společnosti, což posílilo tuto hypotézu. Inženýři tak ztráceli čas hledáním externího útoku, který ve skutečnosti neexistoval, neboť výpadek stránky byl pouhou shodou okolností. Jakmile se podařilo identifikovat skutečnou příčinu – chybné konfigurační soubory – trvalo další hodinu zastavit šíření chybné konfigurace a nasadit opravenou verzi. Celková doba řešení incidentu, včetně úklidu a ověření funkčnosti, se tak protáhla na přibližně šest hodin.

Velmi působivé bylo, jak rychle Cloudflare dokázal zveřejnit detailní postmortem analýzu – do 24 hodin od vyřešení incidentu. Generální ředitel společnosti se osobně účastnil řešení výpadku a bezprostředně po jeho odeznění začal sepisovat první verzi zprávy. Následně byl text interně sdílen s týmem, který doplnil detaily a odpovědi na zbývající otázky, což umožnilo bleskové dokončení a publikaci. Tento přístup demonstruje agilnost a transparentnost, které jsou typické spíše pro startupy než pro veřejně obchodované korporace.

Z tohoto incidentu lze vyvodit několik důležitých poučení pro softwarové inženýry a provozovatele systémů:

Explicitní logování chyb: Je klíčové implementovat logování chyb v okamžiku, kdy nastanou, a mít nastavená upozornění na jejich nárůst. Ačkoliv to vyžaduje dodatečnou práci, pomáhá to výrazně zkrátit dobu potřebnou k identifikaci a zmírnění problémů.

Dominik Medal

Potřebujete pomoc s webem nebo aplikací?

Ozvěte se mi — do 24 hodin se Vám ozvu zpět s návrhem dalšího postupu.

Rizika globálních databázových změn: Změny v databázových oprávněních, zejména ty, které ovlivňují široké spektrum dotazů, s sebou nesou značná a často nepředvídatelná rizika. Cloudflare se sice snažil zlepšit bezpečnost a spolehlivost odstraněním globálních systémových účtů, což je správný krok, avšak dopad takových změn je obtížné plně otestovat.

Souběžné problémy mohou zmást: Situace, kdy se vyskytnou dva nezávislé problémy najednou (např. systémový výpadek a souběžný pád stránky se stavem služeb), může vést inženýrský tým k mylným závěrům a zbytečné ztrátě času při hledání kořenové příčiny. V horké fázi incidentu je snadné předpokládat souvislost.

Závislost na CDN a možnosti mitigace: Sítě CDN jsou nepostradatelnou součástí internetu, ale zároveň představují kritickou závislost. Příprava na jejich výpadek je složitá a nákladná. Možnosti zahrnují přesměrování provozu na vlastní „origin“ servery (což vyžaduje masivní škálovatelnost backendu) nebo využití záložní sítě CDN (což znamená další náklady na neustále připraveného, byť neaktivního partnera a složité přepínání provozu). Obě strategie vyžadují značné investice a pečlivé plánování.

Dominik Medal

Popovídejme si o Vašem projektu

Napište mi, co potřebujete, a společně určíme nejlepší postup.

Už nescrollujte, volejte

+420 735 505 585