Optimalizace DNS: O polovinu kratší sestavení a 85% úspora paměti

V tomto článku se podíváme, jak se nám podařilo výrazně zkrátit dobu potřebnou pro aplikaci změn v DNS záznamech a zároveň dramaticky snížit spotřebu paměti. Klíčem bylo přejít od kompletních sestavení k cíleným aktualizacím.

Optimalizace DNS: O polovinu kratší sestavení a 85% úspora paměti

Nárůst počtu událostí v DNS systému vedl k nutnosti optimalizace propagačního řetězce. Skutečným problémem však nebyl objem událostí, nýbrž složitost práce s obřími zónami, které dnes obsahují desítky milionů záznamů a jejichž velikost stále roste.

Každá změna spouští proces zvaný „sestavení“, který převádí aktuální stav databáze do formátu použitelného našimi autoritativními DNS servery a zaznamenává změny do distribuovaného úložiště. Dříve byly dílčí aktualizace záznamů podstatně rychlejší než kompletní sestavení celé zóny. To nás vedlo k cíli aplikovat podobný princip i na změny nastavení zón.

Ačkoliv je logické aktualizovat pouze změněná nastavení zóny, zjištění, kdy je takový přístup bezpečný a konzistentní, představovalo největší výzvu. Zatímco změny jednotlivých záznamů jasně identifikují, co bylo upraveno, události související s nastavením zón jsou komplexnější. Mohou pocházet z různých interních systémů, často nespecifikují přesnou povahu změny a mohou ovlivnit data sdílená více zónami se stejným názvem domény. Nesprávná volba rozsahu práce by vedla buď k neefektivitě, nebo k neaktuálním DNS datům.

Vyvinuli jsme plánovač cílených sestavení, který vybírá nejmenší bezpečnou sadu změn k provedení, a nový sjednocený plánovač, jenž optimalizuje zpracování pro stejnou zónu. Díky tomu již změny nastavení zón nevyvolávají kompletní přepočítání milionů záznamů. To vedlo k 85% snížení špičkové spotřeby paměti a umožnilo zkrátit čekací doby v celém propagačním řetězci, výsledkem je poloviční doba od DNS změny po její zápis do distribuovaného úložiště.

DNS zóna představuje souhrn záznamů a nastavení pro danou doménu. Pro jejich globální distribuci využíváme vícestupňový propagační proces. Změna, iniciovaná zákazníkem nebo interním systémem, se nejprve uloží do databáze. Odtud se generuje událost, kterou DNS Aggregator kombinuje s dalšími událostmi a předává Zone Builderu. Ten následně přečte potřebná data zóny, převede je do formátu pro autoritativní DNS servery, porovná s distribuovaným úložištěm a zapíše pouze provedené změny, které se následně rozšíří po celé síti. Tento proces je zjednodušený; Zone Builder nekopíruje data přímo. Místo toho kombinuje záznamy s nastaveními zóny, aplikuje pravidla pro obsluhu DNS a výsledky organizuje tak, aby je autoritativní DNS servery mohly efektivně využít.

Původní Zone Builder byl koncipován tak, že nepotřeboval znát důvod změny zóny; vždy kompletně přestavěl požadovaný stav z aktuální databáze. Celý proces zahrnoval načtení celé zóny včetně nastavení a všech DNS záznamů, jejich konverzi do klíčů pro distribuované úložiště, porovnání s existujícími daty, odstranění zastaralých a zápis nových klíčů, a aktualizaci metadat zóny. Ačkoli se zapisovaly pouze změněné klíče, celý proces stále vyžadoval načtení, kódování a porovnání každého záznamu a držení celé zóny v paměti. To bylo přijatelné pro malé zóny, ale pro ty největší, s desítkami milionů záznamů, se zóna do paměti ani nevešla.

Změny nastavení zón zkomplikovaly cílené aktualizace. Příkladem je povolení funkce, která aktualizuje metadata a může ovlivnit záznamy na kořenové doméně, jako jsou CAA záznamy. Zatímco kompletní sestavení potřebovalo pouze informaci, že se zóna změnila, cílené sestavení muselo zodpovědět komplexnější otázky: Která DNS jména se mohou změnit? Může se změnit sdílené metadata nebo seznam publikovaných zón? Jaký předchozí stav musí být odstraněn z distribuovaného úložiště?

Pro bezpečnou odpověď na tyto otázky bylo nutné vyřešit pět hlavních problémů: události musely specifikovat změnu, každá změna musela být mapována na nejmenší korektní sestavení, systém musel zohledňovat sdílená data pro zóny se stejným názvem, databáze se mohla změnit mezi událostí a sestavením a kombinování práce nesmělo vést ke ztrátě zpráv z proudu událostí.

Upravili jsme generátory událostí tak, aby zahrnovaly informace o změněných polích a nastaveních, včetně předchozích a nových hodnot. Provedli jsme podrobnou analýzu, jak každé nastavení ovlivňuje výstup DNS. Ne všechny události byly takto specifické. Některé databázové funkce aktualizují pouze časové razítko, což naznačuje „něco se v této zóně změnilo“. Dokud nemáme přesnou identifikaci volajícího a jeho účelu, takové aktualizace časového razítka stále spouští kompletní sestavení. Stejné pravidlo platí pro chybějící detaily nebo jakékoli změny, které by mohly ovlivnit záznamy kdekoli v zóně – plánovač nikdy nesnižuje rozsah práce na základě nejistoty.

Výstup z distribuovaného úložiště má dvě klíčové části: klíče záznamů, obsahující DNS odpovědi pro konkrétní zónu a jméno, a menší klíč sdílených metadat, který informuje autoritativní DNS servery o použití zóny, včetně speciálních záznamů. Plánovač využívá tento rozdíl. Může zvolit jeden z pěti typů sestavení: „Pouze zdroje“ (rekonstrukce záznamů na specifických DNS jménech), „Zdroje a metadata“ (rekonstrukce specifických jmen a sdílených metadat), „Apex a metadata“ (rekonstrukce kořenové domény a metadat), „Vyčištění“ (odstranění zóny, která již nemá být publikována), a „Celá zóna“ (kompletní přestavba, když menší práce nemůže být bezpečně prokázána).

Zásada je jednoduchá: každý klíč zapsaný cíleným sestavením musí být bit po bitu shodný s tím, co by zapsalo kompletní sestavení. Pokud to nelze prokázat, provede se kompletní sestavení. Odstranění starého stavu funguje podobně jako dříve: Zone Builder prohledá distribuované úložiště pro stávající klíče pod každým jménem, které přestavuje, a odstraní ty, které nebyly zapsány novým sestavením. Kompletní sestavení zůstávají nezbytná v případech, kdy změna může ovlivnit záznamy kdekoli v zóně, nebo když je zóna publikována poprvé.

Dominik Medal

Máte nápad na web nebo aplikaci?

Proberme ho spolu — nezávazně, bez tlaku a s konkrétním doporučením dalšího kroku.

Existuje však záměrná výjimka pro největší zóny. Nad určitou hranicí počtu záznamů Zone Builder nikdy neeskaluje na kompletní sestavení. Místo toho provede rekonstrukci kořenové domény, metadat a všech jmen identifikovaných ve frontě událostí. Tento kompromis je akceptován, protože kompletní sestavení těchto obřích zón by se nedokončilo a blokovalo by zpracování všech ostatních změn na své partition v proudu událostí.

Distribuované úložiště ukládá klíče záznamů pro každou zónu odděleně. Existuje však jeden sdílený klíč metadat pro všechny zóny s identickým názvem domény. Tento sdílený klíč funguje jako adresář a informuje autoritativní DNS servery, která interní ID zón mohou použít při zodpovídání dotazu. Důvodem, proč jedna doména může mít několik interních ID zón, je proces zapojení, odpojení a další životní cykly zákazníků, kdy může krátkodobě existovat více interních objektů zón pro stejnou veřejnou doménu. Například změna TXT záznamu v jedné z interních zón ovlivní pouze klíče záznamů této konkrétní zóny. Změny nameserverů nebo wildcard záznamů jsou odlišné, protože informace o nich jsou uloženy v klíči metadat. Taková sestavení proto musí aktualizovat jak záznamy zóny, tak i klíč metadat. Při spuštění Zone Builder znovu načte aktuální seznam. Pokud zapisuje klíč metadat, přestaví celý klíč z tohoto čerstvého pohledu namísto opravy starší kopie.

Událost popisuje minulou změnu, ale sestavení může čekat, zatímco přicházejí další události a databáze se mění. Proto plánování probíhá dvakrát. Nejprve událost vytvoří konzervativní seznam práce. Bezprostředně před provedením sestavení Zone Builder načte čerstvý snímek publikace: aktuální nastavení zóny, zda má být zóna publikována do své sítě a která ID zón se stejným názvem patří do klíče metadat. Čerstvý stav může změnit výsledek čtyřmi způsoby: cílené sestavení se může stát kompletním, pokud zóna nyní vyžaduje práci v celé zóně; sestavení se může změnit na vyčištění, pokud zóna již nemá být publikována; sestavení může být přeskočeno, pokud spouštěcí zóna již nepatří do klíče metadat; nebo sestavení metadat může rekonstruovat sdílený klíč z aktuální sady kandidátů.

Načítání čerstvého stavu probíhá z replik databáze určených pouze pro čtení, aby se zabránilo kolizím s operacemi zápisu zákazníků. Doručování zpráv a replikace databáze probíhají nezávisle: událost může dorazit dříve, než je její databázová změna viditelná na replice. DNS Aggregator proto zdržuje události dostatečně dlouho na pokrytí normální replikační prodlevy a závěrečná databázová kontrola odmítne čtení, pokud je replika stále pozadu.

Dříve se práce s jednotlivými záznamy a kompletními zónami zpracovávala oddělenými plánovači. Tyto jsme nahradili jedním sjednoceným plánovačem. Plánovač nyní rozhoduje o tom, co je třeba sestavit, a plánovač pak o tom, kdy se to provede. Pokud dorazí několik událostí pro jednu zónu dříve, než začne její sestavení, plánovač jejich práci zkombinuje. Například změna A záznamu a wildcard záznamu pro stejnou doménu bude sloučena do jedné operace, zahrnující oba názvy a aktualizaci metadat. Sloučení pouze přidává práci. Pokud kterákoli událost vyžaduje kompletní zónu, sloučené sestavení se stane kompletním sestavením. Operace vyčištění (purge) přebije jakoukoli rekonstrukci, protože jejím cílem je zónu přestat publikovat.

Plánovač odděleně sleduje práci s DNS a zprávy čekající na potvrzení. Při opakování operace jsou obě tyto složky zachovány. I když kompletní sestavení nebo vyčištění již nevyžaduje jednotlivá jména záznamů, zprávy zůstávají připojeny, dokud není výsledek bezpečně zapsán. Pomalé sestavení může blokovat ostatní zákazníky, i když se jich netýká. Systém rozděluje zprávy do uspořádaných oddílů a pro každý uchovává jeden potvrzený offset. Používáme tzv. soft committing. Sestavení se může dokončit mimo pořadí a být označeno jako dokončené v paměti, ale potvrzená pozice se posune až poté, co se dokončí všechny dřívější zprávy. Pokud Zone Builder restartuje, nedokončené zprávy se přehrají znovu. Vědomě volíme opakovanou práci před ztrátou změny.

Cílené plány zkracují dobu, po kterou zůstává nejstarší zpráva nedokončená. Plánovač také brání jedné vytížené zóně, aby spotřebovala všechny pracovní zdroje. Po sestavení zóny čeká další sestavení na interval pro rekonstrukci, který se liší podle typu služby. Změny, které dorazí mezitím, jsou sloučeny do dalšího sestavení. Plánovač tento interval obvykle dodržuje, ale umožňuje spustit starou práci ve frontě, než zablokuje partition na příliš dlouhou dobu.

Pro zajištění bezpečnosti a správnosti jsme implementovali ekvivalentní testy pro porovnání výstupů kompletních a cílených sestavení, včetně porovnání klíčů bit po bitu. Dále jsme testovali funkčnost plánovače a plánovače. Během zavádění jsme souběžně s každým cíleným sestavením spouštěli i kompletní sestavení a porovnávali jejich výstupy. Dále jsme použili zrcadlovou instanci Zone Builderu. Ta spotřebovává produkční proud událostí, čte produkční stav databáze, ale zapisuje do odděleného distribuovaného úložiště, které neobsluhuje zákaznický provoz.

Komparátor kontroloval 20% vzorek zón na chybějící, nadbytečné nebo odlišné klíče. Všechny výsledky byly vizualizovány na speciálním panelu. Zavádění nového plánovače probíhalo postupně, rozdělením zón podle hashe jejich názvu. To zajistilo, že zóny se stejným názvem byly zpracovávány stejným plánovačem, čímž se předešlo konfliktům při zápisu sdílených metadat.

Za 24 hodin se 92,95 % sestavení vyhnulo kompletní přestavbě celé zóny. Pouze 7,04 % sestavení bylo kompletních. Počet kompletních sestavení klesl o přibližně 40 %. Zbývající kompletní sestavení trvala v průměru jen 0,35 sekundy, jelikož se většinou týkají nových, malých zón. Sjednocený plánovač eliminoval potřebu dávkovacího systému. Spotřeba zpráv z proudu událostí nyní úzce kopíruje jejich produkci, namísto dřívějšího zaostávání a dohánění ve špičkách.

Doba dokončení sestavení, měřená od změny DNS záznamu nebo nastavení zóny po zápis do distribuovaného úložiště, zaznamenala výrazné zlepšení. Špičková hodnota p99, tj. doba, za kterou se dokončí 99 % událostí, klesla z 14,6 minuty na 1,21 minuty, což je dvanáctinásobné zkrácení. Mediánová doba se snížila z přibližně 7,7 sekundy na zhruba 3,3 sekundy. Agregovaná spotřeba paměti, aktivně využívaná nasazením Zone Builderu, klesla z průměrných 49 GiB na 7 GiB, což představuje 86% snížení. Špičková spotřeba se snížila ze 79 GiB na 12 GiB, tedy o 85 %. Tyto výsledky nám rovněž umožnily zkrátit interval pro rekonstrukci zón a dobu zdržení událostí v DNS Aggregatoru.

Ukázalo se, že úplné odstranění kompletních sestavení není realistické ani účelné. Zóna publikovaná poprvé vyžaduje zápis všech záznamů. Změny, které mohou ovlivnit záznamy kdekoli v zóně, musí být prověřeny kompletně. Událost, která nespecifikuje povahu změny, stále vede ke kompletnímu sestavení, protože plánovač nikdy nesnižuje rozsah práce na základě nejistoty. Navíc, pro malé zóny je kompletní sestavení stále levné a rychlé. I nadále budeme přesouvat další typy událostí na cílená sestavení. Největší přínosy však již byly realizovány – události, které dříve spouštěly kompletní přestavby našich největších zón, již tak nečiní, a zbývající kompletní sestavení se většinou týkají událostí, jako je první publikace, které ovlivňují nové a malé zóny.

Dominik Medal

Popovídejme si o Vašem projektu

Napište mi, co potřebujete, a společně určíme nejlepší postup.

Už nescrollujte, volejte

+420 735 505 585