Stejně jako řidičský průkaz potvrdí identitu řidiče a jeho způsobilost k řízení, ale negarantuje budoucí zodpovědné chování, tak i ověření identity bota je pouze prvním krokem. Znalost operátora bota sice vytváří základní odpovědnost, ale důvěra v bota závisí na tom, co skutečně dělá dál. I ověřený bot může ignorovat preference webových stránek, přetěžovat servery nebo obcházet kontrolní mechanismy. Ne vždy se jedná o zlý úmysl – často je to důsledek chybné konfigurace nebo softwarové chyby.
V kontextu správy automatizovaného provozu se snažíme zodpovědět dvě klíčové otázky: „Jste tím, za koho se vydáváte?“ a „Můžeme vám důvěřovat?“. Aby mohl být bot považován za plně ověřeného v našem ekosystému, musí splňovat tři základní kritéria: přesně a bezpečně se identifikovat, dělat pouze to, co deklaruje, a nevykazovat zneužívající chování. Identita je řešena mechanismem, kde boti podepisují požadavky, které následně katalogizuje otevřený systém. Poté se náš fokus přesouvá na druhou, stejně důležitou, zásadu: boti nesmí škodit.
Proto zavádíme systém pro průběžné vyhodnocování a reportování chování ověřených botů, pokud se jejich akce začnou odchylovat od zmíněných pravidel. Tímto způsobem zajišťujeme, že odpověď na otázku „Můžeme vám důvěřovat?“ zůstane kladná. Zde je důležité rozlišovat mezi rizikem a důvěrou. Riziko popisuje pravděpodobnost, že konkrétní požadavek nebo akce v daném okamžiku může být škodlivá, a může se měnit okamžik od okamžiku. Důvěra se naopak buduje v čase, na základě opakovaného a konzistentního chování.
Příkladem může být situace z minulosti, kdy byl jeden známý bot vyřazen ze seznamu ověřených botů, protože se pokusil přistupovat k prostředkům na webových stránkách, které výslovně zakázaly scrapování, a následně se pokoušel obejít kontrolní mechanismy, když byly tyto požadavky blokovány. To podtrhuje důležitost dodržování jednoduchého požadavku: nevykazovat zneužívající chování. Ačkoliv to zní samozřejmě, v praxi se v tomto bodě skrývá mnoho nuancí.
Když crawlery nerespektují preference stránek, podkopávají důvěru. Když stránky požádají crawler, aby nekráloval nebo zpomalil, a crawler tyto požadavky ignoruje, důvěra se narušuje. Proto jsme vyvinuli systém, který měří, jak často crawler respektuje preference webových stránek. Tato pozorování se promítají do vysvětlitelné „pásma důvěry“: rozsahu, který ukazuje, jak konzistentně bot dodržuje preference stránek a jaké konkrétní chování ovlivnilo toto hodnocení, namísto trvalého a neměnného úsudku o botovi či jeho operátorovi. Počáteční signály, které vyhodnocujeme, zahrnují, zda bot respektuje instrukce a zda reagoval na přímou zpětnou vazbu.
Tyto signály považujeme za „zdravý rozum“ a projev zdvořilosti vůči operátorům, kteří poskytují informace, jež boti hledají. V budoucnu plánujeme zveřejňovat tyto výsledky v rámci monitorovacích nástrojů, a také rozšiřovat metody měření. Toto hodnocení dává zodpovědným operátorům botů možnost demonstrovat, že důvěra je udržována v průběhu času. Ověřit identitu je třeba, ale je nezbytné také průběžně ověřovat chování.
Soubor robots.txt je primárním způsobem, jak sdělit preference vlastníka webu. Náš systém posuzuje, zda je pozorovaný provoz bota v průběhu času v souladu s těmito zveřejněnými preferencemi. Robots.txt sděluje všem (nebo specifickým) botům, aby procházely pouze konkrétní části webu. Izolovaná porušení nebo jednorázové incidenty nemusí být významné. Místo toho hledáme opakované vzorce chování, které ignorují preference stránek. Očekává se jednoduše, že zodpovědní boti budou konzultovat a ctít preference, které webové stránky zveřejňují, v souladu s relevantními standardy (např. RFC 9309). Je třeba zdůraznit, že robots.txt stanovuje minimální pravidla pro to, co boti a agenti nesmějí dělat. Neznamená to však, že vše, co není výslovně zakázáno, je povoleno. Například robots.txt nemusí říkat, že bot musí přestat, když web může komunikovat, že další přístup je nežádoucí, prostřednictvím jiných signálů.
Chystáte nový web nebo aplikaci?
Napište mi, co plánujete — rád se na to podívám a poradím, jak na to nejlépe jít.
Boti mohou zůstat zcela v rámci povolených cest, a přesto výrazně zatěžovat webové stránky, které navštěvují. Jedním z nejjasnějších způsobů, jak se web může bránit, je odpověď HTTP 429 („Too Many Requests“). HTTP 429 je směrnice pro návštěvníka, aby snížil svou frekvenci požadavků, někdy s pokyny, jak dlouho má před dalším pokusem čekat. Náš systém zohledňuje, zda se provoz bota přizpůsobí po obdržení tohoto signálu. Zpomalí se, pozastaví, nebo bude pokračovat v odesílání požadavků stejným tempem? Toto chování poté postupně zapracováváme do pásma důvěry bota: konzistentní zpomalení nebo pozastavení zvyšuje důvěru, zatímco opakované ignorování signálu ji snižuje.
Sledování těchto signálů je pouze prvním krokem k zajištění průběžné odpovědnosti ověřené automatizace. Spojením identity bota s důkazy o jeho trvalém chování můžeme dát vlastníkům stránek větší jistotu, že boti, kterým se rozhodli povolit přístup, respektují jejich preference. Operátorům botů to zase poskytuje způsob, jak prokázat, že si důvěru zaslouží, a vlastníkům webových stránek to nabízí kontext o automatizovaném provozu, který k nim přichází. Tento systém, společně s nástroji pro správu preferencí webů a řízení botů, tvoří ucelený cyklus odpovědnosti za automatizovaný provoz. Pomáhá vlastníkům stránek zveřejňovat jejich preference a sledování interakce botů s těmito preferencemi ukazuje, zda je ověření boti konzistentně dodržují v průběhu času. Nástroje pro řízení botů pak umožňují vlastníkům webů rozhodnout, jak s tímto provozem naložit. Společně tyto mechanismy zajišťují, že důvěra je získávána transparentním a odpovědným chováním, nikoli pouze předpokládána na základě identity.
Tento systém již interně používáme k vyhodnocování, jak konzistentně ověření boti dodržují preference webových stránek. Protože se důvěra buduje v čase, hodnotíme trvalé vzorce chování, nikoli izolované události. Tuto počáteční fázi využíváme k budování historie a zdokonalování toho, jak se tato pozorování stávají užitečným vodítkem. Na základě tohoto základu plánujeme zpřístupnit systém všem uživatelům, kteří si budou moci zvolit práh důvěry pro rozhodování o tom, jak bude s provozem ověřených botů nakládáno. Náš cíl je přímočarý: udržet preference webových stránek smysluplné a zajistit, aby důvěra byla získávána trvalým chováním.