Ugrás a tartalomhoz

Technikai

Így építettünk rendszert, amely 100 000 weboldalon keresi a sütihozzájárulással kapcsolatos jogsértéseket

GDPR Privacy Monitor Engineering · 2026-04-13 · 7 min olvasás

Javítva: 2026. 10. 21. A respawn-számokat a tárolt szkennelési eredményekből újramértük, és 1 642 webhelyről / 4 932 cookie-ról 1 743 webhelyre / 5 226 cookie-ra javítottuk.

Az automatizált hozzájárulási megfelelési ellenőrzés egyszerűnek hangzik, amíg meg nem próbáljuk megépíteni. A naiv megközelítés -- oldal lekérése, cookie-k ellenőrzése, banner keresése -- a lényeg nagy részét kihagyja. A hozzájárulási jogsértések viselkedési jellegűek, nem strukturálisak. A szkriptek végrehajtásának időzítésében, a hálózati kérések sorrendjében, a felhasználói felületi elemek felhasználói interakcióra adott válaszaiban és az állapot oldalbetöltések közötti megmaradásában nyilvánulnak meg. Mindezeket nem lehet értékelni valós böngésző futtatása, az oldallal való emberi interakció szimulálása és a hálózati szinten valóban történő események rögzítése nélkül.

Ez a bejegyzés leírja, hogyan építettük meg a GDPR Monitor mögötti vizsgálati motort, melyek azok a mérnöki kihívások, amelyek az időnk nagy részét felfalták, milyen architekturális döntéseket hoztunk és miért, és melyek azok a korlátok, amelyekkel kapcsolatban őszinték vagyunk. Ha webes megfeleléssel, böngésző automatizálással vagy nagy léptékű webes méréssel foglalkozik, reméljük talál itt hasznos információkat.

A pipeline áttekintése

Minden vizsgálat hat fázison megy keresztül. A pipeline megértése szükséges háttérismereteket ad az azt követő konkrét kihívásokhoz.

1. fázis: Böngésző indítás és izoláció. Egy tiszta Chromium példány indul nulla állapottal -- nincsenek cookie-k, localStorage, gyorsítótár, service workerek. Ez a tiszta szobai garancia teszi értelmessé a hozzájárulás előtti mérést. Standard nézetablakot, valós felhasználói ügynököt és a célországnak megfelelő Accept-Language fejléceket, valamint standard böngésző-flageket konfigurálunk. Minden vizsgálat saját böngészőfolyamatot kap; nincs állapotszivárgás a vizsgálatok között. 2. fázis: Navigáció és hozzájárulás előtti pillanatkép. A szkenner a cél URL-re navigál, megvárja az oldal stabil állapotba kerülését (hálózati tétlenség, DOM lecsillapodás), és rögzít mindent, ami történt: beállított cookie-k, hálózati kérések (teljes URL-lel, időzítéssel és válasz-metaadatokkal), harmadik fél domének megkeresése és teljes oldalas képernyőkép. Ez a pillanatkép válaszol az alapvető kérdésre: mit tett ez a weboldal, mielőtt a felhasználónak bármilyen lehetősége lett volna hozzájárulni? 3. fázis: CMP-észlelés és banner-azonosítás. A szkenner megkísérli azonosítani a hozzájárulás-kezelő platformot, és megtalálni a hozzájárulási bannert, az elfogadó gombot és az elutasító gombot. Ez az alább részletezett réteges észlelési rendszert használja. 4. fázis: Hozzájárulási interakció. A szkenner interakcionál a bannerrel -- elfogadásra kattint a standard folyamathoz, elutasításra az elutasítási teszthez. Megvárja az oldal lecsillapodását az interakció után, figyelembe véve az animációkat, a szkriptek újraértékelését és a késleltetett tag-tüzelést. 5. fázis: Hozzájárulás utáni pillanatkép és differenciál elemzés. Egy második teljes pillanatkép rögzíti az állapotot a hozzájárulási interakció után. A hozzájárulás előtti és utáni pillanatkép összehasonlítása feltárja, mi változott: új cookie-k, új követési kérések, hozzájárulási állapot a CMP API-kban. 6. fázis: Elemzés, besorolás és jelentés generálás. A nyers adatok elemzési modulokba kerülnek: cookie-besorolás az adatbázisunk alapján, nyomkövető egyeztetés ismert minták alapján, cookie-élettartam értékelés, a banner akadálymentességi auditja, Google Consent Mode validáció, ujjlenyomat-jel észlelés és kockázati pontszámítás. A kimenet egy strukturált jelentés megállapításokkal, bizonyíték-erőforrásokkal és összetett kockázati pontszámmal.

Minden fázis időbélyeggel ellátott bizonyítékot állít elő, amelyet tartósan tárolunk. Bármely megállapítás visszakövethető konkrét hálózati kérésekhez, cookie-bejegyzésekhez vagy képernyőképekhez.

1. kihívás: CMP-észlelés -- 45 platform, végtelen variációk

A hozzájárulás-kezelés nincs szabványosítva. Nincs univerzális HTML attribútum, nincs kötelező JavaScript API, nincs konzisztens DOM-struktúra, amely megmondja, "ez egy hozzájárulási banner". 45 külön CMP van az észlelési könyvtárunkban, mindegyik saját DOM-struktúrával, szkript-aláírásokkal, JavaScript globális változókkal és interakciós mintákkal. Ezeken túl a 97 304 oldalas tanulmányunkban észlelt bannerek 34,7%-a általános vagy nem azonosított volt -- egyedi megvalósítások, regionális szolgáltatók vagy minimál megoldások, amelyek nem egyeznek egyetlen ismert CMP-aláírással sem.

Észlelésünk bizalomalapú, réteges megközelítést használ:

1. réteg: Szkript-aláírás észlelés

A szkenner ismert CMP szkriptek jelenlétét ellenőrzi URL-minta és JavaScript globális változók alapján. A Cookiebot például a `consent.cookiebot.com`-ról töltődik és közzéteszi a `window.Cookiebot`-ot. A OneTrust a `cdn.cookielaw.org`-ról töltődik és közzéteszi a `window.OneTrust`-ot. Minden CMP-nek jellegzetes betöltési mintái vannak, amelyek a DOM vizsgálata előtt észlelhetők.

Ez a réteg gyors és magas megbízhatóságú, amikor egyezés van. De van egy kritikus korlátja: megmondja, melyik CMP van jelen az oldalon, de nem feltétlenül azt, melyik CMP felelős a hozzájárulási bannerért. Egy oldal betöltheti a PiwikPRO-t analitikai célra (amely tartalmaz CMP-komponenst), miközben a tarteaucitron-t használja a tényleges hozzájárulás-kezelésre. Mindkét szkript észlelése könnyű; annak megállapítása, melyik vezérli a bannert, nehezebb.

2. réteg: Ellenőrzött szelektor-egyeztetés

Minden ismert CMP-hez gondozott CSS-szelektorokat tartunk fenn, amelyek megbízhatóan azonosítják a banner-tartályt, az elfogadó gombot és az elutasító gombot. Ezeket a szelektorokat több verzióra és konfigurációra validáltuk az egyes CMP-k esetén. Amikor egy CMP-t az 1. rétegben észleltünk és az ellenőrzött szelektorai egyeznek a DOM elemeivel, nagy a bizalmunk mind a CMP azonosításban, mind a banner interakciós célpontokban.

3. réteg: Kompatibilis szelektor-egyeztetés

Szelektorok szélesebb halmaza, amelyek egy CMP sok verziójában működnek, de kevésbé precízek. Ezek kezelik azokat az eseteket, amikor egy CMP-t testreszabtak, témát adtak neki, vagy olyan verziót futtat, amelyet az ellenőrzött szelektoraink nem fednek le. Pontosságot cserélnek lefedettségre.

4. réteg: Általános heurisztikák

A 34,7%-nyi bannerhez, amelyek nem kapcsolódnak ismert CMP-hez, heurisztikus észlelésre esünk vissza. A szkenner keresi:

  • Álló pozíciójú vagy ragadós pozíciójú elemeket a nézetablak alja vagy teteje közelében
  • Hozzájáruláshoz kapcsolódó kulcsszavakat tartalmazó elemeket több nyelven ("cookies", "consent", "privacy", "akzeptieren", "accepter", "aceptar" stb.)
  • Gyakori hozzájárulási címkékkel ellátott gombokat ("Accept All", "Reject All", "Manage Preferences" és ezek megfelelői)
  • Hozzájárulási dialógusokra jellemző strukturális mintákat: átfedő hátterek, modális tárolók, elvetési gombok

Ez a réteg sok egyedi megvalósítást elkap, de eredendően kevésbé megbízható. Egy álló pozíciójú promóciós banner vagy hírlevél-feliratkozás strukturálisan hasonlóan nézhet ki, mint egy hozzájárulási dialógus.

5. réteg: CMP API vizsgálat

Néhány CMP JavaScript API-kat tesz közzé -- leginkább az IAB Transparency and Consent Framework (TCF) API-t a `__tcfapi`-n keresztül. Vizsgáljuk ezeket az API-kat mind a CMP észlelés ellenőrzésére, mind a programozott hozzájárulási állapot kiolvasására, amelyet később összehasonlítunk a megfigyelt böngésző-viselkedéssel.

A bizalmi modell

Ahelyett, hogy az észlelést binárisan kezelnénk (talált/nem talált), bizalmi pontszámokat rendelünk ahhoz, hogy mely rétegek egyeztek és milyen erősen. Egy oldal, amelyen CMP szkriptet észlelünk, ellenőrzött szelektorok egyeznek és TCF API-t találunk, magas bizalmat kap. Egy oldal, ahol csak általános heurisztikák találtak egyezést, alacsonyabb bizalmat kap. Ez a bizalmi pontszám belefolyik a kockázati besorolásba -- alacsonyabb észlelési bizalom esetén a megállapításokat nagyobb valószínűséggel soroljuk be nem meggyőzőnek, nem pedig véglegesnek.

A bizalmi modell az oka annak, hogy a CMP-félreismerés, bár előfordul, nem torzítja szisztematikusan az eredményeinket. Amikor az észlelés kétértelmű, azt mondjuk, nem erőltetünk besorolást.

2. kihívás: Az elutasítási folyamat -- Miért meglepően nehéz a "Kattints és ellenőrizd"

Egy elutasító gomb tesztelése egyszerűnek tűnik: találd meg, kattints rá, ellenőrizd, hogy eltűntek-e a cookie-k. A gyakorlatban minden lépés időzítési problémákkal, aszinkron viselkedéssel és platform-specifikus furcsaságokkal teli.

Az elutasító gomb megtalálása. Nem minden elutasító gomb címkéje "Elutasítás". Állhatnak rajtuk "Összes elutasítása", "Megtagadás", "Csak szükséges cookie-k", "Beállítások kezelése" (ami egy második rétegre vezet, ahol az elutasítás lehetséges), vagy ezek megfelelői bármely tucatnyi nyelven. Néhány CMP más vizuális helyre, más mérettel vagy más színnel helyezi az elutasítási lehetőséget az elfogadáshoz képest. Néhány elrejti egy "További lehetőségek" vagy "Testreszabás" link mögé. Szkennerünk többnyelvű elutasítási mintákat tart fenn, és észleli a második rétegű elutasítási lehetőségeket is, ahol az első réteg csak elfogadást és testreszabást kínál. A megfelelő pillanat megvárása. Az elutasításra kattintás után az oldal jelentős változásokon mehet keresztül: a banner eltűnik (gyakran animációval), a CMP hozzájárulási állapot visszahívásokat indít, a tag managerek újraértékelik szabályaikat, és szkriptek töltődhetnek be vagy ki. A cookie-k túl korai ellenőrzése a közbülső átmeneti állapotot ragadja meg. A túl késő ellenőrzés kihagy olyan átmeneti követést, amely gyorsan indul és fejeződik be. Többjelű várakozást használunk: hálózati tétlenség, DOM-stabilitás és minimum késleltetési küszöb, amelyet százas CMP-konfiguráción végzett empirikus tesztelésből hangoltunk. Az újratöltés teszt és a consent respawn. Az újratöltési lépés volt az, ami feltárta a consent respawnt mint jelenséget. Nem azzal a céllal indultunk, hogy megtaláljuk -- az eredeti elutasítási tesztünk csak az azonnali elutasítás utáni állapotot ellenőrizte. De a fejlesztés során észrevettük, hogy oldalak, amelyek az elutasítás után tisztának tűntek, követő cookie-kkal rendelkeztek, amikor az oldal újratöltése után ellenőriztük. A kezdeti hibakeresés szkenner időzítési problematikát feltételezett. A további vizsgálat megerősítette, hogy valós: harmadik feles szkriptek cookie-kat állítanak be újra oldalbetöltéskor, függetlenül a hozzájárulási állapottól.

Explicit respawn-észlelést adtunk a pipeline-hoz: az elutasítási folyamat után a szkenner újratölti az oldalt, megvárja a stabilizálódást, és összehasonlítja a cookie-leltárt az elutasítás utáni pillanatképpel. Bármely cookie, amelyet az elutasítás eltávolított és az újratöltés után újra megjelenik, respawnként kerül megjelölésre. Ez 1 743 oldalt talált 5 226 respawnoló cookie-val -- egy megállapítás, amely az újratöltési lépés nélkül láthatatlan maradt volna.

A `waitForScriptIdentifiedCMP` polling. Néhány CMP aszinkron módon töltődik be és nem jeleníti meg a bannert, amíg több másodperc nem telik el a kezdeti oldalbetöltés után. Ha a szkenner az elutasítási lépéshez lép, mielőtt a CMP inicializálódott volna, vagy teljesen kihagyja a bannert, vagy egy részlegesen betöltött felhasználói felülettel interakcionál. Polling mechanizmust implementáltunk, amely megvárja, amíg a CMP JavaScript API-ja elérhetővé válik (pl. `__tcfapi` a TCF-alapú CMP-knél, `Cookiebot` globális a Cookiebot esetén), mielőtt folytatná. Ez vizsgálatonként latenciát ad hozzá, de jelentősen csökkenti a hamis negatívokat az aszinkron CMP-betöltésből.

3. kihívás: Pipeline-telítettség nagy léptékben

97 304 weboldal vizsgálata nem egyetlen gépes feladat. Minden vizsgálat elindít egy Chromium folyamatot, egy weboldalra navigál, százas hálózati kérést fog el és sorol be, több képernyőképet készít és elemzési modulokat futtat. Egyetlen vizsgálat 30-90 másodpercig tart az oldal összetettségétől függően. 15 egyidejű vizsgálattal workerenként az erőforrás-kezelés válik az elsődleges mérnöki problémává.

A szemafor-architektúra

Szemafor-alapú párhuzamossági modellt használunk az egyidejű Chromium-folyamatok számának korlátozására workerenként. Minden worker fix szemaforral rendelkezik (15 hely a produkciós konfigurációnkban). Egy vizsgálat helyet foglal a böngésző elindítás előtt és felszabadítja a befejezéskor. Ez megakadályozza a memória kimerülését -- 15 teljes kéréselfogással rendelkező Chromium-példány már jelentős RAM-ot fogyaszt -- és ellennyomást biztosít a Redis sorral szemben.

A dokumentum-kérés kivétel

A fejlesztés korán egy átmenetikapacitási problémába ütköztünk: a kéréselfogási logikánk (amely minden kérést megvizsgál SSRF-biztonság szempontjából -- blokkolja a privát IP tartományokra, belső hálózatokra és más potenciálisan veszélyes célpontokra irányuló kéréseket) latenciát adott minden erőforrás-betöltéshez, beleértve a fő dokumentum-kérést is. Mivel a dokumentum URL-t már a vizsgálat megkezdése előtt validáltuk, gyorsított útvonal megkerülést adtunk hozzá: a dokumentum-típusú kérések az előzetesen validált cél URL-re átugorják a teljes elfogási pipeline-t. Ez a látszólag kis optimalizálás jelentős hatást gyakorolt az össz-átmeneti kapacitásra, mert a dokumentum-kérés mindent blokkol.

DNS elő-melegítés

Egy új domén első keresése DNS-feloldással jár, ami az infrastruktúránkon 50-200ms-et adhat doménenként. Átlagosan 10,4 harmadik fél domén (és néhány oldal akár 171) megkeresésével a DNS-feloldási idő jelentősen halmozódott. DNS elő-melegítést implementáltunk helyi Unbound DNS-resolver gyorsítótárral: minden vizsgálat előtt feloldjuk a cél domaint és felmelegítjük a gyorsítótárat. Az Unbound példány gyorsítótárazott válaszokat szolgáltat a vizsgálaton belüli következő feloldásokhoz, doménenkénti DNS-terhelést ezredmásodperc alá csökkentve.

SSRF-biztonság nagy léptékben

A szkenner által elfogott minden kérést biztonsági szabályok alapján ellenőrzünk, mielőtt továbbengednénk. A privát IP-tartományokra irányuló kérések (RFC 1918, RFC 4193, link-local, loopback) blokkolva vannak. Ez megakadályozza, hogy egy rosszindulatú céloldal a szkennert SSRF-vektorként használja belső hálózatok felügyeléséhez.

A nagy léptékű kihívás a valós SSRF-blokkolás és a szemafor-telítettség megkülönböztetése volt. Amikor mind a 15 szemafor-hely foglalt és egy vizsgálat nem tud helyet szerezni, az eredményező időtúllépés felszínesen hasonlít egy biztonsági okokból blokkolt kérésre. Explicit hibakategorizálást adtunk hozzá a "blokkolva, mert a cél privát IP-re oldódott fel" és a "blokkolva, mert a szkenner kapacitásán van" megkülönböztetéséhez. Ez az operatív monitorozáshoz és a pontos vizsgálati hibabesoroláshoz volt létfontosságú.

4. kihívás: Bot-kijátszás észlelés

A tanulmány során 137 weboldalt azonosítottunk, amelyek úgy tűnik, szándékosan rejtik el hozzájárulási bannerjüket az automatizált szkennerek elől. A bannert emberi látogatóknak szolgálják ki, de elnyomják, ha az oldal automatizált böngészés jellemzőit észleli.

A leggyakoribb mechanizmus, amelyet azonosítottunk, az RCB (Real Cookie Banner) WordPress beépülő modul `isAcceptAllForBots` konfigurációs beállítása. Engedélyezéskor ez a beállítás észleli az automatizált böngészőket (a `navigator.webdriver`, felhasználói ügynök heurisztikák vagy viselkedési jelek alapján), és vagy automatikusan elfogadja a hozzájárulást a nevükben, vagy teljesen elrejti a bannert. A szándék, ahogy a beépülő modul dokumentálja, az automatizált látogatóknak szolgáltatott hozzájárulási dialógus elkerülése, amellyel azok nem tudnak érdemben interakcionálni. A hatás az, hogy a megfelelési szkennerek -- és az automatizált eszközöket használó szabályozói auditorok -- egy olyan oldalt látnak, amelyen látszólag nincs hozzájárulási mechanizmus, miközben az emberi látogatók teljes hozzájárulási bannert látnak.

Ez átláthatósági probléma. Ha egy weboldal hozzájárulási mechanizmusa csak emberi látogatóknak látható, nem auditálható nagy léptékben. Ezeket az oldalakat külön jelöljük az eredményeinkben, mert a megállapítás minőségileg különbözik a "nem észlelt banner"-től. Az oldalnak van bannere; azt választja, hogy nekünk nem mutatja meg.

A bot-kijátszást jelek kombinációjával észleljük: ismert bot-észlelési konfiguráció jelenléte a CMP beállításokban (JavaScript vizsgálattal elérhető), eltérések a DOM tartalma és a CMP API jelentése között, és néhány esetben az automatizált vizsgálati eredmények és a manuális ellenőrzés összehasonlításával.

A 137-es szám biztosan alulbecslés. Csak akkor tudjuk észlelni a bot-kijátszást, ha azonosítani tudjuk a mechanizmust. A kifinomultabb vagy egyedi bot-észlelést használó oldalak sikeresen kijátszhatják mind a szkennerünket, mind a kijátszás-észlelésünket.

5. kihívás: CMP-félreismerés

Egy oldal több szkriptet is betölthet, amelyek hozzájárulás-kezelő platformnak tűnnek. A PiwikPRO tartalmaz CMP-komponenst, de elsősorban analitikai csomag. Néhány WordPress oldal a Complianz-t tölti be egy külön analitikai beépülő modul mellett, amelynek CMP-szerű funkciói vannak. Nagyvállalati oldalakon előző CMP maradványai töltődhetnek be a jelenlegi mellett.

A naiv észlelés -- "ha látjuk a szkriptet, az a CMP" -- hamis azonosításokat eredményez, amelyek tovagyűrűznek a helytelen banner-interakciókba. Ha a szkenner a PiwikPRO-t azonosítja CMP-ként és a PiwikPRO banner-szelektorait próbálja használni, kihagyhatja a valódi tarteaucitron bannert, amely vezérli a hozzájárulást az oldalon.

A bizalomalapú megközelítésünk a CMP-jelöltek rangsorolásával kezeli ezt. Több potenciális CMP észlelésekor:

1. Ellenőrizzük, melyiknek van látható bannere a DOM-ban (szkript jelen van, de banner nincs, valószínűleg inaktív vagy nem CMP használat).

2. Ellenőrizzük, melyik tesz közzé aktív CMP API-t (pl. működő `__tcfapi` vagy egyenértékű).

3. Előnyben részesítjük azt a CMP-t, amelynek ellenőrzött szelektorai látható DOM-elemekhez illeszkednek, a csupán szkript URL-ből észlelttel szemben.

Ez a heurisztika nem tökéletes, de feloldotta a leggyakoribb félreismerési eseteket, amelyekkel a fejlesztés és a tesztelés során találkoztunk.

Korlátozások

Egyetlen automatizált szkenner sem replikálja tökéletesen minden emberi böngészési élményt. Ezek az ismert korlátozások:

GeoIP-függő bannerek. Néhány CMP, különösen a CookieYes, különböző hozzájárulási élményeket szolgáltat a látogató IP-geolokációja alapján. Vizsgálataink meghatározott európai hálózati helyekről indulnak. Egy oldal, amely franciaországi látogatóknak mutat hozzájárulási bannert, de EU-n kívüli látogatóknak nem, különböző eredményeket mutat a vizsgálat eredetétől függően. Jelenleg nem vizsgálunk minden oldalt minden EU-országból. Zárt shadow DOM. Néhány CMP a bannert zárt shadow DOM-ba rendereli, amely nem elérhető standard DOM-lekérdezésekkel a `document.querySelector`-en keresztül. A Transcend CMP-je ezt a megközelítést használja. Szkennerünk észleli a shadow host elemet, de nem tudja megvizsgálni a tartalmát az elfogadó/elutasító gombok megtalálásához. Ezek az oldalak általában nem meggyőzőként kerülnek be az eredményeinkbe. Dinamikus osztálynevek és zavarás. Néhány CMP, különösen az Admiral, dinamikusan generált osztályneveket használ, amelyek minden oldalbetöltéskor változnak. A szelektor-alapú észlelés sikertelen ezeknél, mert a szelektorok nem stabilak a látogatások között. Általános heurisztikákra esünk vissza, de a bizalom alacsonyabb. Egyoldalas alkalmazások. Azok az SPA-k, amelyek teljesen kliens oldali JavaScriptben kezelik a hozzájárulási állapotot és a hozzájárulási mechanizmust a kezdeti útvonalváltozások után töltik be (nem a kezdeti oldalbetöltéskor), nehezebben értékelhetők. Szkennerünk az URL-re navigál és megvárja az oldal stabilizálódását, de nem szimulál alkalmazáson belüli navigációt. A csak az SPA-n belüli navigáció után megjelenő hozzájárulási banner kihagyásra kerülhet. Nyelvi lefedettség. Elutasító gomb észlelésünk szövegegyeztetést használ támogatott nyelvek halmazával, de nem fedünk le minden EU-s nyelvet egyenletesen. Egy máltai vagy észt nyelvű banner elutasító gomb címkéi nem feltétlenül szerepelnek a szövegegyeztetésünkben, ami az elutasítási tesztek kihagyásához vezethet (bár magát a bannert strukturális heurisztikák még észlelhetik). Időzítési szélsőséges esetek. Egy szkript, amely 30 másodperccel az oldalbetöltés után tüzel, kihagyásra kerül egy 15 másodperces hálózati tétlenségre váró vizsgálatnál. Nagyvonalúbb időkorlátokat használunk, de az aszinkron viselkedés hosszú farka eredendően nehezen ragadható meg teljesen.

Ezek a korlátozások járulnak hozzá a 14,9%-os nem megalapozott arányunkhoz.

Az infrastruktúra

A produkciós vizsgálati infrastruktúra a következőkből áll:

  • Vizsgálati motor: Egy Go alkalmazás, amely a chromedp-t használja CDP kliensként a Chromium automatizáláshoz. A Go-t a párhuzamossági modellje (goroutine-ok és csatornák természetesen illenek a párhuzamos vizsgálat-orkesztrációra), teljesítményjellemzői és telepítési egyszerűsége (egyetlen statikus bináris) miatt választottuk.
  • Böngésző futtatókörnyezet: Fejenkénti headless Chromium, amely CDP-n keresztül indul vizsgálatonként. Minden vizsgálat tiszta böngészőfolyamatot kap nulla megosztott állapottal.
  • Sor: Redis-alapú munkasor, amely URL-eket oszt el a szkenner workerek között. A Redis kezeli a feladatelosztást, az előrehaladás követését és a sebességkorlátozást.
  • Adatbázis: PostgreSQL a tartós vizsgálati eredményekhez, megállapításokhoz, bizonyíték-metaadatokhoz és minden strukturált adathoz. Vizsgálatok, megállapítások, cookie-k, kérések és elemzési kimenetek mind relációsan tároltak.
  • DNS gyorsítótár: Helyi Unbound resolver, amely gyorsítótárazott DNS-feloldásokat és SSRF-biztonságos feloldást nyújt.
  • Bizonyíték-tárolás: Képernyőképek, HAR fájlok és PDF jelentések tartós erőforrásokként tárolva, vizsgálati rekordokhoz kapcsolva.

A 97 304 oldalas tanulmányhoz 114 748 jelölt URL-t dolgoztunk fel (97 304 sikeresen befejezve) körülbelül 2,5 nap alatt 3 szerverpéldányon, amelyeken párhuzamosan futottak szkenner workerek. Minden szerver több worker folyamatot futtatott egyenként 15 egyidejű vizsgálati hellyel. A csúcsátmeneti kapacitás körülbelül 25-30 befejezett vizsgálat volt percenként szerverenként.

Az elsődleges szűk keresztmetszet nem a CPU vagy a memória volt, hanem a hálózat: minden vizsgálat százas kimenő kérést generál (a céloldalra és harmadik feles erőforrásokra), és az összes egyidejű vizsgálat összesített sávszélessége és kapcsolatszáma a hálózati kapacitást telítette, mielőtt más erőforrások kimerültek volna.

Nyitott kihívások és jövőbeli munka

Több probléma megoldatlan vagy részlegesen megoldott:

Hozzájárulási banner lokalizáció. Szövegegyeztetésünk lefedi a fő EU-s nyelveket, de hiányos a kisebb nyelvi közösségek esetén. A lefedettség bővítése nem csupán fordítások hozzáadását igényli, hanem annak validálását is, hogy a szelektorok és interakciós minták megfelelően működnek a lokalizált CMP-verziókkal. Hosszmetszeti monitoring. Jelenlegi architektúránk pontszerű vizsgálatokra optimalizált. A hozzájárulási viselkedés időbeli változásainak észleléséhez -- javult-e egy oldal az érvényre juttatás után? Egy CMP-frissítés kijavított-e egy elutasítási hiba-osztályt? -- ismételt vizsgálatok szükségesek differenciál elemzéssel, ami architekturálisan különbözik az egyetlen felméréstől. CMP megfelelési benchmarking. Rendelkezünk az adatokkal a CMP-nkénti megfelelési arányok értékeléséhez (jobb megfeleléssel jár-e a Cookiebot, mint a OneTrust?), de a CMP minősége és az oldal-üzemeltető konfigurációs minősége közötti szétválasztás módszertanilag összetett. Egy CMP, amelyet gyakrabban telepítenek dedikált adatvédelmi csapatokkal rendelkező nagyvállalatok, összesítetten jobban fog kinézni, még ha az eszköz maga nem is megfelelőbb. Valós idejű hozzájárulási állapot ellenőrzés. A jelenlegi szkenner kötegelt módban működik. A hozzájárulási ellenőrzés CI/CD pipeline-okba vagy valós idejű monitorozásba való integrálása gyorsabb, könnyebb vizsgálati módot igényel, amely feláldoz némi bizonyíték-mélységet a sebességért. Ezt kutatjuk.

Az API

Ugyanaz a vizsgálati motor, amelyet ebben a bejegyzésben leírtunk, elérhető a GDPR Monitor nyilvános API-ján keresztül. Programozottan küldhet vizsgálati kéréseket, lekérdezheti az eredményeket, és lekérheti a strukturált megállapításokat és bizonyíték-erőforrásokat. Az API ugyanazokat az adatokat adja vissza, amelyeket a felhasználói felületünk megjelenít: hozzájárulás előtti pillanatképek, cookie-leltárak, CMP-észlelési eredmények, elutasítási folyamat kimenetek, kockázati pontszámok és teljes bizonyítékláncok.

Ha megfelelési eszközöket épít, adatvédelmi ellenőrzéseket integrál CI/CD pipeline-okba, saját kutatást végez, vagy monitorozást épít be adatvédelmi programjába, az API hozzáférést biztosít a viselkedési hozzájárulási elemzéshez anélkül, hogy saját Chromium automatizálási infrastruktúrát kellene építenie és karbantartania.


Próbálja ki maga. Az API dokumentáció elérhető a gdprprivacymonitor.eu/developers/api címen. Küldjön egyetlen URL-t vagy integráljon automatizált adatvédelmi monitorozást a munkafolyamatába.

Ellenőrizze weboldalát

Futtasson ingyenes GDPR-megfelelőségi vizsgálatot - regisztráció nélkül.

Vizsgálja meg weboldalát ingyen