Techniczny
Jak zbudowaliśmy system, który skanuje 100 000 stron internetowych w poszukiwaniu naruszeń zasad zgody na pliki cookie
GDPR Privacy Monitor Engineering · 2026-04-13 · 7 min czytania
Automatyczne sprawdzanie zgodności w zakresie zgód brzmi prosto, dopóki nie spróbuje się go zbudować. Naiwne podejście -- pobrać stronę, sprawdzić pliki cookie, poszukać banera -- pomija większość tego, co istotne. Naruszenia dotyczące zgody mają charakter behawioralny, a nie strukturalny. Ujawniają się w momencie wykonania skryptów, w kolejności żądań sieciowych, w reakcji elementów interfejsu na działania użytkownika oraz w utrzymywaniu się stanu między kolejnymi ładowaniami strony. Nie da się ocenić żadnej z tych rzeczy bez uruchomienia prawdziwej przeglądarki, interakcji ze stroną w taki sposób, w jaki zrobiłby to człowiek, i zarejestrowania tego, co faktycznie dzieje się na poziomie sieci.
Ten wpis opisuje, jak zbudowaliśmy silnik skanujący GDPR Monitor, jakie wyzwania inżynieryjne pochłonęły najwięcej naszego czasu, jakie decyzje architektoniczne podjęliśmy i dlaczego, a także ograniczenia, o których mówimy otwarcie. Jeśli zajmujesz się zgodnością stron internetowych z przepisami, automatyzacją przeglądarek lub pomiarami sieci na dużą skalę, powinieneś znaleźć tu coś przydatnego.
Przegląd pipeline
Każdy skan przechodzi przez sześć etapów. Zrozumienie pipeline jest niezbędnym kontekstem dla opisanych dalej konkretnych wyzwań.
Etap 1: Uruchomienie i izolacja przeglądarki. Świeża instancja Chromium startuje bez żadnego stanu -- bez plików cookie, bez localStorage, bez pamięci podręcznej, bez service workerów. To gwarancja „czystego pomieszczenia”, dzięki której pomiar przed zgodą ma sens. Konfigurujemy standardowy viewport, realistyczny user agent i nagłówki Accept-Language odpowiadające krajowi docelowemu oraz standardowe flagi przeglądarki. Każdy skan otrzymuje własny proces przeglądarki; między skanami nie dochodzi do żadnego przenikania stanu. Etap 2: Nawigacja i migawka przed zgodą. Skaner przechodzi pod docelowy URL, czeka, aż strona osiągnie stabilny stan (bezczynność sieci, ustabilizowany DOM), i rejestruje wszystko, co się wydarzyło: ustawione pliki cookie, wykonane żądania sieciowe (z pełnym URL, timingiem i metadanymi odpowiedzi), domeny stron trzecich, z którymi nawiązano połączenie, oraz pełnostronicowy zrzut ekranu. Ta migawka odpowiada na fundamentalne pytanie: co zrobiła ta strona internetowa, zanim użytkownik miał jakąkolwiek możliwość wyrażenia zgody? Etap 3: Wykrywanie CMP i identyfikacja banera. Skaner próbuje zidentyfikować platformę zarządzania zgodą oraz zlokalizować baner zgody, przycisk akceptacji i przycisk odrzucenia. Wykorzystuje do tego warstwowy system wykrywania opisany szczegółowo poniżej. Etap 4: Interakcja ze zgodą. Skaner wchodzi w interakcję z banerem -- klika akceptację w standardowym przepływie i odrzucenie w teście procesu odrzucania. Po interakcji czeka, aż strona się ustabilizuje, uwzględniając animacje, ponowną ewaluację skryptów i opóźnione uruchamianie tagów. Etap 5: Migawka po zgodzie i analiza różnicowa. Druga pełna migawka rejestruje stan po interakcji ze zgodą. Porównanie migawek sprzed zgody i po niej ujawnia, co się zmieniło: nowe pliki cookie, nowe żądania śledzące, stan zgody w API CMP. Etap 6: Analiza, klasyfikacja i generowanie raportu. Surowe dane trafiają do modułów analizy: klasyfikacji plików cookie na podstawie naszej bazy danych, dopasowywania trackerów do znanych wzorców, oceny czasu życia plików cookie, audytu dostępności banera, walidacji Google Consent Mode, wykrywania sygnałów fingerprintingu i oceny ryzyka. Wynikiem jest ustrukturyzowany raport z ustaleniami, artefaktami dowodowymi i złożonym wynikiem ryzyka.Każdy etap generuje opatrzone znacznikiem czasu dowody, które są trwale przechowywane. Każde ustalenie można powiązać z konkretnymi żądaniami sieciowymi, wpisami plików cookie lub zrzutami ekranu.
Wyzwanie 1: Wykrywanie CMP -- 45 platform, nieskończenie wiele wariantów
Zarządzanie zgodą nie jest ustandaryzowane. Nie istnieje uniwersalny atrybut HTML, obowiązkowe API JavaScript ani spójna struktura DOM, która mówiłaby „to jest baner zgody”. Nasza biblioteka wykrywania obejmuje 45 różnych CMP, a każda z nich ma własną strukturę DOM, sygnatury skryptów, globalne obiekty JavaScript i wzorce interakcji. Poza nimi 34,7% banerów wykrytych w naszym badaniu 97 304 stron stanowiły rozwiązania ogólne lub niezidentyfikowane -- niestandardowe implementacje, dostawcy regionalni lub minimalistyczne rozwiązania, które nie pasują do żadnej znanej sygnatury CMP.
Nasze wykrywanie opiera się na warstwowym podejściu uwzględniającym poziom pewności:
Warstwa 1: Wykrywanie sygnatur skryptów
Skaner sprawdza obecność znanych skryptów CMP na podstawie wzorców URL i globalnych zmiennych JavaScript. Cookiebot na przykład ładuje się z `consent.cookiebot.com` i udostępnia `window.Cookiebot`. OneTrust ładuje się z `cdn.cookielaw.org` i udostępnia `window.OneTrust`. Każda CMP ma charakterystyczne wzorce ładowania, które można wykryć jeszcze przed analizą DOM.
Ta warstwa jest szybka i daje wysoką pewność, gdy następuje dopasowanie. Ma jednak istotne ograniczenie: mówi, która CMP jest obecna na stronie, ale niekoniecznie, która CMP odpowiada za baner zgody. Strona może ładować PiwikPRO do analityki (który zawiera komponent CMP), a jednocześnie używać tarteaucitron do faktycznego zarządzania zgodą. Wykrycie obu skryptów jest łatwe; ustalenie, który z nich steruje banerem, jest trudniejsze.
Warstwa 2: Dopasowanie zweryfikowanych selektorów
Dla każdej znanej CMP utrzymujemy starannie dobrany zestaw selektorów CSS, które niezawodnie identyfikują kontener banera, przycisk akceptacji i przycisk odrzucenia. Są to selektory, które zweryfikowaliśmy w wielu wersjach i konfiguracjach każdej CMP. Gdy CMP zostanie wykryta w warstwie 1, a jej zweryfikowane selektory pasują do elementów w DOM, mamy wysoką pewność zarówno co do identyfikacji CMP, jak i co do elementów banera, z którymi należy wejść w interakcję.
Warstwa 3: Dopasowanie kompatybilnych selektorów
Szerszy zestaw selektorów, które działają w wielu wersjach danej CMP, ale są mniej precyzyjne. Obsługują przypadki, w których CMP została dostosowana, ostylowana lub działa w wersji nieobjętej naszymi zweryfikowanymi selektorami. Wymieniają precyzję na zasięg.
Warstwa 4: Ogólne heurystyki
Dla 34,7% banerów niepowiązanych z żadną znaną CMP uciekamy się do wykrywania heurystycznego. Skaner szuka:
- Elementów o pozycji stałej (fixed) lub przyklejonej (sticky) w pobliżu dolnej lub górnej krawędzi obszaru widoku
- Elementów zawierających słowa kluczowe związane ze zgodą w wielu językach („cookies”, „consent”, „privacy”, „akzeptieren”, „accepter”, „aceptar” itp.)
- Przycisków z typowymi etykietami działań dotyczących zgody („Akceptuj wszystkie”, „Odrzuć wszystkie”, „Zarządzaj preferencjami” i ich odpowiedników)
- Wzorców strukturalnych typowych dla okien zgody: nakładek tła, kontenerów modalnych, przycisków zamykania
Ta warstwa wychwytuje wiele niestandardowych implementacji, ale z natury jest mniej niezawodna. Baner promocyjny o stałej pozycji lub formularz zapisu do newslettera może strukturalnie przypominać okno zgody.
Warstwa 5: Sondowanie API CMP
Niektóre CMP udostępniają API JavaScript -- przede wszystkim API IAB Transparency and Consent Framework (TCF) poprzez `__tcfapi`. Sondujemy te API zarówno po to, aby zweryfikować wykrycie CMP, jak i po to, aby odczytać programowy stan zgody, który następnie porównujemy z zaobserwowanym zachowaniem przeglądarki.
Model pewności
Zamiast traktować wykrywanie jako zero-jedynkowe (znaleziono/nie znaleziono), przypisujemy wyniki pewności w zależności od tego, które warstwy dały dopasowanie i jak silne ono było. Strona, na której wykrywamy skrypt CMP, dopasowujemy zweryfikowane selektory i znajdujemy API TCF, otrzymuje wysoką pewność. Strona, na której zadziałały wyłącznie ogólne heurystyki, otrzymuje niższą pewność. Ten wynik pewności zasila naszą klasyfikację ryzyka -- niższa pewność wykrycia oznacza, że ustalenia częściej są klasyfikowane jako niejednoznaczne niż rozstrzygające.
To dzięki modelowi pewności błędna identyfikacja CMP, choć się zdarza, nie zniekształca systematycznie naszych wyników. Gdy wykrycie jest niejednoznaczne, mówimy o tym otwarcie, zamiast wymuszać klasyfikację.
Wyzwanie 2: Proces odrzucania -- dlaczego „kliknij i sprawdź” jest zaskakująco trudne
Testowanie przycisku odrzucenia brzmi prosto: znaleźć go, kliknąć i sprawdzić, czy pliki cookie zniknęły. W praktyce każdy krok jest najeżony problemami z timingiem, zachowaniem asynchronicznym i osobliwościami poszczególnych platform.
Znalezienie przycisku odrzucenia. Nie wszystkie przyciski odrzucenia mają etykietę „Odrzuć”. Mogą brzmieć „Odrzuć wszystkie”, „Odmów”, „Tylko niezbędne pliki cookie”, „Zarządzaj ustawieniami” (co prowadzi do drugiej warstwy, w której odrzucenie jest możliwe) lub być ich odpowiednikami w dowolnym z dziesiątek języków. Niektóre CMP umieszczają opcję odrzucenia w innym miejscu, w innym rozmiarze lub w innym kolorze niż opcję akceptacji. Niektóre ukrywają ją za linkiem „Więcej opcji” lub „Dostosuj”. Nasz skaner utrzymuje wielojęzyczny zestaw wzorców działań odrzucenia, a także wykrywa opcje odrzucenia w drugiej warstwie, gdy pierwsza oferuje wyłącznie akceptację i dostosowanie. Czekanie na właściwy moment. Po kliknięciu odrzucenia strona może przejść istotne zmiany: baner znika (często z animacją), CMP wywołuje callbacki stanu zgody, menedżery tagów ponownie ewaluują swoje reguły, a skrypty mogą zostać załadowane lub usunięte. Sprawdzenie plików cookie zbyt wcześnie wychwytuje stan przejściowy. Sprawdzenie zbyt późno pomija przejściowe śledzenie, które uruchamia się i szybko kończy. Stosujemy oczekiwanie oparte na wielu sygnałach: bezczynności sieci, stabilności DOM i minimalnym opóźnieniu, dostrojonym na podstawie testów empirycznych na setkach konfiguracji CMP. Test przeładowania i consent respawn. To właśnie krok przeładowania ujawnił consent respawn jako zjawisko. Nie zamierzaliśmy go szukać -- nasz pierwotny test procesu odrzucania sprawdzał jedynie stan bezpośrednio po odrzuceniu. Jednak w trakcie prac rozwojowych zauważyliśmy strony, które po odrzuceniu wyglądały na czyste, ale po ponownym sprawdzeniu po przeładowaniu strony miały śledzące pliki cookie. Podczas początkowego debugowania zakładaliśmy problem z timingiem w skanerze. Dalsze badanie potwierdziło, że zjawisko jest rzeczywiste: skrypty stron trzecich ponownie ustawiały pliki cookie przy ładowaniu strony niezależnie od stanu zgody.Dodaliśmy do pipeline jawne wykrywanie respawn: po procesie odrzucania skaner przeładowuje stronę, czeka na jej stabilizację i porównuje zestaw plików cookie z migawką po odrzuceniu. Każdy plik cookie, który został usunięty przez odrzucenie i pojawia się ponownie po przeładowaniu, jest oznaczany jako respawn. W ten sposób wychwyciliśmy 1 743 strony z 5 226 odradzającymi się plikami cookie -- ustalenie, które bez kroku przeładowania pozostałoby niewidoczne.
Odpytywanie `waitForScriptIdentifiedCMP`. Niektóre CMP ładują się asynchronicznie i renderują swój baner dopiero kilka sekund po początkowym załadowaniu strony. Jeśli skaner przejdzie do kroku odrzucenia, zanim CMP się zainicjalizuje, albo całkowicie pominie baner, albo wejdzie w interakcję z częściowo załadowanym interfejsem. Zaimplementowaliśmy mechanizm odpytywania, który przed przejściem dalej czeka, aż API JavaScript danej CMP stanie się dostępne (np. `__tcfapi` dla CMP opartych na TCF, globalny obiekt `Cookiebot` dla Cookiebot). Wydłuża to każdy skan, ale znacząco zmniejsza liczbę fałszywie negatywnych wyników wynikających z asynchronicznego ładowania CMP.Wyzwanie 3: Nasycenie pipeline przy dużej skali
Przeskanowanie 97 304 stron internetowych to nie zadanie dla jednej maszyny. Każdy skan uruchamia proces Chromium, przechodzi na stronę internetową, przechwytuje i klasyfikuje setki żądań sieciowych, wykonuje wiele zrzutów ekranu i uruchamia moduły analizy. Pojedynczy skan trwa 30-90 sekund w zależności od złożoności strony. Przy 15 równoczesnych skanach na workera zarządzanie zasobami staje się głównym problemem inżynieryjnym.
Architektura oparta na semaforach
Stosujemy model współbieżności oparty na semaforach, aby ograniczyć liczbę jednoczesnych procesów Chromium na workera. Każdy worker ma semafor o stałym rozmiarze (15 slotów w naszej konfiguracji produkcyjnej). Skan zajmuje slot przed uruchomieniem przeglądarki i zwalnia go po zakończeniu. Zapobiega to wyczerpaniu pamięci -- 15 instancji Chromium z pełnym przechwytywaniem żądań już teraz zużywa znaczną ilość RAM -- i zapewnia przeciwciśnienie (backpressure) wobec kolejki Redis.
Wyjątek dla żądania dokumentu
Na wczesnym etapie prac napotkaliśmy problem z przepustowością: nasza logika przechwytywania żądań (która sprawdza każde żądanie pod kątem bezpieczeństwa SSRF -- blokując żądania do prywatnych zakresów IP, sieci wewnętrznych i innych potencjalnie niebezpiecznych celów) wydłużała ładowanie każdego zasobu, w tym głównego żądania dokumentu. Ponieważ URL dokumentu jest weryfikowany jeszcze przed rozpoczęciem skanu, dodaliśmy szybką ścieżkę z pominięciem: żądania typu dokument kierowane do wcześniej zweryfikowanego docelowego URL omijają pełny pipeline przechwytywania. Ta pozornie drobna optymalizacja miała znaczący wpływ na ogólną przepustowość, ponieważ żądanie dokumentu blokuje wszystko inne.
Wstępne rozgrzewanie DNS
Pierwsze żądanie do nowej domeny wymaga zapytania DNS, które w naszej infrastrukturze mogło dodawać 50-200 ms na domenę. Ponieważ przeciętna strona kontaktowała się z 10,4 domenami stron trzecich (a niektóre nawet ze 171), czas rozwiązywania DNS znacząco się kumulował. Wdrożyliśmy wstępne rozgrzewanie DNS z użyciem pamięci podręcznej lokalnego resolwera DNS Unbound: przed każdym skanem rozwiązujemy domenę docelową i rozgrzewamy pamięć podręczną. Instancja Unbound obsługuje kolejne zapytania w ramach skanu z pamięci podręcznej, co ogranicza narzut DNS na domenę do poniżej milisekundy.
Bezpieczeństwo SSRF przy dużej skali
Każde żądanie przechwycone przez skaner jest sprawdzane pod kątem zestawu reguł bezpieczeństwa, zanim zostanie przepuszczone. Żądania do prywatnych zakresów IP (RFC 1918, RFC 4193, link-local, loopback) są blokowane. Zapobiega to wykorzystaniu skanera przez złośliwą stronę docelową jako wektora SSRF do sondowania sieci wewnętrznych.
Wyzwaniem przy dużej skali było odróżnienie rzeczywistych blokad SSRF od nasycenia semaforów. Gdy wszystkie 15 slotów semafora jest zajętych i skan nie może uzyskać slotu, wynikający z tego timeout na pierwszy rzut oka przypomina żądanie zablokowane ze względów bezpieczeństwa. Dodaliśmy jawną kategoryzację błędów, aby odróżnić „zablokowano, ponieważ cel rozwiązał się na prywatny adres IP” od „zablokowano, ponieważ skaner osiągnął limit przepustowości”. Było to niezbędne zarówno dla monitoringu operacyjnego, jak i dla dokładnej klasyfikacji nieudanych skanów.
Wyzwanie 4: Wykrywanie unikania botów
Podczas badania zidentyfikowaliśmy 137 stron internetowych, które wydają się celowo ukrywać swój baner zgody przed zautomatyzowanymi skanerami. Baner jest wyświetlany ludzkim odwiedzającym, ale tłumiony, gdy strona wykryje cechy zautomatyzowanego przeglądania.
Najczęstszy zidentyfikowany przez nas mechanizm dotyczy opcji konfiguracyjnej `isAcceptAllForBots` we wtyczce WordPress RCB (Real Cookie Banner). Po jej włączeniu wtyczka wykrywa zautomatyzowane przeglądarki (poprzez `navigator.webdriver`, heurystyki user agenta lub sygnały behawioralne) i albo automatycznie akceptuje zgodę w ich imieniu, albo całkowicie ukrywa baner. Zgodnie z dokumentacją wtyczki celem jest to, aby zautomatyzowanym odwiedzającym nie wyświetlać okna zgody, z którym nie mogą w sensowny sposób wejść w interakcję. Skutek jest taki, że skanery zgodności -- oraz audytorzy organów nadzorczych korzystający z narzędzi automatycznych -- widzą stronę, która pozornie nie ma żadnego mechanizmu zgody, podczas gdy ludzcy odwiedzający widzą pełny baner zgody.
To problem przejrzystości. Jeśli mechanizm zgody strony internetowej jest widoczny tylko dla ludzkich odwiedzających, nie da się go audytować na dużą skalę. Oznaczamy te strony osobno w naszych wynikach, ponieważ to ustalenie jakościowo różni się od „nie wykryto banera”. Strona ma baner; po prostu decyduje się nam go nie pokazywać.
Unikanie botów wykrywamy na podstawie kombinacji sygnałów: obecności znanej konfiguracji wykrywania botów w ustawieniach CMP (dostępnej poprzez inspekcję JavaScript), rozbieżności między tym, co pokazuje DOM, a tym, co raportuje API CMP, a w niektórych przypadkach poprzez porównanie wyników zautomatyzowanego skanu z ręczną weryfikacją.
Liczba 137 jest z pewnością zaniżona. Unikanie botów możemy wykryć tylko wtedy, gdy potrafimy zidentyfikować jego mechanizm. Strony stosujące bardziej wyrafinowane lub niestandardowe wykrywanie botów mogą skutecznie wymykać się zarówno naszemu skanerowi, jak i naszemu wykrywaniu unikania.
Wyzwanie 5: Błędna identyfikacja CMP
Strona może ładować wiele skryptów, które wyglądają jak platformy zarządzania zgodą. PiwikPRO zawiera komponent CMP, ale jest przede wszystkim pakietem analitycznym. Niektóre strony WordPress ładują Complianz obok osobnej wtyczki analitycznej z funkcjami podobnymi do CMP. Strony korporacyjne mogą mieć pozostałości poprzedniej CMP, która wciąż ładuje się obok obecnej.
Naiwne wykrywanie -- „jeśli widzimy skrypt, to jest to CMP” -- prowadzi do błędnych identyfikacji, które przekładają się na nieprawidłową interakcję z banerem. Jeśli skaner zidentyfikuje PiwikPRO jako CMP i spróbuje użyć selektorów banera PiwikPRO, może pominąć faktyczny baner tarteaucitron, który steruje zgodą na stronie.
Nasze podejście oparte na poziomie pewności rozwiązuje ten problem poprzez ranking kandydatów na CMP. Gdy wykryto wiele potencjalnych CMP:
1. Sprawdzamy, która z nich ma widoczny baner w DOM (obecny skrypt bez banera oznacza prawdopodobnie nieaktywną CMP lub użycie niezwiązane z CMP).
2. Sprawdzamy, która z nich udostępnia aktywne API CMP (np. działające `__tcfapi` lub odpowiednik).
3. Preferujemy CMP, której zweryfikowane selektory pasują do widocznych elementów DOM, nad tą, która została wykryta jedynie na podstawie URL skryptu.
Ta heurystyka nie jest doskonała, ale rozwiązała najczęstsze przypadki błędnej identyfikacji, na jakie natrafiliśmy podczas prac rozwojowych i testów.
Ograniczenia
Żaden zautomatyzowany skaner nie odwzoruje idealnie każdego ludzkiego doświadczenia przeglądania. Oto znane ograniczenia:
Banery zależne od GeoIP. Niektóre CMP, zwłaszcza CookieYes, wyświetlają różne wersje mechanizmu zgody w zależności od geolokalizacji adresu IP odwiedzającego. Nasze skany są wykonywane z określonych lokalizacji sieciowych w Europie. Strona, która pokazuje baner zgody odwiedzającym z Francji, ale nie odwiedzającym spoza UE, da różne wyniki w zależności od miejsca, z którego wykonano skan. Obecnie nie skanujemy każdej strony z każdego kraju UE. Zamknięty shadow DOM. Niektóre CMP renderują swój baner wewnątrz zamkniętego shadow DOM, który jest niedostępny dla standardowych zapytań DOM poprzez `document.querySelector`. CMP firmy Transcend stosuje to podejście. Nasz skaner potrafi wykryć element hosta shadow, ale nie może zbadać jego zawartości, aby znaleźć przyciski akceptacji/odrzucenia. Takie strony zazwyczaj trafiają w naszych wynikach do kategorii niejednoznacznych. Dynamiczne nazwy klas i zaciemnianie. Niektóre CMP, zwłaszcza Admiral, używają dynamicznie generowanych nazw klas, które zmieniają się przy każdym ładowaniu strony. Wykrywanie oparte na selektorach zawodzi w ich przypadku, ponieważ selektory nie są stabilne między wizytami. Uciekamy się wtedy do ogólnych heurystyk, ale pewność jest niższa. Aplikacje jednostronicowe. SPA, które zarządzają stanem zgody wyłącznie w JavaScript po stronie klienta i ładują mechanizm zgody dopiero po początkowych zmianach trasy (a nie przy pierwszym załadowaniu strony), są trudniejsze do oceny. Nasz skaner przechodzi pod URL i czeka na stabilizację strony, ale nie symuluje nawigacji wewnątrz aplikacji. Baner zgody, który pojawia się dopiero po przejściu użytkownika do innego widoku w SPA, może zostać pominięty. Pokrycie językowe. Nasze wykrywanie przycisku odrzucenia wykorzystuje dopasowanie tekstu w zestawie obsługiwanych języków, ale nie obejmujemy wszystkich języków UE w równym stopniu. Baner w języku maltańskim lub estońskim może mieć etykiety przycisku odrzucenia, których nasze dopasowanie tekstu nie rozpoznaje, co prowadzi do pominięcia testu procesu odrzucania (choć sam baner może nadal zostać wykryty dzięki heurystykom strukturalnym). Przypadki brzegowe związane z timingiem. Skrypt uruchamiający się 30 sekund po załadowaniu strony zostanie pominięty przez skan, który czeka 15 sekund na bezczynność sieci. Stosujemy hojne limity czasu, ale długi ogon zachowań asynchronicznych jest z natury trudny do pełnego uchwycenia.Te ograniczenia przyczyniają się do naszego wskaźnika 14,9% wyników niejednoznacznych.
Infrastruktura
Produkcyjna infrastruktura skanowania składa się z następujących elementów:
- Silnik skanera: aplikacja Go wykorzystująca chromedp jako klienta CDP do automatyzacji Chromium. Go wybraliśmy ze względu na model współbieżności (gorutyny i kanały naturalnie odwzorowują równoległą orkiestrację skanów), charakterystykę wydajnościową i prostotę wdrożenia (pojedynczy statyczny plik binarny).
- Środowisko przeglądarki: headless Chromium uruchamiany dla każdego skanu przez CDP. Każdy skan otrzymuje świeży proces przeglądarki bez żadnego współdzielonego stanu.
- Kolejka: kolejka zadań oparta na Redis, która dystrybuuje URL-e do workerów skanera. Redis obsługuje dystrybucję zadań, śledzenie postępu i ograniczanie szybkości.
- Baza danych: PostgreSQL do trwałego przechowywania wyników skanowania, ustaleń, metadanych dowodów i wszystkich danych ustrukturyzowanych. Skany, ustalenia, pliki cookie, żądania i wyniki analiz są przechowywane relacyjnie.
- Pamięć podręczna DNS: lokalny resolwer Unbound zapewniający buforowane zapytania DNS i rozwiązywanie nazw bezpieczne pod kątem SSRF.
- Magazyn dowodów: zrzuty ekranu, pliki HAR i raporty PDF są przechowywane jako trwałe artefakty powiązane z rekordami skanów.
Na potrzeby badania 97 304 stron przetworzyliśmy 114 748 kandydujących URL-i (97 304 zakończone powodzeniem) w ciągu około 2,5 dnia, wykorzystując 3 instancje serwerów z równolegle działającymi workerami skanera. Na każdym serwerze działało wiele procesów workerów, każdy z 15 slotami na równoczesne skany. Szczytowa przepustowość wynosiła około 25-30 zakończonych skanów na minutę na serwer.
Głównym wąskim gardłem nie był procesor ani pamięć, lecz sieć: każdy skan generuje setki żądań wychodzących (do strony docelowej i jej zasobów stron trzecich), a łączna przepustowość i liczba połączeń wszystkich równoczesnych skanów nasycały dostępną przepustowość sieci, zanim wyczerpały się inne zasoby.
Otwarte wyzwania i dalsze prace
Kilka problemów pozostaje nierozwiązanych lub rozwiązanych tylko częściowo:
Lokalizacja banerów zgody. Nasze dopasowanie tekstu obejmuje główne języki UE, ale jest niekompletne w przypadku mniejszych społeczności językowych. Rozszerzenie pokrycia wymaga nie tylko dodania tłumaczeń, ale też sprawdzenia, czy selektory i wzorce interakcji działają poprawnie ze zlokalizowanymi wersjami CMP. Monitoring długoterminowy. Nasza obecna architektura jest zoptymalizowana pod kątem skanowania w określonym momencie. Wykrywanie zmian w zachowaniu dotyczącym zgody w czasie -- czy strona poprawiła się po działaniach organów nadzorczych? Czy aktualizacja CMP naprawiła całą klasę błędów w procesie odrzucania? -- wymaga powtarzanych skanów z analizą różnicową, co pod względem architektury różni się od jednorazowej oceny. Benchmarking zgodności CMP. Mamy dane pozwalające ocenić wskaźniki zgodności dla poszczególnych CMP (czy Cookiebot wiąże się z lepszą zgodnością niż OneTrust?), ale oddzielenie jakości CMP od jakości konfiguracji wprowadzonej przez operatora strony jest metodologicznie złożone. CMP częściej wdrażana przez duże przedsiębiorstwa z dedykowanymi zespołami ds. prywatności będzie w ujęciu zbiorczym wyglądać lepiej, nawet jeśli samo narzędzie wcale nie zapewnia lepszej zgodności. Weryfikacja stanu zgody w czasie rzeczywistym. Obecny skaner działa w trybie wsadowym. Zintegrowanie weryfikacji zgody z pipeline CI/CD lub monitoringiem w czasie rzeczywistym wymaga szybszego, lżejszego trybu skanowania, który poświęca część głębi dowodów na rzecz szybkości. Pracujemy nad tym.API
Ten sam silnik skanujący opisany w tym wpisie jest dostępny poprzez publiczne API GDPR Monitor. Możesz programowo przesyłać żądania skanowania, odpytywać o wyniki oraz pobierać ustrukturyzowane ustalenia i artefakty dowodowe. API zwraca te same dane, które wyświetla nasz interfejs: migawki przed zgodą, wykazy plików cookie, wyniki wykrywania CMP, wyniki procesu odrzucania, wyniki ryzyka i pełne łańcuchy dowodowe.
Jeśli budujesz narzędzia do zapewniania zgodności, integrujesz kontrole prywatności z pipeline CI/CD, prowadzisz własne badania lub wbudowujesz monitoring w program ochrony prywatności, API zapewnia dostęp do behawioralnej analizy zgód bez konieczności budowania i utrzymywania własnej infrastruktury automatyzacji Chromium.
Wypróbuj sam. Dokumentacja API jest dostępna na gdprprivacymonitor.eu/developers/api. Zeskanuj pojedynczy URL lub zintegruj zautomatyzowany monitoring prywatności ze swoim workflow.
Sprawdź swoją stronę
Uruchom bezpłatne skanowanie zgodności z RODO - bez rejestracji.
Przeskanuj swoją stronę za darmo