Μετάβαση στο περιεχόμενο

Τεχνικό

Πώς φτιάξαμε ένα σύστημα που σαρώνει 100.000 ιστοτόπους για παραβιάσεις της συναίνεσης στα cookies

GDPR Privacy Monitor Engineering · 2026-04-13 · 7 min ανάγνωση

Διορθώθηκε στις 21/10/2026: Οι αριθμοί respawn επαναμετρήθηκαν από τα αποθηκευμένα αποτελέσματα σάρωσης και διορθώθηκαν από 1.642 ιστοσελίδες / 4.932 cookies σε 1.743 ιστοσελίδες / 5.226 cookies.

Ο αυτοματοποιημένος έλεγχος συμμόρφωσης συγκατάθεσης ακούγεται απλός μέχρι να προσπαθήσεις να τον κατασκευάσεις. Η αφελής προσέγγιση -- φόρτωση μιας σελίδας, έλεγχος για cookies, αναζήτηση banner -- χάνει τα περισσότερα από όσα έχουν σημασία. Οι παραβιάσεις συγκατάθεσης είναι συμπεριφορικές, όχι δομικές. Εκδηλώνονται στον χρονισμό εκτέλεσης scripts, στην ακολουθία αιτημάτων δικτύου, στην απόκριση στοιχείων UI στην αλληλεπίδραση χρήστη και στη διατήρηση κατάστασης μεταξύ φορτώσεων σελίδων. Δεν μπορείς να αξιολογήσεις τίποτα από αυτά χωρίς να τρέξεις έναν πραγματικό browser, να αλληλεπιδράσεις με τη σελίδα όπως θα έκανε ένας άνθρωπος, και να καταγράψεις τι πραγματικά συμβαίνει σε επίπεδο δικτύου.

Αυτή η ανάρτηση περιγράφει πώς κατασκευάσαμε τη μηχανή σάρωσης πίσω από το GDPR Monitor, τις τεχνικές προκλήσεις που απορρόφησαν τον περισσότερο χρόνο μας, τις αρχιτεκτονικές αποφάσεις που πήραμε και γιατί, και τους περιορισμούς για τους οποίους είμαστε ειλικρινείς. Αν δουλεύεις με web compliance, αυτοματοποίηση browser ή μεγάλης κλίμακας μέτρηση ιστού, θα πρέπει να υπάρχει κάτι χρήσιμο εδώ.

Επισκόπηση pipeline

Κάθε σάρωση περνάει από έξι στάδια. Η κατανόηση του pipeline είναι αναγκαίο πλαίσιο για τις συγκεκριμένες προκλήσεις που ακολουθούν.

Στάδιο 1: Εκκίνηση browser και απομόνωση. Μια νέα παρουσία Chromium ξεκινάει με μηδενική κατάσταση -- χωρίς cookies, χωρίς localStorage, χωρίς cache, χωρίς service workers. Αυτή είναι η εγγύηση καθαρού δωματίου που κάνει τη μέτρηση πριν τη συγκατάθεση ουσιαστική. Ρυθμίζουμε ένα τυπικό viewport, ρεαλιστικό user-agent και Accept-Language headers που ταιριάζουν με τη χώρα-στόχο, και τυπικές σημαίες browser. Κάθε σάρωση παίρνει τη δική της διεργασία browser· δεν υπάρχει διαρροή κατάστασης μεταξύ σαρώσεων. Στάδιο 2: Πλοήγηση και στιγμιότυπο πριν τη συγκατάθεση. Ο σαρωτής πλοηγείται στη διεύθυνση URL στόχου, περιμένει τη σελίδα να φτάσει σε σταθερή κατάσταση (δίκτυο αδρανές, DOM σταθεροποιημένο) και καταγράφει όλα όσα έχουν συμβεί: cookies που τοποθετήθηκαν, αιτήματα δικτύου (με πλήρη URL, χρονισμό και μεταδεδομένα απάντησης), domains τρίτων μερών που επικοινώνησαν, και screenshot πλήρους σελίδας. Αυτό το στιγμιότυπο απαντάει στο θεμελιώδες ερώτημα: τι έκανε αυτή η ιστοσελίδα πριν ο χρήστης είχε οποιαδήποτε ευκαιρία να δώσει συγκατάθεση; Στάδιο 3: Ανίχνευση CMP και αναγνώριση banner. Ο σαρωτής επιχειρεί να αναγνωρίσει την πλατφόρμα διαχείρισης συγκατάθεσης και να εντοπίσει το banner συγκατάθεσης, το κουμπί αποδοχής και το κουμπί απόρριψης. Αυτό χρησιμοποιεί ένα στρωματοποιημένο σύστημα ανίχνευσης που περιγράφεται αναλυτικά παρακάτω. Στάδιο 4: Αλληλεπίδραση συγκατάθεσης. Ο σαρωτής αλληλεπιδρά με το banner -- κλικ αποδοχή για τη τυπική ροή, κλικ απόρριψη για τη δοκιμή ροής απόρριψης. Περιμένει τη σελίδα να ηρεμήσει μετά την αλληλεπίδραση, λαμβάνοντας υπόψη animations, επαναξιολόγηση scripts και καθυστερημένη ενεργοποίηση tags. Στάδιο 5: Στιγμιότυπο μετά τη συγκατάθεση και διαφορική ανάλυση. Ένα δεύτερο πλήρες στιγμιότυπο καταγράφει την κατάσταση μετά την αλληλεπίδραση συγκατάθεσης. Η σύγκριση στιγμιοτύπων πριν και μετά τη συγκατάθεση αποκαλύπτει τι άλλαξε: νέα cookies, νέα αιτήματα παρακολούθησης, κατάσταση συγκατάθεσης σε CMP APIs. Στάδιο 6: Ανάλυση, ταξινόμηση και δημιουργία αναφοράς. Τα ακατέργαστα δεδομένα τροφοδοτούν μονάδες ανάλυσης: ταξινόμηση cookies έναντι της βάσης δεδομένων μας, αντιστοίχηση trackers έναντι γνωστών μοτίβων, αξιολόγηση χρόνου ζωής cookies, έλεγχος προσβασιμότητας του banner, επικύρωση Google Consent Mode, ανίχνευση σημάτων fingerprinting και βαθμολόγηση κινδύνου. Η έξοδος είναι μια δομημένη αναφορά με ευρήματα, αποδεικτικά τεκμήρια και σύνθετη βαθμολογία κινδύνου.

Κάθε στάδιο παράγει χρονοσημασμένα αποδεικτικά που αποθηκεύονται μόνιμα. Κάθε εύρημα μπορεί να ανιχνευθεί πίσω σε συγκεκριμένα αιτήματα δικτύου, εγγραφές cookies ή screenshots.

Πρόκληση 1: Ανίχνευση CMP -- 45 πλατφόρμες, άπειρες παραλλαγές

Η διαχείριση συγκατάθεσης δεν είναι τυποποιημένη. Δεν υπάρχει καθολικό HTML attribute, κανένα υποχρεωτικό JavaScript API, καμία συνεπής δομή DOM που να λέει "αυτό είναι ένα banner συγκατάθεσης." Υπάρχουν 45 διακριτά CMP στη βιβλιοθήκη ανίχνευσής μας, καθένα με τη δική του δομή DOM, υπογραφές scripts, JavaScript globals και μοτίβα αλληλεπίδρασης. Πέρα από αυτά, 34,7% των banners που ανιχνεύσαμε στη μελέτη μας 97.304 ιστοσελίδων ήταν γενερικά ή μη αναγνωρισμένα -- εξατομικευμένες υλοποιήσεις, τοπικοί πωλητές ή ελάχιστες λύσεις που δεν ταιριάζουν με καμία γνωστή υπογραφή CMP.

Η ανίχνευσή μας χρησιμοποιεί μια στρωματοποιημένη προσέγγιση βασισμένη σε εμπιστοσύνη:

Στρώμα 1: Ανίχνευση υπογραφής script

Ο σαρωτής ελέγχει την παρουσία γνωστών scripts CMP κατά μοτίβο URL και JavaScript globals. Η Cookiebot, για παράδειγμα, φορτώνει από `consent.cookiebot.com` και εκθέτει `window.Cookiebot`. Η OneTrust φορτώνει από `cdn.cookielaw.org` και εκθέτει `window.OneTrust`. Κάθε CMP έχει χαρακτηριστικά μοτίβα φόρτωσης που μπορούν να ανιχνευτούν πριν εξεταστεί το DOM.

Αυτό το στρώμα είναι γρήγορο και υψηλής εμπιστοσύνης όταν ταιριάζει. Αλλά έχει έναν κρίσιμο περιορισμό: σου λέει ποιο CMP είναι παρόν στη σελίδα, όχι απαραίτητα ποιο CMP είναι υπεύθυνο για το banner συγκατάθεσης. Μια ιστοσελίδα μπορεί να φορτώνει PiwikPRO για αναλυτικά (που περιλαμβάνει ένα συστατικό CMP) ενώ χρησιμοποιεί tarteaucitron για την πραγματική διαχείριση συγκατάθεσης. Η ανίχνευση και των δύο scripts είναι εύκολη· το να γνωρίζεις ποιο ελέγχει το banner είναι δυσκολότερο.

Στρώμα 2: Αντιστοίχηση επαληθευμένων selectors

Για κάθε γνωστό CMP, διατηρούμε ένα επιμελημένο σύνολο CSS selectors που αναγνωρίζουν αξιόπιστα τον container του banner, το κουμπί αποδοχής και το κουμπί απόρριψης. Αυτοί είναι selectors που έχουμε επικυρώσει σε πολλαπλές εκδόσεις και ρυθμίσεις κάθε CMP. Όταν ένα CMP ανιχνεύεται στο Στρώμα 1 και οι επαληθευμένοι selectors του ταιριάζουν με στοιχεία στο DOM, έχουμε υψηλή εμπιστοσύνη τόσο στην αναγνώριση CMP όσο και στους στόχους αλληλεπίδρασης banner.

Στρώμα 3: Αντιστοίχηση συμβατών selectors

Ένα ευρύτερο σύνολο selectors που λειτουργεί σε πολλές εκδόσεις ενός CMP αλλά είναι λιγότερο ακριβές. Αυτοί χειρίζονται περιπτώσεις όπου ένα CMP έχει εξατομικευτεί, θεματοποιηθεί ή τρέχει μια έκδοση που δεν καλύπτεται από τους επαληθευμένους selectors μας. Ανταλλάσσουν ακρίβεια για κάλυψη.

Στρώμα 4: Γενικές ευρετικές μέθοδοι

Για το 34,7% των banners που δεν συσχετίζονται με γνωστό CMP, επιστρέφουμε στην ευρετική ανίχνευση. Ο σαρωτής αναζητά:

  • Στοιχεία σταθερής ή sticky θέσης κοντά στο κάτω ή πάνω μέρος του viewport
  • Στοιχεία που περιέχουν λέξεις-κλειδιά σχετικές με τη συγκατάθεση σε πολλές γλώσσες ("cookies", "consent", "privacy", "akzeptieren", "accepter", "aceptar" κ.λπ.)
  • Κουμπιά με κοινές ετικέτες ενεργειών συγκατάθεσης ("Accept All", "Reject All", "Manage Preferences" και αντίστοιχα)
  • Δομικά μοτίβα τυπικά διαλόγων συγκατάθεσης: backgrounds overlay, modal containers, κουμπιά κλεισίματος

Αυτό το στρώμα πιάνει πολλές εξατομικευμένες υλοποιήσεις αλλά είναι εγγενώς λιγότερο αξιόπιστο. Ένα banner προώθησης σταθερής θέσης ή μια εγγραφή newsletter μπορεί να μοιάζει δομικά με έναν διάλογο συγκατάθεσης.

Στρώμα 5: Ανίχνευση CMP API

Ορισμένα CMP εκθέτουν JavaScript APIs -- κυρίως το IAB Transparency and Consent Framework (TCF) API μέσω `__tcfapi`. Ανιχνεύουμε αυτά τα APIs τόσο για επαλήθευση ανίχνευσης CMP όσο και για ανάγνωση της προγραμματικής κατάστασης συγκατάθεσης, την οποία αργότερα συγκρίνουμε με την παρατηρούμενη συμπεριφορά browser.

Το μοντέλο εμπιστοσύνης

Αντί να αντιμετωπίζουμε την ανίχνευση ως δυαδική (βρέθηκε/δεν βρέθηκε), αποδίδουμε βαθμολογίες εμπιστοσύνης βασισμένες σε ποια στρώματα ταίριαξαν και πόσο ισχυρά. Μια ιστοσελίδα όπου ανιχνεύουμε script CMP, ταιριάζουμε επαληθευμένους selectors και βρίσκουμε TCF API παίρνει υψηλή εμπιστοσύνη. Μια ιστοσελίδα όπου μόνο γενικές ευρετικές μέθοδοι ενεργοποιήθηκαν παίρνει χαμηλότερη εμπιστοσύνη. Αυτή η βαθμολογία εμπιστοσύνης τροφοδοτεί την ταξινόμηση κινδύνου μας -- χαμηλότερη εμπιστοσύνη ανίχνευσης σημαίνει ότι τα ευρήματα είναι πιο πιθανό να ταξινομηθούν ως ασυμπέραστα αντί οριστικά.

Το μοντέλο εμπιστοσύνης είναι ο λόγος που η λανθασμένη αναγνώριση CMP, αν και συμβαίνει, δεν στρεβλώνει συστηματικά τα αποτελέσματά μας. Όταν η ανίχνευση είναι ασαφής, το λέμε, αντί να εξαναγκάζουμε μια ταξινόμηση.

Πρόκληση 2: Η ροή απόρριψης -- γιατί το "κλικ και έλεγχος" είναι εκπληκτικά δύσκολο

Η δοκιμή ενός κουμπιού απόρριψης ακούγεται απλή: βρες το, κάνε κλικ, έλεγξε αν τα cookies έφυγαν. Στην πράξη, κάθε βήμα είναι γεμάτο ζητήματα χρονισμού, ασύγχρονη συμπεριφορά και ιδιομορφίες πλατφόρμας.

Εύρεση του κουμπιού απόρριψης. Δεν έχουν όλα τα κουμπιά απόρριψης ετικέτα "Reject". Μπορεί να λένε "Decline All", "Refuse", "Only necessary cookies", "Manage settings" (οδηγώντας σε δεύτερο επίπεδο όπου η απόρριψη είναι δυνατή), ή αντίστοιχα σε οποιαδήποτε από δεκάδες γλώσσες. Ορισμένα CMP τοποθετούν την επιλογή απόρριψης σε διαφορετική οπτική θέση, σε διαφορετικό μέγεθος ή σε διαφορετικό χρώμα από την επιλογή αποδοχής. Ορισμένα τη κρύβουν πίσω από έναν σύνδεσμο "More options" ή "Customize". Ο σαρωτής μας διατηρεί ένα πολύγλωσσο σύνολο μοτίβων ενέργειας απόρριψης και ανιχνεύει επίσης επιλογές απόρριψης δεύτερου επιπέδου όπου το πρώτο επίπεδο προσφέρει μόνο αποδοχή και εξατομίκευση. Αναμονή για τη σωστή στιγμή. Μετά το κλικ στην απόρριψη, η σελίδα μπορεί να υποστεί σημαντικές αλλαγές: το banner κλείνει (συχνά με animation), η CMP ενεργοποιεί callbacks κατάστασης συγκατάθεσης, οι tag managers επαναξιολογούν τους κανόνες τους, και scripts μπορεί να φορτωθούν ή να αφαιρεθούν. Ο έλεγχος cookies πολύ νωρίς πιάνει τη μεταβατική κατάσταση. Ο έλεγχος πολύ αργά χάνει τη μεταβατική παρακολούθηση που ενεργοποιείται και ολοκληρώνεται γρήγορα. Χρησιμοποιούμε αναμονή πολλαπλών σημάτων: αδράνεια δικτύου, σταθερότητα DOM και ένα ελάχιστο κατώφλι καθυστέρησης, ρυθμισμένο από εμπειρική δοκιμή σε εκατοντάδες ρυθμίσεις CMP. Η δοκιμή επαναφόρτωσης και το consent respawn. Το βήμα επαναφόρτωσης ήταν αυτό που αποκάλυψε το consent respawn ως φαινόμενο. Δεν ξεκινήσαμε με σκοπό να το βρούμε -- η αρχική δοκιμή ροής απόρριψης μας έλεγχε μόνο την άμεση κατάσταση μετά την απόρριψη. Αλλά κατά την ανάπτυξη, παρατηρήσαμε ιστοσελίδες που φαίνονταν καθαρές μετά την απόρριψη αλλά είχαν cookies παρακολούθησης όταν ελέγξαμε ξανά μετά από επαναφόρτωση σελίδας. Η αρχική αποσφαλμάτωση υπέθεσε πρόβλημα χρονισμού στον σαρωτή. Περαιτέρω έρευνα επιβεβαίωσε ότι ήταν πραγματικό: scripts τρίτων μερών που ξανατοποθετούσαν cookies κατά τη φόρτωση σελίδας ανεξάρτητα από την κατάσταση συγκατάθεσης.

Προσθέσαμε ρητή ανίχνευση respawn στο pipeline: μετά τη ροή απόρριψης, ο σαρωτής επαναφορτώνει τη σελίδα, περιμένει σταθερότητα και συγκρίνει τον κατάλογο cookies με το στιγμιότυπο μετά την απόρριψη. Κάθε cookie που αφαιρέθηκε κατά την απόρριψη και επανεμφανίζεται μετά την επαναφόρτωση σημαιοδοτείται ως respawn. Αυτό έπιασε 1.743 ιστοσελίδες με 5.226 cookies respawn -- ένα εύρημα που θα ήταν αόρατο χωρίς το βήμα επαναφόρτωσης.

Η ψηφοφορία `waitForScriptIdentifiedCMP`. Ορισμένα CMP φορτώνουν ασύγχρονα και δεν εμφανίζουν το banner τους μέχρι αρκετά δευτερόλεπτα μετά την αρχική φόρτωση σελίδας. Αν ο σαρωτής προχωρήσει στο βήμα απόρριψης πριν αρχικοποιηθεί η CMP, είτε χάνει το banner εντελώς είτε αλληλεπιδρά με μια μερικώς φορτωμένη διεπαφή. Υλοποιήσαμε έναν μηχανισμό ψηφοφορίας που περιμένει το JavaScript API της CMP να γίνει διαθέσιμο (π.χ. `__tcfapi` για CMP βασισμένα σε TCF, `Cookiebot` global για Cookiebot) πριν προχωρήσει. Αυτό προσθέτει καθυστέρηση ανά σάρωση αλλά μειώνει σημαντικά τα ψευδή αρνητικά από ασύγχρονη φόρτωση CMP.

Πρόκληση 3: Κορεσμός pipeline σε κλίμακα

Η σάρωση 97.304 ιστοσελίδων δεν είναι δουλειά για ένα μηχάνημα. Κάθε σάρωση εκκινεί μια διεργασία Chromium, πλοηγείται σε μια ιστοσελίδα, υποκλέπτει και ταξινομεί εκατοντάδες αιτήματα δικτύου, παίρνει πολλαπλά screenshots και τρέχει μονάδες ανάλυσης. Μια μεμονωμένη σάρωση διαρκεί 30-90 δευτερόλεπτα ανάλογα με την πολυπλοκότητα της ιστοσελίδας. Σε 15 ταυτόχρονες σαρώσεις ανά worker, η διαχείριση πόρων γίνεται η κύρια τεχνική ανησυχία.

Η αρχιτεκτονική σηματοφόρου

Χρησιμοποιούμε ένα μοντέλο ταυτοχρονισμού βασισμένο σε σηματοφόρο για τον περιορισμό ταυτόχρονων διεργασιών Chromium ανά worker. Κάθε worker έχει έναν σταθερό σηματοφόρο (15 θέσεις στη ρύθμιση παραγωγής μας). Μια σάρωση αποκτά μια θέση πριν εκκινήσει τον browser της και την αποδεσμεύει κατά την ολοκλήρωση. Αυτό αποτρέπει την εξάντληση μνήμης -- 15 παρουσίες Chromium με πλήρη υποκλοπή αιτημάτων καταναλώνουν ήδη σημαντική RAM -- και παρέχει αντιπίεση κατά της ουράς Redis.

Η εξαίρεση αιτήματος εγγράφου

Νωρίς στην ανάπτυξη, αντιμετωπίσαμε ένα πρόβλημα απόδοσης: η λογική υποκλοπής αιτημάτων μας (που ελέγχει κάθε αίτημα για ασφάλεια SSRF -- αποκλείοντας αιτήματα σε ιδιωτικά εύρη IP, εσωτερικά δίκτυα και άλλους δυνητικά επικίνδυνους στόχους) πρόσθετε καθυστέρηση σε κάθε φόρτωση πόρου, συμπεριλαμβανομένου του κύριου αιτήματος εγγράφου. Επειδή η διεύθυνση URL εγγράφου έχει ήδη επικυρωθεί πριν αρχίσει η σάρωση, προσθέσαμε μια παράκαμψη γρήγορης διαδρομής: αιτήματα τύπου εγγράφου στην προεπικυρωμένη διεύθυνση URL στόχου παρακάμπτουν το πλήρες pipeline υποκλοπής. Αυτή η φαινομενικά μικρή βελτιστοποίηση είχε σημαντικό αντίκτυπο στη συνολική απόδοση επειδή το αίτημα εγγράφου μπλοκάρει όλα τα άλλα.

Προθέρμανση DNS

Το πρώτο αίτημα σε ένα νέο domain συνεπάγεται αναζήτηση DNS, η οποία στην υποδομή μας μπορούσε να προσθέσει 50-200ms ανά domain. Με τη μέση ιστοσελίδα να επικοινωνεί με 10,4 domains τρίτων μερών (και ορισμένες με έως 171), ο χρόνος ανάλυσης DNS συσσωρευόταν σημαντικά. Υλοποιήσαμε προθέρμανση DNS χρησιμοποιώντας μια τοπική cache Unbound DNS resolver: πριν από κάθε σάρωση, αναλύουμε το domain στόχου και θερμαίνουμε την cache. Η παρουσία Unbound εξυπηρετεί αποθηκευμένες απαντήσεις για επόμενες αναζητήσεις εντός της σάρωσης, μειώνοντας το overhead DNS ανά domain σε κάτω από ένα χιλιοστό του δευτερολέπτου.

Ασφάλεια SSRF σε κλίμακα

Κάθε αίτημα που υποκλέπτεται από τον σαρωτή ελέγχεται έναντι ενός συνόλου κανόνων ασφαλείας πριν επιτραπεί να προχωρήσει. Αιτήματα σε ιδιωτικά εύρη IP (RFC 1918, RFC 4193, link-local, loopback) αποκλείονται. Αυτό αποτρέπει μια κακόβουλη ιστοσελίδα στόχο από το να χρησιμοποιήσει τον σαρωτή ως φορέα SSRF για ανίχνευση εσωτερικών δικτύων.

Η πρόκληση σε κλίμακα ήταν η διάκριση γνήσιων αποκλεισμών SSRF από κορεσμό σηματοφόρου. Όταν όλες οι 15 θέσεις σηματοφόρου είναι σε χρήση και μια σάρωση δεν μπορεί να αποκτήσει θέση, το timeout που προκύπτει μοιάζει επιφανειακά με αίτημα που αποκλείεται για λόγους ασφαλείας. Προσθέσαμε ρητή κατηγοριοποίηση σφαλμάτων για τη διάκριση "αποκλεισμένο επειδή ο στόχος αναλύθηκε σε ιδιωτικό IP" από "αποκλεισμένο επειδή ο σαρωτής είναι σε χωρητικότητα." Αυτό ήταν ουσιώδες για τη λειτουργική παρακολούθηση και για την ακριβή ταξινόμηση αποτυχιών σάρωσης.

Πρόκληση 4: Ανίχνευση αποφυγής bot

Κατά τη μελέτη, εντοπίσαμε 137 ιστοσελίδες που φαίνεται να κρύβουν σκόπιμα το banner συγκατάθεσής τους από αυτοματοποιημένους σαρωτές. Το banner εμφανίζεται σε ανθρώπινους επισκέπτες αλλά αποκρύπτεται όταν η ιστοσελίδα ανιχνεύει χαρακτηριστικά αυτοματοποιημένης περιήγησης.

Ο πιο κοινός μηχανισμός που εντοπίσαμε περιλαμβάνει την επιλογή ρύθμισης `isAcceptAllForBots` του WordPress plugin RCB (Real Cookie Banner). Όταν ενεργοποιηθεί, αυτή η ρύθμιση ανιχνεύει αυτοματοποιημένους browsers (μέσω `navigator.webdriver`, ευρετικών user-agent, ή σημάτων συμπεριφοράς) και είτε αποδέχεται αυτόματα τη συγκατάθεση εκ μέρους τους είτε αποκρύπτει το banner εντελώς. Η πρόθεση, όπως τεκμηριώνεται από το plugin, είναι να αποτρέψει αυτοματοποιημένους επισκέπτες από το να δουν έναν διάλογο συγκατάθεσης με τον οποίο δεν μπορούν ουσιαστικά να αλληλεπιδράσουν. Το αποτέλεσμα είναι ότι σαρωτές συμμόρφωσης -- και ρυθμιστικοί ελεγκτές που χρησιμοποιούν αυτοματοποιημένα εργαλεία -- βλέπουν μια ιστοσελίδα που φαίνεται να μην έχει κανέναν μηχανισμό συγκατάθεσης, ενώ οι ανθρώπινοι επισκέπτες βλέπουν ένα πλήρες banner συγκατάθεσης.

Αυτό είναι πρόβλημα διαφάνειας. Αν ο μηχανισμός συγκατάθεσης μιας ιστοσελίδας είναι ορατός μόνο σε ανθρώπινους επισκέπτες, δεν μπορεί να ελεγχθεί σε κλίμακα. Σημαιοδοτούμε αυτές τις ιστοσελίδες ξεχωριστά στα αποτελέσματά μας επειδή το εύρημα είναι ποιοτικά διαφορετικό από "δεν ανιχνεύθηκε banner." Η ιστοσελίδα έχει banner· επιλέγει να μην μας το δείξει.

Ανιχνεύουμε αποφυγή bot μέσω συνδυασμού σημάτων: παρουσία γνωστής ρύθμισης ανίχνευσης bot σε ρυθμίσεις CMP (προσβάσιμη μέσω ελέγχου JavaScript), ασυμφωνίες μεταξύ αυτού που δείχνει το DOM και αυτού που αναφέρει το API της CMP, και σε ορισμένες περιπτώσεις συγκρίνοντας αυτοματοποιημένα αποτελέσματα σάρωσης με χειροκίνητη επαλήθευση.

Ο αριθμός 137 είναι σίγουρα υποεκτίμηση. Μπορούμε να ανιχνεύσουμε αποφυγή bot μόνο όταν μπορούμε να αναγνωρίσουμε τον μηχανισμό. Ιστοσελίδες που χρησιμοποιούν πιο εξελιγμένη ή εξατομικευμένη ανίχνευση bot μπορεί να αποφεύγουν επιτυχώς τόσο τον σαρωτή μας όσο και την ανίχνευση αποφυγής μας.

Πρόκληση 5: Λανθασμένη αναγνώριση CMP

Μια ιστοσελίδα μπορεί να φορτώνει πολλαπλά scripts που μοιάζουν με πλατφόρμες διαχείρισης συγκατάθεσης. Η PiwikPRO περιλαμβάνει ένα συστατικό CMP αλλά είναι κυρίως μια σουίτα αναλυτικών. Ορισμένες ιστοσελίδες WordPress φορτώνουν Complianz μαζί με ένα ξεχωριστό plugin αναλυτικών που έχει χαρακτηριστικά παρόμοια με CMP. Εταιρικές ιστοσελίδες μπορεί να έχουν υπολείμματα ενός προηγούμενου CMP που ακόμα φορτώνει μαζί με το τρέχον.

Αφελής ανίχνευση -- "αν δούμε το script, είναι η CMP" -- παράγει λανθασμένες αναγνωρίσεις που αλυσιδωτά οδηγούν σε εσφαλμένη αλληλεπίδραση banner. Αν ο σαρωτής αναγνωρίσει την PiwikPRO ως CMP και προσπαθήσει να χρησιμοποιήσει τους selectors banner της PiwikPRO, μπορεί να χάσει το πραγματικό banner tarteaucitron που ελέγχει τη συγκατάθεση στην ιστοσελίδα.

Η προσέγγισή μας βασισμένη σε εμπιστοσύνη αντιμετωπίζει αυτό κατατάσσοντας τους υποψήφιους CMP. Όταν ανιχνεύονται πολλαπλά πιθανά CMP:

1. Ελέγχουμε ποιο έχει ορατό banner στο DOM (script παρόν αλλά χωρίς banner σημαίνει πιθανόν ανενεργό ή μη CMP χρήση).

2. Ελέγχουμε ποιο εκθέτει ενεργό CMP API (π.χ. λειτουργικό `__tcfapi` ή αντίστοιχο).

3. Προτιμούμε το CMP του οποίου οι επαληθευμένοι selectors ταιριάζουν με ορατά στοιχεία DOM έναντι αυτού που ανιχνεύεται μόνο μέσω URL script.

Αυτή η ευρετική δεν είναι τέλεια, αλλά επίλυσε τις πιο κοινές περιπτώσεις λανθασμένης αναγνώρισης που αντιμετωπίσαμε κατά την ανάπτυξη και τη δοκιμή.

Περιορισμοί

Κανένας αυτοματοποιημένος σαρωτής δεν αναπαράγει τέλεια κάθε ανθρώπινη εμπειρία περιήγησης. Αυτοί είναι οι γνωστοί περιορισμοί:

Banners εξαρτώμενα από GeoIP. Ορισμένα CMP, κυρίως η CookieYes, εξυπηρετούν διαφορετικές εμπειρίες συγκατάθεσης βάσει γεωγραφικής τοποθεσίας IP του επισκέπτη. Οι σαρώσεις μας προέρχονται από συγκεκριμένες τοποθεσίες δικτύου στην Ευρώπη. Μια ιστοσελίδα που δείχνει banner συγκατάθεσης σε επισκέπτες από τη Γαλλία αλλά όχι σε επισκέπτες εκτός ΕΕ θα δείξει διαφορετικά αποτελέσματα ανάλογα με την προέλευση σάρωσης. Δεν σαρώνουμε αυτή τη στιγμή κάθε ιστοσελίδα από κάθε χώρα ΕΕ. Κλειστό shadow DOM. Ορισμένα CMP εμφανίζουν το banner τους μέσα σε κλειστό shadow DOM, το οποίο είναι απροσβάσιμο σε τυπικά ερωτήματα DOM μέσω `document.querySelector`. Το CMP της Transcend χρησιμοποιεί αυτή την προσέγγιση. Ο σαρωτής μας μπορεί να ανιχνεύσει το στοιχείο shadow host αλλά δεν μπορεί να ελέγξει τα περιεχόμενά του για να βρει κουμπιά αποδοχής/απόρριψης. Αυτές οι ιστοσελίδες τυπικά καταλήγουν ως ασυμπέραστες στα αποτελέσματά μας. Δυναμικά ονόματα κλάσεων και συσκότιση. Ορισμένα CMP, κυρίως η Admiral, χρησιμοποιούν δυναμικά παραγόμενα ονόματα κλάσεων που αλλάζουν σε κάθε φόρτωση σελίδας. Η ανίχνευση βασισμένη σε selectors αποτυγχάνει για αυτά επειδή οι selectors δεν είναι σταθεροί μεταξύ επισκέψεων. Επιστρέφουμε σε γενικές ευρετικές μεθόδους, αλλά η εμπιστοσύνη είναι χαμηλότερη. Single-page applications. SPA που διαχειρίζονται την κατάσταση συγκατάθεσης εξ ολοκλήρου σε client-side JavaScript και φορτώνουν τον μηχανισμό συγκατάθεσης μετά από αρχικές αλλαγές διαδρομής (αντί κατά την αρχική φόρτωση σελίδας) είναι δυσκολότερα να αξιολογηθούν. Ο σαρωτής μας πλοηγείται στη διεύθυνση URL και περιμένει τη σελίδα να σταθεροποιηθεί, αλλά δεν προσομοιώνει πλοήγηση εντός εφαρμογής. Ένα banner συγκατάθεσης που εμφανίζεται μόνο αφού ο χρήστης πλοηγηθεί εντός του SPA μπορεί να χαθεί. Γλωσσική κάλυψη. Η ανίχνευση κουμπιού απόρριψής μας χρησιμοποιεί αντιστοίχηση κειμένου σε ένα σύνολο υποστηριζόμενων γλωσσών, αλλά δεν καλύπτουμε όλες τις γλώσσες ΕΕ ισότιμα. Ένα banner στα μαλτεζικά ή εσθονικά μπορεί να έχει ετικέτες κουμπιού απόρριψης που η αντιστοίχηση κειμένου μας δεν αναγνωρίζει, οδηγώντας σε χαμένη δοκιμή ροής απόρριψης (αν και το ίδιο το banner μπορεί ακόμα να ανιχνευτεί από δομικές ευρετικές μεθόδους). Ακραίες περιπτώσεις χρονισμού. Ένα script που ενεργοποιείται 30 δευτερόλεπτα μετά τη φόρτωση σελίδας θα χαθεί από μια σάρωση που περιμένει 15 δευτερόλεπτα για αδράνεια δικτύου. Χρησιμοποιούμε γενναιόδωρα timeouts, αλλά η μακρά ουρά ασύγχρονης συμπεριφοράς είναι εγγενώς δύσκολο να καταγραφεί πλήρως.

Αυτοί οι περιορισμοί συμβάλλουν στο ποσοστό ασυμπέραστων αποτελεσμάτων μας 14,9%.

Η υποδομή

Η υποδομή σάρωσης παραγωγής αποτελείται από:

  • Μηχανή σάρωσης: Μια εφαρμογή Go που χρησιμοποιεί chromedp ως CDP client για αυτοματοποίηση Chromium. Η Go επιλέχθηκε για το μοντέλο ταυτοχρονισμού της (goroutines και channels αντιστοιχίζονται φυσικά στην παράλληλη ενορχήστρωση σάρωσης), τα χαρακτηριστικά απόδοσής της και την απλότητα ανάπτυξης (ένα μόνο στατικό binary).
  • Browser runtime: Headless Chromium που εκκινεί ανά σάρωση μέσω CDP. Κάθε σάρωση παίρνει μια νέα διεργασία browser με μηδενική κοινόχρηστη κατάσταση.
  • Ουρά: Ουρά εργασίας υποστηριζόμενη από Redis που διανέμει URLs σε workers σαρωτή. Η Redis χειρίζεται τη διανομή εργασιών, την παρακολούθηση προόδου και τον περιορισμό ρυθμού.
  • Βάση δεδομένων: PostgreSQL για μόνιμη αποθήκευση αποτελεσμάτων σάρωσης, ευρημάτων, μεταδεδομένων αποδεικτικών και όλων των δομημένων δεδομένων. Σαρώσεις, ευρήματα, cookies, αιτήματα και έξοδοι ανάλυσης αποθηκεύονται όλα σχεσιακά.
  • DNS cache: Τοπικός resolver Unbound που παρέχει αποθηκευμένες αναζητήσεις DNS και ασφαλή ανάλυση SSRF.
  • Αποθήκευση αποδεικτικών: Screenshots, αρχεία HAR και αναφορές PDF αποθηκεύονται ως μόνιμα τεκμήρια συνδεδεμένα με εγγραφές σάρωσης.

Για τη μελέτη 97.304 ιστοσελίδων, επεξεργαστήκαμε 114.748 υποψήφιες διευθύνσεις URL (97.304 ολοκληρώθηκαν επιτυχώς) σε περίπου 2,5 ημέρες χρησιμοποιώντας 3 server instances που έτρεχαν workers σαρωτή παράλληλα. Κάθε server έτρεχε πολλαπλές διεργασίες worker με 15 ταυτόχρονες θέσεις σάρωσης η καθεμία. Η μέγιστη απόδοση ήταν περίπου 25-30 ολοκληρωμένες σαρώσεις ανά λεπτό ανά server.

Το κύριο σημείο στένωσης δεν ήταν CPU ή μνήμη αλλά δίκτυο: κάθε σάρωση δημιουργεί εκατοντάδες εξερχόμενα αιτήματα (στην ιστοσελίδα στόχο και τους πόρους τρίτων μερών της), και το συνολικό εύρος ζώνης και ο αριθμός συνδέσεων σε όλες τις ταυτόχρονες σαρώσεις κόρεσε τη διαθέσιμη χωρητικότητα δικτύου πριν εξαντληθούν άλλοι πόροι.

Ανοιχτές προκλήσεις και μελλοντική δουλειά

Αρκετά προβλήματα παραμένουν άλυτα ή μερικώς λυμένα:

Εντοπιοποίηση banner συγκατάθεσης. Η αντιστοίχηση κειμένου μας καλύπτει μεγάλες γλώσσες ΕΕ αλλά είναι ατελής για μικρότερες γλωσσικές κοινότητες. Η επέκταση της κάλυψης απαιτεί όχι μόνο προσθήκη μεταφράσεων αλλά επικύρωση ότι οι selectors και τα μοτίβα αλληλεπίδρασης λειτουργούν σωστά με εντοπιοποιημένες εκδόσεις CMP. Χρονική παρακολούθηση. Η τρέχουσα αρχιτεκτονική μας είναι βελτιστοποιημένη για σάρωση σε μια χρονική στιγμή. Η ανίχνευση αλλαγών στη συμπεριφορά συγκατάθεσης με τον χρόνο -- βελτιώθηκε μια ιστοσελίδα μετά την επιβολή; Διόρθωσε μια ενημέρωση CMP μια κατηγορία αποτυχιών ροής απόρριψης; -- απαιτεί επαναλαμβανόμενες σαρώσεις με διαφορική ανάλυση, κάτι που είναι αρχιτεκτονικά διαφορετικό από μια εφάπαξ αξιολόγηση. Συγκριτική αξιολόγηση CMP. Έχουμε τα δεδομένα για να αξιολογήσουμε ποσοστά συμμόρφωσης ανά CMP (είναι η Cookiebot συνδεδεμένη με καλύτερη συμμόρφωση από την OneTrust;), αλλά η αποσύνδεση της ποιότητας CMP από την ποιότητα ρύθμισης του διαχειριστή ιστοσελίδας είναι μεθοδολογικά περίπλοκη. Ένα CMP που εγκαθίσταται συχνότερα από μεγάλες επιχειρήσεις με ειδικές ομάδες ιδιωτικότητας θα φαίνεται καλύτερο συνολικά ακόμα κι αν το ίδιο το εργαλείο δεν είναι πιο συμμορφωμένο. Επαλήθευση κατάστασης συγκατάθεσης σε πραγματικό χρόνο. Ο τρέχων σαρωτής λειτουργεί σε λειτουργία δέσμης. Η ενσωμάτωση επαλήθευσης συγκατάθεσης σε CI/CD pipelines ή παρακολούθηση πραγματικού χρόνου απαιτεί μια ταχύτερη, ελαφρύτερη λειτουργία σάρωσης που θυσιάζει κάποιο βάθος αποδεικτικών για ταχύτητα. Το εξερευνούμε.

Το API

Η ίδια μηχανή σάρωσης που περιγράφεται σε αυτή την ανάρτηση είναι διαθέσιμη μέσω του δημόσιου API του GDPR Monitor. Μπορείτε να υποβάλετε αιτήματα σάρωσης προγραμματικά, να κάνετε polling για αποτελέσματα και να ανακτήσετε δομημένα ευρήματα και αποδεικτικά τεκμήρια. Το API επιστρέφει τα ίδια δεδομένα που εμφανίζει η διεπαφή μας: στιγμιότυπα πριν τη συγκατάθεση, καταλόγους cookies, αποτελέσματα ανίχνευσης CMP, αποτελέσματα ροής απόρριψης, βαθμολογίες κινδύνου και πλήρεις αλυσίδες αποδεικτικών.

Αν κατασκευάζετε εργαλεία συμμόρφωσης, ενσωματώνετε ελέγχους ιδιωτικότητας σε CI/CD pipelines, διεξάγετε τη δική σας έρευνα ή ενσωματώνετε παρακολούθηση σε ένα πρόγραμμα ιδιωτικότητας, το API παρέχει πρόσβαση σε συμπεριφορική ανάλυση συγκατάθεσης χωρίς την ανάγκη κατασκευής και συντήρησης δικής σας υποδομής αυτοματοποίησης Chromium.


Δοκιμάστε μόνοι σας. Τεκμηρίωση API είναι διαθέσιμη στο gdprprivacymonitor.eu/developers/api. Υποβάλετε μια μόνη διεύθυνση URL ή ενσωματώστε αυτοματοποιημένη παρακολούθηση ιδιωτικότητας στη ροή εργασίας σας.

Ελέγξτε την ιστοσελίδα σας

Εκτελέστε δωρεάν σάρωση συμμόρφωσης GDPR - χωρίς εγγραφή.

Σαρώστε την ιστοσελίδα σας δωρεάν