Η Cloudflare μπλοκάρει από προεπιλογή τα AI Web Scrapers

Σε μια κίνηση που θα μπορούσε να αναδιαμορφώσει τον τρόπο με τον οποίο οι εταιρείες τεχνητής νοημοσύνης (AI) συλλέγουν δεδομένα, η Cloudflare, η εταιρεία συνδεσιμότητας στο cloud, ανακοίνωσε ότι θα μπλοκάρει από προεπιλογή τα AI crawlers από την πρόσβαση σε περιεχόμενο χωρίς άδεια ή αποζημίωση. Αυτή η πολιτική, η οποία επηρεάζει περίπου το 20% του συνόλου του διαδικτύου που χρησιμοποιεί τις υπηρεσίες της Cloudflare, μετατοπίζει το βάρος από ένα μοντέλο εξαίρεσης (opt-out) σε ένα μοντέλο συμμετοχής (opt-in) για την απόξεση δεδομένων. Προηγουμένως, οι ιδιοκτήτες ιστοτόπων έπρεπε να επιλέξουν ενεργά να μπλοκάρουν τα AI bots. Τον Σεπτέμβριο του 2024, η Cloudflare εισήγαγε μια επιλογή με ένα κλικ για τον αποκλεισμό των AI crawlers, την οποία υιοθέτησαν περισσότεροι από ένα εκατομμύριο πελάτες. Η νέα προεπιλεγμένη ρύθμιση αντιστρέφει αυτή την προσέγγιση, απαιτώντας από τις εταιρείες AI να λάβουν ρητή άδεια πριν από την απόξεση. Κατά την εγγραφή, οι νέοι πελάτες της Cloudflare θα ερωτώνται πλέον εκ των προτέρων εάν επιθυμούν να επιτρέψουν τα AI crawlers. Η απόφαση αυτή έρχεται εν μέσω αυξανόμενων ανησυχιών σχετικά με τη νομιμότητα, την παραβίαση πνευματικών δικαιωμάτων και την ακρίβεια που περιβάλλουν την πρακτική της απόξεσης του διαδικτύου για την εκπαίδευση μεγάλων γλωσσικών μοντέλων (LLM). Ο Matthew Prince, συνιδρυτής και Διευθύνων Σύμβουλος της Cloudflare, τόνισε την ανάγκη προστασίας των δημιουργών περιεχομένου. «Αν το Διαδίκτυο πρόκειται να επιβιώσει στην εποχή της τεχνητής νοημοσύνης, πρέπει να δώσουμε στους εκδότες τον έλεγχο που τους αξίζει και να οικοδομήσουμε ένα νέο οικονομικό μοντέλο που να λειτουργεί για όλους», δήλωσε. Ο Prince σημείωσε ότι τα AI crawlers «αποξέουν περιεχόμενο χωρίς όρια», στερώντας από τους δημιουργούς έσοδα και επισκεψιμότητα. Για την αντιμετώπιση αυτού του ζητήματος, η Cloudflare εισάγει επίσης μια πρωτοβουλία που ονομάζεται «Pay Per Crawl». Αυτό το πρόγραμμα, που βρίσκεται επί του παρόντος σε ιδιωτική προεπισκόπηση, επιτρέπει στους εκδότες να ορίζουν τιμές για την πρόσβαση στο περιεχόμενό τους. Οι εταιρείες AI μπορούν στη συνέχεια να επιλέξουν να πληρώσουν για την πρόσβαση ή να τους απαγορευτεί η είσοδος. Επιπλέον, η Cloudflare παρέχει πιο αναλυτικούς ελέγχους, επιτρέποντας στους ιδιοκτήτες ιστοτόπων να διακρίνουν μεταξύ των bots με βάση τον δηλωμένο σκοπό τους, όπως η εκπαίδευση, η εξαγωγή συμπερασμάτων ή η αναζήτηση. Η Cloudflare έχει αναπτύξει εξελιγμένα συστήματα για τον εντοπισμό και τον αποκλεισμό ανεπιθύμητων bots. Η εταιρεία χρησιμοποιεί παγκόσμια μοντέλα μηχανικής μάθησης για την αναγνώριση παραπλανητικών πρακτικών, όπως η πλαστογράφηση παραγόντων χρήστη, όπου ένα bot προσπαθεί να μεταμφιεστεί σε πραγματικό πρόγραμμα περιήγησης. Για τους χρήστες, η ενεργοποίηση του αποκλεισμού είναι απλή. Μπορούν να πλοηγηθούν στην ενότητα Ασφάλεια του πίνακα ελέγχου της Cloudflare και να ενεργοποιήσουν τον διακόπτη «AI Scrapers and Crawlers». Αυτή η λειτουργία είναι διαθέσιμη σε όλους τους πελάτες της Cloudflare, συμπεριλαμβανομένων εκείνων που χρησιμοποιούν το δωρεάν πρόγραμμα. Αρκετοί μεγάλοι εκδότες, όπως οι Ziff Davis, The Atlantic, BuzzFeed και TIME, έχουν ήδη εγγραφεί για να υποστηρίξουν τις νέες πολιτικές. Ο Roger Lynch, Διευθύνων Σύμβουλος της Condé Nast, χαρακτήρισε την προσέγγιση της Cloudflare «game-changer» που «ανοίγει την πόρτα για βιώσιμη καινοτομία που βασίζεται στην άδεια και τη συνεργασία». Αυτή η στρατηγική αλλαγή από την Cloudflare αντιπροσωπεύει ένα σημαντικό βήμα προς την παροχή στους δημιουργούς περιεχομένου και τους ιδιοκτήτες ιστοτόπων μεγαλύτερου ελέγχου επί της πνευματικής τους ιδιοκτησίας. Καθώς το τοπίο της τεχνητής νοημοσύνης συνεχίζει να εξελίσσεται, η κίνηση αυτή θα μπορούσε να δημιουργήσει ένα προηγούμενο για πιο δίκαιες και διαφανείς πρακτικές συλλογής δεδομένων, διασφαλίζοντας ότι όσοι δημιουργούν το περιεχόμενο που τροφοδοτεί τα μοντέλα AI αποζημιώνονται δίκαια για τη δουλειά τους.