في العام الماضي ، الإنترنت أطلقت شركة البنية التحتية CloudFlare أدوات تمكن عملائها من منع عصي الذكاء الاصطناعي. اليوم اتخذت الشركة معركتها ضد الإذن تجسد عدة خطوات أخرى. لقد تحولت إلى حظر زحف الذكاء الاصطناعى افتراضيًا لعملائها ويتقدمون إلى الأمام مع برنامج الدفع لكل زحف يتيح للعملاء فرض رسوم على شركات الذكاء الاصطناعى لكشط مواقع الويب الخاصة بهم.
قامت زحفات الويب بشبابة الإنترنت للحصول على معلومات لعقود من الزمن. بدونهم ، سيخسر الناس الأدوات ذات الأهمية على الإنترنت ، من بحث Google إلى أعمال الحفاظ على أرشيف الإنترنت التي لا تقدر بثمن. لكن طفرة الذكاء الاصطناعى أنتجت طفرة مقابلة في زحفات الويب التي تركز على الذكاء الاصطناعى ، وتكحف هذه الروبوتات صفحات الويب مع تردد يمكن أن يحاكي هجوم DDOs ، وخوادم تجهد ومواقع الإلكترونية في وضع عدم الاتصال. حتى عندما تتمكن المواقع الإلكترونية من التعامل مع النشاط المتزايد ، فإن الكثير منهم لا يريدون زحف الذكاء الاصطناعى يقومون بتجميع محتواها ، وخاصة المنشورات الإخبارية التي تطالب شركات الذكاء الاصطناعى بدفعها لاستخدام عملهم. تقول دانييل كوفي ، الرئيس والمدير التنفيذي لحلف وسائل الإعلام التجاري ، الذي يمثل عدة آلاف منافذ أمريكا الشمالية: “لقد نحاول بحماية أنفسنا بشكل محموم”.
حتى الآن ، يخبر رئيس Cloudflare's AI Control و Privacy ومنتجات الوسائط ، Wired ، أن أكثر من مليون موقع على شبكة الإنترنت قد قام بتنشيط أدوات عرقلة AI الأقدم. الآن سيكون لدى الملايين الآخرين خيار الحفاظ على حظر الروبوت باعتباره افتراضيًا. يقول CloudFlare أيضًا أنه يمكنه تحديد حتى “الظل” الكاشطات التي لم يتم نشرها من قبل شركات الذكاء الاصطناعي. لاحظت الشركة أنها تستخدم مزيجًا خاصًا من التحليل السلوكي ، وبصمات الأصابع ، والتعلم الآلي لتصنيف وفصل الروبوتات من الذكاء الاصطناعي عن الروبوتات “الجيدة”.
يساعد معيار الويب المستخدم على نطاق واسع يسمى بروتوكول استبعاد الروبوتات ، الذي غالبًا ما يتم تنفيذه من خلال ملف Robots.txt ، للناشرين على حظر الروبوتات على أساس كل حالة على حدة ، ولكن بعد ذلك غير مطلوب من الناحية القانونية ، وهناك الكثير من الأدلة على أن بعض شركات AI تحاول التهرب من الجهود المبذولة لحظر الكاشطات. يقول كوفي: “يتم تجاهل Robots.txt”. وفقًا لتقرير صادر عن منصة ترخيص المحتوى Tollbit ، الذي يوفر سوقها الخاص للناشرين للتفاوض مع شركات الذكاء الاصطناعى على الوصول إلى BOT ، لا يزال Draging AI في ارتفاع – بما في ذلك الكشط الذي يتجاهل Robots.txt. وجد Tollbit أن أكثر من 26 مليون خبشة تجاهل البروتوكول في مارس 2025 وحده.
في هذا السياق ، قد يكون تحول CloudFlare إلى الحجب افتراضيًا حاجزًا كبيرًا على الكاشطات الخفية ويمكن أن يمنح الناشرين المزيد من النفوذ للتفاوض ، سواء من خلال برنامج الدفع لكل زحف أو غير ذلك. يقول الرئيس التنفيذي لشركة Atlantic (والمحرر السابق في رئيس السلك): “قد يغير هذا بشكل كبير ديناميكية القوة. حتى هذه النقطة ، لم تكن شركات الذكاء الاصطناعى تحتاج إلى دفع لمحتوى الترخيص ، لأنهم يعرفون أنه يمكنهم أخذها دون عواقب”. “سيتعين عليهم الآن التفاوض ، وسيصبحون ميزة تنافسية لشركات الذكاء الاصطناعى التي يمكن أن تتعامل مع المزيد من الناشرين والأفضل.”
وافقت شركة AI Startup Prorata ، التي تدير محرك بحث AI Gist.ai ، على المشاركة في برنامج الدفع لكل زحف ، وفقًا للرئيس التنفيذي والمؤسس بيل جروس. يقول جروس: “نعتقد اعتقادا راسخا أنه ينبغي تعويض جميع منشئي المحتوى والناشرين عند استخدام محتوىهم في إجابات الذكاء الاصطناعي”.
بالطبع ، يبقى أن نرى ما إذا كان اللاعبون الكبار في مساحة الذكاء الاصطناعى سيشاركون في برنامج مثل الدفع لكل زحف ، وهو في بيتا. (رفضت CloudFlare تسمية المشاركين الحاليين.) لقد أبرمت شركات Openai صفقات الترخيص مع مجموعة متنوعة من شركاء النشر ، بما في ذلك الشركة الأم Wired Condé Nast ، ولكن لم يتم الكشف عن تفاصيل محددة عن هذه الاتفاقيات ، بما في ذلك ما إذا كانت الاتفاقية تغطي الوصول إلى الروبوت.
وفي الوقت نفسه ، هناك نظام بيئي كامل عبر الإنترنت من البرامج التعليمية حول كيفية التهرب من أدوات حظر الروبوت في CloudFlare التي تهدف إلى كاشفات الويب. مع انتشار الحظر الافتراضي ، من المحتمل أن تستمر هذه الجهود. يؤكد CloudFlare على أن العملاء الذين يرغبون في السماح للروبوتات بالكشم دون عوائق سيكونون قادرين على إيقاف تشغيل إعداد الحظر. يقول ألين: “كل الحظر اختياري تمامًا وبالتقدير لكل مستخدم فردي”.
