يعتقد العديد من مطوري البرامج أن الروبوتات التي تزحف على شبكة الإنترنت هي صراصير الإنترنت ، كما يعتقد العديد من مطوري البرامج. بدأ بعض devs في القتال بطرق غنية ، في كثير من الأحيان روح الدعابة.
في حين أن أي موقع ويب قد يستهدف سلوك الزاحف السيئ – في بعض الأحيان ، يتأثر مطورو المصادر مفتوحة المصدر ، فإنه “يتأثر بشكل غير متناسب” ، كما يكتب نيكولو فينيراندي ، مطور سطح مكتب Linux يُعرف باسم البلازما ومالك مدونة Libreenews.
بطبيعتها ، تشترك مواقع استضافة مشاريع مجانية ومفتوحة المصدر (FOSS) في بنيتها التحتية علنًا ، كما أنها تميل إلى الحصول على موارد أقل من المنتجات التجارية.
تكمن المشكلة في أن العديد من روبوتات AI لا تكرم ملف بروتوكول Robots Robot.txt ، وهي الأداة التي تخبر Bots بما لا يزحف ، تم إنشاؤه في الأصل لروبوتات محرك البحث.
في منشور مدونة “Cry for Help” في يناير ، وصف مطور Foss Xe Iaso كيف قصف Amazonbot بلا هوادة على موقع GIT Server إلى درجة التسبب في انقطاع DDOs. تستضيف خوادم GIT مشاريع FOSS بحيث يمكن لأي شخص يريد تنزيل الكود أو المساهمة فيه.
لكن هذا الروبوت الذي تجاهل Robot.txt في Laso ، اختبأ خلف عناوين IP أخرى ، وتظاهر بأنه مستخدمين آخرين ، على حد قول لاسو.
“من غير المجدي منع روبوتات الزاحف من الذكاء الاصطناعى لأنها تكذب وتغيير وكيل المستخدم الخاص بهم ، واستخدام عناوين IP السكنية كوكيل ، وأكثر من ذلك”.
“سوف يتخلصون من موقعك حتى ينتهي ، وبعد ذلك سوف يتخلصون منه أكثر. سوف ينقرون على كل رابط على كل رابط على كل رابط ، ويعرضون نفس الصفحات مرارًا وتكرارًا. حتى أن بعضها سوف ينقر على الرابط نفسه عدة مرات في نفس الثانية” ، كتب المطور في المنشور.
أدخل إله جريفز
لذلك قاتل IASO مع الذكاء ، وبناء أداة تسمى أنوبيس.
Anubis عبارة عن فحص عكسي للمؤشرين من الوكيل يجب أن يتم تمريره قبل السماح للطلبات بالضغط على خادم GIT. إنه يمنع الروبوتات ولكن يتيح من خلال المتصفحات التي يديرها البشر.
الجزء المضحك: أنوبيس هو اسم إله في الأساطير المصرية التي تقود الموتى إلى الحكم.
وقال إيسو لـ TechCrunch: “لقد تزن أنوبيس روحك (قلبك) وإذا كان أثقل من الريشة ، فقد أكل قلبك وأنت ، مثل ، مات ميجا”. إذا مر طلب الويب بالتحدي وكان مصممًا على أن يكون إنسانًا ، فإن صورة أنيمي لطيفة تعلن عن النجاح. يقول IASO: “الرسم هو” يأخذني في تنشيط أنوبيس “. إذا كان الروبوت ، يتم رفض الطلب.
انتشر المشروع المسماة بقلق مثل الريح بين مجتمع FOSS. شاركها لاسو على جيثب في 19 مارس ، وفي غضون أيام قليلة ، جمعت 2000 نجمة ، و 20 مساهما ، و 39 فوركس.
الانتقام كدفاع
تُظهر الشعبية الفورية لـ Anubis أن ألم IASO ليس فريدًا. في الواقع ، شارك فينراندي قصة بعد القصة:
- وصف الرئيس التنفيذي لشركة Soundhut Drew Drew Devault إنفاق “من 20 إلى 100 ٪ من وقتي في أي أسبوع معين يخفف من زحف LLM العدوانية المفرطة على نطاق واسع” ، و “تجربة عشرات الانقطاعات القصير في الأسبوع”.
- حذر جوناثان كوربيت ، وهو مطور فوس الشهير الذي يدير موقع الأخبار في صناعة LINUX LWN ، من أن موقعه تباطأ من خلال حركة المرور على مستوى DDOS “من روبوتات مكشطة AI”.
- وقال كيفن فينزي ، Sysadmin لمشروع Linux Fedora الهائل ، إن روبوتات مكشطة AI أصبحت عدوانية للغاية ، وكان عليه أن يمنع البلد البرازيل بأكمله من الوصول.
يخبر Venerandi TechCrunch أنه يعرف العديد من المشاريع الأخرى التي تعاني من نفس القضايا. أحدهم “اضطر إلى حظر جميع عناوين IP الصينية مؤقتًا في وقت ما.”
دع ذلك يغرق للحظة – أن المطورين “يجب عليهم” حتى يلجأوا إلى حظر البلدان بأكملها “لمجرد صد روبوتات AI التي تتجاهل ملفات robot.txt ، كما يقول Venerandi.
إلى جانب وزن روح طلب الويب ، يعتقد ديف آخرين أن الانتقام هو أفضل دفاع.
قبل بضعة أيام على أخبار Hacker ، اقترح المستخدم Xyzal تحميل Robot.TXT المحظور مع صفحات “حمولة دلو من المقالات حول فوائد شرب التبييض” أو “مقالات حول التأثير الإيجابي لالتقاط الحصبة على الأداء في السرير”.
“أعتقد أننا بحاجة إلى أن نهدف إلى الحصول على قيمة _negative_ الأداة المساعدة من زيارة مصائدنا ، وليس فقط قيمة الصفر” ، أوضح Xyzal.
كما يحدث ، في يناير ، أصدر منشئ مجهول يعرف باسم “هارون” أداة تسمى Nepenthes تهدف إلى القيام بذلك بالضبط. إنه يفصح زحف في متاهة لا نهاية لها من المحتوى المزيف ، وهو هدف اعترف به Dev في Ars Technica عدوانية إن لم يكن ضارًا. تتم تسمية الأداة على اسم نبات آكلة اللحوم.
و CloudFlare ، ربما أكبر لاعب تجاري يقدم عدة أدوات لدراسة AI Crawlers ، أصدر الأسبوع الماضي أداة مماثلة تسمى AI Labyrinth.
يهدف إلى “إبطاء ، إرباك ، وإهدار موارد زحف الذكاء الاصطناعى وغيرها من الروبوتات التي لا تحترم توجيهات” لا يزحف “، موصوف في Cloudflare في منشور المدونة. قال CloudFlare إنه يغذي سوء التصرف في AI Crawlers “محتوى غير ذي صلة بدلاً من استخراج بيانات موقع الويب المشروعة”.
أخبر Devault’s Devault TechCrunch أن “Nepenthes لديه شعور مرضي بالعدالة ، لأنه يغذي هراء لزحف وبرامجهم آبارهم ، ولكن في نهاية المطاف أنوبيس هو الحل الذي نجح” لموقعه.
لكن Devault أصدر أيضًا نداءً من القلبية ، لإصلاح أكثر مباشرة: “يرجى التوقف عن شرعية LLMs أو مولدات صور الذكاء الاصطناعية أو github copilot أو أي من هذه القمامة. أتسول لك للتوقف عن استخدامها ، والتوقف عن الحديث عنها ، والتوقف عن صنعها الجديد ، فقط توقف.”
نظرًا لأن احتمال ذلك هو Zilch ، فإن المطورين ، وخاصة في Foss ، يقاتلون بالذكاء ولمسة من الفكاهة.
اكتشاف المزيد من اشراق اون لاين
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
