جوجل بوت

جوجل بوت (بالإنجليزية: Googlebot)‏ هو برنامج من نوع زاحف الشبكة والذي تستخدمه جوجل، حيث يقوم بجمع المستندات من الويب لإنشاء فهرس يمكن البحث فيه لمحرك بحث جوجل. يُستخدم هذا الاسم للإشارة إلى نوعين مختلفين من برامج زاحف الشبكة: زاحف سطح المكتب (لمحاكاة مستخدمي سطح المكتب) وزاحف الجوال (لمحاكاة مستخدم الهاتف).[1]

جوجل بوت
معلومات عامة
نوع
المطور الأصلي
المطورون
موقع الويب

طريقة عمله

من المحتمل أن يتم الزحف إلى موقع ويب بواسطة كل من جوجل بوت سطح المكتب وجوجل بوت الجوال. يمكن التعرف على النوع الفرعي لبرنامج جوجل بوت من خلال النظر في سلسلة وكيل المستخدم في الطلب. ومع ذلك، يلتزم كِلا نوعي الزاحف برمز المنتج نفسه (الرمز المميز المفيد) في ملف robots.txt، وبالتالي لا يستطيع المطور استهداف جوجل للجوال أو جوجل لسطح المكتب باستخدام ملف robots.txt بشكل انتقائي.

إذا رغب مشرف الموقع في تقييد المعلومات الموجودة على موقعه المتاح لبرنامج جوجل بوت، أو عنكبوت آخر حسن التصرف، فيمكنه القيام بذلك باستخدام التوجيهات المناسبة في ملف robots.txt ،[2] أو عن طريق إضافة العلامة الوصفية [الإنجليزية] <meta name="Googlebot" content="nofollow" /> إلى صفحة الويب.[3] يمكن التعرف على طلبات جوجل بوت إلى خوادم الويب من خلال سلسلة وكيل مستخدم [الإنجليزية] تحتوي على «جوجل بوت» وعنوان مضيف يحتوي على "googlebot.com".

حاليًا، يتبع جوجل بوت روابط المواقع وروابط الملفات.[2] هناك أدلة متزايدة على أن جوجل بوت يمكنه تشغيل أكواد جافا سكريبت وتحليل المحتوى الناتج عن أكواد أجاكس أيضًا.[4] هناك العديد من النظريات المتعلقة بمدى تقدم قدرة جوجل بوت على معالجة جافا سكريبت، وتتراوح الآراء بين الحد الأدنى من القدرة المستمدة من مترجمين مخصصين.[5] حاليًا، يستخدم جوجل بوت خدمة عرض الويب (WRS) والتي تستند إلى محرك عرض كروميوم (الإصدار 74 بتاريخ 7 مايو 2019).[6] يكتشف جوجل بوت الصفحات عن طريق تجميع جميع الروابط في كل صفحة يعثر عليها. ثم يقوم بتتبع هذه الروابط إلى صفحات الويب الأخرى. يجب ربط صفحات الويب الجديدة من صفحات أخرى معروفة على الويب ليتم الزحف إليها وفهرستها أو إرسالها يدويًا بواسطة مشرف الموقع.

غالبًا ما يلاحظ مُشرفي المواقع الذين لديهم خطط استضافة ويب ذات نطاق بيانات منخفض أن جوجل بوت يستهلك قدرًا هائلاً من نطاق البيانات. وقد يتسبب ذلك في تجاوز مواقع الويب لحد النطاق الترددي وإزالتها مؤقتًا. هذا أمر مزعج بشكل خاص للمواقع المتطابقة والتي تستضيف مساحة كبيرة بمقياس جيجابايت من البيانات. توفر جوجل خدمة «تحكم البحث» والتي تتيح لمالكي مواقع الويب التحكم في معدل الزحف.[7]

عدد المرات التي يزحف فيها جوجل بوت إلى موقع ما يعتمد على ميزانية الزحف. ميزانية الزحف هي تقدير لعدد المرات التي يتم فيها تحديث موقع الويب. من الناحية الفنية، يستخدم فريق تطوير جوجل بوت (فريق الزحف والفهرسة) العديد من المصطلحات المحددة داخليًا لتولي مسؤولية «ميزانية الزحف».[8] منذ مايو 2019، يستخدم جوجل بوت أحدث محرك عرض من كروميوم، والذي يدعم ميزات إي سي إم إيه سكريبت 6. سيؤدي هذا إلى جعل الروبوت «دائم الحداثة» بشكل أكبر ويضمن أنه لا يعتمد على محرك عرض قديم مقارنة بإمكانيات المتصفح.[9]

ميديابوت

ميديابوت هو زاحف الويب الذي تستخدمه جوجل لتحليل المحتوى حتى يتمكن جوجل أدسنس من تقديم إعلانات ذات صلة بالسياق لصفحة ويب. يُعرّف ميديابوت نفسه بسلسلة وكيل المستخدم "Mediapartners-Google / 2.1".

على عكس برامج الزحف الأخرى، لا يتبع ميديابوت الروابط لاكتشاف عناوين جديدة القابلة للزحف إليها، وبدلاً من ذلك يزور فقط العناوين التي تتضمن شفرة أدسنس. عندما يكون هذا المحتوى محميًا بمعلومات تسجيل دخول، يمكن منح الزاحف تسجيل دخول حتى يتمكن من الزحف إلى المحتوى المحمي.

مراجع
  1. "Googlebot"، Google، 11 مارس 2019، مؤرشف من الأصل في 12 ديسمبر 2020، اطلع عليه بتاريخ 11 مارس 2019.
  2. "Google Search Console"، Google.com، مؤرشف من الأصل في 14 ديسمبر 2020.
  3. "Google Search Console"، search.google.com، مؤرشف من الأصل في 14 ديسمبر 2020، اطلع عليه بتاريخ 11 مارس 2019.
  4. "Understand the JavaScript SEO basics | Search for Developers"، Google Developers (باللغة الإنجليزية)، مؤرشف من الأصل في 03 نوفمبر 2020، اطلع عليه بتاريخ 26 يوليو 2020.
  5. Splitt, Martin، "How Google Search indexes JavaScript sites - JavaScript SEO"، YouTube، مؤرشف من الأصل في 8 نوفمبر 2020.
  6. "The new evergreen Googlebot"، Official Google Webmaster Central Blog (باللغة الإنجليزية)، مؤرشف من الأصل في 06 نوفمبر 2020، اطلع عليه بتاريخ 07 يونيو 2019.
  7. "Google - Webmasters"، Google.com، مؤرشف من الأصل في 12 ديسمبر 2020، اطلع عليه بتاريخ 15 ديسمبر 2012.
  8. "What Crawl Budget Means for Googlebot"، Official Google Webmaster Central Blog (باللغة الإنجليزية)، مؤرشف من الأصل في 13 ديسمبر 2020، اطلع عليه بتاريخ 04 يوليو 2018.
  9. "The new evergreen Googlebot"، Official Google Webmaster Central Blog (باللغة الإنجليزية)، مؤرشف من الأصل في 06 نوفمبر 2020، اطلع عليه بتاريخ 17 يونيو 2019.

وصلات خارجية
  • بوابة برمجيات
  • بوابة جوجل
  • بوابة إنترنت
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.