محرك بحث (ويب)

إن محركات بحث الإنترنت بحد ذاتها سابقة لظهور الويب في كانون الأول من عام 1991، حيث يعود تاريخ البحث إلى عام 1982 باستخدام طريقة "هوإز" (بالإنكليزية: WHOIS)[2]، كما نفذت خدمة بحث معلومات نوبوت للمستخدمين متعددي الشبكات لأول مرة عام 1989.[3] وقد كان أول محرك بحث موثّق يقوم بالبحث في ملفات المحتويات المسماة ملفات بروتوكول نقل الملفات، هو محرك بحث أرشي، حيث قُدم لأول مرة في 10 أيلول من عام 1990.

(merged with NATE)

(URL redirected to Yahoo!)

(redirects to Bing)

(redirects to Ecosia)

due to a lack of funding

وقد أنشأه طالب في جامعة ماكجيل في مونتريال عام 1990م، وكان يعرف باسم “أرشي” (بالإنجليزية: Archie)‏ – مشتق من كلمة “الأرشيف” مع إزالة حرف “ف”- ويحمل تلقائيا قائمة بكل الملفات المتوافرة على كل موقع إنترنت وكان البحث يتم من خلال هذه القائمة بأسماء الملفات.[4][5] وتطورت عملية البحث فظهر محرك باسم واندكس (بالإنجليزية: Wandex)‏، وهو فهرس جمعه متجول وِب وهو زاحف عنكبوتي (بالإنجليزية: web crawler)‏ طوره ماثيو جراي في معهد ماساشوستس للتكنولوجيا MIT في 1993. ويعد آليوب (بالإنجليزية: Aliweb)‏ محرك بحث آخر مبكر جدًا وقد ظهر في 1993 ويعمل حتى اليوم. وأول محرك بحث قائم على الزاحف العنكبوتي للنصوص الكاملة كان وبكراولر (بالإنجليزية: WebCrawler)‏، والذي خرج للوجود في 1994. وعلى عكس سابقيه، فقد ترك المستخدمين يبحثون عن أي كلمة على أي صفحة ويب، وهو ما صار القاعدة لكل محركات البحث الكبرى منذ ذلك الوقت. كان هو أيضا الأول في معرفة الجمهور به على نطاق واسع. في 1994 كذلك جاء لايكوس (بالإنجليزية: Lycos)‏ (الذي بدأ في جامعة كارنيغي ميلون (بالإنجليزية: Carnegie Mellon University)‏) وصار مشروعًا تجاريًا كبيرًا.

بعد ذلك بقليل، ظهر العديد من محركات البحث وتزاحمت على الشعبية. وكان من ضمنها إكسايت (بالإنجليزية: Excite)‏، إنفوسيك (بالإنجليزية: Infoseek)‏، وإنكتومي (بالإنجليزية: Inktomi)‏، ونورثرن لايت (بالإنجليزية: Northern Light)‏، وألتافيستا (بالإنجليزية: Alta Vista)‏. وفي بعض الحالات تنافست مع الأدلة ذات الشعبية مثل ياهو! (بالإنجليزية: !Yahoo)‏. فيما بعد، أدمجت الأدلة أو أضافت إليها تقنية محرك البحث من أجل أداء أكبر للوظائف.

عرفت محركات البحث أيضا بكونها بعض ألمع النجوم في نوبة الاستثمار في الإنترنت التي وقعت في أواخر التسعينات. دخلت عدة شركات السوق في مشهد كبير، مسجلة مكاسب قياسية خلال طرح أسهمها العام الافتتاحي. وقد سحب البعض محركاتهم البحثية العامة، وهم يسوقون نسخا للشركات فقط، مثل نورثرن لايت التي كانت من ال8 أو 9 محركات بحث المبكرة بعد أن جاء لايكوس (بالإنجليزية: Lycos)‏.

قبل مجيء الإنترنت، كانت هناك بواحيث لموافيق (بروتوكولات)أو استخدامات أخرى، مثل محرك بحث آركي لمواقع إف‌.تي.‌بي المجهولة (بالإنجليزية: anonymous FTP)‏ ومحرك بحث ڤيرونيكا لبروتوكول جوفر.

وستأتي بعض محركات البحث الأخرى منها إيه ناين.كوم a9.com (أمازون.كوم)، آسك چيڤيز/تيوما (بالإنجليزية: Ask Jeeves/Teoma)‏، جيجابلاست، سناپ (بالإنجليزية: Snap)‏، والهاللو (بالإنجليزية: Walhello)‏، كازاز (بالإنجليزية: Kazazz)‏، ووايسنَت (بالإنجليزية: WiseNut)‏. وبعض آخر آخر محركات البحث، والتي تبحث فقط أنواعا محددة من المحتوى هي پلازو Plazoo (لمردود الخلاصات RSS feeds)، وجوهوك GoHook (لملفات پي دي إف PDF بشكل رئيسي). ومن أشهر المحركات أيضا: Yooci و ThroughSearch

• جوجل (بالإنجليزية: Google)‏
• ياهو (بالإنجليزية: Yahoo!)‏
• بينج (بالإنجليزية: Bing)‏
• دك دك غو (بالإنجليزية: DuckDuckGo)‏
• ياندكس (بالإنجليزية: Yandex)‏

تعمل محركات البحث عن طريق تخزين المعلومات عن عدد كبير من صفحات الوِب، والتي تستعيدها من الشبكة العالمية وورلد وايد وب نفسها. تستعاد هذه الصفحات بواسطة زاحف وِب (يعرف أحيانا أيضا بـ ’عنكبوت‘) – وهو مستعرض وِب آلي يتبع كل رابط يراه. بعد ذلك يجري تحليل كل صفحة لتحديد كيف ينبغي فهرستها (على سبيل المثال، تستخلص الكلمات من العناوين، رؤوس الموضوعات، أو حقول خاصة تعرف ب ميتا تاجز). تخزن البيانات عن صفحات الوِب في قاعدة بيانات فهرسية للاستخدام في عمليات البحث طلبا لللمعلومات لاحقا. بعض محركات البحث، مثل جوجل، تخزن كل أو بعض الصفحة المصدر (وتشير لها ب مخبوءة) وبالمثل معلومات عن صفحات الوِب، بينما بعضها تخزن كل كلمة من كل صفحة تجدها، مثل ألتاڤيستا. هذه الصفحة المخبوءة تمسك بنص البحث الفعلي بما أنه هو الذي تمت فهرسته فعليا، لذا فقد تكون مفيدة جدا عندما يكون محتوى الصفحة الحالية قد جرى تحديثه ولم تعد ألفاظ البحث فيه. ربما تعتبر هذه المشكلة شكلا خفيفا من تعفن الروابط، وتزيد معالجة جوجل لها من إمكانية الاستخدام بإرضاء توقعات المستخدم بأن ترد ألفاظ البحث في صفحات الوِب العائدة في الرد. وهو ما يرضي ’مبدأ مفاجأة أخف من مفاجأة‘ بما أن المستخدم يتوقع بشكل طبيعي ألفاظ البحث في النتيجة العائدة له. وهذه الصلة بالبحث تجعل هذه الصفحات المخبوءة مفيدة جدا، حتى أكثر من واقع أنها قد تحتوي على بيانات ربما لم تعد متاحة في موضع آخر.

عندما يتوجه مستخدم لمحرك البحث ويجري عملية بحث طلبا للمعلومات، كما هو سائد بإعطاء كلمات مفتاحية، يفتش المحرك في الفهرس ويقدم قائمة بصفحات الوِب الأفضل توافقا تبعا لمعاييره، في المعتاد مع ملخص قصير يحتوي على عنوان الوثيقة وأحيانا أجزاء من النص. معظم محركات البحث تدعم استخدام الاصطلاحات البولينية (نسبة للجبر البوليني وهو نوع من المتغيرات المنطقية): AND وOR وNOT لمزيد من تحديد طلب المعلومات. وهناك خدمة وظيفية متقدمة هي البحث بالتقارب، والتي تسمح لك بتحديد المسافة بين الكلمات المفتاحية، باستخدام ألفاظ مثل NEAR، NOT NEAR، FOLLOWED BY، NOT FOLLOWED BY، SENTENCE، FAR.

يعتمد مدى فائدة محرك بحث على مدى صلة النتائج التي يرد بها. فبينما قد تكون هناك ملايين صفحات الوِب التي تحتوي على كلمة أو عبارة محددة، قد تكون بعض أوثق صلة، أو أروج، أو معتمدة أكثر من غيرها. معظم محركات البحث توظف أساليب لوضع مراتب النتائج لتقدم أفضل النتائج أولا. الكيفية التي يقرر بها محرك بحث أي الصفحات هي الأفضل توافقا، وما النظام الذي يجب أن تظهر به النتائج، تختلف بشكل شاسع من محرك لآخر. الأساليب أيضا تتغير عبر الزمن بتغير استخدام إنترنت وتكنيكات جديدة تتطور.

معظم محركات البحث هي مضاربات تجارية يدعمها عائد إعلاني و، بالنتيجة، يوظف البعض الممارسة المثيرة للجدل بالسماح للمعلنين بدفع النقود ليرفعوا لهم قوائهم في مراتب نتائج البحث.

الأغلبية الكاسحة من محركات البحث تديرها شركات خاصة تستخدم خوارزميات ملكها وقواعد بيانات مغلقة، وأكثرها رواجا حاليا هي جوجل وباحث إمإسإن وياهو. توجد تقنية محركات بحث مفتوحة المصدر مثل إتشتيدِج، نتش، سيناز، إيجوثور وأوبنإفتيإس، ولكن ليس هناك خادم بحث وورلد وايد وِب مشاع يستخدم هذه التقنية.

جاء تطور محرك بحث الوِب من تطور محركات البحث على شبكات الأجهزة والشبكات الداخلية.

الموضوع الأصلي يمكننا القول بأن الشبكة ومواقعها لن تكون ذات فائدة كبيرة بالنسبة لنا لو لم تكن محركات البحث على إنترنت موجودة. في البدء كانت محركات البحث عبارة عن أدلاء تقوم بفهرسة مواقع الإنترنت الجديدة. وقد كان ذلك فعالا عندما كان حجم إنترنت يقدر بملايين الصفحات. ثم تطورت إنترنت، وانضم إليها الملايين من مؤسسات الأعمال، والمؤسسات الحكومية، وبلايين الصفحات من أدلة استخدام المنتجات، والمعلومات الخاصة بالمستثمرين، وغير ذلك من المعلومات التي تقوم بتسيير عجلة اقتصاد إنترنت. ومع هذا النمو أصبح من الضروري، بل ومن الحتمي إضافة محرك بحث فعال إلى كافة مواقع إنترنت، يقوم بفهرسة وتصنيف المعلومات الموجودة ضمن هذه المواقع كي تتمكن من خدمة زوارها بشكل فعال. واليوم، وبعد أن أصبحت محركات البحث جزءا أساسيا في حضارتنا الإنترنتية، فإن هناك العشرات من الشركات العاملة في مجال إنتاج برمجيات، وتقنيات، وأساليب بحث جديدة موجهة نحو إنترنت وإنترانت. وبسبب الدور المتزايد الذي تلعبه التجارة والأعمال الإلكترونية في اقتصاد اليوم، فإن الحافز المادي على الأقل موجود. ولكن رغم النجاح الذي تدّعي الشركات المنتجة لتقنيات البحث تحقيقه، فإن المستخدمين لا زالوا يشكون من افتقار محركات البحث إلى الدقة المطلوبة، وتلبية النتائج التي يتم تحصيلها لمتطلبات المستخدمين

إن مفتاح النجاح في الحصول على نتائج بحث جيدة، تكمن في نوعية الاستفسارات، أو الأسئلة، أو العبارات أو الكلمات المفتاحية التي نقوم بإدخالها في محركات البحث. لكن المشكلة الأساسية هنا تكمن في أن الغالبية العظمى من المستخدمين لا يقومون عادة بإدخال الاستفسارات أو الكلمات المفتاحية الصحيحة، والتي تؤدي إلى الحصول على النتائج المطلوبة، وسنستعرض فيما يلي المشاكل الشائعة في عالم البحث عن المعلومات، والطرق التي يحاول بها الباحثون معالجة هذه المشكلات.

يجمع العاملون في مجال محركات البحث بأن الحل لكافة هذه المشاكل يكمن في تصميم محركات البحث، وبرمجيات البحث عموما، بحيث تستفيد من برمجيات المعالجة الطبيعية للغة Natural Language Processingعموما، والمعالجة الطبيعية للمعنى Natural Meaning Processing، والاستفادة من قواعد اللغة. النقطة الأساسية هنا هي أن اللغة عموما مبنية على أساس قواعد ذات أساس شبيه بالمعادلات الرياضية، كما أن عبارات اللغة وكلماتها تكون مبنية حسب هيكلية معينة، فلكل جملة مبتدأ وخبر، أو فعل وفاعل ومفعول به، كما أن الكلمات تأتي عادة من جذور وأصول. وهذه الهيكلية المبنية ضمن اللغة تتناسب وطبيعة عمل برمجيات الحاسوب، والتي تحتاج إلى هيكلية معينة تنفذ على أساسها عملياتها. أما المعالجة الطبيعية للمعنى فهي أكثر صعوبة، فكلمة مثل "راحة" يمكن لها أن تعني عدة أشياء، كالارتياح بعد التعب، أو الراحة الأبدية والتي تعني الموت، أو راحة اليد. ولهذا فإن برمجيات البحث يجب أن تتمكن من فهم الكلمة ضمن سياق النص، ودور الكلمة في هذا السياق. ولكن حتى هذا الأسلوب لا يفلح دوما في فهم المعنى. جرب أن تقرأ ديوانا شعريا جيدا، وستجد أن هنالك الكثير من الكلمات الصعبة، والتي قد يحاول البعض فهمها من السياق، ولكننا عندما نعجز عن ذلك فإننا نتجه إلى القاموس. وهذا أسلوب يمكن لبرمجيات الحاسوب اتباعه، أي الاعتماد على قاموس أو فهرس بالكلمات والعبارات الشائعة الاستخدام، والبحث في السياق. وفيما يلي بعض مفاهيم البحث التي تعتمد على المعالجة الطبيعية للغة؛

انظر إلى أي موقع للتجارة الإلكترونية، وستجد أنه غير ذا فائدة تُذكر إذا لم يكن محرك البحث المستخدم به قادرا على نقلك إلى صفحة المنتج، أو المنتجات، التي تريدها خلال أسرع وقت ممكن. ولذلك نجد أن بوابات التجارة والأعمال الإلكترونية العالمية مثل Ebay وأمازون تعتبر برمجيات البحث أحد أهم موجوداتها وتسعى باستمرار إلى تحديثها. وقد قامت شركة Ebay قبل سنوات بشراء نظام بحث متقدم من شركة Fast Search & Transfer النرويجية، والتي كانت تنتج تقنية بحث جديدة تقوم بتقديم أحدث المعلومات للباحثين عن نتائج المزادات والأسعار المتداولة. كما أن أمازون ومواقع مثل Marthastewar.com تقوم بالتعامل مع شركة Google وAskJeeves بحيث يتم ربط المستخدمين بالبضائع التي يريدون شرائها من خلال كتابة سؤال اعتيادي ضمن مربع الاستعلام. وتقول الخبيرة مارثا فراي، وهي باحثة في شؤون التجارة الإلكترونية في مجموعة باتريشيا سيبولد، "يمكن القول بأن السبب الرئيس في فشل معظم مواقع التجارة الإلكترونية، يعود إلى اعتمادها لتقنيات بحث ضعيفة." كما اكتشفت مؤسسة ميديا ميتريكس للأبحاث بأن 80% من مستخدمي إنترنت، يتوقفون عن استخدام موقع ما إذا لم تعمل وظيفة البحث المضمنة فيه بالشكل الصحيح. ومن هنا كان السباق بين عدد من الشركات لتطوير تقنيات بحث متقدمة، يمكن للبشر الاعتياديين التعامل معها، والحصول على النتائج التي يريدونها تماما. وسنستعرض فيما يلي عددا من الشركات العالمية التي ابتكرت تقنيات يمكن لها أن تغير وجه إنترنت إلى الأبد.

يوجد على إنترنت اليوم بلايين الصفحات، وحسب المصادر المتوفرة فإنه قد تم حتى اليوم فهرسة ما يزيد قليلا على البليون صفحة. وتتسابق الشركات التي تقوم بفهرسة هذه الصفحات في إتاحتها لمستخدمي إنترنت، والحفاظ على سرعة الاستجابة التي يحصل عليها المستخدم. وإضافة إلى السرعة فإن على قواعد البيانات هذه أن تثبت وجودها بتقديم أجوبة "طازجة"، ومتناسقة، وذات علاقة بما يبحث عنه المستخدم. كما أن عجلة الابتكار لا تتوقف في مجال البحث، فموقع www.hotlinks.com يتيح للمستخدمين إمكانية حفظ مفضلاتهم Favorites ضمن دليل على إنترنت، وذلك كي تكون هذه المفضلات متاحة للمستخدم أينما كان، ويمكن للمستخدمين أن يختاروا مشاركة مفضلاتهم مع مستخدمي إنترنت الآخرين، وتمكين زوار الموقع من البحث على إنترنت من خلال البحث في مفضلات الآخرين، وبالتالي الحصول على معلومات رأى مستخدمون آخرون أنها مفيدة لدرجة وضع المواقع التي تحتويها ضمن مفضلاتهم. كما أن هناك مواقع للبحث مثل www.expertcentral.com والتي تقدم للباحثين إجابات متخصصة. وإضافة إلى ذلك فهناك العديد من محركات البحث التي تعتمد تقنيات الشبكات العصبية Neural Networks، ومحركات البحث التي يمكن تثبيتها على أجهزة المستخدمين، وفهرسة محتويات أقراصهم الصلبة. ونظرا للأهمية المتواصلة لمحركات البحث، فإن التقنيات الجديدة ستواصل ظهورها، وستواصل التقنية تطورها لتقديم نتائج أفضل للمستخدمين. وبظهور هذه التقنيات فإن بعضها سيفشل وبعضها سينجح، وستصبح التقنيات الناجحة جزءا من محركات البحث المستخدمة اليوم.

• استبعاد الكلمات الشائعة
• فجوة المفردات
• بحث بكلمات رئيسية

• Search Engines على مشروع الدليل المفتوح
• "Book Search Engine"، مؤرشف من الأصل في 27 ديسمبر 2018.
• "List of 42 Advanced Search Operators" (باللغة الإنجليزية)، مؤرشف من الأصل في 12 سبتمبر 2018.

• بوابة إنترنت
• بوابة تقنية المعلومات
• بوابة عقد 1990
• بوابة علم الحاسوب
• بوابة علم المكتبات والمعلومات