نظرية المعلومات

الإنتروبية الخاصة بمحاولات بيرنولي Bernoulli trial كدالة في احتمال النجاح، وعادة ما يطلق عليها binary entropy function, ${\displaystyle H_{\mbox{b}}(p)}$. تصل الأنتروبية إلى قيمتها القصوى والتي تبلغ 1 نبضة ثنائية (بت) لكل محاولة حين يكون لكل قيمة من قيمتي الخرج المحتملتين نفس القيمة، كما هو الحال عند إلقاء عملة غير منحازة.

وتعتبر انتروبي، ${\displaystyle H}$, الخاصة بمتغير عشوائي غير متصل ${\displaystyle X}$ مقياسًا لكمية الشك المرتبطة بقيمة ${\displaystyle X}$.

لنفرض أن أحد الأشخاص قام بإرسال 1000 نبضة ثنائية (صفر وواحد). إذا كانت هذه النبضات الثنائية معروفة قبل الإرسال (أي معروفة قيمتها بتحديد مطلق)، فإن المنطق يحتِّم أن نقول أنه لم يتم إرسال أية معلومات في هذه الحالة. ولكن، إذا كانت كل نبضة ثنائية مستقلة عن الأخرى وذات احتمال متساوٍ في أن تكون صفر أو واحد، فإننا نقول أنه تم إرسال 1000 نبضة ثنائية (من وجهة نظر نظرية المعلومات). وبين هاتين الحالتين المتباينتين، يمكن تحديد كم المعلومات كما يلي.

إذا كان ${\displaystyle \mathbb {X} }$ يعبر عن المجموعة التي تضم كل القيم الممكنة التي يمكن أن تأخذها ${\displaystyle \{x_{1},...,x_{n}\}}$ that ${\displaystyle X}$ could be, وكان ${\displaystyle p(x)}$ هو احتمال قيمة ما تسمى ${\displaystyle x\in \mathbb {X} }$, فإن الإنتروبية ويرمز لها بالرمز، ${\displaystyle H}$, of ${\displaystyle X}$ تعرّف على أنها:[1]

${\displaystyle H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).}$

وهنا، يرمز الرمز ${\displaystyle I(x)}$ إلى المضمون المعلومي، وهي مدى إسهام كل رسالة منفصلة في الإنتروبية، ويرمز الرمز ${\displaystyle \mathbb {E} _{X}}$ إلى القيمة المتوقعة قيمة متوقعة.) أحد الخصائص الهامة للإنتروبية هي أنها تبلغ الحد الأقصى حين تكون كل الرسائل المتاحة في مجال الرسائل متساوية الاحتمال ${\displaystyle p(x)=1/n}$,—أي أنها يصعب التنبؤ بها إلى أقصى درجة — وفي هذه الحالة يكون ${\displaystyle H(X)=\log n}$.

الحالة الخاصة لإنتروبية المعلومات التي تمثل متغير عشوائي ثنائي هي binary entropy function, وهي عادة ما تكون محسوبة بالنسبة لأساس اللوغاريتم 2:

${\displaystyle H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).\,}$

ومن المهم أن نلاحظ هنا أن قيمة الإنتروبية (كما هو موضح في الشكل، تكون صفرًا عندما تكون قيمة المتغير العشوائي معروفة بدون أدنى شك. وهو ما يناظر الحالة التي تكون فيها ${\displaystyle p=1}$ أو ${\displaystyle p=0}$ إذ أن المتغير لا يحمل أي معلومات في هذه الحالة. ولكي نفهم ذلك، فكِّر في كم المعلومات التي تحصل عليها عندما يخبرك أحد الأشخاص بحقيقة كونية ثابتة، مثل: «الشمس تشرق من الشرق». إذ أن احتمال حدوث ذلك هو احتمال مؤكد وبالتالي لا تحصل على أي معلومة. وسوف يأتي الحديث إلى مسألة «ضغط البيانات» والتي نحاول فيها الوصول إلى أقل حجم لتمثيل بيانات عشوائية. وسوف نعرف حينئذ أن قيمة الإنتروبية هي أقل قيمة يمكن تمثيل المتغير العشوائي بها. في المثال الموجود أعلاه، والذي يفترض إرسال 1000 نبضة ثنائية من متغير عشوائي، وبفرض أن يأخذ المتغير العشوائي قيمة "1" هي 0.1 فإن الشكل يبين أن قيمة الإنتروبية حوالي 0.5 نبضة ثنائية (بِت). وبالتالي فإن نظرية المعلومات تخبرنا أن 1000 نبضة ثنائية مولّدة من هذا المتغير يمكن التعبير عنها بـ 500 نبضة فقط. وهذا العلم هو الذي يعرف باسم "ترميز المصدر" (Source Coding) أي اختيار أنسب مجموعة من الرموز يمكنها تمثيل مخرجات المتغير العشوائي/المصدر بأقل قدر من النبضات الثنائية.

تعبِّر الإنتروبية المشتركة لمتغيرين عشوائيين متقطعين ${\displaystyle X}$ و${\displaystyle Y}$ عن الإنتروبية الخاصة بهما معًا عندما يكونان زوجًا: ${\displaystyle (X,Y)}$. ويعني هذا ضمنيًا أنه إذا كان المتغيران ${\displaystyle X}$ و${\displaystyle Y}$ مستقلان إحصائيًا أي استقلال (نظرية الاحتمال), فإن الإنتروبية المشتركة لهما لن تعدو أن تكون مجموع إنتروبية كل منهما. ولكن القيمة الحقيقية للإنتروبية المشتركة تظهر في حالة المتغيرات العشوائية المترابطة. فعلى سبيل المثال، إذا كان المتغيران ${\displaystyle X}$ و${\displaystyle Y}$ يعبران عن درجة الحرارة في مكانٍ ما ومعدل الإصابة بضربات الشمس في نفس المكان، فإننا نتوقع أن يكون المتغيران مرتبطان، وبالتالي فإن مقياس كم المعلومات الموجود فيهما معًا (الإنتروبية المشتركة) يكون أقل من مجموعهما، نظرًا لأن هناك جزء من المعلومات التي نتعلمها من المتغير العشوائي الأول يمكن أن تفيدنا في معرفة شيء ما عن المتغير العشوائي الثاني والعكس بالعكس.

مثال آخر، إذا كان ${\displaystyle (X,Y)}$ يمثلان موقع قطعة شطرنج — حيث يمثل ${\displaystyle X}$ الصف ويمثل ${\displaystyle Y}$ العمود، فإن الإنتروبية المشتركة للإثنين معًا هي الإنتروبية التي تعبر عن مكان القطعة على لوحة الشطرنج. وبتطبيق نفس تعريف الإنتروبية على احتمالات المتغيرين العشوائيين معًا فإن الإنتروبية المشتركة يمكن حسابها من العلاقة:

${\displaystyle H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,}$

وعلى الرغم من تشابه الرمز المعبر عن الإنتروبية المشتركة مع الرمز المعبِّر عن، الإنتروبية المتقاطعة cross entropy إلا أنه ينبغي ألا نخلط بينهما.

وقبل أن نستكمل الحديث عن كميات قياس المعلومات، لابد من التنويه عن أن الترابط بين متغيرين عشوائيين يجعل الإنتروبية المشتركة لهما أقل من مجموع الإنتروبية الخاصة بكلٍ منهما على حدة. إذ كلما زاد الترابط بين المتغيرين كانت معرفة أحدهما تُغنى عن معرفة الآخر.

ولفهم هذا المبدأ دعونا ننظر إلى الحالتين المتناقضتين: الأولى إذا كان المتغيران العشوائيان متطابقين، كأن يكون كلٌ من ${\displaystyle X}$ و${\displaystyle Y}$ متساويين، من البديهى في هذه الحالة أن المعلومات (الإنتروبية) المشتركة (المتضمنة في المتغيرين معًا) لا تزيد عن المعلومات المتضمنة في واحدٍ فقط منهما. وعلى النقيض في الحالة الثانية، إذا كان المتغيران لا توجد بينهما أية علاقة، فإن المعلومات التي يحملانها معًا (الإنتروبية المشتركة لهما) تساوى مجموع المعلومات في ${\displaystyle X}$ والمعلومات في ${\displaystyle Y}$ وهي الإنتروبية الخاصة بكل منهما.

تقيس المعلومات المتبادلة (Mutual Information) كم المعلومات التي يمكن الحصول عليها من متغير عشوائي (مصدر معلومات) من خلال ملاحظة متغير عشوائي (مصدر معلومات) آخر. وهي من الكميات الهامة في أنظمة الاتصالات حيث يساعد فهم مقدار المعلومات المتبادلة في زيادة كم المعلومات المتبادل بين الإشارات المرسلة والإشارات المستقبلة (كما سيأتي تفصيله فيما بعد). وتقاس كمية المعلومات المتبادلة بين متغير عشوائي ${\displaystyle X}$ ومتغير عشوائي آخر ${\displaystyle Y}$ طبقًا للمعادلة:

${\displaystyle I(X;Y)=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}}$

وقبل أن نبدأ في سرد خواص المعلومات المتبادلة، يجب التنويه إلى معنى هذه القيمة وعلاقتها بالإنتروبية المشتركة التي سبق الحديث عنها: حيث أن حاصل طرح: مجموع المعلومات في كلٍ ${\displaystyle X}$ و${\displaystyle Y}$ (وهو المجموع الذي يعبر عن ${\displaystyle H(X)}$ زائد ${\displaystyle H(Y)}$ أي قدر المعلومات التي يحويها كلاهما إذا افترضنا عدم وجود ارتباط بينهما)، ناقص الإنتروبية المشتركة (وهي تعبر عن إجمالي المعلومات التي يعبر عنها ${\displaystyle X}$ و${\displaystyle Y}$ معًا) يعطينا المعلومات المعلومات المتبادلة (وهي المعلومات التي يعطيها أحدهما- وليكن ${\displaystyle X}$ - عن الآخر وليكن ${\displaystyle Y}$). ونعبر عن هذا بالمعادلة الرياضية

${\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)}$، والتي تكافئ تعريف الإنتروبية المشتركة ${\displaystyle H(X;Y)=H(X)+H(Y)-I(X,Y)}$،

ولمزيد من التوضيح إذا طرحنا المعلومات المتبادلة ${\displaystyle I(X;Y)}$ من المعلومات التي يحتويها المتغير العشوائي ${\displaystyle Y}$ فإن هذا يعطينا كم المعلومات المتبقي (أي الغير معروف بعد) في ${\displaystyle X}$ بعد معرفة ${\displaystyle Y}$ بالكامل. وهي كمية أخرى سيأتي الحديث عنها باسم الإنتروبية المشروطة (Conditional Entropy) ويرمز لها بالرمز ${\displaystyle H(X|Y)}$.

ومن الخصائص الأساسية للمعلومات المتبادلة أن: ${\displaystyle I(X;Y)=H(X)-H(X|Y)}$، وتفسير هذه المعادلة، أنه بمعرفة، Y, يمكننا توفير كم من النبضات الثنائية (بِت) يساوي في المتوسط ${\displaystyle I(X;Y)}$ عند ترميز المتغير العشوائي ${\displaystyle X}$ بالمقارنة بما يحتاجه هذا الترميز إذا لم يكن المتغير ${\displaystyle Y}$ معروفًا.

وهو ما يعني ببساطة أن المعلومات التي أعطاها لنا ${\displaystyle Y}$ عن ${\displaystyle X}$ تمثل الفرق بين ما كنّا نجهله عن ${\displaystyle X}$ قبل وبعد معرفة ${\displaystyle Y}$.

المعلومات المتبادلة symmetric:

${\displaystyle I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).\,}$

أي أن المعلومات التي يحملها كل من المتغيرين العشوائيين عن الآخر متساوية.

ولمزيد من التوضيح لأهمية هذه الكمية وتطبيقاتها: دعونا نتخيل أن ${\displaystyle X}$ يعبر عن البيانات المرسلة عبر قناة اتصال، بينما يعبر ${\displaystyle Y}$ عن البيانات الخارجة (المستقبلة) منها. في هذه الحالة، فإن الاختلاف بين ${\displaystyle X}$ و${\displaystyle Y}$ يعود إلى ما تتعرض له الإشارات من تداخل وشوشرة عبر قنوات الاتصال. وتعبر المعلومات المتبادلة عن كم المعلومات التي يحتويها ${\displaystyle X}$ والتي أمكن تمريرها عبر القناة. ومن هنا، يكون من الطبيعي وجود علاقة بين سعة قناة الاتصال وبين المعلومات المتبادلة بين طرفيها. وهو ما يعرف باسم سعة القناة. وببساطة شديدة، ونظرًا لاعتماد المعلومات المتبادلة على إنتروبية المتغير العشوائي ${\displaystyle X}$، تكون سعة القناة هي أقصى قيمة يمكن أن تأخذها المعلومات المتبادلة مع جميع المتغيرات العشوائية الممكنة. ولعل معرفة سعة القناة هو أحد أكبر إنجازات نظرية المعلومات في مجال الاتصالات، حيث تمثل هذه السعة الحد الأقصى لما يمكن أن تحققه أنظمة الاتصالات بغض النظر عن أسلوب عملها، وقد أمكن الربط بين هذه السعة وبين خصائص كود تصحيح الخطأ.

• علم التعمية،
• مقامرة Gambling

• كلود إيلود شانون
• رالف هارتلي