تباعد كولباك - ليبلير

في الاحصاء الرياضي ، فإن تباعد كولباك - ليبلير (وتسمى أيضا الانتروبية النسبية) (بالإنجليزية: Kullback–Leibler divergence)‏ هو مقياس لمدى اختلاف توزيع احتمالي واحد عن توزيع احتمالي مرجعي آخر.[1][2] تتضمن تطبيقات تباعد كولباك - ليبلير توصيف اعتلاج شانون (Shannon) النسبي في نظم المعلومات، والعشوائية في السلاسل الزمنية المستمرة، واكتساب المعلومات عند مقارنة النماذج الإحصائية للاستدلال. على النقيض من تباين المعلومات، فإن تباعد كولباك - ليبلير هو مقياس غير متساوي من حيث التوزيع وبالتالي فهو غير مؤهل كمقياس إحصائي للانتشار. في الحالة البسيطة، يشير تباعد كولباك - ليبلير ذو القيمة 0 إلى أن التوزيعتين المعنيتين متطابقتان. وهو يبقى مقياس مهم بالنسبة لتطبيقات عديدة مثل الإحصاءات التطبيقية، ميكانيكا الموائع، علم الأعصاب والتعلم الآلي .

أصل الكلمة

تم تقديم تباعد كولباك - ليبلير بواسطة سولومون كولباك (Solomon Kullback) وريتشارد ليبلير (Richard Leibler) في عام 1951 باعتباره اختلافاً موجهاً بين توزيعتين؛ يفضل كولباك مصطلح معلومات التمييز.[3] وقد تمت مناقشة الاختلاف في كتاب كولباك لعام 1959 ، نظرية المعلومات والإحصاء .[2]

مراجع

Kullback, S.؛ Leibler, R.A. (1951)، "On information and sufficiency"، Annals of Mathematical Statistics، 22 (1): 79–86، doi:10.1214/aoms/1177729694، MR 0039968.
Kullback, S. (1959)، Information Theory and Statistics، جون وايلي وأولاده ^{[الفرنسية]}‏، {{استشهاد}}: صيانة CS1: extra punctuation (link). Republished by Dover Publications in 1968; reprinted in 1978: (ردمك 0-8446-5625-9).
Kullback, S. (1987)، "Letter to the Editor: The Kullback–Leibler distance"، ذا أمريكان ستاتيستيشين، 41 (4): 340–341، doi:10.1080/00031305.1987.10475510، JSTOR 2684769.

بوابة تعمية
بوابة رياضيات

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] Kullback, S.؛ Leibler, R.A. (1951)، "On information and sufficiency"، Annals of Mathematical Statistics، 22 (1): 79–86، doi:10.1214/aoms/1177729694، MR 0039968.

[Kullback-2] Kullback, S. (1959)، Information Theory and Statistics، جون وايلي وأولاده ^{[الفرنسية]}‏، {{استشهاد}}: صيانة CS1: extra punctuation (link). Republished by Dover Publications in 1968; reprinted in 1978: (ردمك 0-8446-5625-9).

[3] Kullback, S. (1987)، "Letter to the Editor: The Kullback–Leibler distance"، ذا أمريكان ستاتيستيشين، 41 (4): 340–341، doi:10.1080/00031305.1987.10475510، JSTOR 2684769.