انحدار لوجستي

• نعتبر عينة ${\displaystyle \Omega }$ سعتها ${\displaystyle n}$، يشار لكل فرد (ملاحظة إحصائية) في العينة بالرمز ${\displaystyle \omega }$.
• ${\displaystyle Y}$ هو المتغير النوعي المراد تفسيره ويحتمل قيمتين {0,1}. قيمة ${\displaystyle Y}$ بالنسبة للفرد ${\displaystyle \omega }$ يرمز لها ب ${\displaystyle Y(w)}$.
• ${\displaystyle X=(X_{1},X_{2},...,X_{p})}$ هي المتغيرات المفسرة ويمكن أن تكون رقمية أو نوعية. قيمة المتغيرات المفسرة بالنسبة للفرد ${\displaystyle \omega }$ يرمز لها ب ${\displaystyle X(\omega )=(X_{1}(\omega ),X_{2}(\omega ),...,X_{p}(\omega ))}$.
• الاحتمالان القبليان لتحقق القيمتين 0 أو 1 يشار إليهما ب ${\displaystyle P(Y=1)}$ و ${\displaystyle P(Y=0)}$. وهما يساويان تباعا النسب الملاحظة للقيمتين 0 و 1 في العينة. الاحتمال هنا قبلي بمعنى أنه لا يستلزم معرفة قبلية بقيم ${\displaystyle X}$.
• الاحتمالان الشرطيان لتحقق قيمة معينة ل ${\displaystyle Y}$ بمعرفة إضافية لقيم ${\displaystyle X=(X_{1},X_{2},...,X_{p})}$ يشار إليهما تباعا ب ${\displaystyle P(Y=1/X)}$ و ${\displaystyle P(Y=0/X)}$. يشار للاحتمال الشرطي اللازم تقديره بالنسبة للفرد ${\displaystyle \omega }$ ب ${\displaystyle \pi (\omega )}$.

نموذج الانحدار اللوجستي يحاول تفسير دالة لوجيت المتغير المراد تفسيره بدلالة توليف خطي للمتغيرات المفسرة:

${\displaystyle ln{\frac {P(Y=1/X)}{1-P(Y=1/X)}}=a_{0}+a_{1}X_{1}+...+a_{p}X_{p}}$، بحيث ${\displaystyle a_{i}}$ (${\displaystyle i}$ من 0 إلى ${\displaystyle p}$ هي معاملات النموذج التي يجب تقديرها).

وهو ما يمكن من تقدير الاحتمال الشرطي حسب الصيغة التالية:

${\displaystyle P(Y=1/X)={\frac {e^{a_{0}+a_{1}X_{1}+...+a_{p}X_{p}}}{1+e^{a_{0}+a_{1}X_{1}+...+a_{p}X_{p}}}}}$

• يتم تثبيت متجهة المعاملات ${\displaystyle A}$ في قيمة بدئية ${\displaystyle A_{0}}$ (تكون مقتصرة مثلا فقط على قيمة ${\displaystyle a_{0}=1}$ للمعامل الثابت و0 لباقي المعاملات).
• يتم تكرار حساب قيم ${\displaystyle A}$ حسب الخوارزمية: ${\displaystyle A_{i+1}=A_{i}-({\frac {\partial ^{2}L}{\partial A\partial A'}})^{-1}\times {\frac {\partial L}{\partial A}}}$ بحيث:
  • ${\displaystyle \nabla {A}={\frac {\partial L}{\partial A}}}$ هي متجهة الاشتقاق الجزئي من الدرجة الأولى لدالة تقدير الاحتمال، وهي أيضا متجهة تدرج (Gradient) تؤول إلى 0 في جوار القيمة المثلى. تساوي قيم المتجهة: ${\displaystyle \nabla (a_{j})=\sum _{\omega }(y-\pi )\times x_{j}}$
  • ${\displaystyle H(a)={\frac {\partial ^{2}L}{\partial A\partial A'}}}$ هي متجهة الاشتقاق الجزئي من الدرجة الثانية لدالة تقدير الاحتمال.
  • ${\displaystyle A_{i}}$ هي متجهة الحل المؤقت في المرحلة ${\displaystyle i}$ من الحساب.

هناك ثلاثة معايير لضبط مآل الخوارزمية (وهي وسائط يمكن ضبطها في البرامج الإحصائية):

• عدد مرات التكرار أو الاستدعاء الذاتي للطريقة.
• ${\displaystyle \epsilon }$ المستوى الأدنى المقبول لتغير ${\displaystyle \Delta LL}$، إذا كانت ${\displaystyle \Delta LL<\epsilon }$ ${\displaystyle \Leftarrow }$ توقف.
• ${\displaystyle \epsilon '}$ المستوى الأدنى المقبول لتغير ${\displaystyle \Delta {\widehat {A}}}$، إذا كانت ${\displaystyle \Delta {\widehat {A}}<\epsilon '}$ ${\displaystyle \Leftarrow }$ توقف.

${\displaystyle H(A)}$ مصفوفة هيسية، حيزها ${\displaystyle (P+1)\times (P+1)}$ وتكمن أهميتها في كون معكوستها تساوي مصفوفة تغاير المعاملات، وهي بذلك حاسمة في مرحلة اختبارات الدلالة الإحصائية للمعاملات. يمكن أيضا كتابتها (باستعمال المصفوفات) على الشكل التالي:

${\displaystyle H(A)={}(X'VX)^{-1}}$ مع ${\displaystyle H(j_{1},j_{2})=\sum _{\omega }(x_{j_{1}}\times x_{j_{2}}\times \pi \times (1-\pi ))}$ و ${\displaystyle V}$ هي المصفوفة القطرية المشكلة من القيم ${\displaystyle \pi (1-\pi )}$.

يمكن التعبير عن خوارزمية تقدير المعاملات عبر الكتابة المصفوفاتية حسب الشكل التالي:

${\displaystyle {\overrightarrow {A_{i+1}}}={\overrightarrow {A_{i+1}}}+({}^{t}XVX)^{-1}X({\overrightarrow {y}}-{\overrightarrow {p}})}$.

يمكن تطبيق تقنية الانحدار اللوجستي في إكسل يدويا (أي بدون استعمال وظائف معرفة قبليا) فقط عبر توليف الأدوات الحسابية المتوفرة واستعمال البرنامج المساعد Solver لإيجاد المقدرات المثلى للنموذج، وذلك عبر اتباع الخطوات التالية:

• تنظيم جدول البيانات بالتمييز بين المتغير النوعي المراد تفسيره ${\displaystyle Y}$ والمتغيرات المفسرة ${\displaystyle X(\omega )=(X_{1}(\omega ),X_{2}(\omega ),...,X_{p}(\omega ))}$.
• تثبيت قيم بدئية لمتجهة المعاملات: ${\displaystyle {\widehat {a_{0}}}=(1,0,...,0)}$.
• بالنسبة لكل فرد إحصائي في جدول البيانات:
  1. حساب المقدار ${\displaystyle C(x)=a_{0}+a1x_{1}+...+a_{p}x_{p}}$
  2. ثم حساب المقدار ${\displaystyle \pi (x)={\frac {1}{1+e^{-C(x)}}}}$ الذي يشكل تقديرا للاحتمال الشرطي بدلالة المعلومات المفسرة المتضمنة في المتغيرات${\displaystyle X}$.
  3. حساب المساهمة الفردية في ${\displaystyle LL}$ (لوغاريتم تقدير الاحتمال): ${\displaystyle LL(x)=y\times ln(\pi )+(1-y)\times ln(1-\pi )}$
• حساب الانحراف الراسب ${\displaystyle D_{m}=-2LL}$ عبر جمع المساهمات الفردية.
• تشغيل خوارزمية استمثال باستعمال البرنامج المساعد Solver لحل البرنامج التالي:${\displaystyle {\begin{cases}minD_{m}\\Constraint\rightarrow {\widehat {a}}\end{cases}}}$ والذي سيقوم بمحاكاة مجموعة كبيرة من التوليفات لقيم متجهة المعاملات ${\displaystyle {\widehat {a}}}$ (التي تمثل قيد برنامج الاستمثال) حتى بلوغ أقل قيمة ممكنة ل${\displaystyle D_{m}}$.

توفر بيئة آر العديد من المكتبات لتطبيق الانحدار اللوجستي:

• وظيفة glm المتوفرة في مكتبة stats
• وظيفة lrm المتوفرة في مكتبة rms
• وظيفة gm_logistic المتوفرة في مكتبة Rfast

يجب أن يكون التقييم مرافقا لعملية النمذجة منذ بدايتها، بدءا من التعريف الأولي للمسألة المراد نمذجتها إلى غاية حساب المعاملات وهوامش الخطأ. على العموم، تشمل عملية التقييم المراحل التالية:

1. حصر المتغيرات المفسرة: هذه المرحلة تفرض إلماما وحدا أدنى من الخبرة في المجال الذي تطبق فيه النمذجة. اقتراح المتغيرات يجب أن يكون مسندا بحد أدنى من التأصيل النظري الذي يسمح بترشيحها كعوامل محتملة لتفسير المتغير ${\displaystyle Y}$.
2. تقدير المعاملات انطلاقا من عينة إحصائية ${\displaystyle \Omega }$ : يشمل التقييم هنا مدى احترام العينة للمنهج العلمي في عملية الاعتيان وهل تم تفادي (أو تقليل) التحيزات المعرفية أثناء عملية السبر، خصوصا في حالة المتغيرات النوعية الواصفة للأراء الشخصية.
3. تقييم دقة تقدير المعاملات: بوضع مجالات ثقة للمعاملات ومستوى دلالتها الإحصائية.
4. تقدير قوة النموذج التفسيرية : بمعنى هل يمكن النموذج من توقع مقبول لقيم ${\displaystyle Y}$ في العينة.
5. التصديق على وجود حد أدنى من الارتباط بين ${\displaystyle Y}$ والمتغيرات المفسرة ${\displaystyle X}$.
6. ترتيب المتغيرات المفسرة ${\displaystyle X=(X_{1},X_{2},...,X_{p})}$ حسب مساهمتها في تفسير ${\displaystyle Y}$.
7. تقدير تأثير مكونات العينة على نجاعة النموذج : يجب أن يشمل هذا التقييم حساسية النموذج لتغيرات قيم العينة ومدى تأثير القيم القصوى (الغير اعتيادية) على معاملات النموذج وقوته التفسيرية.

يندرج الانحدار اللوجستي ضمن طرق التعلم الآلي المراقب، ومن أهم طرق التقييم في هذا المجال أن تتم مقارنة قوة النموذج الناتج مع نموذج مرجعي يسمى المصنف المرجعي أو البديهي (Default Classifier). النموذج المرجعي هو بكل بساطة نموذج بديهي (Trivial) يفسر ${\displaystyle Y}$ دون معرفة بقيم المتغيرات ${\displaystyle X=(X_{1},X_{2},...,X_{p})}$، ويعتبر بذلك نموذجا بدئيا (Null Model) يقتصر فقط على المعامل الثابت ${\displaystyle a_{0}}$.

انطلاقا من مبدأ التقتير، أحد المبادئ الأساسية لعلم الإحصاء، يجب أن يكون أي نموذج انحدار مقترح على الأقل أحسن من النموذج المرجعي. يتم التقييم عبر المراحل التالية:

1. تقدير قيمة المعمل الثابت ${\displaystyle a_{0}}$ للنموذج المرجعي ${\displaystyle M_{0}}$: ${\displaystyle ln{\frac {P(Y=1/X)}{1-P(Y=1/X)}}=a_{0}}$.
2. حساب الانحراف الراسب ${\displaystyle D_{0}}$.
3. حساب الشبه - معاملات تحديد (Pseudo-R²) والتي تمثل مقاييسا لجودة النموذج (كلما اقتربت قيمتها من 1، كان النموذج ذا قوة تفسيرية معتبرة) وتكون دائما بدلالة الانحرافين الراسبين ${\displaystyle D_{m}}$ و ${\displaystyle D_{0}}$.

شبه معاملات التحديد يمكن قراءتها أيضا كتقدير لنسبة مساهمة المتغيرات ${\displaystyle X=(X_{1},X_{2},...,X_{p})}$ في تفسير المتغير ${\displaystyle Y}$. مثلا معامل بقيمة 0.2 يعني أن 80% من الظواهر المفسرة أو المؤثرة في ${\displaystyle Y}$ هي مضمرة وأن النموذج المقترح لا يفسر إلا 20 بالمائة من الظاهرة المدروسة. من المهم التأكيد على أن هذا المؤشر لا يحتمل قراءات معاملات التحديد في نموذج الانحدار الخطي (التي يفترض فيها تجاوز مستويات قبول معينة، 0.5 مثلا)، في هذا السياق، يكفي أن يكون غير منعدم (مثلا أكبر من 0.1) لكي يكون النموذج المقترح له قابلية التصديق، بمعنى أنه يفسر المتغير ${\displaystyle Y}$ أحسن من النموذج البديهي. في ما يلي أكثر المعاملات استعمالا مع صيغها الرياضية:

أكثر شبه معاملات التحديد استعمالا في تقييم نماذج الانحدار اللوجستي

شبه معامل التحديد (Pseudo-R²)	الصيغة
R² ماك فادن McFadden	${\displaystyle R_{MF}^{2}=1-{\frac {LL_{m}}{LL0}}}$
R² كوكس وسنيل Cox & Snell	${\displaystyle R_{CS}^{2}=1-({\frac {L_{0}}{L_{m}}})^{(2/n)}}$
R² ناغيلكرك Nagelkerke	${\displaystyle R_{N}^{2}={\frac {R_{CS}^{2}}{(1-L_{m})^{(2/n)}}}}$

التقييم الخارجي لا يرتبط بالطريقة بحد ذاتها، فالتقنيات التالية تستعمل في تقييم طرق تعلم آلي مراقب أخرى وتتمثل في تطبيق النموذج المراد تقييمه على عينات البيانات الأصلية أو أخرى مختلفة، ويتم التصديق على النموذج حسب قوته التوقعية لقيم المتغير المراد تفسيره.

مصفوفة الإرباك هي جدول يواجه القيم الحقيقية ل ${\displaystyle Y}$ بالقيم المتوقعة ${\displaystyle {\widehat {Y}}}$، خيث يتم حساب مؤشرات لجودة التوقع ونسبة الخطأ، وأيضا بنية الخطأ الإحصائي للنموذج المقترح. تكون مصفوفة الإرباك على الشكل التالي:

بنية عامة لمصفوفة إرباك

	${\displaystyle {\widehat {Y}}=1}$	${\displaystyle {\widehat {Y}}=0}$	المجموع
${\displaystyle Y=1}$	${\displaystyle a}$	${\displaystyle b}$	${\displaystyle a+b}$
${\displaystyle Y=0}$	${\displaystyle c}$	${\displaystyle d}$	${\displaystyle c+d}$
المجموع	${\displaystyle a+c}$	${\displaystyle b+d}$	${\displaystyle a+b+c+d}$

بحيث:

• ${\displaystyle a}$: عدد أفراد العينة الذين صح توقع قيمتهم الحقيقية 1 وفق النموذج. يصطلح عليهم بالقيم الإيجابية الصحيحة.
• ${\displaystyle b}$: عدد أفراد العينة الذين خاب توقع قيمتهم الحقيقية 1 وفق النموذج. يصطلح عليهم بالقيم السلبية الخاطئة.
• ${\displaystyle c}$: عدد أفراد العينة الذين صح توقع قيمتهم الحقيقية 0 وفق النموذج. يصطلح عليهم بالقيم السلبية الصحيحة.
• ${\displaystyle d}$: عدد أفراد العينة الذين خاب توقع قيمتهم الحقيقية 0 وفق النموذج. يصطلح عليهم بالقيم الإيجابية الخاطئة.

نسبة خطأ النموذج هي نسبة التصنيفات الخاطئة بين أفراد العينة: ${\displaystyle \epsilon ={\frac {b+c}{n}}=1-{\frac {a+d}{n}}}$ وتقابلها نسبة النجاح: ${\displaystyle \theta ={\frac {a+d}{n}}}$.

يلاحظ بأن المؤشرين محايدان بالنسبة للقيم الإيجابية والسلبية. في بعض السياقات، يكون من المهم تقييم النموذج وفق قدرته التوقعية لقيم محددة (مثلا، الإيجابية فقط)، لذلك تم تطوير مؤشرات أخرى لتقييم النماذج حسب دقتها أو حساسيتها أو بتوليف المعيارين معا:

• حساسية النموذج هي نسبة التوقعات الإيجابية الصحيحة: ${\displaystyle S_{e}={\frac {a}{a+b}}}$
• دقة النموذج هي نسبة التوقعات الإيجابية الصحيحة ضمن التوقعات الإيجابية: ${\displaystyle P_{r}={\frac {a}{a+c}}}$ ويصطلح عليه في بعض المراجع بالقيمة التوقعية الإيجابية.
• خصوصية النموذج هي نسبة التوقعات السلبية الصحيحة: ${\displaystyle S_{p}={\frac {d}{c+d}}}$ وتقابلها نسبة القيم الإيجابية الخاطئة: ${\displaystyle 1-S_{p}={\frac {c}{c+d}}}$.
• مقياس فيشر (F-mesure) وهو مؤشر يأخذ بعين الاعتبار الدقة والحساسية في آن واحد، ويمكن عبر وزن متغير ${\displaystyle \beta }$ من ترقية معيار الدقة على حساب الحساسية أو العكس، فأحيانا، في سياقات يكون فيها تحقق القيمة الإيجابية ذا تأثير جسيم ومهم على الفرد الإحصائي، يستحسن تقييم النموذج أساسا حسب قدرته على توقع القيم الإيجابية. بالمقابل، عندما تكون للقيمتين الإيجابية والسلبية نفس الأهمية، يفضل تحقيق التوازن بين الدقة والحساسية:
  • مقياس فيشر لوزن محدد ${\displaystyle \beta \in \mathbb {R} }$: ${\displaystyle F.mesure_{\beta }=F_{\beta }={\frac {(1+\beta ^{2})S_{e}P_{r}}{\beta ^{2}S_{e}+P_{r}}}}$
  • قيمة ${\displaystyle \beta =1}$ هي القيمة الموازنة بين معياري الحساسية والدقة.
  • ${\displaystyle \beta <1}$ تمنح امتيازا للدقة على حساب الحساسية.
  • ${\displaystyle \beta >1}$ تمنح امتيازا للحساسية على حساب الدقة.

للإشارة، فمقياس فيشر هو متوسط توافقي للدقة والحساسية، فباعتبار ${\displaystyle \alpha }$ بحيث ${\displaystyle \beta ^{2}={\frac {1-\alpha }{\alpha }}}$ : ${\displaystyle F_{\beta }={\frac {1}{\alpha {\frac {1}{Pr}}+(1-\alpha ){\frac {1}{Se}}}}}$

تحليل مصفوفة إرباك النموذج اللوجستي المقترح لا يجب أن يقتصر فقط على حساب نسبة الخطأ، بل يجب أن يعتمد أولا على الفهم الجيد لطبيعة القيم الإيجابة والسلبية ولوقعها وجسامتها لدى الأفراد الإحصائيين موضوع الدراسة. من صيغ المؤشرات، يلاحظ بأن نسبة الخطأ مؤشر تناظري (يعامل القيمة الإيجابية والسلبية بنفس الطريقة) بينما يميل مؤشرا الحساسية والدقة لتقييم النموذج حسب دقته في توقع القيم الإيجابية، وبالتالي إذا تم تفضيل النماذج حسب معيار الحساسية يتم تقويض معياري الدقة والخصوصية، مما يستلزم دراسة متأنية للمؤشرات تضمن التوازن الأمثل بين مجمل هذه المعايير:

• نسبتا الخطأ ${\displaystyle \epsilon }$ ونسبة القيم الإيجابية الخاطئة ${\displaystyle 1-S_{p}}$ يجب أن تؤول إلى ${\displaystyle 0}$.
• الحساسية ${\displaystyle S_{e}}$ والدقة ${\displaystyle P_{r}}$ والخصوصية ${\displaystyle S_{p}}$ يجب أن تؤول إلى 1.

المعيار الأخير يشكل تحديا خاصا مقارنة بالأول، لأن ${\displaystyle S_{e}}$ و ${\displaystyle S_{p}}$ يتغيران بطريقة متعارضة. إلا أن هذين المؤشرين لديهما ميزة مهمة، من منظور الاستدلال الإحصائي: هما أقل حساسية لطريقة الاعتيان مقارنة بنسبة الخطأ، ولا يفقدان وجاهتهما الإحصائية حتى في حالة العينات الصغيرة أو تلك التي تكون فيها القيم الإيجابية قليلة. بفضل هذه الخاصية، يتستعملان في تعريف مؤشري تقييم مهمين وجامعين هما مؤشر يودن (Youden Index) ومؤشر نسبة الإمكان (Likelihood Ratio):

• مؤشر يودن: ${\displaystyle IY=S_{e}+S_{p}-1\in [0,1]}$ ويؤول ل 1 بالنسبة للنماذج المثلى.
• مؤشر نسبة الإمكان : ${\displaystyle L={\frac {S_{e}}{1-S_{p}}}}$ ويجب أن يكون ${\displaystyle L>>1}$ بالنسبة للنماذج الجيدة.