انحدار خطي

يمكن أن تأخذ الدالة أشكالا مختلفة قد تكون خطية، لوغارتمية، أو أسية... الخ، ويمكن تحويل أي نموذج إلى النموذج الخطي، سنركز على الانحدار الخطي البسيط في قياس العلاقة بين المتغيرات:

i=1,..,n حيث أن هي معلمات النموذج وعنصر الخطأ العشوائي، تم إضافته مراعاة للصفة الاحتمالية للنموذج ويمثل الفرق بين القيم الفعلية والقيم النظرية، وبالتالي قد تكون قيمته موجبة أو سالبة وتشترط أن تكون القيمة المتوقعة تساوي صفر.

توجد ثلاثة أشكال لكتابة نماذج الانحدار الخطي: الكتابة العادية (أو القياسية) والكتابة المتجهية والكتابة المصفوفاتية.

لكل فرد إحصائي ${\displaystyle i}$، تكتب نمذجة القيمة المتحققة ${\displaystyle y_{i}}$ بدلالة قيم المتغيرات المفسرة ${\displaystyle x_{i,j}}$ والخطأ الإحصائي ${\displaystyle \varepsilon _{i}}$:

${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i,1}+...+\beta _{p}x_{i,p}+\varepsilon _{i}}$

يشار لمتجهة المعاملات ${\displaystyle \beta =(\beta _{0},\beta _{1},...,\beta _{p})}$ ولمنقولة متجهة القيم المتحققة ${\displaystyle x_{i,j}}$ ب ${\displaystyle x_{i}'=(1,x_{i,1},...,x_{i,p})}$ وتكتب النمذجة:

${\displaystyle y_{i}=x_{i}'\beta +\varepsilon _{i}}$

أحيانا، تستعمل الكتابة المصفوفاتية للتعبير عن النموذج بشكل شامل، وأيضا لتسهيل البرهنة على الخصائص الاستدلالية المرتبطة بالنموذج:

${\displaystyle Y=X\beta +\varepsilon }$ بحيث:

${\displaystyle Y={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}},\quad X={\begin{pmatrix}x'_{1}\\x'_{2}\\\vdots \\x'_{n}\end{pmatrix}}={\begin{pmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&\cdots &x_{np}\end{pmatrix}},\quad \beta ={\begin{pmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\end{pmatrix}},\quad \varepsilon ={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}.}$

تقدير النموذج يعني بالأساس تقدير القيم المقدرة للمعاملات ${\displaystyle \beta }$ (والتي تعتبر معالم النموذج)، إضافة إلى التصديق الإحصائي على نجاعة النموذج وقابلية تطبيقه واستغلاله عمليا، خصوصا في توقع قيم مستقبلية (أو جديدة) ل ${\displaystyle Y}$ بمعرفة قيم ${\displaystyle X}$. توجد أربع طرق لتقدير نموذج الانحدار الخطي:

• طريقة التقدير حسب القيمة العليا لدالة الإمكان.
• طريقة التقدير حسب طريقة المربعات الدنيا.
• طريقة العزوم.
• الطرق البايزية.

أكثر الطرق استعمالا، وأكثرها نجاعة، هي طريقة المربعات الدنيا: حسب مبرهنة كاوس ماركوف، وفي حالة تحقق الفرضيات المنصوص عليها في المبرهنة، فمقدر المربعات الدنيا يكون أفضل مقدر خطي بدون تحيز (بالإنجليزية: Best Linear Unbiased Estimator) ويشار إليه اختصارا ب BLUE.

• الفرضية ${\displaystyle H_{1}}$: عدم وجود أخطاء إحصائية في ملاحظة ${\displaystyle Y}$ و${\displaystyle X}$ (مفهوم الخطأ هنا يشمل الأخطاء القياسية والتحيزات التي يمكن أن تكون ناتجة عن أخطاء منهجية في الاستعيان مثلا).
• الفرضية ${\displaystyle H_{2}}$: ${\displaystyle Y}$ و${\displaystyle X}$ موزعة طبيعيا، ${\displaystyle Y\backsim {\mathcal {N}}(\mu _{Y},\sigma _{Y}^{2})}$ ولكل ${\displaystyle X_{j}}$، ${\displaystyle X_{j}\backsim {\mathcal {N}}(\mu _{X_{j}},\sigma _{X_{j}}^{2})}$.
• الفرضية ${\displaystyle H_{3}}$: وجود علاقة خطية بين ${\displaystyle Y}$ و${\displaystyle X}$ (في حالة الانحدار الخطي البسيط) وعدم وجود تداخل خطي بين المتغيرات ${\displaystyle X_{j}}$ (في حالة الانحدار الخطي المتعدد).
• الفرضية ${\displaystyle H_{4}}$: حجم عينة البيانات أكبر بكثير من عدد المعالم الإحصائية اللازم تقديرها، أي ${\displaystyle n\gg p}$.

• الفرضية ${\displaystyle H_{5}}$: القيمة المتوقعة للأخطاء الإحصائية منعدمة، ${\displaystyle E(\varepsilon _{i})=0}$، بالنسبة لكل ملاحظة ${\displaystyle i}$.
• الفرضية ${\displaystyle H_{6}}$: الارتباط الذاتي للأخطاء منعدم، لكل زوج ${\displaystyle (i,k)\in [1,...,n]^{2}}$ بحيث ${\displaystyle i\neq k}$، ${\displaystyle E(\varepsilon _{i},\varepsilon _{k})=0}$.
• الفرضية ${\displaystyle H_{7}}$: تجانس تباين الأخطاء الإحصائية ${\displaystyle E(\varepsilon _{i},\varepsilon _{k})=\sigma _{\varepsilon }^{2}}$.
• الفرضية ${\displaystyle H_{8}}$: الأخطاء موزعة وفق نفس التوزيع الطبيعي ${\displaystyle \varepsilon _{i}\backsim {\mathcal {N}}(0,\sigma _{\varepsilon }^{2})}$.

عمليا، يتم التأكد من الفرضيات، في الغالب، عبر اختبارات إحصائية، وغالبا ما تكون العملية تكرارية ويمكن أن تستلزم القيام بتطبيق دوال تحويلية على المتغيرات، أو استثناء عناصر إحصائية من العينة، حتى تقترب العينة المدروسة من البنية المثلى الموافقة للفرضيات. عمليا، من الصعب تحقق كل الفرضيات بصورة كاملة، ولذلك يجب مرافقة الدراسة بمقاربة تحكيمية تحقق التوافق بين الهدف من النمذجة وجودة البيانات المتوفرة وإمكانية الوصولية إلى بيانات أخرى.

أمثلة لطرق التأكد من الفرضيات البنيوية والتصادفية لنمذجة الانحدار الخطي

الفرضية	طرق التأكد	استراتيجيات بديلة
${\displaystyle H_{1}}$	التصديق على منهجية الاستعيان
${\displaystyle H_{2}}$	تطبيق الاختبارات الإحصائية للتوزيع الطبيعي، مثلا: اختبار شابيرو ويلك (ملائم للعينات الصغيرة) اختبار جارك بيرا (ملائم للعينات الكبيرة)	في حالة فشل الاختبار، ينصح بتطبيق تحويلات على المتغيرات (التابعة والمستقلة) لإنتاج متغيرات جديدة تؤول تقاربيا إلى حالة التوزيع الطبيعي، مثلا: تطبيق التحويل المعياري: ${\displaystyle Y\rightarrow {\frac {Y-\mu _{Y}}{\sigma _{Y}}}}$ عبر توسيط المتغير (طرح المتوسط) واختزاله (عبر قسمة الناتج على الانحراف المعياري) تطبيق تحويلة بوكس كوكس عبر إيجاد أمثل ${\displaystyle \lambda }$ يحقق مآلا تقاربيا للمتغير${\displaystyle B(x,\lambda )={\begin{cases}{\frac {x^{\lambda }-1}{\lambda }}&{\text{, }}\lambda \neq 0\\\log(x)&{\text{, }}\lambda =0\end{cases}}}$ نحو التوزيع الطبيعي.
${\displaystyle H_{3}}$	في حالة الانحدار البسيط: معاينة بصرية لمنحنى ${\displaystyle Y}$ بدلالة ${\displaystyle X}$. حساب معامل الارتباط الخطي والتأكد من مغزاه الإحصائي (عبر اختبار برافي بيرسون مثلا) في حالة الانحدار المتعدد، التأكد من عدم وجود التداخل الخطي يمر عبر تطبيق الاختبارات التالية:[6] جرد المتغيرات المشتبه بها عبر قاعدة كلاين. حساب عوامل تضخم التباين لكل التغيرات المفسرة. .اختبار تجانس الإشارات. اختبار فارار وغلاوبر العام لاختبار فرضية استقلالية المتغيرات المفسرة.	في حالة الانحدار البسيط: تطبيق تحويلات رياضية (لوغاريتمية، تحويلة بوكس كوكس...) تقترب من الحالة الخطية. في حالة الانحدار المتعدد: تطبيق خوارزميات تكرارية عبر إدخال وإخراج المتغيرات المستقلة إلى غاية بلوغ نموذج مستقر وفق معيار إحصائي (مثلا معيار أكايكي للمعلومة).[6]