نظرية التقدير

لننظر في إشارة متقطعة وردت، ${\displaystyle x[n]}$, من ${\displaystyle N}$ من عينات مستقلة التي تتألف من ثابت مجهول ${\displaystyle A}$ مع ضجيج أبيض غوصي جمعي (AWGN) ${\displaystyle w[n]}$ مع تباين معروف ${\displaystyle \sigma ^{2}}$ (أي، ${\displaystyle {\mathcal {N}}(0,\sigma ^{2})}$). يعني أن المعلمة المجهول هي فقط ${\displaystyle A}$. النموذج للإشارة يكون

${\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}$

اثنان من المقدرون (الكثر) الممكنة هما:

• ${\displaystyle {\hat {A}}_{1}=x[0]}$
• ${\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$ والذي هو متوسط العينة

كل من هذه المقدرات لديها متوسط ${\displaystyle A}$, التي يمكن أن تظهر من خلال أخذ القيمة المتوقعة من كل مقدر

${\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}$

و

${\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}$

عند هذه النقطة، فإن هذان المقدران يظهران وكأنهما يعطين نفس الأداء. ومع ذلك، فإن الفارق بينهما يصبح واضحا عند مقارنة التباينات.

${\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}$

و

${\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {independence}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}$

يبدو أن متوسط العينة هو أفضل مقدر لأن التباين الخاص فيه يكون أقل عن كل N> 1.

بالاستمرار بالمثال باستخدام مقدر الإمكان الأعظم، دالة الكثافة الاحتمالية (د. ك. ا) من ضوضاء عينة واحدة ${\displaystyle w[n]}$ هي

${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$

واحتمال ${\displaystyle x[n]}$ يصبح (${\displaystyle x[n]}$ ويمكن اعتباره ${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$)

${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$

بناء على عدم العلاقة، احتمال ${\displaystyle \mathbf {x} }$ يصبح

${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$

وبحساب اللوغاريتم الطبيعي ل (د. ك. ا)

${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$

ومقدر الإمكان الأعظم هو

${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$

ويحساب المشتقة الأولى لدالة الإمكان اللوغاريتمية

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

ووضع قيمتها إلى الصفر

${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$

النتائج من مقدر الإمكان الأعظم

${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$

والتي هي ببساط متوسط العينة من هذا المثال نجد أن متوسط العينة هو مقدر الإمكان الأعظم ل ${\displaystyle N}$ عينات ذات معلمة ثابتة ومجهولة ومشوشة ب AWGN.

لإيجاد حد كرايمر-راو الأقل لمقدر متوسط العينة، فأنه من الضروري إيجاد رقم معلومات فيشر

${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial \theta }}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln p(\mathbf {x} ;A)\right]}$

وبالأخذ من أعلاه

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

وبحساب المشتقة الثانية

${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$

وإيجاد القيمة السالبة المتوقعة يصبح بسيطاً لأنها الآن ثابت حتمي

${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

وأخيراً توضع معلومات فيشر:

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$

وهذا ينتج:

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$

بمقارنة هذا تباين متوسط العينة (التي سبق تحديدها) يظهر أن متوسط العينة يساوي حد كرايمر-راو الأقل لجميع قيم ${\displaystyle N}$ و${\displaystyle A}$.

وبكلمات أخرى، فأن متوسط العينة هو (فريدة من نوعها بالضرورة) المقدر الأكفأ، وبالتالي المقدر غير متحيز ذى أقل تباين بالإضافة لكونه مقدر الإمكان الأعظم.

واحد من أبسط الأمثلة غير تافهة من التقدير هو تقدير الحد الأقصى لتوزيع موحد. فهو يستخدم كتمارين في الفصول الدراسية والتدريب العملي على توضيح المبادئ الأساسية لنظرية التقدير. علاوة على ذلك، في حالة التقدير استنادا إلى عينة واحدة، فإنه يظر مسائل فلسفية وسوء فهم محتمل في استخدام مقدر الإمكان الأعظم ومقدر دالة الإمكان. لنأخذ توزيع متقطع منتظم ${\displaystyle 1,2,\dots ,N}$ مع حد أقصى مجهول، المقدر المنتظم غير المتحيز ذى اقل تباين للحد الأقصى معطى بواسطة

${\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}$

حيث m هي حد العينة الأقصى وkهي حجم العينة، أخذ العينات بدون تبديل.[3][4] هذه المسألة تعرف عادة بمسألة الدبابة الألمانية نظراً لتطبيق أقصى تقدير لتقديرات إنتاج الدبابة الألمانية خلال الحرب العالمية الثانية. يمكن فهم المعادلة بشكل حدسي كما يلي:

«الحد الأقصى للعينة بالإضافة إلى الفجوة بين متوسط الملاحظات في العينة»,

وأضيفت الفجوة للتعويض عن التحيز السلبي للحد الأقصى للعينة وكمقدر للحد الأقصى لمجتمع العينات.[note 1] هذا عنده تباين[3]

${\displaystyle {\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N}$

لذا فإن الانحراف المعياري تقريبا ${\displaystyle N/k}$، لحجم العينات متوسط حجم الفجوة بين العينات؛ مقارنة ${\displaystyle {\frac {m}{k}}}$ أعلاه. ويمكن رؤية هذا على أنه حالة بسيطة جدا من تقدير المسافة القصوى maximum spacing estimation. الحد الأقصى للعينة هو مقدر الإمكان الأعظم للحد الأقصى لمجتمع العينات population maximum ، ولكن، كما نوقش أعلاه، هو منحاز.