نظرية شانون هارتلي

عام 1927 ، نيكويست أشار إلى أن عدد النبضات المنفردة الذي يقدر على إدخالها من خلال قناة تلغراف لكل وحدة زمنية مشروطة بتراخ عرض النطاق الترددي للقناة. في التدوين الرمزي،

${\displaystyle f_{p}\leq 2B}$

${\displaystyle f_{p}}$ هو تردد النبض (بالنبضات في الثانية) و ${\displaystyle B}$ هو عرض النطاق الترددي (بالهرتز). الكمية ${\displaystyle 2B}$ غدا في وقت لاحق يدعى معدل نيكويست ، ويتجول بمعدل النبض المحدد ${\displaystyle 2B}$ نبضات في الثانية كعلامة على معدل نيكويست . نشر نيكويست نتائج عمله في 1928 كقطعة من ورقته البحثية «موضوعات ينصب عليها التركيز في نظرية نقل التلغراف».

في عام 1928 ، عمل هارتلي على إيجاد طريقة تقيس المعلومات ومحور خطها (معروف أيضًا باسم معدل إشارات البيانات R بت في الثانية). [1] هذه الطريقة، التي عرفتى في وقت لاحق باسم قانون هارتلي، أصبحت مقدمة مهمة لمفهوم شانون الأكثر إبهاماً عن سعة القناة.

ناقش هارتلي بقوله أن الحد الأقصى لعدد مستويات النبضة التي يمكن تمييزها والتي يمكن نقلها واستقبالها بشكل معتمد يتم عبر قنوات اتصال محدودة بالمدى الديناميكي لتمدد الإشارة والدقة التي ربما للمستقبل من خلالها أن يميز مستويات الامتداد. على وجه الخصوص، إذا كان اتساع الإشارة مقصورًا على مدى [- A. . . + A] فولت، ومهارة المتلقي هو فولت ± Δ V، ثم الحد الأقصى لعدد نبضات متميزة تعطى M من قبل

${\displaystyle M=1+{A \over \Delta V}}$ .

عن طريق أخذ هذه النظريات والمعلومات الخاصة بكل نبضة في بت / نبضة لتحصل اللوغاريتم الأساسي -2 لعدد الإشعارات المميزة M التي ببساطة يمكن إرسالها، [2] معيار لمعدل الخط R على النحو التالي:

${\displaystyle R=f_{p}\log _{2}(M),}$

${\displaystyle f_{p}}$ هو مقياس للنبض، المشهور باسم المعدل الرمزي، في العلامات / الثانية أو الباود .

بعد ذلك فعل هارتليفعلته وقام بالجمع ما بين القياس الكمي المشار أعلاه مع ملاحظة نيكويست التي تخبرنا بأن عدد النبضات المستقلة التي يتوقع وضعها عبر قناة النطاق الترددي ${\displaystyle B}$ كان هيرتز ${\displaystyle 2B}$ نبضات في الثانية، للوصول إلى مقياسه الكمي لمعدل خط قابل للتحقيق.

قانون هارتلي أحيانًا يستشهد على أنه مجرد توافق ما بين عرض النطاق الترددي التناظري ، ${\displaystyle B}$ ، بالهيرتز وما طلق عليه اليوم بعرض النطاق الترددي الرقمي ، ${\displaystyle R}$ ، بت / ثانية. [3] في مناسبات أخرى يتم أخذها كمرجع بهذا الشكل الكمي، كمعدل خط قابل للتحقيق ${\displaystyle R}$ بت في الثانية: [4]

${\displaystyle R\leq 2B\log _{2}(M).}$

هارتلي لم يصل إلى طريقة لتحديد الكيفية التي يجب أن يستند بها الرقم M على غرار إحصائيات القناة وضجيجها، أو كيف السبيل إلى جعل الاتصال موثوقًا به حتى عندما لا تستطيع تمييز نبضات الرمز الفردية بشكل موثوق به على المستويات M ، طبعا من خلالاستعمال إحصائيات ضوضاء Gaussian ، كان يجب على العاملين المعنيين بتصميم النظام التركيزعلى إنتقاء قيمة متحفظة للغاية لـ ${\displaystyle M}$ لتحقق أقل معدل خطأ منخفض.

مفهوم السعة الخالي من الأخطاء كان في انتظار كلود شانون، الذي عمل على ملاحظات هارتلي التي كانت تناقش مقياس لوغاريتمي للمعلومات وملاحظات نيكويست التي تتحدث عن مدى تأثير قيود النطاق الترددي.

بطيبعة الحال لو أمعانا النظر إلى نتيجة معدل هارتلي التي تنص قدرة قناة M -ary وأنها قناة خالية من الأخطاء ${\displaystyle 2B}$ الرموز في الثانية. بعض المؤلفين يتحدثون كما لوأنها قدرة. لكن مثل هذه القناة الخالية من الأخطاء تعتبر نموذجية ومثالية، وإذا تم اختيار M صغيرة بما يكفي لجعل القناة الصاخبة خالية من الأخطاء تقريبًا، بطبيعة الحال ستكون النتيجة أقل من مقدرة Shannon لقناة النطاق الترددي الصاخبة ${\displaystyle B}$ ، والتي تليها نتيجة هارتلي-شانون .

التطوير الذي عمل عليه كلود شانون أعطى لنظرية المعلومات أثناء الحرب العالمية الثانية الخطوة الكبيرة التالية في فهم كم المعلومات التي يمكن إيصالها بشكل موثوق عن طريق القنوات الصاخبة. بناءً على منطق هارتلي، تكشف نظرية شانون طريقة لتشفير القنوات الصاخبة (1948) أقصى كفاءة ممكنة لطرق تصحيح الأخطاء مقابل مستويات تداخل الضوضاء وضياع البيانات. [5] [6] يُظهر إثبات النظرية أن رمز تصحيح الخطأ الذي تم إنشاؤه عشوائيًا هو أساسا يعتبر أفضل كود ممكن ؛ هذه النظرية تم إقرارها عن طريق إعطاء إحصائيات مثل هذه الرموز العشوائية.

إن نظرية شانون توضخ لنا كيفية حساب سعة القناة من خلال وصف دقيق للقناة وأحصائياتها، ويظهر ذلك في حالة وجود قناة صاخبة بسعة C والمعلومات المنقولة بمعدل خط ${\displaystyle R}$ ، ثم إذا

${\displaystyle R<C}$

هنالك تقنية تشفيرية تمكن على عدم وجود إحتمالية الخطأ مستقبلاً وأن وجد فإنه سيكون خطأ بسيط وصغير. هذا يعني أنه من الناحية النظرية، ويعني ذلك أنه بالإمكان نقل المعلومات تقريبًا بدون أخطاء حتى حد تقريبًا ${\displaystyle C}$ بت في الثانية.

العكس من ذلك مهم أيضا. إذا

${\displaystyle R>C}$

الخطأ يحتمل أن يزداد في المستقبل دون تقييد مع زيادة في المعدل. لذلك من المحال نقل أي معلومات تتجاوز سعة القناة وأن كانت هذه المعلومات تفيدنا. النظرية لا تناظر في الموقف النادر الذي تتساوى فيه السعة والمعدل.

نظرية شانون-هارتلي تساعد في تبيان سعة هذه القناة لقناة الوقت المستمر ذات عرض نطاق معروف ومحدد يخضع لضوضاء غاوسي. نتيجة هارتلي مع نظرية سعة القناة لشانون إرتباطاتا في شكل مكافئ ويعملان على تحديد M في صيغة معدلة تقيس خط هارتلي من حيث نسبة الإشارة إلى الضوضاء، ولكن لإقرار الموثوقية يجب أن يتم تشفير تصحيح الخطأ بدلاً من الحصول على مستويات نبض يمكن تمييزها بشكل موثوق .

إذا كان هناك شيء مثل القناة التناظرية الخاوية من الضوضاء، يمكن للمرء وباستطاعاته إرسال كميات غير مشروطة من البيانات الخاوية من الأخطاء والشوائب عبرها لكل وحدة زمنية (ملاحظة: ليس باستطاعة القناة التناظرية المعنية بالنطاق الترددي اللانهائي نقل الكميات من البيانات الخالية من الأخطاء، بدون قوة إشارة غير محدودة). ولكن مع ذلك، تتماثل القنوات الحقيقية لقيود تصدرها كل من النطاق الترددي المحدود والضوضاء غير الصفرية.

النطاق والضوضاء يؤثران على معدل الكميات المرسلة للمعلومات التي تأتي من خلال قناة تناظرية. طبعا القيود الخاصة بالنطاق الترددي لا تستلزم وحدها حد أقصى لمعدل المعلومات الأقصى لأنه من الممكن أن تأخذ الإشارة عددًا ليس قليلاً وليس معروفاً من مستويات الجهد المتفاوتة على كل نبضة رمز، مع تخصيص معنى مختلف أو تسلسل بت لكل مستوى متفاوت . مع مراعاة كل القيود المفروضة على الضوضاء المشوشة وعرض النطاق، ولا ننسى أنه يوجد حاجز لكمية المعلومات التي يمكن نقلها بإشارة من قوة محدودة، حتى مع استخدام تقنيات تشفير متعددة المستويات مختلفة.

القناة التي تدرسها نظرية شانون-هارتلي، يتم فيها الجمع بين الضوضاء والإشارة من خلال الجمع. والذي يعني بأن المستقبل يقيس الإشارة التي تساوي مجموع الإشارات التي تشفر المعلومات المطلوبة ومتغير عشوائي مستمر يمثل الضوضاء. هذه الإضافة تؤدي إلى عدم الإقتناع بقيمة الإشارة الأصلية. إذا كان لدى المستقبل القليل من المعلومات حول العملية العشوائية التي تولد الضوضاء، فيمكن من خلال المبدأ استرجاع المعلومات في الإشارة الأصلية عن طريق النظر في الحالات الممكنة لعملية الضوضاء. في حالة نظرية شانون-هارتلي، يُفترض أن الضوضاء نتيج عن عملية غاوسية ذات تباين معروف. نظرًا لأن تباين عملية غاوسية يكافئها قوةً، بالأحرى الإعتباد على تسمية هذا التباين بقدرة الضوضاء.

هذه القناة تدعى قناة الضوضاء الغوسية البيضاء المضافة، لأن الضوضاء الغوسية تضاف إلى الإشارة ؛ تعني كلمة «أبيض» كميات مناسبة من الضوضاء على معظم أو جميع الترددات التي ضمن عرض النطاقي الترددي للقناة. بإستطاعتك أن تنشأ هذه الضوضاء من المصادر العشوائية للطاقة وأيضًا من الأخطاء التشفيرية والقياسية عند المرسل والمستقبل على التوالي. بأخذ في عين الإعتبار لأن مجاميع المتغيرات العشوائية الغاوسية المستقلة هي نفسها متغيرات عشوائية غاوسية، فإن هذا يبسط التحليل بشكل مناسب، إذا افترض المرء أن مصادر الخطأ هذه هي أيضًا غاوسية ومستقلة.

مقارنة إمتداد القناة بمحور المعلومات من قانون هارتلي، يمكننا من إيجاد العدد الفعال للمستويات المميزة M : [7]

${\displaystyle 2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

${\displaystyle M={\sqrt {1+{\frac {S}{N}}}}.}$

الجذر التربيعي يمنع بشكل فعال نصيب القدرة إلى نصيب الجهد، وبالتالي فإن المستويات وأعدادها يتوافق بشكل أو أخر مع نسبة تمدد الإشارة RMS إلى الانحراف المعياري للضوضاء.

ليس من الصحيح تفسير هذا التشابه في الشكل بين قدرة شانون وقانون هارتلي على أنه يعني أن ${\displaystyle M}$ يمكنه إرسال مستويات النبض حرفيًا دون أي خطأ. هناك حاجة ماسة إلى المزيد من المستويات للسماح بالتشفير الزائد والعمل على تصحيح الأخطاء، ولكن المعدل الخاص بالبيانات الصافية الذي يمكن التعامل معه باستخدام الترميز يساوي استخدام ${\displaystyle M}$ في قانون هارتلي.

عندما يكون SNR كبيراً بشكل مهول ( S/N ≫ 1 ) ، يتم بطبيعة الحال تقديم اللوغاريتم عن طريق

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}}}$ و

عندما تكون الحالة في هذه السعة لوغاريتمية في القدرة خطية في عرض النطاق الترددي (ليست خطية تقريباً، بسبب أن N تزداد مع عرض النطاق، مما ينتج عن إضافة تأثير لوغاريتمي). وهذا ما يطلق عليه بنظام النطاق الترددي المحدود .

${\displaystyle C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)} }$

أين

${\displaystyle \mathrm {SNR\ (in\ dB)} =10\log _{10}{S \over N}.}$

يطبق التقديم أو التقريب على اللوغاريتم:

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N}}$ ؛

ثم السعة خطية في السلطة. وهذا ما يطلق عليه بالنظام المحدود للسلطة .

${\displaystyle C\approx 1.44\cdot B\cdot {S \over N}.}$

في هذا التقريب منخفض SNR ، تصبح السعة معزولة عن عرض النطاق الترددي إذا حصل أن ظهرت أن أصبحت الضوضاء بيضاء، من الكثافة الطيفية ${\displaystyle N_{0}}$ وات لكل هرتز، وطبعاً عند حصول هذه الحالة تقاس قوة الضوضاء الإجمالية ${\displaystyle N=B\cdot N_{0}}$ .

${\displaystyle C\approx 1.44\cdot {S \over N_{0}}}$