مصدر المعلومات (رياضيات)

في الرياضيات تكون مصدر المعلومات عبارة عن متسلسلة للمتغيرات العشوائية تتراوح في الأبجدية المحدودة للحرف Γ, ممتلكةً للتوزيعات المحطية stationary distribution.

إن عدمية اليقين, أو معدل الإنتروبية, entropy rate لمصدر المعلومات تعرف بالطريقة التالية

${\displaystyle H\{\mathbf {X} \}=\lim _{n\to \infty }H(X_{n}|X_{0},X_{1},\dots ,X_{n-1})}$

حيث أن

${\displaystyle X_{0},X_{1},\dots ,X_{n}\,}$

هي متسلسلة لمتغير عشوائي تعرف بمصدر المعلومات , و

${\displaystyle H(X_{n}|X_{0},X_{1},\dots ,X_{n-1})}$

هي إنتروبية المعلومات الشرطية information entropy لمتسلسلة المتغير العشوائي. و بشكل متكافئ, تكون واحدة منها

${\displaystyle H\{\mathbf {X} \}=\lim _{n\to \infty }{\frac {H(X_{0},X_{1},\dots ,X_{n-1},X_{n})}{n+1}}.}$