Tài liệu

các tính chất của entropy

Science and Technology

CÁC TÍNH CHẤT CỦA ENTROPY

Mục tiêu:

Sau khi hoàn tất bài học này bạn có thể:

Hiểu các tính chất cơ bản của Entropy,

Hiểu định lý cực đại của Entropy,

Vận dụng giải một số bài toán về Entropy,

Làm cơ sở để vận dụng giải quyết các bài toán tính dung lượng kênh truyền.

Các tính chất cơ bản của Entropy

Xét biến ngẫu nhiên X = {x1, x2, …, xM}. Entropy của biến ngẫu nhiên X có các tính chất:

Hàm số f(M) = H(1/M,1/Mn điệu tăng.

Hàm số f(ML) = f(M)+f(L).

H(p1, p2, …, pM) = H(p1 + p2 +…+pr, pr+1+ pr+2+…+ pM)

H(p, 1-p) là hàm liên tục theo P.

Minh họa tính chất 1 và 2

Minh họa tính chất 1:

Trong trường hợp biến ngẫu nhiên X có phân phối đều

Entropy của X như sau :

=> H(X)

là hàm đơn điệu tăng

Minh họa tính chất 2:

Trong trường hợp 2 biến ngẫu nhiên X, Y độc lập có phân phối đều với BNN X có M sự kiện và BNN Y có L sự kiện.

Gọi f(M), f(L) lần lượt là Entropy của X, của Y. Theo tính chất 2 của Entropy ta có f(ML)=f(M)+f(L)

Minh họa tính chất 3 và 4

Minh họa tính chất 3:

Xét con xúc sắc có 6 mặt với xác suất xuất hiện các mặt được cho trong bảng sau:

Ta có thể gom các sự kiện x1, x2, x3 lại thành một sự kiện mới là x123 có xác suất xuất hiện là 55%, gom sự kiện x5 và x6 lại thành sự kiện x56 có xác suất 20%.

Ta được một nhiến ngẫu nhiên mới X* có phân phối sau:

Đến đây các bạn có thể áp dụng công thức để tính, so sánh các Entropy và nhận xét tính chất 3. Phần này xem như bài tập cho sinh viên.

Minh họa tính chất 4:

Để hiểu tính chất thứ 4, ta xét dạng đồ thị của hàm số H(p, 1-p ):

Rõ ràng H(p, 1-p) là một hàm liên tục theo p.

Định lý cực đại của entropy

Định lý: H(p1, p2, …,pM)≤ log(M)

Trong đó: đẳng thức xảy ra khi và chỉ khi p1=…= pM= 1/M

Bổ đề:cho 2 bộ {p1, p2, …,pM} và {q1, q2,…,qM} là các bộ số dương bất kỳ và

Khi đó, ta có H(p1, p2, …,pM)=

(*)

Đẳng thức xảy ra khi pi=qi với ∀i=1,..,M.

Bài tập

Bài 1: Cho 2 biến ngẫu nhiên X, Y độc lập nhau có phân phối sau:

Tính H(X), H(Y).

Kiểm tra lại kết quả của của bài 1 bằng tính chất 2.

Cho biến ngẫu nhiên X có phân phối sau:

Ta có thể gom các sự kiện x1, x2, x3 lại thành một sự kiện mới là x123 có xác suất xuất hiện là 55%, gom sự kiện x5 và x6 lại thành sự kiện x56 có xác suất 20%.

Ta được một nhiến ngẫu nhiên mới X* có phân phối sau:

- Tính entropy của X, X* và kiểm tra lại tính chất 3.

- Kiểm tra lại định lý cực đại từ dữ liệu cho trên.

Đánh giá:
0 dựa trên 0 đánh giá

Tuyển tập sử dụng module này

Nội dung cùng tác giả
 
Nội dung tương tự