Mô hình lý thuyết thông tin theo quan điểm Shannon
Lý thuyết thông tin được xét ở đây theo quan điểm của Shannon. Đối tượng nghiên cứu là một hệ thống liên lạc truyền tin (communication system) như sơ đồ dưới đây:
Diễn giải:
- Nguồn (source) thông tin còn gọi là thông báo cần được truyền ở đầu vào (Input).
- Mã hóa (encode) là bộ sinh mã. Ứng với một thông báo, bộ sinh mã sẽ gán cho một đối tượng (object) phù hợp với kỹ thuật truyền tin. Đối tượng có thể là:
Dãy số nghị phân (Digital) dạng: 01010101, cũng giống như mã máy tính.
Sóng liên tục (Analog) cũng giống như truyền radio.
- Kênh (channel) là phương tiện truyền mã của thông tin.
- Nhiễu (noise) được sinh ra do kênh truyền tin. Tùy vào chất lượng của kênh truyền mà nhiễu nhiều hay ít.
- Giải mã (decode) ở đầu ra (output) đưa dãy mã trở về dạng thông báo ban đầu với xác suất cao nhất. Sau đó thông báo sẽ được chuyển cho nới nhận. Trong sơ đồ trên, chúng ta quan tâm đến 2 khối mã hóa và giải mã trong toàn bộ môn học.
Lượng tin biết và chưa biết
Một biến ngẫu nhiên (BNN) X luôn mang một lượng tin nào đó. Nếu X chưa xảy ra (hay ta chưa biết cụ thể thông tin về X) thì lượng tin của nó là chưa biết, trong trường hợp này X có một lượng tin chưa biết. Ngược lại nếu X đã xảy ra (hay ta biết cụ thể thông tin về X) thì lượng tin về biến ngẫu nhiên X coi như đã biết hoàn toàn, trong trường hợp này X có một lượng tin đã biết.
Nếu biết thông tin của một BNN X thông qua BNN Y đã xảy ra thì ta có thể nói: chúng ta chỉ biết một phần lượng thông tin của X đó trên cơ sở biết Y.
Ví dụ về lượng tin biết và chưa biết
Ta xét ví dụ về một người tổ chức trò chơi may rủi khách quan với việc tung một đồng tiền “có đầu hình – không có đầu hình”. Nếu người chơi chọn mặt không có đầu hình thì thắng khi kết quả tung đồng tiền là không có đầu hình, nguợc lại thì thua. Tuy nhiên người tổ chức chơi có thể “ăn gian” bằng cách sử dụng 2 đồng tiền “Thật- Giả” khác nhau sau:
+ Đồng tiền loại 1 (hay đồng tiền thật): đồng chất có 1 mặt có đầu hình.
+ Đồng tiền loại 2 (hay đồng tiền giả ): đồng chất, mỗi mặt đều có 1 đầu hình.
Mặc dù người tổ chức chơi có thể “ăn gian” nhưng quá trình trao đổi 2 đồng tiền cho nhau là ngẫu nhiêu, vậy liệu người tổ chức chơi có thể “ăn gian” hoàn toàn được không? Hay lượng tin biết và chưa biết của sự kiện lấy một đồng tiền từ 2 đồng tiền nói trên được hiểu như thế nào?
Ta thử xét một trường hợp sau: nếu người chơi lấy ngẫu nhiên 1 đồng tiền và sau đó thực hiện việc tung đồng tiền lấy được 2 lần. Qua 2 lần tung đồng tiền, ta đếm được số đầu hình xuất hiện. Dựa vào số đầu hình xuất hiện, ta có thể phán đoán được người tổ chức chơi đã lấy được đồng tiền nào.
Chẳng hạn: Nếu số đầu hình đếm được sau 2 lần tưng là 1 thì đồng tiền đã lấy được là đồng tiền thật. Ngược lại nếu số đầu hình đếm được là 2 thì đồng tiền đã lấy được có thể là thật hay cũng có thể là giả. Như vậy, ta đã nhận được một phần thông tin về loại đồng tiền qua số đầu hình đếm được sau 2 lần tung. Ta có thể tính được lượng tin đó bằng bao nhiêu? (Việc tính lượng tin này sẽ được thảo luận sau). Dưới đây là một số bảng phân phối của bài toán trên:
Gọi BNN X về loại đồng tiền (X=1 nếu lấy được đồng tiền loại 1 và X=1 nếu lấy được đồng tiền loại 2 được lấy).
Khi đó phân phối của X có dạng:
Đặt BNN Y là BNN về số đầu hình đếm được sau 2 lần tung. Khi đó ta có thể xác định được phân phối của Y với điều kiện xảy ra của X trong 2 trường hợp sau.
Phân phối của Y khi biết X=1 có dạng:
Phân phối của Y khi biết X=2 có dạng: