Giáo trình Lý thuyết thông tin - Vũ Vinh Quang

Giáo trình được cấu trúc gồm 5 chương. Chương 1 trình bày một số khái niệm cơ bản về lý thuyết thông tin như cấu trúc của hệ thống truyền tin, phân loại môi trường truyền tin, vấn đề rời rạc hóa các nguồn tin liên tục và các khái niệm về điều chế và giải điều chế. Chương 2 đưa ra các khái niệm cơ bản về tín hiệu và các cơ chế phân tích phổ cho tín hiệu, khái niệm về nhiễu trong quá trình truyền tin. Chương 3 trình bày về độ đo thông tin, lượng tin, entropi và mối quan hệ giữa lượng tin và entropi, các công thức xác định lượng tin và entropi dựa trên cơ sở của lý thuyết xác suất, khái niệm vè tốc độ lập tin và thông lượng kênh trong quá trình truyền tin. Chương 4 giới thiệu về mã hóa, điều kiện thiết lập, các phương pháp biểu diễn , các thuật toán mã hóa cơ bản, mã chống nhiễu và mã tuyến tính. Chương cuối cung này đề cập đến một số hệ mật mã nổi tiếng trên thế giới để người học tham khảo.
Nội dung trích xuất từ tài liệu:
Giáo trình Lý thuyết thông tin - Vũ Vinh Quang ð I H C THÁI NGUYÊN KHOA CÔNG NGH THÔNG TIN Vũ Vinh Quang – Ch biên Nguy n ðình Dũng, Nguy n Hi n Trinh, Dương Th Mai Thương GIÁO TRÌNH LÝ THUY T THÔNG TIN THÁI NGUYÊN – NĂM 2010 1 L IM ðU Giáo trình lý thuy t thông tin ñư c biên so n d a trên các bài gi ng ñã ñư c gi ng d y nhi u năm cho ñ i tư ng là sinh viên chính quy ngành Công ngh thông tin t i khoa Công ngh thông tin ð i h c Thái Nguyên cùng v i vi c tham kh o m t s giáo trình c a các trư ng ð i h c khác cũng như các tài li u nư c ngoài. ð ñ c giáo trình này, ngư i ñ c c n ph i ñư c trang b ñ y ñ các ki n th c v toán cao c p, xác su t th ng kê, lý thuy t thu t toán và m t ngôn ng l p trình cơ b n (C ho c Pascal). Giáo trình ñư c c u trúc g m 5 chương Chương 1 trình bày m t s khái ni m cơ b n v lý thuy t thông tin như c u trúc c a h th ng truy n tin, phân lo i môi trư ng truy n tin, v n ñ r i r c hóa các ngu n tin liên t c và các khái ni m v ñi u ch và gi i ñi u ch . Chương 2 ñưa ra các khái ni m cơ b n v tín hi u và các cơ ch phân tích ph cho tín hi u, khái ni m v nhi u trong quá trình truy n tin. Chương 3 trình bày các khái ni m cơ b n v ñ ño thông tin, lư ng tin, entropi và m i quan h gi a lư ng tin và entropi, các công th c xác ñ nh lư ng tin và entropi d a trên cơ s c a lý thuy t xác su t, khái ni m v t c ñ l p tin và thông lư ng kênh trong quá trình truy n tin. Chương 4 gi i thi u các khái ni m chung v mã hóa, ñi u ki n thi t l p, các phương pháp bi u di n, các thu t toán mã hóa cơ b n, khái ni m v mã ch ng nhi u và mã tuy n tính. Chương 5 c a giáo trình gi i thi u v m t s h m t mã n i ti ng trên th gi i ñ ngư i ñ c tham kh o. Trong quá trình so n th o giáo trình ch c ch n không tránh kh i nh ng thi u xót v n i dung cũng như hình th c, nhóm biên so n trân tr ng c m ơn nh ng ý ki n quý báu c a các b n ñ c ñ giáo trình ñư c hoàn thi n hơn. Thái Nguyên, tháng 01 năm 2010 Thay m t nhóm biên so n Vũ Vinh Quang 2 CHƯƠNG 1. NH NG KHÁI NI M CƠ B N 1.1 Gi i thi u v lý thuy t thông tin Trong th gi i ngày nay, chúng ta hàng ngày ph i ti p xúc v i r t nhi u các h th ng chuy n t i thông tin khác nhau như: Các h th ng truy n hình phát thanh, h th ng ñi n tho i c ñ nh và di ñ ng, h th ng m ng LAN, Internet, các h th ng này ñ u v i m c ñích là chuy n thông tin t nơi phát ñ n nơi thu v i nh ng m c ñích khác nhau. ð nghiên c u v các h th ng này, chúng ta c n ph i nghiên c u v b n ch t thông tin, b n ch t c a quá trình truy n tin theo quan ñi m toán h c, c u trúc v t lý c a môi trư ng truy n tin và các v n ñ liên quan ñ n tính ch t b o m t, t i ưu hóa quá trình. Khái ni m ñ u tiên c n nghiên c u là thông tin: thông tin ñư c hi u là t p h p các tri th c mà con ngư i thu ñư c qua các con ñư ng ti p nh n khác nhau, thông tin ñư c mang dư i d ng năng lư ng khác nhau g i là v t mang, v t mang có ch a thông tin g i là tín hi u. Lý thuy t v năng lư ng gi i quy t t t v n ñ xây d ng m ch, tín hi u. Nhưng v n ñ v t c ñ , hi n tư ng nhi u, m i liên h gi a các d ng năng lư ng khác nhau c a thông tin… chưa gi i quy t ñư c mà ph i c n có m t lý thuy t khác ñó là lý thuy t thông tin. Lý thuy t thông tin là lý thuy t nh m gi i quy t v n ñ cơ b n c a quá trình truy n tin như v n ñ v r i r c hóa ngu n, mô hình phân ph i xác su t c a ngu n và ñích, các v n ñ v mã hóa và gi i mã, kh năng ch ng nhi u c a h th ng... C n chú ý r ng lý thuy t thông tin không ñi sâu vào vi c phân tích các c u trúc v t lý c a h th ng truy n tin mà ch y u nghiên c u v các mô hình toán h c mô t quá trình truy n tin trên quan ñi m c a lý thuy t xác su t th ng kê, ñ ng th i nghiên c u v các nguyên t c và các thu t toán mã hóa cơ b n, các nguyên t c mã ch ng nhi u... 1.2 H th ng truy n tin Trong th c t , chúng ta g p r t nhi u các h th ng ñ truy n thông tin t ñi m này t i ñi m khác, trong th c t nh ng h th ng truy n tin c th mà con 3 ngư i ñã s d ng và khai thác có r t nhi u d ng, khi phân lo i chúng ngư i ta có th d a trên nhi u cơ s khác nhau. 1.2.1 Các quan ñi m ñ phân lo i các h th ng truy n tin • Theo năng lư ng - Năng lư ng m t chi u (ñi n tín) - Vô tuy n ñi n (sóng ñi n t ) - Quang năng (cáp quang) - Sóng siêu âm (la-de) • Theo bi u hi n bên ngoài - H th ng truy n s li u - H th ng truy n hình phát thanh - H th ng thông tin tho i • Theo d ng tín hi u - H th ng truy n tin r i r c - H th ng truy n tin liên t c Xu t phát t các quan ñi m ñó, trong th c t trong nhi u lĩnh v c ñ c bi t là lĩnh v c truy n thông t n t i các khái ni m như: H phát thanh truy n hình, h truy n tín hi u s , ... 1.2.2 Sơ ñ truy n tin và m t s khái ni m trong h th ng truy n tin ð nh nghĩa: Truy n tin(transmission): Là quá trình d ch chuy n thông tin t ñi m này sang ñi m khác trong m t môi trư ng xác ñ nh. Hai ñi m này s ñư c g i là ñi m ngu n tin (information source) và ñi m nh n tin (information destination). Môi trư ng truy n tin còn ñư c g i là kênh tin (chanel). Sơ ñ kh i ch c năng c a m t h th ng truy n tin t ng quát g m có 3 thành ph n chính: Ngu n tin, kênh tin và nh n tin. NGU N TIN KÊNH TIN NH N TIN Trong ñó: 4 • Ngu n tin: là nơi ...