🔙 Quay lại trang tải sách pdf ebook Giáo trình lý thuyết thông tin Ebooks Nhóm Zalo VHN g i l ìvnx NVA nna NỆIO W I U I I W U U U I I W W T T O O l O l O l O O O O O U O U í O t l ữ 1 1 ụ 0 Ị 1 0 1 0 1 0 1 0 0 Ã õ o l ^ v õ l õ ĩ õ ĩ ĩ o i o 1 0 1 0 v o o 0 0 II 1 0 1 0 1 0 u l ó õ I i ĩ 1 0 0 0 1 * » o u 10 10 1001 voiooioo 1000 » vo voooo 10C¿0Q L00011 »le ĩ o i o o i I 0 1 C 1 0 W V O O O V i 1 LÕ VÕ v o v o v o v o r . A . n i A OŨODVVVlOlOOlOlOOOOOiIIlOl lOiOOOC 1101 U n V Ä K H lOolOIOiOi i m n k o i o i n i n o i a ơ ể o i »VOCAICUÍU; i iO O iO iO O ỉ tvcjtfïHQ Tvnril t iO O lO iO O I ị í ì o n í t ỉ I n o r m t I I i . \ f » » o n r m i V I 0 l 4 4 0 l i ớ < 0 < i \ I n*iMMMt V' • V' • V ^ t V ■ I I 11 'V í W 4 I í 1 ^ 1 ' Vrrr>I r>vr,v \ < I í o l í* ệ #>**■*> < «» » » t f ■ « 11 t k »••»< 0 * V V » • %•**••»•••*••• » •••’»••• • »<•»«•••»•• % 4ÄA# 4 IIAIÌIM t Uh# i I «Ib %** % < i >ầ O V I O 1 H N I M %. / ẸHON ONỌO N3IA OOH fina 9NỌH1 N3IA HNIHO GIÁO TRÌNH HỌC VIỆN CÔNG NGHỆ Bưu CHÍNH VIỄN THÔNG GIÁO TRÌNH lí H Ẻ m m Biên soạn: G S.T S. N gu yễn Bình NHÀ XUẤT BẢN BƯU ĐIỆN Hà Nội - 2007 2014 Mã sô: GD 02 HM 07 LỜI NÓI ĐẦU Ngày nay, các thành tựu của cuộc cách mạng khoa học kỹ thuật đang từng ngày, từng giờ làm thay đổi cuộc sống của con người. Với sự phát triển mạnh mẽ của kỹ thuật tính toán và các hệ tự động thì lý thuyết thông tin ra đời và phát triển là điều hết sức cần thiết. Kể từ khi ra đời, Lý thuyết thông tin không ngừng phát triển mạnh mẽ và thâm nhập vào nhiều ngành khoa học khác như: Xibecnetic, Lý thuyết hệ thống, Lý thuyết và kỹ thuật thông tin liên lạc... và đã đạt được nhiều kết quả to lớn. Nhằm đáp ứng yêu cầu về đào tạo và nghiên cứu trong lĩnh vực này, Học viện Công nghệ Bưu chính Viễn thông biên soạn cuốn giáo trình “Lý thuyết Thông tin”. Giáo trình “Lý thuyết Thông tin” là một giáo trình cơ sở dùng cho sinh viên ngành Điện tử - Viễn thông và Công nghệ thông tin. Giáo trình này nhằm trang bị kiến thức cơ sở cho sinh viên để học tập và nắm vững các môn kỹ thuật chuyên ngành, đảm bảo cho sinh viên có thể nghiên cứu, định lượng và đánh giá các chỉ tiêu chất lượng của các hệ thống truyền tin một cách có căn cứ khoa học. Giáo trình gồm 06 chương: Chương 1. Những vấn để chung và những khái niệm cơ bản Chương 2. Tín hiệu và nhiễu Chương 3. Cơ sở lý thuyết thông tin thống kê Chương 4. Cơ sở lý thuyết mã hoá Chương 5: Lý thuyết thu tối ưu Chương 6. Mật mã Sau mỗi chương đều có các câu hỏi và bài tập nhằm giúp cho sinh viên củng cố các kỹ nãng tính toán cơ bản và hiểu sâu sắc hơn các khái niệm và thuật toán quan trọng. Phần phụ lục cung cấp một số kiến thức bổ sung cần thiết giúp cho sinh viên làm tốt các bài tập ở mỗi chương. Giáo trình “Lý thuyết Thông tin” được viết dựa trên cơ sở đề cương môn học “Lý thuyết Thông tin” của Bộ Giáo dục và Đào tạo và được đúc kết sau nhiều năm giảng dạy và nghiên cứu của tác giả. Tuy nhiên việc biên soạn giáo trình này sẽ khó tránh khỏi các thiếu sót. Chúng tôi rất mong nhận được sự góp ý của bạn đọc. HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIEN t h ô n g Chương 1 NHỮNG VẤN ĐỂ CHƯNG VÀ NHỮNG KHÁI NIỆM c ơ BẢN 1.1. VỊ TRÍ, VAI TRÒ VÀ s ơ LƯỢC LICH s ử PHÁT TRIEN CỦA LÝ THUYẾT THÔNG TIN 1.1.1. Vị trí, vai trò của Lý thuyết thông tin Do sự phát triển mạnh mẽ của kỹ thuật tính toán và các hệ tự động, một ngành khoa học mới ra đời và phát triển nhanh chóng, đó là: “Lý thuyết thông tin”. Là một lĩnh vực mới nhưng “Lý thuyết thông tin” không ngừng phát triển và thâm nhập vào nhiều ngành khoa học khác như: Toán học; Triết học; Hóa học; Xibecnetic (điều khiển học); lý thuyết hệ thống; lý thuyết và kỹ thuật thông tin liên lạc... và đã đạt được nhiều kết quả. Tuy vậy nó cũng còn nhiều vấn đề cần được giải quyết hoặc giải quyết hoàn chỉnh hơn. Giáo trình “Lý thuyết thông tin” này (còn được gọi là “Cơ sở lý thuyết truyền tin”) chỉ là một bộ phận của lý thuyết thông tin chung - Nó là phần áp dụng của “Lý thuyết thông tin” vào kỹ thuật thông tin liên lạc. Trong các quan hệ của Lý thuyết thông tin chung với các ngành khoa học khác nhau, ta phải đặc biệt kể đến mối quan hệ của nó với ngành Xibecnetic. Mối quan hệ giữa các hoạt động khoa học của con người và các quảng tính của vật chất được mô tả trên hình 1.1. 8 Giáo trình Lý thuyết thông tin Hình 1.1: Quan hệ giữa hoạt động khoa học và quảng tính của vật chất - Năng lượng học: Là một ngành khoa học chuyên nghiên cứu các vấn đề liên quan tới các khái niệm thuộc về năng lượng. Mục đích của năng lượng học là làm giảm sự nặng nhọc của lao động chân tay và nâng cao hiệu suất của lao động chân tay. Nhiệm vụ trung tàm của nó là tạo, truyền, thụ, biến đổi, tích luỹ và xử lý năng lượng. - Xibecnetic: Bao gồm các ngành khoa học chuyên nghiên cứu các vấn đề có liên quan đến khái niệm thông tin và tín hiệu. Mục đích của Xibecnetic là làm giảm sự nặng nhọc của trí óc và nâng cao hiệu suất lao động trí óc. Ngoài những vấn đề được xét trong Xibecnetic như đối tượng, mục đích, tối ưu hóa việc điều khiển, liên hệ ngược. Việc nghiên cứu các quá trình thông tin (như chọn, truyền, xử lý, lưu trữ và hiển thị thông tin) cũng ỉà một vấn đề trung tâm của Xibecnetic. Chính vì vậy, lý thuyết và kỹ thuật thông tin chiếm vai trò rất quan trọng trong Xibecnetic. - Công nghệ học: gồm các ngành khoa học tạo, biến đổi và xử lý các vật liệu mới. Công nghệ học phục vụ đắc lực cho Xibecnetic và năng lượng học. Không có công nghệ học hiện đại thì không thể có các ngành khoa học kỹ thuật hiện đại. Chương 1: Những vấn đề chung vả những khái niệm cơ bản 9 1.1.2. Sơ lược lịch sử phát triển Người đặt viên gạch đầu tiên để xây dựng lý thuyết thông tin là Hartley R.V.L. Năm 1928, ông đã đưa ra số đo lượng thông tin là một khái niệm trung tâm của lý thuyết thông tin. Dựa vào khái niệm này, ta có thể so sánh định lượng các hệ truyền tin với nhau. Năm 1933, V.A Kachenhicov chứng minh một loạt những luận điểm quan trọng của lý thuyết thông tin trong bài báo “Về khả năng thông qua của không trung và dây dẫn trong hệ thống liên lạc điện”. Năm 1935, D.v Ageev đưa ra công trình “Lý thuyết tách tuyến tính”, trong đó ông phát biểu những nguyên tắc cơ bản về lý thuyết tách các tín hiệu. Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuyết thế chống nhiễu’ đánh dấu một bước phát triển rất quan trọng của lý thuyết thông tin. Trong hai năm 1948 - 1949, C.E Shannon công bố một loạt các công trình vĩ đại, đưa sự phát triển của lý thuyết thông tin lên một bước tiến mới chưa từng có. Trong các công trình này, nhờ việc đưa vào khái niệm lượng thông tin và tính đến cấu trúc thống kê của tin, ông đã chứng minh một loạt định lý về khả năng thông qua của kênh truyền tin khi có nhiễu và các định lý mã hóa. Những công trình này là nền tảng vững chắc của lý thuyết thông tin. Ngày nay, lý thuyết thông tin phát triển theo hai hướng chủ yếu sau: Lỷ thuyết thông tin toán học: Xây dựng những luận điểm thuần tuý toán học và những cơ sở toán học chặt chẽ của lý thuyết thông tin. Cống hiến chủ yếu trong lĩnh vực này thuộc về các nhà bác học lỗi lạc như: N. Wiener, A. Feinstain, C.E Shannon, A.N. Kanmôgorov, A.JA Khintrin. Lý thuyết thông tin ứng dụng: (lý thuyết truyền tin) Chuyên nghiên cứu các bài toán thực tế quan trọng do kỹ thuật liên lạc đặt ra có liên quan đến vấn đề chống nhiễu và nâng cao độ 10 Giáo trình Lý thuyết thông tin tin cậy của việc truyền tin. Các bác học C.E Shannon, s .o Rice, D. Midleton, w . Peterson, A.A Khakevich, V. Kachenhicov đã có những công trình quý báu trong lĩnh vực này. 1.2. NHỮNG KHÁI NIỆM c ơ BẢN - s ơ Đ ổ HỆ TRƯYỂN t i n VÀ NHIỆM VỤ CỦA NÓ 1.2.1. Các định nghĩa cơ bản 1.2.1.1. Thông tin Định nghĩa: Thông tin là những tính chất xác định của vật chất mà con người (hoặc hệ thống kỹ thuật) nhận được từ thế giới vật chất bên ngoài hoặc từ những quá trình xảy ra trong bản thân nó. Với định nghĩa này, mọi ngành khoa học là khám phá ra các cấu trúc thông qua việc thu thập, chế biến, xử lý thông tin. Ở đây “thông tin” là một danh từ chứ không phải là động từ để chỉ một hành vi tác động giữa hai đối tượng (người, máy) liên lạc với nhau. Theo quan điểm triết học, thông tin là một quảng tính của thế giới vật chất (tương tự như năng lượng, khối lượng). Thông tin không được tạo ra mà chỉ được sử dụng bởi hệ thụ cảm. Thông tin tồn tại một cách khách quan, không phụ thuộc vào hệ thụ cảm. Trong nghĩa khái quát nhất, thông tin là sự đa dạng. Sự đa dạng ở đây có thể hiểu theo nhiều nghĩa khác nhau: Tính ngẫu nhiên, trình độ tổ chức,... 1.2.1.2. Tin Tin là dạng vật chất cụ thể để biểu diễn hoặc thể hiện thông tin. Có hai dạng: tin rời rạc và tin liên tục. Ví dụ: Tấm ảnh, bản nhạc, bảng số liệu, bài nói,... là các tin. 1.2.1.3. Tín hiệu Tín hiệu là các đại lượng vật lý biến thiên, phản ánh tin cần truyền. Chú ý: Không phải bản thân quá trình vật lý là tín hiệu, mà sự biến đổi các tham số riêng của quá trình vật lý mới là tín hiệu. Các đặc trưng vật lý có thể là dòng điện, điện áp, ánh sáng, âm thanh, trường điện từ. Chương 1: Những vấn đề chung và nhữnq khái niệm cơ bủn 11 1.2.2. Sơ đồ khôi của hệ thống truyền tin sô (Hình 1.2) khái Từ các nguón Khối tùy chon Hình Ị .2: Sơ dồ khối hệ thốníị truyền tin số 12 Giáo trình Lý thuyết thông tin 1.2.2.1. Nguốn tin Nguồn tin là nơi sản sinh ra tin. - Nếu tập tin là hữu hạn thì nguồn sinh ra nó được gọi là nguồn rời rạc. - Nếu tập tin là vô hạn thì nguồn sinh ra nó được gọi là nguồn liên tục. Nguồn tin có hai tính chất: Tính thống kê và tính hàm ý. Với nguồn rời rạc, tính thống kê biểu hiện ở chỗ xác suất xuất hiện các tin là khác nhau. Tính hàm ý biểu hiện ở chỗ xác suất xuất hiện của một tin nào đó sau một dãy tin khác nhau nào đó là khác nhau. Ví dụ: P(y/ta) * P(y/ba) 1.2.2.2. M áy phát Là thiết bị biến đổi tập tin thành tập tín hiệu tương ứng. Phép biến đổi này phải là đơn trị hai chiều (thì bên thu mới có thể “sao lại” được đúng tin gửi đi). Trong trường hợp tổng quát, máy phát gồm hai khối chính. - Thiết bị mã hóa: Làm ứng mỗi tin với một tổ hợp các ký hiệu đã chọn nhằm tăng mật độ, tăng khả năng chống nhiễu, tãng tốc độ truyền tin. - Khối điều chế: Là thiết bị biến tập tin (đã hoặc không mã hóa) thành các tín hiệu để bức xạ vào không gian dưới dạng sóng điện từ cao tần. Về nguyên tắc, bất kỳ một máy phát nào cũng có khối này. 1.2.23. Đường truyền tin Là môi trường vật lý, trong đó tín hiệu truyền đi từ máy phát sang máy thu. Trên đường truyền có những tác động làm mất nãng lượng, làm mất thông tin của tín hiệu. Chương ỉ : Những vấn đề chung vù những khái niệm cơ bủn 13 1.2.2.4. M áy thu Là thiết bị lập lại (sao lại) thông tin từ tín hiệu nhận được. Máy thu thực hiện phép biến đổi ngược lại với phép biến đổi ở máy phát: Biến tập tín hiệu thu được thành tập tin tương ứng. Máy thu gồm hai khối: - Giải điều chế: Biến đổi tín hiệu nhận được thành tin đã mã hóa. - Giải mã: Biến đổi các tin đã mã hóa thành các tin tương ứng ban đầu (các tin của nguồn gửi đi). 1.2.2.5. Nhận tin Có ba chức năng: - Ghi giữ tin (ví dụ bộ nhớ của máy tính, băng ghi âm, ghi hình,...) - Biểu thị tin: Làm cho các giác quan của con người hoặc các bộ cảm biến của máy thụ cảm được để xử lý tin (ví dụ băng âm thanh, chữ số, hình ảnh,...) - Xử lý tin: Biến đổi tin để đưa nó về dạng dễ sử dụng. Chức năng này có thể thực hiện bằng con người hoặc bằng máy. 1.2.2.6. Kênh truyền tin Là tập hợp các thiết bị kỹ thuật phục vụ cho việc truyền tin từ nguồn đến nơi nhận tin. 1.2.2.7. Nhiễu Là mọi yếu tố ngẫu nhiên có ảnh hưởng xấu đến việc thu tin. Những yếu tố này tác động xấu đến tin truyền đi từ bên phát đến bên thu. Để cho gọn, ta gộp các yếu tố tác động đó vào một ô như trên hình 1.2. Hình 1.2 là sơ đồ khối tổng quát nhất của một hệ truyền tin số. Nó có thể là: hê thống vô tuyến điện thoại, vô tuyến điện báo, rađa, vô tuyến truyền hình, hệ thống thông tin truyền số liệu, vô tuyến điều khiển từ xa. 14 Giáo trình Lý thuyết thông tin I.2.2.8. Các phương pháp biến đổi thông tin sô trong các khôi chức năng của hệ thống (hình 1.3) Mã kênh Dồn kênh/Đa truy cập Trải phổ Dạng sóng - Tin hiêu M-tri - Tín hiêu trực giao - Tín hiệu song trực giao Các dãy có cấu trúc - Mã khối - Mã liên tuc - Phân chia tấn số: FD M / FD M A - Phân chia thời gian: TD M /T D M A - Phàn chia mã: C D M /C D M A - Phân chia không gian: SD M A - Phân chia cực tính: P D M A - O F D M - Dãy trực tiếp (DS) - Nhảy tấn (FH) - Nhảy thời gian (TH) - C ác phương pháp hỗn hợp Mã bảo mât Mã hoá theo khối Mã hoá dòng số liệu Đổng bộ Đóng bỏ sóng mang Đóng bộ dấu Đống bô khung Đống bộ mạng Mật mã cổ điển Mật mã khoá công khai - Hoán vị - Thay thế - Xử lý bit - C ác phương pháp hỗn hợp - Thuật toán R S A - Thuật toán logarit rời rạc - Thuật toán M cElice - Thuât toán Merkle-Hellm an - Thuât toán sử dụng đương cong Elliptic Hình 1.3: Các phương pháp biến đổi thông tin sô'cơ bản Chương ỉ : Những vấn đê chung và những khái niệm cơ bản 15 1.2.3. Những chỉ tiêu chất lượng cơ bản của một hệ truyền tin 1.2.3.1. Tính hữu hiệu Thê hiện trên các mặt sau: - Tốc độ truyền tin cao. - Truyền được đổng thời nhiều tin khác nhau. - Chi phí cho một bit thông tin thấp. 1.2.3.2. Độ tin cậy Đảm bảo độ chính xác của việc thu nhận tin cao, xác suất thu sai (BER) thấp. Hai chỉ tiêu trên mâu thuẫn nhau. Giải quyết mâu thuẫn trên là nhiệm vụ của lý thuyết thông tin. 1.2.3.3. An toàn - Bí mật: + Không thể khai thác thông tin trái phép. + Chỉ có người nhận hợp lệ mới hiểu được thông tin. - Xác thực; Gắn trách nhiệm của bên gửi - bên nhận với bản tin (chữ ký số). - Toàn vẹn: + Thông tin không bị bóp méo (cắt xén, xuyên tạc, sửa đổi). + Thông tin được nhận phải nguyên vẹn cả về nội dung và hình thức. - Khả dụng: Mọi tài nguyên và dịch vụ của hệ thống phải được cung cấp đầy đủ cho người dùng hợp pháp. 1.2.3.4. Đảm bảo chất lượng dịch vụ (QoS) Đây là một chỉ tiêu rất quan trọng đặc biệt là đối với các dịch vụ thời gian thực, nhậy cảm với độ trễ (truyền tiếng nói, hình ảnh,...). Chương 2 TÍN HIỆU VÀ NHIỄU 2.1. TÍN HIỆU XÁC ĐỊNH VÀ CÁC ĐẶC TRƯNG VẬT LÝ CỨA CHỦNG Tín hiệu xác định thường được xem là một hàm xác định của biến thời gian t (s(t)). Hàm này có thể được mô tả bằng một biểu thức giải tích hoặc được mô tả bằng đổ thị. Một trong các đặc trưng vật lý quan trọng của tín hiệu là hàm mật độ phổ biên độ phức S(co). Với tín hiệu s(t) khả tích tuyệt đối, ta có cặp biến đổi Fourier sầu: (2.1) (2.2) Sau đây là một số đặc trưng vật lý quen thuộc của tín hiệu: - Thời hạn của tín hiệu (T): Thời hạn của tín hiệu là khoảng thời gian tồn tại của tín hiệu, trong khoảng này giá trị của tín hiệu không đồng nhất bằng 0. - Bề rộng phổ của tín hiệu (F): Đây là miền xác định bởi tần số khác không cao nhất của tín hiệu. - Năng Ịượng của tín hiệu (E): Năng lượng của tín hiệu có thể tính theo miền thời gian hay miền tần số. 271[J] (2.3) - 0 0 (Định lý Parseval) Chương 2: Tín hiệu vù nhiễu 17 - Công suất của tín hiệu (P): P = |[ W ] T 2.2. TÍN HIỆU VÀ NHIỄU LÀ CÁC QUÁ TRÌNH NGAU n h i ê n 2.2.1. Bản chất ngẫu nhiên của tín hiệu và nhiễu Như đã xét ở trên, chúng ta coi tín hiệu là biểu hiện vật lý của tin (trong thông tin vô tuyến: dạng vật lý cuối cùng của tin là sóng điện từ). Quá trình vật lý mang tin diễn ra theo thời gian, do đó về mặt toán học thì khi có thể được, cách biểu diễn trực tiếp nhất cho tín hiệu là viết biểu thức của nó theo thời gian hay vẽ đồ thị thời gian của nó. Trong lý thuyết cổ điển, dù tín hiệu tuần hoàn hoặc không tuần hoàn nhưng ta đều coi là đã biết trước và biểu diễn nó bằng một hàm tiền định của thời gian. Đó là quan niệm xác định về tín hiệu (tín hiệu tiền định). Tuy vậy, quan niệm này không phù hợp với thực tế. Thật vậy, tín hiệu tiền định không thể dùng vào việc truyền tin tức được. Với cách coi tín hiệu là biểu hiện vật lý của tin, nếu chúng ta hoàn toàn biết trước nó thì về mặt thông tin, việc nhận tín hiệu đó không có ý nghĩa gì. Nhưng nếu ta hoàn toàn không biết gì về tín hiệu truyền đi, thì ta không thể thực hiện nhận tin được. Bởi vì khi đó không có cái gì làm căn cứ đê phân biệt tín hiệu với những cái không phải nó, đặc biệt là với các nhiễư. Như vậy, quan niệm hợp lý nhất là phải kể đến các đặc tính thống kê cúa tín hiệu, tức là phải coi tín hiệu là một quá trình ngẫu nhiên. Chúng ta sẽ gọi các tín hiệu xét theo quan điểm thống kê này là các tín hiệu ngẫu nhiên. 2.2.2. Định nghĩa và phân loại nhiễu Trong quá trình truyền tin, tín hiệu luôn luôn bị nhiều yếu tố ngẫu nhiên tác động vào, làm mất mát một phần hoặc thậm chí có thể mất toàn bộ thông tin chứa trong nó. Những yếu tố ngẫu nhiên đó rất đa dạng, chúng có thể là những thay đổi ngẫu nhiên của các hằng số 18 Giáo trình Lý thuyết thông tin vật lý của môi trường truyền qua hoặc những loại trường điện từ cảm ứng trong công nghiệp, y học v.v... Trong vô tuyến điện, người ta gọi tất cả những yếu tố ngẫu nhiên ấy là các can nhiễu (hay nhiễu). Tóm lại, ta có thể coi nhiễu là tất cả những tín hiệu vô ích (tất nhiên là đối với hệ truyền tin ta xét) có ảnh hưởng xấu đến việc thu tin. Nguồn nhiễu có thể ở ngoài hoặc trong hệ. Nếu nhiễu xác định thì việc chống nó không có khó khăn gì về mặt nguyên tắc. Ví dụ như người ta đã có những biện pháp để chống ồn do dòng xoay chiều gây ra trong các máy khuếch đại âm tần, người ta cũng biết rõ những cách chống nhiễu lẫn nhau giữa các điện đài vô tuyến điện cùng làm việc mà chúng có phổ tín hiệu trùm nhau v.v... Các loại nhiễu này không đáng ngại. Chú ỷ: Cần phân biệt nhiễu với sự méo gây ra bởi đặc tính tần số và đặc tính thời gian của các thiết bị, kênh truyền... (méo tuyến tính và méo phi tuyến), v ề mặt nguyên tắc, ta có thể khắc phục được chúng bằng cách hiệu chỉnh. Nhiễu đáng lo ngại nhất vẫn là các nhiễu ngẫu nhiên. Cho đến nay, việc chống các nhiễu ngẫu nhiên vẫn gặp những khó khăn lớn cả về mặt lý luận lẫn về mặt thực hiện kỹ thuật. Do đó, trong giáo trình này ta chỉ đề cập đến một dạng nào đó (sau này sẽ thấy ở đây thường xét nhất là nhiễu cộng, chuẩn) của nhiễu ngẫu nhiên. Việc chia thành các loại (dạng) nhiễu khác nhau có thể làm theo các dấu hiệu sau: 1- Theo bề rộng phổ của nhiêu: có nhiễu dải rộng (phổ rộng như phổ của ánh sáng trắng gọi là tạp âm trấng), nhiễu dải hẹp (gọi là tạp âm màu). 2- Theo quy luật biến thiên thời gian của nhiễu: có nhiễu rời rạc và nhiễu liên tục. 3- Theo phương thức mà nhiễu tác động lên tín hiệu: có nhiễu cộng và nhiễu nhân. Chương 2: Tín hiệu và nhiễu 19 4- Theo cách bức xạ của nhiễu: có nhiễu thụ động và nhiễu tích cực. Nhiễu thụ động là các tia phản xạ từ các mục tiêu giả hoặc từ địa vật trở về đài ta xét khi các tia sóng của nó đập vào chúng. Nhiễu tích cực (chủ động) do một nguồn bức xạ năng lượng (các đài hoặc các hệ thống lân cận) hoặc máy phát nhiễu của đối phương chĩa vào đài hoặc hệ thống đang xét. 5- Theo nguồn gốc phát sinh: có nhiễu công nghiệp, nhiễu khí quyển, nhiễu vũ trụ v.v... Trong giáo trình này khi nói về nhiễu, ta chỉ nói theo phương thức tác động của nhiễu lên tín hiệu, tức là chỉ nói đến nhiễu nhân hoặc nhiễu cộng. Về mặt toán học, tác động của nhiễu cộng lên tín hiệu được biểu diễn bởi hệ thức sau: u(t) = s(t) + n(t) (2.4) s(t) là tín hiệu gửi đi u(t) là tín hiệu thu được n(t) là nhiễu cộng Còn nhiễu nhân được biểu diễn bởi: u(t) = n(t).s(t) (2.5) |i(t): nhiễu nhân, là một quá trình ngẫu nhiên. Hiện tượng gây nên bởi nhiễu nhân gọi là suy lạc hay pha đinh (fading). Tổng quát, khi tín hiệu chịu tác động đồng thời của cả nhiễu cộng và nhiễu nhân thì: u(t) = n(t).s(t) + n(t) (2.6) ở đây, ta đã coi hệ số truyền của kênh bằng đơn vị và bỏ qua thời gian giữ chậm tín hiệu của kênh truyền. Nếu kể đến thòi gian giữ chậm T của kênh truyền thì (2.6) có dạng: u(t) = n(t).s(t-T) + n(t) (2.7) 20 Giáo trình Lý thuyết thông tin 2.3. CÁC ĐẶC TRƯNG THỐNG KÊ CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU 2.3.1. Các đặc trưng thông kê Theo quan điểm thống kê, tín hiệu và nhiễu được coi là các quá trình ngẫu nhiên. Đặc trưng cho các quá trình ngẫu nhiên chính là các quy luật thống kê (các hàm phân bố và mật độ phân bố) và các đặc trưng thống kê (kỳ vọng, phương sai, hàm tự tương quan, hàm tương quan). Các quy luật thống kê và các đặc trưng thống kê đã được nghiên cứu trong lý thuyết hàm ngẫu nhiên, vì vậy ở đây ta sẽ không nhắc lại. Trong lớp các quá trình ngẫu nhiên (QTNN), đặc biệt quan trọng là các quá trình ngẫu nhiên sau: - Quá trình ngẫu nhiên dừng (theo nghĩa hẹp và theo nghĩa rộng) và quá trình ngẫu nhiên chuẩn dừng. - Quá trình ngẫu nhiên ergodic. Ta minh họa chúng theo lược đổ hình 2.1. Hình 2.1 Trong những đặc trưng thống kê của các quá trình ngẫu nhiên, hàm tự tương quan và hàm tương quan là những đặc trưng quan trọng nhất. Theo định nghĩa, hàm tự tương quan sẽ bằng: Chương 2: Tín hiệu và nhiễu 21 R*(t|.t2) = M { [ X ( t , ) - m x(t,)].[X (t2) - m , ( t 2)]} (2.8) = Ị [ x ( t i ) - m I (t,)].[x(t2) - m >(t2)].W2(x l, x 2, t l, t 2)dxldx2 - 0 0 - 0 0 Rx(t|, t2) đặc trưng cho sự phụ thuộc thống kê giữa hai giá trị ở hai thời điểm thuộc cùng một thể hiện của quá trình ngẫu nhiên. W 2(Xị, x2, t|, t2) là hàm mật độ phân bố xác suất hai chiều của hai giá trị của quá trình ngẫu nhiên ở hai thời điểm t, và t 2. Khi t| = t2= t thì (2.8) trở thành: R I( t „ t 2) = M |[ X ( t ) - m <(t)]!Ị =D ,(t) (2.9) Như vậy, phương sai là trường hợp riêng của hàm tự tương quan khi hai thời điểm xét trùng nhau. Đôi khi để tiện tính toán và so sánh, người ta dùng hàm tự tương quan chuẩn hóa được định nghĩa bởi công thức: T /Ị t ) —____ R »(t' ’ — -______ = rc~x(t| ’t;) - 1,2 V R >( t „ t l).R ,(t2, t 2) VD„(t,).Dx( t 2) = A M Ị _ (2.10) 'c x ( t .)-'c x ( t 2 ) Dễ dàng thấy rằng: | i x( t p t 2)| < 1. 2.3.2. Khoảng tương quan Khoảng tương quan cũng là một đặc trưng khá quan trọng. Ta thấy rằng hai giá trị của một quá trình ngẫu nhiên ^(t) chỉ tương quan với nhau khi khoảng cách X giữa hai thời điểm xét là hữu hạn. Khi T-»oo thì coi như hai giá trị ấy không tương quan vói nhau nữa. Tuy vậy, trong thực tế, đối với hầu hết các quá trình ngẫu nhiên chỉ cần T 22 Giáo trình Lý thuyết thông tin đủ lớn thì sự tương quan giữa hai giá trị của quá trình đã mất. Do đó, đối với tính toán thực tế người ta định nghĩa khoảng (thời gian) tương quan như sau: Định nghĩa 1: Khoảng tương quan TK là khoảng thời gian trong đó x-Ậx) không nhỏ hơn 0,05. (hình 2.2). Như vậy, V t > XK thì xem như hết tương quan. t,(t) 0 T Hình 2.2 Nếu cho biểu thức giải tích của I ^ ( ĩ) thì xKđược tính như sau: 1 00 C2.ll) Ý nghĩa hình học: ĨK là nửa cạnh đáy của hình chữ nhật có chiều cao bằng đơn vị K có diện tích bằng diện tích của miền giới hạn bởi trục hoành và đường biểu diễn Chương 2: Tín hiệu vã nhiễu 23 Trong thực tế, ta thường gặp những quá trình ngẫu nhiên ergodic. Ví dụ: tạp âm của các máy thu vô tuyến điện,... Đối với các quá trình ngẫu nhiên ergodic, ta có thể xác định các đặc trưng thống kê của chúng bằng thực nghiệm một cách dễ dàng. Ta đã biết rằng, nếu X(t) - ergodic và với T đủ lớn thì ta có thể viết: Rx(t) = M {[X(t> - m x ].[X(t - T) - m x ]} * Ạ í [ x (t) - m x].[x(t + T)- m x]dt (2 . 12) 1 0 Trung bình thống kê = trung bình theo thời gian. 2.4. CÁC ĐẶC TRƯNG VẬT LÝ CỦA TÍN HIỆU NGAU n h i ê n VÀ NHIỄU, BIẾN ĐỔI WIENER - KHINCHIN 2.4.1. Nhũng khái niệm xây dựng lý thuyết phổ của quá trình ngẫu nhiên - mật độ phổ công suất Mục trước ta mới chỉ đưa ra một số đặc trưng thống kê của các quá trình ngẫu nhiên (tín hiệu, nhiễu) mà chưa đưa ra các đặc trưng vật lý của chúng, v ề mặt lý thuyết cũng như thực tế, các đặc trưng vật lý của tín hiệu ngẫu nhiên (quá trình ngẫu nhiên) đóng một vai trò rất quan trọng ở những chương sau khi nói đến cơ sở lý thuyết chống nhiễu cũng như xét các biện pháp thực tế và các thiết bị chống nhiễu ta không thê không dùng đến những đặc trưng vật lý của tín hiệu ngẫu nhiên và nhiễu. Khi xét các loại tín hiệu xác định trong giáo trình “Lý thuyết mạch”, chúng ta đã làm quen với các đặc trưng vật lý của chúng như: năng lượng, công suất, thời hạn của tín hiệu, phổ biên độ phức, mật độ phổ, bề rộng phổ,... Cơ sở để hình thành các đặc trưng vật lý này là chuỗi và tích phân Fourier. Đối với các tín hiệu ngẫu nhiên và nhiễu, ta không thể dùng trực tiếp các biến đổi Fourier để xây dựng các đặc trưng vật lý của chúng được vì những lý do sau: 24 Giáo trình Lý thuyết thông tin - Tập các thể hiện {Xị(t)}, i=l, 2,..., 00 của quá trình ngẫu nhiên X(t) cho trên khoảng T thường là một tập vô hạn (thậm chí nó cũng không phải là một tập đếm được). - Nếu tín hiệu ngẫu nhiên là dừng chặt thì tập vô hạn các thể hiện theo thời gian của nó thường sẽ không khả tích tuyệt đối. Tức là: T/2 lim í |x(t)|dt = 00 T — »co J 1 -T/2 Để tránh khỏi những khó khăn trên, ta làm như sau: Lấy hàm xx(t) trùng với một thể hiện của quá trình ngẫu nhiên trung tâm X(t) (QTNN trung tâm là QTNN có kỳ vọng không) ờ trong đoạnT T " 2 ’ 2 xT(t) = và nó bằng không ở ngoài đoạn đó: x(t) |t| < T /2 0 |t|> T/2 (2.13) Từ (2.13), ta thấy xT(ĩ) thỏa mãn điều kiện khả tích tuyệt đối nên có thê dùng biến đổi Fourier cho nó được. Ta đã biết rằng phổ biên độ phức ST (co) của xT(t) được xác định bởi tích phân thuận Fourier sau: ST(co) = I x T( t) e - J“ldt (2.14) -T/2 Theo định lý Parseval, ta có biểu thức tính năng lượng của x T(t) Chương 2: Tín hiệu vù nhiễu 25 PT = E t T 2nT 00 ||S T(co) -C O 2dco = i2 n ao |ST((0) Tdeo (2.16) ì Ta thấy vế trái của (2.16) là công suất của thể hiện xT(t) trong khoảng thời gian tồn tại hữu hạn T, còn vế phải là một tổng liên tục của các đại lượng | s t (cù) / TI dco. Rõ ràng là để đảm bảo sự bình |ST(co)|2 đẳng về thứ nguyên giữa hai vế của (2.16) thì lượngT-deo phải biểu thị công suất trong dải tần vô cùng bé d(0 . Như vậy,ST(co) Tse biểu thị công suất của thể hiện xT(t) trong một đơn vị tần số [W/Hz] tức là mật độ phổ công suất của thể hiện xx(t). Đến đây ta đặt: ST(co) T= Gt(co) (2.17) và gọi Gt (co) là mật độ phổ công suất của thể hiện xT(t) trong khoảng T hữu hạn. GT(co) đặc trưng cho sự phân bố công suất của một thể hiện xT(t) trên thang tần số. Khi cho T -» G O ta sẽ tìm được mật độ phổ công suất của một thế hiện duy nhất xT(t) của quá trình ngẫu nhiên: G x (co) = lim G t(co) = limST(co) T—>00 T ->co T(2.18) Gx(ío) cũng có ý nghĩa tương tự như Gx(co). Từ (2.18) ta thấy răng để xác định mật độ phổ công suất của cả quá trình ngẫu nhiên (tức là tập các thể hiện ngẫu nhiên) thì phải lấy trung bình thống kê đại lượng Gx(co), tức là: 2 G(co) = M{G ( co)} = M limST(co) í — »co T(2.19) 26 Giáo trình Lý thuyết thông tin (2.19) là công thức xác định mật độ phổ công suất của các quá trình ngẫu nhiên. 2.4.2. Cặp biến đổi Wiener - Khinchin Để thấy được mối quan hệ giữa các đặc trưng thống kê (nói riêng là hàm tự tương quan) và các đặc trưng vật lý (nói riêng là mật độ phổ công suất) ta viết lại và thực hiện biến đổi (2.19) như sau: G(co) = M limST(co) 2 m Ist (c o ) |2 = lim — 1 —....- T —>00 = lim — M {ST(co)Sị (co)} do (2.14) T -»00 'P V ' ' T/2 T/2 J x T(t1)e”J“t|dt1. J x T(t2)e_J“'2dt2 ► .-T/2 -T/2 , T/2 T/2 = ỉi m T í -í M {xT(t,).xT( t 2)}e‘JCỨ(t,“t2'dt1d t2 -T /2 -T /2 Nhưng theo định nghĩa (2.8), ta thấy ngay M{xT(ti).xT(t2) } là hàm tự tương quan của quá trình ngẫu nhiên trung tâm (có mx = 0) nên ta có thể viết: M{xT(t|).xT(t2) } = Rf(t|, t2) Nếu T = -t2+ti thì đối với những quá trình dừng, ta có: M{ xx(t|).xT(t2) Ị = Rj(t) Ta có thể viết lại biểu thức cho G(co): . T /2 +12 T /2 G(cừ) = lim I T -><» ệ J R T(T)e--'dT dt2 - T / 2 - l , - T / 2 Chương 2: Tín hiệu và nhiễu 27 oo (2.20) - 0 0 Tất nhiên ở đây phải giả sử tích phân ở vế phải của (2.20) tổn tại. Điều này luôn luôn đúng nếu hàm tự tương quan R(x) khả tích tuyệt đối, tức là: - 0 0 (2.20) là mật độ phổ công suất của quá trình ngẫu nhiên dừng. Nó biểu diễn một cách trung bình (thống kê) sự phân bố công suất của quá trình ngẫu nhiên theo tần số của các thành phần dao động điều hòa nguyên tố (tức là những thành phần dao động điều hòa vô cùng bé). Như vậy, từ (2.20) ta có thể kết luận rằng phổ công suất G(co) của quá trình ngẫu nhiên dừng là biến đổi thuận Fourier của hàm tự tương quan R(x). Hiển nhiên rằng khi đã tồn tại biến đổi thuận Fourier thì cũng tồn tại biến đổi ngược Fourier sau: 00 (2.21) - 0 0 Cặp công thức (2.20) và (2.21) gọi là cặp biến đổi Wiener - Khinchin, đó là sự mở rộng cặp biến đổi Fourier sang các tín hiệu ngẫu nhiên dừng (ít nhất là theo nghĩa rộng). Rõ ràng từ định nghĩa (2.17) của mật độ phổ công suất, ta thấy hàm G(co) là hàm chẵn của đối số (0. Do đó sau khi dùng công thức Euler (e±JWT = COSCOT ± jsincox) để biến đổi (2.20) và (2.21), ta được: 28 Giáo trình Lý thuyết thông tin 00 G(co) = 2 J r (t) coscôtcìt 0 (2.22) Chú ỷ 1: 1 00 R(t) = — jG((o)cos(oxdco n 0 Từ mật độ phổ công suất của tín hiệu ngẫu nhiên, không thể sao lại bất cứ một thể hiện nào (là hàm của thời gian t) của nó, vì G(co) không chứa những thông tin (những hiểu biết) về pha của các thành phần phổ riêng lẻ. Đối với tín hiệu xác định thì từ mật độ phổ hoàn toàn có thể sao lại chính tín hiệu đó nhờ tích phân ngược Fourier. Đó là chỗ khác nhau về bản chất giữa biến đổi Fourier và biến đổi Wiener - Khinchin. Chú V 2: Nếu phải xét đồng thời hai quá trình ngẫu nhiên thì người ta cũng đưa ra khái niệm mật độ phổ chéo. Mật độ phổ chéo và hàm tương quan chéo của hai quá trình ngẫu nhiên có liên hệ dừng cũng thỏa mãn cặp biến đổi Wiener - Khinchi. 2.4.3. Bể rộng phổ cóng suất Một đặc trưng vật lý quan trọng khác của các tín hiệu ngẫu nhiên là bề rộng phổ công suất, nó được định nghĩa bởi công thức sau: 00 G(co0)(2.23) Aco ầ-Ọ----------- Trong đó: G(co) là mật độ phổ công suất của tín hiệu ngẫu nhiên. G(co0) là giá trị cực đại của G(co). Chương 2: Tín hiệu vù nhiễu 29 A(0 là bề rộng phổ công suất (còn gọi là bề rộng phổ) của quá trình ngẫu nhiên. Aco Hình 2.3 Ý nghĩa hình học: Bề rộng phổ Aco chính là đáy của hình chữ nhật có chiều cao bằng G(co0) và có diện tích bằng diện tích của miền giới hạn bởi trục co và đường cong biểu diễn G( (0). (Hình 2.3). Ý nghĩa vật lý: Bề rộng phổ đặc trưng cho sự tập trung công suất (hoặc năng lượng) của tín hiệu ngẫu nhiên ở quanh một tần số trung tâm, ngoài ra nó cũng đặc trưng cho cả sự bằng phẳng của phổ ở quanh tần số trung tâm co0. 30 Giáo trình Lý thuyết thông tin 2.4.4. Mở rộng cặp biến đổi Wiener - Khinchin cho trường hợp R(t) không khả tích tuyệt đối Nếu quá trình ngẫu nhiên X(t) chứa các thành phần dao động điều hòa dạng: XK(t) = AKcos((DKt - ) * 2.5.1.2. Giải bài toán: Gr» ở giáo trình “Lý thuyết mạch”, ta đã biết hàm phổ biên độ phức của tín hiệu ở đầu ra mạch vô tuyến điện tuyến tính bằng: (2.24) 32 Giáo trình Lý thuyết thông tin Chú ý: Đối với các quá trình ngẫu nhiên ta không biết được s (co). Không thể tính được Sv (co), mặt khác ta đã biết theo (2.19): Gv(co) = M lim T —>00 Syy (cứ) T = M lim T — >00 SraT(co) SraT(cứ) K(co) K(co) M lim T —>co T K(tì>)-•Gr» Hay: Gra (co) = K(co)2 .Gv(cd) (2.25) Người ta đã chứng minh được rằng hưởng ứng ra của hộ thống tuyến tính có tham số không đổi là một quá trình ngẫu nhiên không dừng ngay cả khi tác động đầu vào là một quá trình ngẫu nhiên dừng. Tuy vậy, trong trường hợp hệ thống tuyến tính thụ động có suy giảm thì ở những thời điểm t » t 0 = 0 (thời điểm đặt tác động vào) thì quá trình ngẫu nhiên ở đầu ra sẽ được coi là dừng. Khi đó hàm tự tương quan và mật độ phổ công suất của quá trình ngẫu nhiên ở đầu ra sẽ liên hệ với nhau theo cặp biến đổi Wiener - Khinchin. Ta có: R „W = - ! - ] G „ ( c o ) e ’"Mo) 2n J- 0 0 Nhận xét: (2.26; Từ (2.25) ta thấy mật độ phổ công suất của hưởng ứng ra được quyết định bới bình phương mô đun hàm truyền của mạch khi đã cho phổ công suất của tác động vào, nó không phụ thuộc gì vào đặc tính pha tần của mạch. Chương 2: Tín hiệu vù nhiễu 33 Công suất của quá trình ngẫu nhiên ở đầu ra (khi quá trình ngẫu nhiên vào là dừng): -Ị co 1 co R„(0) = t2 = — ÍG„(<0)d(0 = p „ = ^ f|K((a)2G,(co)dco (2.27) 2n J 2 —00 ti t—00 Nếu phổ công suất của tác động vào không phụ thuộc tần số, tức là Gv(co) = N0 (quá trình ngẫu nhiên có tính chất này được gọi là tạp âm trắng) thì: 1 00 P r a = ^ N 0 Í I k ( c o ) 2 dco —00 Vì mô đun hàm truyền luôn là một hàm chẵn nên: P „ = ^ - N 0 J | K ( < D ) | 2 d m 0 (2.28) (2.29) Mặt khác, nếu gọi G0 là phổ công suất thực tê (phần phổ công suất trải từ 0 —>co) thì G0 = 2N0 và (2.29) có thể viết lại như sau: 00 p„ = ^271 J|K(co) -00 dco (2.30) Hàm tự tương quan của quá trình ngẫu nhiên ở đầu ra trong trường hợp này sẽ bằng: 1 00 P„(T) = ^ [ g » K ( o>) e^dco 271 1- 0 0 1 00 = — N 0 ÍIk (co) 2 ej“Tdco 2 tz j 1 —00 XT 00 = ^ ÍIk (co) 2 e J“Tdco 2 n J 1 —00 CO 2tí *(2.31) R ra(T) = —“ J]K(co)| coscoxdco 34 Giáo trìnli Lý thuyết thông tin 2.5.1.3. Ví dụ 1: Một mạch vô tuyến điện tuyến tính có tham số không đổi và đặc tính truyền đạt dạng chữ nhật (hình 2.4b) chịu tác động của tạp âm trắng dừng. Tìm hàm tự tương quan của tạp âm ra. I K(co)| (0 0 Hình 2.4 Theo giả thiết: Gv(co) = 2N0 và K ( cừ) Theo (2.31), ta có: co, (ỞQ co2 ù) K 0 co, < co < cd 2 0 Veo Ể (co,,co2) R - r a O O - —~ ÍKỒcoscoxdco = TC ... (0, . Acox sin — N 0Kq . — —-(sin co2x - sin co,x) TCT = ^ A c o . 7ĨX A(j)x/2 . A COI s m ---- 2 2 CO SCứ 0T (2.32) racosco0T Acox/2 Đồ thị Rra(x) như hình 2.5. (2.32) có thể viết gọn lại như sau: R ra(x) = R0ra(x)cosco0x Trong đó: (2.32a) Chương 2: Tín hiệu vù nhiễu 35 R o r a ơ ) = ơ ; sin Acot/2 Acot/2 (2.32b) (2.32b) gọi là bao của hàm tự tương quan của hưởng ứng. Hình 2.5 Vậy, bao của hàm tự tương quan của tạp âm ra là một hàm của đối số X dạng — x . Cực đại của hàm tự tương quan của tạp âm ra đạt tại X T = 0 và bằng ơ^a, tức là bằng công suất trung bình của tạp âm ra. Bây giờ ta sẽ chuyển sang xét một tham số vật lý nữa để đánh giá mức độ truyền tạp âm qua mạch tuyến tính. 2.5.1.4. Dải thông tạp âm Định nghĩa: Dải thông tạp âm của mạch tuyến tính (hay bộ lọc tuyến tính) được xác định theo biểu thức sau: 00 |2 = j|K(co)| dco I ___________ I ■ |2 K(co) max (2.33) 0) Aü)u Hình 2.6 Ý nghĩa hình học: A(0[à chính là đáy của hình chữ nhật có diện tích bằng diện tích của miền giới hạn bởi đường cong |K(co)| và nửa trục hoành (0, oo); I2 còn chiêu cao cua hình chữ nhật này là K(co) max. Ý nghĩa vật lý: Acotâ đặc trưng cho khả năng làm suy giảm tạp âm của các bộ lọc tuyến tính. Với cùng K(co0) , bộ lọc nào có Acotâ càng hẹp thì công suất tạp âm đầu ra của bộ lọc ấy càng bé. 2.5.2. Bài toán tôi đa Gr(oj) và Rr(t) chưa đặc trưng đầy đủ cho quá trình ngẫu nhiên. Nội dung: Tìm hàm mật độ xác suất của tín hiệu ở đầu ra mạch vô tuyến điện tuyến tính. Chương 2: Tín hiệu vù nhiễu 37 2.5.2.1. M ở đầu Tìm mật độ xác suất n chiều của tín hiệu ngẫu nhiên ở đầu ra mạch tuyến tính là bài toán rất khó, nó không giải được dưới dạng tổng quát. Dưới đây chỉ xét hai trường hợp đơn giản: - Tìm mật độ xác suất một chiều của tín hiệu ra bộ lọc tuyến tính khi tác động đầu vào là tín hiệu ngẫu nhiên chuẩn (có vô hạn thể hiện). Trong trường hợp này người ta đã chứng minh được tín hiệu ra cũng là một tín hiệu ngẫu nhiên chuẩn. - Đặt vào bộ lọc tuyến tính một tín hiệu ngẫu nhiên không chuẩn. Nếu ^ (° l£l « 1 (F là bề rông phổ của tín hiêu vào) thì tín hiêu ngẫu 2nF nhiên ở đầu ra sẽ có phân bố tiệm cận chuẩn. Người ta bảo đó là sự chuẩn hóa (Gauss hóa) các quá trình ngẫu nhiên không chuẩn bằng bộ lọc dải hẹp. 2.52.2. Ví dụ 2 Cho tạp âm dải hẹp, chuẩn có dạng: n(t) = c(t)cosco0t + s(t)sinco0t = A(t)cos(co0t - (p) (*) với c(t) và s(t) có phân bố chuẩn cùng công suất trung bình và với s(t) (p = arctgc(t) A(t) = yjc2(t) + s2(t) - đường bao của nhiễu. Công suất trung bình của cả hai thành phần của nhiễu bằng nhau và bằng hằng số: ơ : = ơ 2 = ơ 2. Khi n(t) dừng, người ta coi là hai thành phần của nhiễu không tương quan. Tác động n(t) lên bộ tách sóng tuyến tính. Hãy tìm mật độ xác suất một chiều của điện áp ra bộ tách sóng biết rằng bộ tách sóng không gây méo đường bao và không gây thêm một lượng dịch pha nào. Thực chất của bài toán là phải tìm W,(A) và Wị(cp). 38 Giủo trình Lý thuyết thông tin Trong giáo trình “Lý thuyết xác suất”, ta đã có công thức tìm mật độ xác suất một chiều của từng đại lượng ngẫu nhiên theo mật độ xác suất đổng thời của chúng, nên ta có: W ,(A )= i W 2(A,(p)d(p; W|(cp) = |W 2(A,cp)dA 0 0 Do đó, vấn đề ở đây là phải tìm Wo(A,(p). Vì bộ tách sóng không gây méo đường bao và không gây thêm một lượng dịch pha nào nên W2(A,cp) ở đầu ra cũng chính là W 2(A,cp) ở đầu vào. Tìm W 2(A,cp): Vì đầu bài chỉ cho w ,(c) và W |(s) nên ta phải tìm W2(A,(p) theo w 2(c,s). Theo giả thiết c(t) và s(t) không tương quan nên: w 2(c,s) = W |(c).W|(s) (2.34) (2.35) Ta thấy xác suất để một điểm có toạ độ (c, s) trong hệ toạ độ Đề các rơi vào một yếu tố diện tích dc.ds sẽ bằng: Pdcds= W 2(c,s)dc.ds. Để ý đến (*) ta thấy xác suất này cũng chính là xác suất để một điểm có toạ độ (A,(p) trong hệ toạ độ cực rơi vào một yếu tố diện tích dA.dọ. Ta có: P dcds- w 2(c,s)dc.ds = W2(A,(p)dA.dọ (2.36) Từ đó: Chương 2: Tín hiệu vù nhiễu 39 s s + dS s \ 0 c c + dc c Hình 2.7 Từ hình 2.7 ta thấy, với dA, dcp đủ nhỏ ta có: dc.ds = Adcp .dA Từ (**) ta có: w2 (A,cp) = w2 (c,s) = T -U e x p Z tíò (2.38) gọi là phân bố Reyleigh (Hình 2.8). (2.37) (2.38) Vậy nhiễu dải hẹp mà trị tức thời có phân bố chuẩn thì phân bố của đường bao là phân bố không đối xứng Reyleigh. Sở dĩ như vậy vì giá trị tức thời có cả giá trị âm và giá trị dương nên phân bố mật độ xác suất sẽ đôi xứng qua trục tung (phân bố Gausse). Còn xét đường bao tức là chỉ xét biên độ (giá trị dương) nên mật độ phân bố xác suất là đường cong không đối xứng và chỉ tổn tại ở nửa dương trục hoành. 40 Giáo trình Lý thuyết thông tin Hình 2.8 Wl(ẹ) = ]w 2(A,ọ)dA = ] ỳ - ệ - e x p | - ^ U d A W,( không có tín hiệu, chỉ có nhiễu dải hẹp, chuẩn => phân bố Rice trở về phân bố Reyleigh. a càng lớn, phân bố Rice càng tiến tới phân bố Gausse. Giải thích: a » 1 tín hiệu mạnh, nhiễu yếu. Tín hiệu tác dụng với thành phần không trực giao với nó của nhiễu (khi tín hiệu càng mạnh thì hỗn hợp này càng ít khác tín hiệu), còn thành phần của nhiễu trực giao với tín hiệu thì không chịu sự “chèn ép” của tín hiệu. Do đó mật độ phân bố xác suất bao của hỗn hợp sẽ mang đặc điểm của thành phần nhiễu trực giao với tín hiệu. / X 1 u [ì U 0cos(py w' M =^ exp í # r 2'j2nỗ2l + u0COS(Py V207 exp< u ổ sin cpy 25 (2.41) Trong đó: <ị)(z) =\Í2n 6 2d0 là tích phân xác suất Đồ thị (2.41) biểu diễn trên hình 2.10b. Hình 2.1 Oa Chương 2: Tín hiệu vù nhiễu 43 Hình 2.1 Ob Nhận xét: - a = 0 <=> chỉ có nhiễu w,((py) chính là Wị((p) đã xét ở ví dụ 2. - a » 1 => đường cong W|((py) càng nhọn, hẹp. Giải thích: Với a càng lớn thì có thể bỏ qua ảnh hưởng xấu của nhiễu. Do đó đường bao (biên độ tín hiệu) không có gia số (không thăng giáng) và cũng không có sai pha. Khi đó cpy nhận giá trị “0” trong khoảng (-71,71) với xác suất lớn. 2.6. BIỂU DIỄN PHỨC CHO THỂ HIỆN CỦA TÍN HIỆU NGẪU NHIÊN - TÍN HIỆU DẢI HẸP 2.6.1. Cặp biến đổi Hilbert và tín hiệu giải tích 2.6.1.1. Nhắc lại cách biểu diễn một dao động điều hòa dưới dạng phức Cho: x(t) = A0cos(co0t + cpo) = A(t)cos0(t) (2.42) Trong đó: co0: tần số trung tâm; 0(t): pha đầy đủ; cp0: pha đầu. 44 Giáo trình Lý thuyết thông tin Hình 2.11 Trong “Lý thuyết mạch”, người ta rất hay dùng cách biểu diễn x(t) dưới dạng phức sau: x(t) = x(t) + j x(t) = A (t)e J0l,) (2.43) Trong đó: x(t) = Re [ x(t) ]; x(t) = Im [ x(t) ] = A0sin9(t) Ta có thể biểu diễn x(t) dưới dạng một véc tơ trên mặt phẳng phức. Khi A(t) = const thì quỹ tích của điểm M sẽ là một vòng tròn tâm o , bán kính OM. co(t) = d0(t)/dt là tần số của dao động (Hình 2.11). 2.6.1.2. Cặp biến đổi Hilbert - Tín hiệu giải tích a) Cặp biến đổi Hilbert và tín hiệu giải tích Đê dễ dàng biểu diễn dưới dạng phức những thể hiện phức tạp của các quá trình ngẫu nhiên, người ta dùng cặp biên đổi Hilbert. Nó cho phép ta tìm x(t) khi biết x(t) và ngược lại. Chương 2: Tín hiệu vù nhiễu 45 Hilbert đã chứng tỏ rằng phần thực và phần ảo của hàm phức (2.43) liên hệ với nhau bởi các biến đổi tích phân đơn trị hai chiều sau: x(t) = Im [x(t)]= — í - ^ ì d i = h[x(t)] (2.44) rc 1 1 - T 1 °°r X ( T ì x(t) = — [ —^ d x = R e [ x ( t) ] = h '[x (t)] (2.45) n J —00 t - X Cặp công thức trên được gọi là cặp biến đổi Hilbert. Trong đó (2.44) gọi là biến đổi thuận Hilbert, còn (2.45) gọi là biến đổi ngược Hilbert. Chú ỷ: Cũng giống như tính chất của các tích phân, biến đổi Hilbert là một phép biến đổi tuyến tính. (Một phép biến đổi f được gọi là tuyến tính nếu có: f(x,+ x2) =f(x,) + f(x2) f(kx) = kf(x), (k = const) Các hàm x(t) vàx(t)được gọi là liên hiệp Hilbert đối với nhau. Tín hiệu phứcx(t)có phần thực và phần ảo thỏa mãn cặp biến đổi Hilbert gọi là tín hiệu giải tích (tương ứng với tín hiệu thực x(t)). b) Biến đổi Hilbert đối với tín hiệu hình sin Trong mục này ta sẽ chứng tỏ coscDqÍ và sincứot thỏa mãn cặp biến đổi Hilbert. Thật vậy: *(t) = I ì COS(° 0TdT_ 1 °rcos[co0( t - x ) - c o 0t]dT I t - T 7T t - X 46 Giáo trình Lý thuyết thòng tin 71 i t - x n _í t - X 00 00 4 [ COS az v rsinaz Chu ý rãng: -----— dz = 0 và -----—dz = 71 J 7 J 7 ' z _ z - 0 0 — 00 => x (t) = sin(D0t Vậy (sinco0t) là liên hợp Hilbert của (cosco0t). Tương tự (-cosco0t) là liên hợp phức Hilbert của (sinco0t). c) Biến đổi Hilbert đối với các hàm tổng quát hơn - Đối với các hàm tuần hoàn x(t): Trong “Lý thuyết mạch” ta đã biết, chuỗi Fourier của hàm tuần hoàn (thỏa mãn điều kiện Dirichlet) là: x(t) = 'Yj (a K co sKco0t + b K sin Kco0t) (2.46) K=0 Vì biến đổi Hilbert là biến đổi tuyến tính nên biến đổi Hilbert của tổng bằng tổng các biến đổi Hilbert của các hàm thành phần, nên: x(t) = h[x(t)] = ^ (a K sin Kco0t - b K COS Kco0t) (2.47) K=0 (2.46) và (2.47) gọi là chuỗi liên hiệp Hilbert. - Đối với hàm x(t) không tuần hoàn: Nếu hàm không tuần hoàn x(t) khả tích tuyệt đối thì khai triển Fourier của nó là: 1 00 x(t) = — j[a(co)coscot + b(co)sincot]dco 0 (2.48) Chương 2: Tín hiệu và nhiễu 47 Khi đó: 1 í00 x(t) = h[x(t)] = — h f[a(co)coscot + b(co)sincot]dco ► 271 u 1 00 = -!-J{ H [a ((0) coscot] + H[b(co)sin(ot]|dca 271 0 1 00 = — J[a((D)sino)t - b((o)coscot]dío (2.49) 2 n 0 (2.48) và (2.49) gọi là các tích phân liên hiệp Hilbert (H). d) Các yếu tố của tín hiệu giải tích Từ (2.46) và (2.47) (hoặc từ (2.48) và (2.49)) ta xây dựng được tín hiệu giải tích ứng với tín hiệu thực x(t) như sau: x(t) = x(t) + jx ( t) = A ( t) e JÔ(t) x(t) = R e[x(t) ] = A(t)cos0(t) (a) x(t) = Im [ x(t) ] = A(t)sin0(t) (b) - Đường bao của tín hiệu giải tích: Từ (a) và (b) ta thấy: A(t) = ự x 2(t) + x 2(t) (2.50) 48 Giáo trình Lý thuyết thông tin A(t) đặc trưng cho sự biến thiên (dạng biến thiên) của biên độ của tín hiệu (hình 2.12). A(t) được gọi là đường bao của tín hiệu (còn gọi là biên độ biến thiên hay biên độ tức thời của tín hiệu). - Pha tức thời của tín hiệu giải tích: Ký hiệu pha tức thời: 0(t) bằng: x(t) 0(t) = arctgx(t) - Tần số góc tức thời của tín hiệu giải tích (ừ(t): dtarctgx(t) (2.51) co(t) = d9(t) x(t) = [x(t)/x(t)]'_ x(t)x (t)-x (t)x '(t) 1 Ị x 2(t) x 2( t ) + x 2(t) x 2(t) Tính chất của Ạ(t): + A(t) > |x(t)| + Khi x(t) = 0 => A(t) = |x(t)| + Xét: A ’(t) =x(t).x'(t) + x(t).x (t) Vx2(t) + x 2(t) Khi x(t) = 0 => A ’(t) = x ’(t) (2.52) Vậy khi x(t) = 0 thì độ nghiêng của A(t) và x(t) là như nhau. Chương 2: Tín hiệu và nhiễu 49 - Kết luận: Đối với các tín hiệu ngẫu nhiên thì các yếu tố của tín hiệu là ngẫu nhiên. Nhờ có khái niệm tín hiệu giải tích nên ta mới nghiên cứu các tính chất thống kê của các yếu tố của nó được thuận lợi, đặc biệt là trong tính toán. 2.6.2. Tín hiệu dải rộng và dải hẹp 2.6.2.1. Tín hiệu dải rộng Người ta gọi một tín hiệu là tín hiệu dải rộng nếu bề rộng phổ của nó thỏa mãn bất đẳng thức sau: — > 1 (2.53) co0 Hình 2.13 Nhìn chung tín hiệu dải rộng là tín hiệu mà bề rộng phổ của nó có thể so sánh được với co0. Trong đó A(ử = a>2 - ca, và <00 = ^ 8 * là tầ" số *™"8 '*>n (xem hình 2.13). Ví dụ: Các tín hiệu điều tần, điều xung, điều chế mã xung, manip tần số, manip pha,... là các tín hiệu dải rộng. 2.6.22. Tín hiệu ddi hẹp Nếu tín hiệu có bề rộng phổ thỏa mãn: 50 Giáo trình Lý thuyết thông tin — < 1 (2.54) co0 Thì nó được gọi là tín hiệu dải hẹp. (Hình 2.14). Ví dụ: tín hiệu dải hẹp là các tín hiệu như: tín hiộu cao tần hình sin, tín hiệu cao tần điều biên, tín hiệu đơn biên... Nhìn chung tín hiệu dải hẹp là tín hiệu mà bề rộng phổ của nó khá nhỏ hơn so với tẩn số co0. Hình 2.14 2.6.23. Biểu diễn tín hiệu dải hẹp Nếu một tín hiệu dải hẹp có biểu thức giải tích sau: x(t) = A(t)cos[co0t - (p(t)] = A(t)cos0(t) (2.55) Trong đó: Cú0t là thành phần thay đổi tuyến tính của pha chạy (pha tức thời). cp(t) là thành phần thay đổi chậm của pha chạy A(t) là đường bao của tín hiệu Thì (2.55) có thể khai triển như sau: x(t) = A(t)cosco0tcos(p(t) + A(t)sinco0tsincp(t) Chương 2: Tín hiệu vù nhiễu 51 = A(t)cos(p(t)cosíứ0t + A(t)sin(p(t)sin(ứ0t >•-------------------- V -------------------- ' '--------------------V ------------------- ' = c(t).cosco0t + s(t).sinco0t (2.56) c(t). cosco0t, s(t).sinco0t là tín hiệu điều biên biến đổi chậm Vậy một tín hiệu dải hẹp hình sin bao giờ cũng có thể biểu diễn dưới dạng tổng của hai tín hiệu điều biên biến đổi chậm, với các yếu tố xác định như sau: A(t) = >/c2(t) + s2(t) sít) jcp(t) = a r c t g ^ (2.57) c(t) , X d0(t) d(t) Rõ ràng là các số hạng ở vế phải (2.56) thỏa mãn cặp biến đổi Hilbert. Việc biểu diễn một tín hiệu dải hẹp thành tổng của hai tín hiệu điều biên biến đổi chậm sẽ làm cho việc phân tích mạch vô tuyến điện dưới tác động của nó đơn giản đi nhiều. Ta sẽ xét lại bài toán này ở phần sau. 2.7. BIỂU DIỄN HÌNH HỌC CHO THỂ HIỆN CỦA TÍN HIỆU NGẪU NHIÊN 2.7.1. Khai triển trực giao và biểu diễn véc tơ của tín hiệu 2.7.1.1. Năng lượng của chuỗi Kachennhicov Ta đã biết rất rõ khai triển trực giao Fourier cho các hàm x(t) có phổ vô hạn. ở giáo trình “Lý thuyết mạch”, ta cũng biết rằng một hàm x(t) có phổ không chứa tần số lớn hơn Fc có thể phân tích thành chuỗi trực giao Kachennhicov sau: 52 Giáo trình Lý thuyết thông tin sin27ĩFc( t- K A t) x(t) = X(KA‘) K=-00 Trong đó: Àt = 1/2FC 2tiF (t - KAt)(2.58) Nếu ta chỉ xét tín hiệu có phổ hữu hạn x(t) trong khoảng thời gian T hữu hạn thì ta có biểu thức gần đúng sau để tính năng lượng của nó: T/2 T/2 n E = j x 2(t)dt w j £ x K - T /2 -T/2Lk=1 sin CO (t - KAt) C0c(t - KÀt) n2 dt (*) Trong đó n là số các giá trị rời rạc (còn gọi là các giá trị mẫu) của thể hiện tín hiệu x(t) trong khoảng quan sát T; còn XK là giá trị mẫu thứ K của x(t) tại thời điểm rời rạc KAt. Để cho gọn, ta đặt wc(t - KAt) = X, khi đó (*) có dạng: 2 1 T/2 r n : T 1 n T /2 . 2 -ì 1 r sin Ả 1 ^ -1 2 f sin Ả, dk E * 1 2 X , dÀ= 2 X 1 “ v2 ® c - T / 2 _K=I ^ _ © c K=1 -T/2 sin2 X -T/2 Xỏx & n (với T khá lớn) 71- " 1 n «c t í 2Fc t í(2.59) E = - f í X = ^ | X (2.59) cho ta tính được năng lượng của chuỗi 2.7.1.2. Biểu diễn x(t) thành véc tơ X trong không gian n chiều Khai triển Kachennhicov (2.58) là một dạng khai triển trực giao, sin co (t - KAt) Các hàm \ỊiK(t) =0)c(t - KAt)là các hàm trực giao. sincoe( t - K A t ) sincoc( t - i A t ) ^ _ J~7t/coc i K I C0c(t - KAt) coc( t- iA t) 0 i * K Chương 2: Tín hiệu và nhiễu 53 Vì vậy ta có thể coi mỗi hàm là một véc tơ đơn vị trên hệ trục toạ độ trực giao. Khi T hữu hạn thì Kmax = n cũng sẽ hữu hạn. Khi đó ta có thể coi x(t) là một véc tơ X trong không gian n chiều có các thành phần (hình chiếu) trên các trục toạ độ tương ứng là x(KÀt), (K = l , n ). x(t) <=> Ịx(t - At), x(t - 2 A t ) , x ( t - nAt)} x(t) <^> {XI, x2, Xn} X Theo định nghĩa, độ dài (hay chuẩn) của véc tơ X sẽ là: (2.60) Để ý đến (2.59), ta có: (2.61) (n = — = 2FCT) At Trong đó p là công suất của thể hiện tín hiệu trong khoảng hữu hạn T. Như vậy, với thời hạn quan sát và bề rộng phổ của thể hiện cho trước thì độ dài của véc tơ biểu diễn tỷ lệ với căn bậc hai công suất trung bình của nó. Nếu cho trước công suất trung bình p thì độ dài của véc tơ X sẽ tỷ lệ với yjn (tức là tỷ lệ với cãn bậc hai của đáy tín Nhận xét: Như vậy, với cùng một công suất trung bình tín hiệu nào có đáy càng lớn (tức là tín hiệu càng phức tạp) thì độ dài của véc tơ biểu diễn nó càng lớn. Khi đáy của tín hiệu càng lớn thì độ dài của véc tơ tín hiệu càng lớn -» véc tơ tổng của tín hiệu và nhiễu dải hẹp càng ít khác véc tơ tín hiệu -> ta sẽ nhận đúng được tín hiệu với xác suất cao. Để tính chống nhiễu của tín hiệu càng cao thì yêu cầu B càng phải lớn. 54 Giáo trình Lý thuyết thông tin T Trong trường hợp x(t) không rời rạc hóa: Ex = J x 2(t)dt. Khi đó T ||x|| = Ặ x J ) = V2FCE, => ||x| = 2FCJ V ( t ) d t (2.62) 0 Người ta còn gọi không gian mà chuẩn của véc tơ cho bởi tích vô hướng (2.62) là không gian Hilbert và ký hiệu là L2. Không gian L2 là sự mở rộng trực tiếp của không gian Euclide hữu hạn chiều lên số chiều vô hạn. 2.7.2. Mật độ xác suất của véc tơ ngẫu nhiên - Khoảng cách giữa hai véc tơ tín hiệu 2.7.2.1. Mật độ xác suất của véc tơ ngẫu nhiên a) Véc tơ tín hiệu: Để tiếp tục những vấn đề sau này được thuận tiện, ta đưa vào khái niệm véc tơ tín hiệu. Định nghĩa: Véc tơ tín hiệu x0 là véc tơ: x 0 = ~^=r (2.63) v n Trong đó X là véc tơ biểu diễn tín hiệu x(t) trong không gian n chiều. Tính chất: + x 0 có phương và chiều trùng với X + Độ lớn (modul): |jx0II = = Vp Chương 2: Tín hiệu vù nhiễu 55 b) Xác suất phản bố của mút véc tơ x0 và miền xác định của nó Trong không gian tín hiệu, tín hiệu được biểu diễn bởi véc tơ. Do đó xác suất để tổn tại tín hiệu đó ở một miền (nói riêng: tại một điểm) nào đấy của không gian chính là xác suất để mút véc tơ tín hiệu rơi vào miền ấy (nói riêng: điểm ấy) của không gian. Nếu x(t) là xác định thì mút của véc tơ x 0 chỉ chiếm một điểm trong không gian n chiều. Còn nếu x(t) là ngẫu nhiên có một tập các thể hiện {Xj(t)} thì mút véc tơ x 0 của nó sẽ chiếm một m iền nào đó trong không gian n chiều với thể tích: V = Ax1.Ax2....Axn. Khi ấy, xác suất để tổn tại tín hiệu ngẫu nhiên trong miền có thể tích dV sẽ là: P{ t/h N N ed V ) = Pịm út véc tơ t/h đó edV} = dP = w n(x„x2...,xn)dx,dx2...dxn = Wn(x0)dV (2.64) Sau đây ta sẽ xét miền xác định của một số dạng tín hiệu ngẫu nhiên: - Các thể hiện của tín hiệu phát có cùng đáy, cùng công suất: Khi đó miền các định của véc tơ tín hiệu phát sẽ là mặt cầu có bán kính bằng chuẩn của véc tơ tín hiệu phát ||x0II = Vp và có tâm ở gốc tọa độ của véc tơ ấy. (Sở dĩ như vậy vì x0 có chuẩn không đổi nhưng phương và chiều của nó thay đổi ngẫu nhiên). - Tạp âm trắng: Ta đã biết rằng các thể hiên ni(t) của tạp âm trắng n(t) có cùng công suất Pn. Như vậy miền xác định của tạp âm trắng là mặt cầu có bán kính bằng , có tâm là gốc của véc tơ tạp âm n 0. - Tổng của tín hiệu x(t) và tạp âm n(t): y(t) = x(t) + n(t) 56 Giáo trình Lý thuyết thông tin Nếu x(t) và n(t) không tương quan thì: py = px + pn (vì By(0) = Bx(0) + Bn(0)) Hlỹ.ll = n n => l|ỹo[|2= !lSo|2+ ilfi.0 (*) Từ (*) ta thấy x 0 _L n0 và y0 là cạnh huyền của một tam giác vuông có hai cạnh là x 0 và n 0. Nếu x(t) xác định thì miền xác định của mút ỹ()sẽ là đường tròn đáy của hình nón có đỉnh ở gốc tọa độ, chiều cao bằng ||x0|| và bán kính bằng ||n0II. (Hình 2.15a). b) Hình 2.15 Nếu x(t) chỉ là một thể hiện nào đó của quá trình ngẫu nhiên X(t) có các thể hiện cùng công suất thì lúc đó miền xác định của mút ỹ0 sẽ là một mặt cầu có bán kính bằng yf?x + Pn và có tâm ở gốc tọa đô (Hình 2.15b). 2.72.2. Khoảng cách giữa hai véc tơ tín hiệu Để đánh giá định lượng sự khác nhau giữa hai véc tơ tín hiệu, ta đưa ra khái niệm khoảng cách giữa hai véc tơ tín hiệu. Chương 2: Tín hiệu vù nhiễu 57 Định nghĩa: Khoảng cách giữa hai véc tơ tín hiệu u0và v0 được xác định theo biểu thức sau: d (ũ 0, v0) - ||ũ0 — v0II = -7= IIũ - V =0 d ( u 0 , v 0 ) = - ^ = ¿ ( u K - V K ) 2 v n V K=I Hay: d2( ũ 0,v 0) = — ì— ĩ Ỳ Uì + —r^ ĩ Ẻ VK - - ẳ UK-VK í v n j K=1 í v n j K=' n K=< Ta có: =—llal|2 =ll°oir =||ũo||.||ũ0||cos(u0,ũ0) Ị v n l K=I n 7- F T ĩ ẳ vK = % | f =||voir =||v„||.|v0|Ịcos(v0,v 0) (V n j K=| n - Ẻ UK-VK = (ũ0.v 0) = ||ũ0||.||v0||cos(ũ0,v 0) n K = 1 => d: (u0,v 0) = ||ũ0||2 +||v0f - 2 ||ũ 0||.||v0||cos(ũ0,v 0) d 2(ũ 0,v 0) = ||ũ0| 2 + |v 0||2 - 2 | ũ 0|. |v 0|cos(p Trong đó ọ là góc hợp bởi ũ 0 và v0 trong không gian n chiều. C0S(P = Tĩ—Ĩ r r iĩ (2.65) u0 H v0 d : (ũ 0,v cl) = Pu + P V - 2 n/PuPv cosọ (2.66) 58 Giáo trình Lý thuyết thông tin Nếu ta không rời rạc hóa tín hiệu thì: d(u0, v0) = ||u0 - v 0|| = ỈẬ j[u(t) - v(t)]2 dt 0 0 0 * 0 = pu + pv - 2Ruv(t,t) = pu + pv - 2RUV(0) Trong đó R uv(0) là hàm tương quan chéo của tín hiệu u(t) và v(t). R„,(0) = V D „(t).D ,(t).pu,(0) d2(uo,v o) = P „+ P >- 2 7 P X p m(0) (2.67) So sánh (2.66) và (2.67) ta thấy ngay ý nghĩa hình học của hàm tương quan chéo chuẩn hóa: puv(0) đóng vai trò cosin chỉ phương của hai véc tơ tín hiệu. cosọ = puv(0) (2 .68)K ết luận: - Với một mức nhiễu xác định, xác suất thu đúng càng cao khi các thể hiện cúa tín hiệu càng cách xa nhau. - Khoảng cách giữa hai mút của hai véc tơ tín hiệu càng lớn khi độ dài hai véc tơ càng lớn. 2.7.3. Khái niệm về máy thu tối ưu 2.7.3.1. Máy thu tôi ưu Một cách tổng quát, ta coi một máy thu đặc trưng bởi một toán tử thu Vị7 (hình 2.17). Yêu cầu của toán tử thu vị/ là tác dụng vào y(t) (là tín hiệu vào) phải cho ra tín hiệu đã phát x(t). Chươtìg 2: Tín hiệu vù nhiễu 59 Nếu ta phát đi một thế hiện nào đó của một quá trình ngẫu nhiên X(t): X(t) = Hình 2.16 Ta coi những thể hiện này có cùng công suất Px, có cùng thời hạn T và có cùng bề rộng phổ Fc. Giả thiết: trong quá trình truyền từ nơi phát đến nơi thu chỉ có tạp âm trắng Gausse n(t), các tín hiệu phát là đồng xác suất. Véc tơ tín hiệu ta nhận được: ỹ0 = ỹ0 / Vñ Nếu ỹ0này gần với véc tơ tín hiệu X 0 nhất so vói các véc tơ tín hiệu khác, tức là: J L _ Ĩ < _ỹ____ ỉi_ V ñ Vñ V ñ yfñ Với Vi: i = l,m và i * j Khi đó máy thu có \ị/ tác dụng lên ỹ cho ra Xj : lị/ [ ỹ ] = XK, sẽ được gọi là máy thu tối ưu (theo nghĩa Kachennhicov trong trường hợp các tín hiệu X (t ) là đồng xác suất). 2.7.32. Liên hệ giữa máy thu tối ưu K và máy thu theo tiêu chuẩn độ lệch trung bình bình phương nhỏ nhất Độ lệch trung bình bình phương (tbbp) giữa tín hiệu thu được và tín hiệu phát thứ j là: 60 Giáo trình Lý thuyết rhóng tin [y(t) - x ^ t ) ] 2 = Ạ j[y (t) - x ^ t ) ] 2^ A 0 Máy thu theo tiêu chuẩn độ lệch tbbp nhỏ nhất là máy thu đảm bảo: m m [ y ( t) - X j( t) ] 2 j = l,m Như vậy, máy thu sẽ cho ra tín hiệu Xj nếu: [ y ( t ) - X j( t ) ] 2< [ y ( t ) - x ,( t ) ] 2 V i * j , i = l,m Hay Ậ j [ y ( t ) - x J(t)]2dt < Ậ J[y(t) - x,(t)]2 dt V i * j , i = l,m * 0 0 Nâng lên luỹ thừa 1/2, ta có: J [ y ( t ) - x j(t)]2dt < j [ y ( t) - x ,( t ) ] 2dt V i * j , i = l , m Theo định nghĩa của khoảng cách, ta có thể viết lại như sau: d(ỹ0,x j0) < d(ỹ0,x j0) Vi * j, i = l,m Đây chính là hệ thức đảm bảo bởi máy thu tối ưu K. BÀI TẬP 2.1. Đổ thị giá trị trung binh a(t) và giá trị trung bình bình phương ơ(t) của các quá trình ngẫu nhiên X(t), Y(t) và Z(t) vẽ trên hình 2.16 dưới đây. Hãy chỉ ra trên đồ thị miền các giá trị có thể có cua các quá trình ngẫu nhiên này, biết rằng biên giới của các miền đó được xác định bời các giá trị của ơ(t). Chương 2: Tín hiệu vù nhiễu 61 a.(l) T x( t) ơ y ( t h \ Hình 2.16 2.2. Trên hình 2.16 vẽ hàm ngẫu nhiên dừng rời rạc X(t), gọi là dãy xung điện báo. Dãy xung có biên độ không đổi bằng đơn vị, có độ rộng ngẫu nhiên. x(t) Hình 2.17 Phân bố xác suất các giá trị (0 hoặc 1) của X(t) tuân theo luật Poisson: 62 Giảo trình Lý thuyết thông tin p„(t) = ^ e - ,> 0 n ! Trong đó X là số các bước nhảy của hàm X(t) trong một đơn vị thời gian, còn Pn(t) là xác suất để xảy ra n bước nhảy của hàm X(t) trong thời gian t. Hãy tìm hàm tự tương quan, hàm tương quan chuẩn hóa và thời gian tương quan của quá trình ngẫu nhiên, biết rằng P(l) = P(0) = 0,5. 2.3. Tìm hàm tự tương quan của quá trình ngẫu nhiên dừng sau: x(t) = Acos(27ĩf0t + (p) Trong đó A = const, f0 = const, cp là đại lượng ngẫu nhiên có phân bố đều trong khoảng (-71,71) 2.4. Tìm hàm tự tương quan và mật độ phổ của tín hiệu điện báo ngẫu nhiên X(t). Biết rằng nó nhận các giá trị + a; -a với xác suất như nhau và bằng 1/2. Còn xác suất để trong khoảng T có N bước nhảy là: . V ( ^ t ) N - X t P (N ,t) = X > 0 N! (theo phân bố Poisson). 2.5. Hãy chứng tỏ rằng đường bao của tín hiệu giải tích có thể biểu diễn bằng công thức sau: A (t) = V s ,( t) .s ;( t) Trong đó: s[ (t) là hàm liên hợp phức của Sa (t) Sa (t) = x ( t) + j x ( t ) là tín hiệu giải tích. 2.6. Một quá trình ngẫu nhiên dừng có hàm tự tương quan: a) R X](T) = ơ 2.e_a|T| b) R (x) = ơ 2.e“a|T|.cosco0x Hãy tính toán và vẽ đổ thị mật độ phổ của các quá trình ngẫu nhiên trên. C hương 3 Cơ SỞ LÝ THUYẾT THÔNG TIN THỐNG KÊ 3.1. T H Ô N G T IN , L Ư Ợ N G T H Ô N G T IN , X Á C SU Â T VÀ T H Ô N G T IN , Đ Ơ N VỊ Đ O T H Ô N G T IN 3.1.1. Định nghĩa định tính thông tin và lượng thông tin 3.1.1.1. Thông tin ở chương trước, ta đã học khái niệm về thông tin. Ở đây ta sẽ xây dựng định nghĩa định tính của thông tin theo quan điểm thống kê. Để đi tới định nghĩa định tính của thông tin, ta sẽ xét ví dụ sau: Ta nhận được một bức điện (thư) từ nhà gửi đến. Khi chưa mở bức điện ra đọc thì ta chỉ có thể dự đoán hoặc thế này hoặc thế khác về bức điện, mà không dám chắc nội dung của bức điện là gì. Nói khác đi, khi chưa mở bức điện ra đọc thì ta không thể xác định được nội dung của bức điện, tức là ta chưa biết gia đình báo cho ta thông tin gì. Nhưng khi đã xem xong bức điện thì nội dung của nó đối với ta đã hoàn toàn rõ ràng, xác định. Lúc đó, nội dung của bức điện không còn bấp bênh nữa. Như vậy, ta nói rằng: ta đã nhận được một tin về gia đình. Nội dung của bức điên ụó thể có 3 đặc điểm sau: . - Nội dung đó ta đã thừa biết. (Ví dụ: “Các em con được nghỉ hè 3 tháng”). Khi đó bức điện không cho ta một hiểu biết gì mới về tình hình gia đình. Hay nói theo quan điểm thông tin, thì bức điện với nội dung ta đã thừa biết không mang đến cho ta một thông tin gì. - Loại nội dung ta có thể đoán thế này hoặc thế nọ (tức là loại nội dung có độ bấp bênh nào đấy). Ví dụ: “Em An đã đỗ đại học”. Vì em An học lực trung bình nên thi vào đại học có thể đỗ, có thể không. Bức 64 Giáo trình Lý thuyết thông tin điện với nội dung ta không biết chắc (nội dung chứa một độ bất định nào đó) thật sự có mang đến cho ta một thông tin nhất định. - Loại nội dung mà ta hoàn toàn không ngờ tới, chưa hề nghĩ tới. Ví dụ: “Em An trúng giải Nhất trong đợt xổ số”. Bức điện như vậy, đứng về mặt thông tin mà nói, đã đưa đến cho ta m ột thông tin rất lớn. Chú ý: Ở đây ta nói tới “những nội dung chưa hề nghĩ tới” phải hiểu theo ý hoàn toàn kKách quan chứ không phải do sự không đầy đủ về tư duy của con người đem lại. Từ những ví dụ trên, ta rút ra những kết luận sau về khái niệm thông tin: - Điều gì đã xác định (khẳng định được, đoán chắc được, không bấp bênh,...) thì không có thông tin và người ta nói rằng lượng thông tin chứa trong điều ấy bằng không. - Điều gì không xác định (bất định) thì điều đó có thông tin và lượng thông tin chứa trong nó khác không. Nếu ta càng không thể ngờ tới điều đó thì thông tin mà điều đó mang lại cho ta rất lớn. Tóm lại, ta thấy khái niệm thông tin gắn liền với sự bất định của đối tượng ta cần xét. Có sự bất định về một đối tượng nào đó thì những thông báo về đối tượng đó sẽ cho ta thông tin. Khi không có sự bất định thì sẽ không có thông tin về đối tượng đó. Như vậy, khái niệnr thông tin chỉ là một cách diễn đạt khác đi của khái niệm sự bất định. Trước khi nhận tin (được thông báo) về một đối tượng nào đấy thì vẫn còn sự bất định về đối tượng đó, tức là độ bất định về đối tượng đó khác không (có thể lớn hoặc nhỏ). Sau khi nhận tin (đã được hiểu rõ hoặc hiểu một phần) về đối tượng thì độ bất định của nó giảm đến mức thấp nhất, hoặc hoàn toàn mất. Như vậy, rõ ràng “Thông tin là độ bất định đã bị thủ tiêu” hay nói một cách khác “Làm giảm độ bất định kết quả cho ta thông tin”. Chương 3: Cơ sở lý thuyết thông tin thống kê 65 3.1.1.2. Lượng thông tin Trong lý luận ở trên, ta đã từng nói đến lượng thông tin và lượng thông tin lớn, lượng thông tin nhỏ mà không hề định nghĩa các danh từ đó. Dưới đây ta sẽ trả lời vấn đề đó. Ở trên ta cũng đã nói: trước khi nhận tin thì độ bất định lớn nhất. Sau khi nhận tin (hiểu rõ hoặc hiểu một phần về đối tượng thì độ bất định giảm đến mức thấp nhất, có khi triệt hoàn toàn). Như vậy, có một sự chênh lệch giữa độ bất định trước khi nhận tin và độ bất định sau khi nhận tin. Sự chênh lệch đó là mức độ thủ tiêu độ bất định. Độ lớn, nhỏ của thông tin mang đến ta phụ thuộc trực tiếp vào mức chênh đó. Vậy: “Lượng thông tin là mức độ bị thủ tiêu của độ bất định Lượng thông tin = độ chênh của độ bất định trước và sau khi nhận tin = độ bất định trước khi nhận tin - độ bất định sau khi nhận tin (độ bất định tiên nghiệm - độ bất định hậu nghiệm)”. 3.1.2. Quan hệ giữa độ bất định và xác suất 3.1.2.1. Xét ví dụ sau Ta phải chọn một phần tử trong một tập nào đó. Phép chọn như thế (hoặc “chọn” hiểu theo nghĩa rộng: thử, tìm hiểu, điều tra, trinh sát, tình báo,...) bao giờ cũng có độ bất định. - Nếu tập chỉ có một phần tử thì ta chẳng phải chọn gì cả và như vậy khỏng có độ bất định trong phép chọn đó. - Nếu tập có hai phần tử thì ta đã phải chọn. Như vậy, trong trường hợp này phép chọn có độ bất định. Nếu số phần tử của tập tăng thì độ bất định sẽ tăng. - Các bước tiếp theo sẽ cho bởi bảng sau: 66 Giáo trình Lý thuyết thông tin Chú ý: Bảng này đưa ra với giả sử việc chọn các phần tử là đồng xác suất. 3.1.2.2. K ết luận - Bảng này cho thấy: độ bất định gắn liền với bản chất ngẫu nhiên của phép chọn, của biến cố. - Độ bất định (ký hiệu I) là hàm của số phần tử thuộc tập I(xK) = f(n) (a) - Độ bất định có liên quan với xác suất chọn phần tử của tập =>I(xK) = E[p(xK)] (b) Để tìm mối quan hệ giữa độ bất định I và xác suất chọn một phần tử xK(p(xK)) trong tập, ta xuất phát từ các tiên đề sau: Theo suy nghĩ thông thường, độ bất định I phải thoả mãn: + I(xK) > 0 Chương 3: Cơ sở lý thuyết thông tin thống kê 67 + p(xK) = 1 => I(xK) = E[p(xK)] = E[l] = 0 (3.1) + Tính cộng được: Nếu XK và Xj độc lập, thì: E[p(xK,Xj)] = E[p(xK)p(x,)] = E[p(xK)] + E[p(Xj)] Nếu XK và X ị phụ thuộc thì: E[p(xK,x,)] = E[p(xK)p(x,/xK)] = E[p(xK)] + E[p(x,/xK)] Đặt p(xK) = p và p (x /x K) = q, thì khi đó với mọi p, q (0 < p < 1, 0 < q < 1), ta có: E[p] + E[q] = E(pq) (3.2) Từ (3.2) ta có thể tìm được dạng hàm I(p). Lấy vi phân 2 vế của (3.2) theo p, ta có: E’(p) = q E’(pq) Nhân cả 2 v ế của phương trình này với p và ký hiệu p.q = X, ta có: pE ’(p) = tE ’(t) (3.3) (3.3) đúng Vp, X * 0. Nhưng điều này chỉ có thể có khi cả hai vế của (3.3) bằng một hằng số k nào đó: pE ’(p) = ^E’(t) = k = const Từ đó chúng ta có phương trình vi phân p l’(p) = const = k, lấy tích phân phương trình này, ta tìm được: E(p) = k.lnp + c (3.4) Kể đến điều kiện ban đầu (3.1), chúng ta có: E(p) = k.lnp (3.5) Như vậy, ta có: I(xK) = k.ln[p(xK)] (3.6) Hệ số tỷ lệ k trong (3.6) có thể chọn tuỳ ý, nó chỉ xác định hệ đơn vị đo của I(XK). Vì ln[p(xK)]< 0 nên để I(xK) > 0 thì k < 0. Nếu lấy k = -1 thì I(xK) = -ln[p(xK)] = ln P(xK). (3.7) 68 Giáo trình Lý thuyết thông tin Khi đó, đơn vị đo độ bất định sẽ là đơn vị tự nhiên, ký hiệu là nat. Nếu lấy k = - 7 7 — thì I(xK) = - ÌH £ ^ k 2 = -log2p(xK) (3.8) ỉn 2 ln2 Khi đó đơn vị đo độ bất định sẽ là đơn vị nhị phân, ký hiệu là bit (1 nat = 1,433 bit). Một bit chính là độ bất định chứa trong một phần tử (biến cố của tập xác suất chọn (xuất hiện) bằng 1/2. Người ta thường sử dụng đơn vị [bitJ do trong kỹ thuật tính và kỹ thuật liên lạc thường dùng các mã nhị phân. Ngoài ra, người ta còn có thể sử dụng những đơn vị đo khác tuỳ theo cách chọn cơ số của logarit. Vì vậy trong trường hợp tổng quát, ta có thể viết: I(xK) = -ỉogp(xK) (3.9) 3.1.3. Xác định lượng thông tin Ở mục 3.1.1.2, ta đả có kết luận sau: Lượng thông tin = độ bất định tiên nghiệm - độ bất định hậu nghiệm. Vì độ bất định sẽ trở thành thông tin khi nó bị thủ tiêu nên ta có thể coi độ bất định cũng chính là thông tin. Do đó: Lượng thông tin = thông tin tiên nghiệm - thông tin hậu nghiệm (*) Thông tin tiên nghiệm (hay còn gọi là lượng thông tin riêng) được xác định theo (3.9). Còn thông tin hậu nghiệm xác định như sau: Gọi xKlà tin gửi đi, y ( là tin thu được có chứa những dấu hiệu để hiểu biết về X K (có chứa thông tin về X K). Khi đó xác suất để rõ về X K khi đã thu được y ( là p ( \ J y c). Như vậy độ bất định của tin XK khi đã rõ y c bằng: Chương 3: Cơ sà lý thuyết thông tin thống kê 69 (3.9) I(xK/ y f ) = -logpíXn/y,) (3.10) (3.10) được g ọ i là thông tin hậu n g h iệ m về X K ( t h ô n g tin r iên g v ề X K s a u khi có y e). Thay (3.9) và (3.10) vào (*), ta có: Lượng thông tin vể X K = I(xK) - ICxk/ỵ^) Lượng thông tin về X K = I(xK) - I(xK/ y £) u Ký hiệu (3.11) (3.11) gọi là lượng thông tin về X K khi đã rõ tin y c hay còn gọi là lượng thông tin chéo về X K do y c mang lại. Nếu việc truyền tin không bị nhiễu thì y c = XK. Tức là nếu phát X K thì chắc chắn nhận được chính nó. Khi đó: p(xK/ y í ) = pO k/xr) = 1 Từ (3.11) ta có: I(xK, y e) = I(xK,xK) = I(xK) = log P ( XK ) Như vậy khi không có nhiễu, lượng thông tin nhận được đúng bằng độ bất định của sự kiện XK, tức là đúng bằng thông tin tiên nghiệm c ủ a X K. Vậy lượng thông tin tổn hao trong kênh sẽ là: I(xK) - I(xK,yí ) = I(xK/ y í ) 70 Giáo trình Lý thuyết thông tin Đơn vị đo của thông tin (lượng thông tin) cũng chính là đơn vị đo độ bất định. Nếu cơ số của logarit là 10 thì đơn vị đo thông tin được gọi là Hartley, hay đơn vị thập phân. Nếu cơ số của logarit là e = 2,718... thì đơn vị đo thông tin được gọi là nat, hay đơn vị đo lự nhiên. Nếu cơ số của logarit là 2 thì đơn vị đo thông tin được gọi là bit, hay đơn vị nhị phân. 1 Harley = 3,322 bit 1 nat = 1,443 bit 3.2. E ntropie và các tính chất của entrop ie 3.2.1. Tính chất thống kê của nguồn rời rạc và sự ra đời của khái niệm entropie Trong mục trước, ta mới chỉ xét đến lượng thông tin về một biến cố (hay một tin) trong một tập các biến cố (hay tin) xung khắc, đồng xác suất. Thực tế tồn tại phổ biến loại tập các biến cố (hay nguồn tin, tập tin) xung khắc, không đổng xác suất. Tức là xác suất xuất hiện các biến cố khác nhau trong tập là khác nhau. Ta gọi sự khác nhau giữa các xác suất xuất hiện biến cố của tập (hay tin của nguồn rời rạc) là tính chất thống kê của nó. Ví dụ 1: Sự xuất hiện các con chữ trong bộ chữ Việt có xác suất khác nhau: p(e) = 0,02843; p(m) = 0,02395; p(k) = 0,02102,... (Theo số liệu trong đồ án tốt nghiệp “Khảo sát cấu trúc thống kê chữ Việt” của Đoàn Công Vinh - ĐHBK HN). Ví dụ 2: Xác suất xuất hiện của 26 chữ cái trong tiếng Anh: (Số liệu theo Beker và Pipe). Chương 3: Cơ sở lý thuyết thông tin thống kê 71 Ký tự Xác suât Ký tự Xác suất A 0,082 N 0,067 B 0,015 0 0,075 c 0,028 p 0,019 D 0,043 Q 0,001 E 0,127 R 0,060 F 0,022 s 0,063 G 0,020 T 0,091 H 0,061 u 0,028 1 0,070 V 0,010 J 0,002 w 0,023 K 0,008 X 0,001 L 0,040 Y 0,020 M 0,024 z 0,001 Trong một nguồn tin như thế, ngoài thông tin riêng của mỗi tin (hay dấu) của nó, người ta còn phải quan tâm đến thông tin trung bình của mỗi tin thuộc nguồn. Người ta còn gọi thông tin trung bình do mỗi dấu của nguồn mang lại là entropie. Dưới đây ta sẽ xét kỹ định nghĩa về entropie. 3.2.2. Định nghĩa entropie của nguồn rời rạc 3.2.2.1. Đ ặt vấn đề Để phép đo được chính xác, trong vật lý, khi đo lường một đại lượng, ta không quan tâm đến từng trị đo được của đại lượng mà thường xét trị trung bình của chúng. Khi đó ta lấy các trị đo được cộng với nhau rồi chia cho số lượng của chúng: itb= £ i r /n r=l ở đây cũng có điều tương tự: ta không quan tâm đến từng thông tin riêng của mỗi dấu mà lại chú ý đến giá trị trung bình của các thông tin đó. Chí khác ở chỗ mỗi một thông tin riêng đến tương ứng với một 72 Giảo trình Lý thuyết thông tin xác suất xuất hiện nào đó, tức là ta có thể xem các thông tin riêng là m đại lượng ngẫu nhiên I. Do đó giá trị trung binh của các thông tin này (lượng thông tin trung bình hay entropie) chính là kỳ vọng của đại lượng ngẫu nhiên I. Ta đi tới định nghĩa sau: 3.22.2. Định nghĩa Entropie của nguồn tin rời rạc là trung bình thống kê của lượng thông tin riêng của các dấu thuộc nguồn A, ký hiệu Hj(A); H,(A) ầM[I(a,)] (3.12) Trong đó a, là các dấu của nguồn A (Ta hiểu dấu là các con chữ, hoặc các ký hiệu v.v... của nguồn). Còn nguồn A là một tập rời rạc các dấu với các xác suất xuất hiện của chúng. Ta quy ước viết A như sau: 'a , a2 ... as vp(aj) p(a2) ... p(as)y(3.13) (3.14) i=l A được cho bởi (3.13) và (3.14) còn gọi là trường tin (hay trường biến cố). Từ (3.12) và (3.13), ta có: s H,(A) = M[I(a,)] = X > (ai)I(ai) i = l => H|(A) = - ^ p ( a |) l o g p ( a ị ) (3.15) 1=1 H,(A) còn gọi là entropie một chiều của nguồn rời rạc: Ví dụ: H, (Việt) = 4,5167 bit H, (Nga) = 4,35 bit H, (Anh) = 4,19 bit Chương 3: Cơ sở lý thuyết thông tin thống kê 73 3.2.3. Các tính chất của entropie một chiều của nguồn rời rạc 3.2.3.1. Tính chất 1 Khi p(ak) = 1 và p(ar) = 0 với Vr * k thì: H 1(A) = H,(Amin) = 0 (3.16) Chứng minh: Ta đã có: 0 < p(aị) < 1 => logp(ai) < 0 => -logp(aj) > 0 ==> Hj(A) > 0 => Hị(Amin) = 0 Bây giờ ta chỉ còn phải chứng tỏ Hj(Amin) = 0 khi p(ak) = 1 và p(ar) = 0 ( V r * k ) . Thật vậy, p(ar) = 0 => p(ar)logp(ar) = 0 (Vr * k) p(ak) = i => p(ak)logp(ak) = 0 (Vr k) => H|(A) = - ^ p ( a i)lo g p (ai) = -p(ak)logp(ak) - £ p(aj) log p(aj) = 0 i=l,i*k Ý nghĩa: Thực ra không cần phải chứng minh như vậy, mà lập luận như sau cũng cho ta công thức (3.16): p(ar) = 0 => các ar không xuất hiện. p(ar) = 1 => các ak chắc chắn xuất hiện. => Không có độ bất định nào về các ãị => lượng thông tin riêng không có => lượng thông tin trung bình cũng không có. 3.2.3.2. Tính chất 2 Một nguồn rời rạc gồm s dấu đồng xác suất (và thoả mãn (3.14)) thì entropie của nó đạt cực đại và cực đại đó bằng log s. H,(Amax) = logs (3.17) 74 Giáo trình Lý thuyết thông tin Chứng minh: Hình 3.1 Khi đó p(aj) = - , tức là nguồn gồm các dấu xung khắc và đồng s khả năng. Xét hiệu: H|(A) - logs = Y p ( a j ) l o g — - l o g s t í p(a i) = ¿ P ( a , ) l o g —ỉ— - ¿ p ( a , ) l o g s t í p(a .) 1=1 Ẻ P ( a i) i=l log—^ - - l o g s p(ai) Chương 3: Cơ sở lý thuyết thông tin thống kê 75 s 1 s = = X p ( ai)-log x i=l p(aj)s i=1 Ta có: lnx < X - 1 Vx (xem hình 3.1) r ^ p C a ^ l o g x < ^ p ( a j ) ( x - l ) i = l s 1 s Mà: ^ p ( a i) i=i p(aị)s - 1 = = ° i=i s i=i Vậy: Hị(A) - logs < 0 =ì> H,(A) < logs. Tóm lại, ta thấy 0 < H|(A) < logs (entropie của nguồn rời rạc). Entropie là một đại lượng giới nội. Ký hiệu H(A)max = Ho(A) Ví dụ: Ho(Việt) = log236 = 5,1713 bit Ho(Nga) = log232 = 5 bit Ho(Anh) = log227 = 4,7 5 489 bit 3.2.4. Entropie của nguồn rời rạc, nhị phàn Nguồn rời rạc nhị phân là nguồn chỉ có hai dấu: aj<ĩ^>"0" với xác suất p (a ,) = p a2 <=>"l" vói xác suất p(a2) = 1 - p Ta có ngay: 2 H|(A) = ^ p ( a i)lo g p (ai) = - plogp - (1 - p) = f(p) i = l Đổ thị f(p) được biểu diễn trên hình 3.2. (3.18) Ta thấy H|(A) = f(p) chỉ phụ thuộc vào đặc tính thống kê của các tin. 76 Giáo trình Lý thuyết rlióng tin Hình 3.2 Nếu đơn vị dùng là bit thì max Hj(A) = 1. Nhận xét: - H t(A) đạt max tại p = —. Sở đĩ như vậy vì tập chỉ có hai phần tử, nên độ bất định của phép chọn sẽ lớn nhất khi hai dấu có xác suất xuất hiện như nhau. - p = 0 => H](A)min = 0. Khi đó 1 - p = 1 là xác suất xuất hiện dấu a2. Vậy ai là một biến cố chắc chắn. Phép chọn này không có độ bất định => lượng thông tin trung bình triệt. - p = 1 => H|(A)min = 0. Giải thích tương tự. 3.2.5. Entropie của trường sự kiện đồng thời Đinh nghĩa 1 : Có hai trường sự kiện A và B: A = al a2 •••• và B = r b l b 2 •••• b t N vp(a i ) p(a2) • •p(as), v p(b,) p(b2) . •p(b t)y Chương 3: Cơ sở lý thuyết thông tin thống kê 77 Các và bj là các sự kiện. Ta xét một sự kiện tích: ck = aị.bị. p(ck) = p(ar bị). Ta xét trường c là giao của hai trường A và B, nếu: a,b, a,b 7 .... a,b. ... a0b, ... a,b. N c = A.B = J ^p(aib,) p(ajb2) ... pCaỊb,) ... p(a2bj) ... p(asbt) Trường c được gọi là trường sự kiện đồng thời (trường giao, tích) của hai trường sự kiện cơ bản A và B. Định nghĩa 2: Hai trường sự kiện A và B được gọi là độc lập với nhau nếu: p(a,bj) = pía^.pC^) Chú ý: Tất nhiên nếu p(aj) và p(bj) thỏa mãn (3.14) thì ta cũng có: 0 < p (a jb j)< 1; ^ ^ p ( a ị b j ) = 1 (*) 1=1 j=i Định lý ỉ : Entropie của trường sự kiện đồng thời c = A.B sẽ bằng tổng entropie của các trường sự kiện cơ bản A và B nếu A và B độc lập. H(A.B) = H(A) + H(B) (3.19) Chứng minh: Theo định nghĩa: H(A.B) = - ^ ^ p ( a , b J)log(a,bJ) 1=1 J= 1 Theo giả thiết A và B độc lập với nhau nên ta có: s t s t H(A.B) = - X X p(a i )p(bj ) loỗ p(a ,) - X X p(a i ^ bj ) loêp^bj ) i = l j=l i = l j = l 78 Giáo trình Lý thuyết thông tin = - X p(ai) loể P 0 i ) X p(bJ ) ” X p(bJ) loể p(bj ) X p(a<) i=l j=l i = l j=l j=l 1=1 Mà: £ p ( b j ) = 1, ^ p ( a , ) = 1 j=i i=i => H(A.B) = H(A) + H(B) Nhận xét. Tương tự, nếu các nguồn Xk, (k = l ,n ) độc lập với nhau thì: H(X,.X2...X„)= ¿ H ( X k) k=l / ___ A V ________ A _ V __ 3.3. E N T R O P IE C Ó Đ IỂ U K IỆ N V À L Ư Ợ N G T H Ô N G TIN C H É O T R U N G B ÌN H 3.3.1. Entropỉe có điều kiện về một trường tin này khi đã rõ một tin nhất định của trường tin kia 3.3.1.1. M ở đầu Trong phần trước, ta đã nói nếu truyền tin có nhiễu thì tin phát đi ak và tin thu được là khác nhau. Và khi đó lượng thông tin riêng về ak do mang lại là: 1 I(ak/ b r ) = logp(ak /b ,) o b. b2 ò b, Hình 3.3