Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 5(tt) - Lê Thanh Hương

Bài giảng này cung cấp cho người học những hiểu biết cơ bản về nghĩa từ vựng và phân giải nhập nhằng từ. Nội dung trình bày gồm có: Từ đồng âm, phân loại từ đồng âm tiếng việt, từ đa nghĩa, đồng nghĩa, nghĩa từ vựng, ràng buộc về lựa chọn: mã hóa ngữ nghĩa trong văn phạm, ràng buộc lựa chọn, khai thác quan hệ từ vựng,... Mời các bạn cùng tham khảo.
Nội dung trích xuất từ tài liệu:
Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 5(tt) - Lê Thanh HươngTừ đồng âmNghĩa từ vựng và phângiải nhập nhằng từzTừ đồng âm (Homonymy): là những từ trùngnhau về hình thức ngữ âm nhưng khác nhau vềnghĩazLê Thanh HươnggBộ môn Hệ thống Thông tinViện CNTT &TT – Trường ĐHBKHNEmail: huonglt-fit@mail.hut.edu.vnzTừ đồng âm, đồng tự (Homograph) : các từ với cùngcách viết nhưng có nghĩa khác nhau. Ví dụ:z doved- divedi iinto water, whitehi bibirddz sawTừ đồng âm, không đồng tự (Homophone): các từ cócách viết khác nhau nhưng có cùng âm. Ví dụ:z see, sea; meat, meet1Từ đa nghĩa, đồng nghĩaPhân loại từ đồng âm tiếng ViệtzĐồng âm từ với từ, gồm:zzz2zĐồng âm từ vựng: Tất cả các từ đều thuộc cùng một từ loại. Ví dụ:z đường1 (đắp đường) - đường2 (đường phèn).z đường kính1 (đường để ăn) - đường kính2 (…của đường tròn).z cất1 (cất vó) - cất2 (cất tiền vào tủ) - cất3 (cất hàng) - cất4 (cất rượu)Đồngồ âm từ vựng-ngữ pháp: Các từ trong nhóm đồngồ âm với nhau chỉkhác nhau về từ loại. Ví dụ:z chỉ1 (cuộn chỉ) - chỉ2 (chỉ tay năm ngón) - chỉ3 (chỉ còn có dăm đồng).z câu1 (nói vài câu) - câu2 (rau câu) - câu3 (chim câu) - câu4 (câu cá)zzĐồng âm từ với tiếng: các đơn vị khác nhau về cấp độ; kíchthước ngữ âm của chúng đều không vượt quá một tiếng. Ví dụ:zTừ đa nghĩa (Polysemy): một từ nhiều nghĩa,biểu thị những đặc điểm, thuộc tính khác nhaucủa một đối tượng, hoặc biểu thị những đốitượng khác nhau của thực tại. Ví dụĐồng nghĩa (Synonymy): là những từ tươngđồng với nhau về nghĩa, khác nhau về âmthanh. Ví dụzCon trai Văn Cốc lên dốc bắn cò, đứng lăm le cười khanh khách. Con gáiBát Chàng bán hàng thịt ếch ngồi châu chẫu nói ương ương.đi chỉ việc dịch chuyển bằng hai chi dưới hoặc chỉmộtột ngườiời nàoà đó đã chếthếtzcố, gắngcar, automobile3Ràng buộc về lựa chọn: Mã hóangữ nghĩa trong văn phạmNghĩa từ vựngzzzNgữ nghĩa nghiên cứu ý nghĩa của các phát biểu dạngngôn ngữNghĩa từ vựng (Lexical semantics) nghiên cứu:zzz4Vị từ biểu diễn các ràng buộc qua tham sốz(quan hệ từ vựng) sự liên hệ về mặt ngữ nghĩa giữa các từ(ràng buộc về lựa chọn) cấu trúc liên hệ ngữ nghĩa bêntrong của từng từbao gồm lý thuyết về phân loại và phân rã nghĩa của từ, sựgiống và khác trong cấu trúc từ vựng – ngữ nghĩa giữa cácngôn ngữ, và quan hệ nghĩa của từ với cú pháp và ngữnghĩa của câu.zzzzSử dụng vị từ để phân giải nhập nhằngVí dụ dish:zzz5read (human subject, textual object)eat (animate subject)kill (animate object)cái đĩa để ănmón ănphương tiện liên lạc61Ví dụ về từ “dish”zzzRàng buộc lựa chọnNot unexpectedly, wives, whether working or nonworking, did by far the most - about 80% of the shopping,laundry and cooking, and about two-thirds ofhousecleaning, washing dishes, child care, and familypaperpp work.In her tiny kitchen at home, Ms. Chen works efficiently,stir-frying several simple dishes, including braised pigsears and chicken livers with green peppers.Installation of satellite dishes, TVs and videocassetteequipment will cost the company about $20,000 perschool, Mr Whittle said.zVPPNC có thể đưa vào các ràng buộc lựa chọnztạo ontology (ví dụ, người, động vật)ràng buộc về luậtzràng buộc về dịch nghĩazzzzvd. VP → VgiếtNPđộng vậtvd. ăn([sinh vật sống], [thức ăn])Nhược điểm: Cách viết này không tổng quátzzkhông đủ thông tinkhông sử dụng được với các trường hợp không liệt kêtrong văn phạm7Khai thác quan hệ từ vựng8Khai thác quan hệ từ vựngzXác định quan hệ từ vựng giữa các từ trongđoạn sauyêu độngộ g vậtậ nuôi trongg nhà. Tôi đặcặ biệtệTôi ythích mèo vì chúng là loài động vật rất độclập. Ngược lại, chó thì khá lắm nhu cầu. Vídụ, bạn phải dắt chúng đi dạo hàng ngày.Từ điển đồng nghĩa:zzgồm từ đồng nghĩa (Synonyms) và trái nghĩa(Antonyms)Wordnet:zzzTừ đồng nghĩa và trái nghĩaTừ lớp cha và từ lớp con…910Nhập nhằng và các ràng buộclựa chọnzNhập nhằng:zzzzCác vị từ khác nhau ứng với các nghĩa khác nhauz wash the dishes (theme : washable-thing)Tham số cũng có thể giải quyết nhập nhằng cho vị từserve vegetarian dishes (theme : food-type)zzPhân tích ngữ nghĩa:nghĩazzVấn đề:Đôi khi ràng buộc lựa chọn không đủ chặt (khi 1 từcó nhiều nghĩa)Đôi khi ràng buộc quá chặt – khi vị từ sử dụngphéppp ẩn dụ.ụ Vd,, I’ll eat myy hat!Luật có gắn thông tin ngữ nghĩa được sử dụng với các câu đãđược phân tích cú pháp“I wanna eat somewhere close to CSSE”Ngoại động từ: VÆ eat {theme:food-type} (VP --> VNP)Nội động từ: VÆ eat (VP --> V)Xung đột ràng buộc lựa chọn: loại trừ cú pháp11122WordNet: Giới thiệuWordNet: Giới thiệuCSDL từ vựngzzzCSDL từ vựngz Wordnet cho các ngôn ngữ khác[www.globalwordnet.org]Lấy ý tưởng từ lý thuyết về tâm lý ngôn ngữ về khả năngnhớ từ vựng của con ngườiXâ dXâydựng mộtột mạng kh ...