Tối ưu dữ liệu lớn hàng hải gom cụm K nhóm theo trung bình dựa vào mô hình mapreuce

Bài nghiên cứu này cho biết một thuật toán gom cụm được gọi là K-means dựa trên mô hình MapReduce để xử lý dữ liệu hàng hải tàu biển tại khu vực miền Nam, Việt Nam. Với kết quả thu được, chúng tôi đưa ra suy luận hoặc dự đoán về dữ liệu gom cụm mà chúng được thu thập và sau đó là hiển thị dữ liệu của các hàng hải tàu biển, bao gồm quy mô, hướng và phân bố không gian.
Nội dung trích xuất từ tài liệu:
Tối ưu dữ liệu lớn hàng hải gom cụm K nhóm theo trung bình dựa vào mô hình mapreuceTẠP CHÍ ISSN: 1859-316XKHOA HỌC CÔNG NGHỆ HÀNG HẢI KHOA HỌC - CÔNG NGHỆJOURNAL OF MARINE SCIENCE AND TECHNOLOGY TỐI ƯU DỮ LIỆU LỚN HÀNG HẢI GOM CỤM K NHÓM THEO TRUNG BÌNH DỰA VÀO MÔ HÌNH MAPREUCEOPTIMIZED THE MARITIME BIG DATA K-MEANS CLUSTERING BASED ON THE MAPREDUCE MODEL PHẠM TUẤN ANH1,2, ĐẶNG XUÂN KIÊN1, PHẠM TÂM THÀNH3,* 1 Trường Đại học Giao thông vận tải Thành phố Hồ Chí Minh 2 Tổng Công ty Bảo đảm an toàn Hàng hải Miền Nam 3 Trường Đại học Hàng hải Việt Nam *Email liên hệ: phamtamthanh@vimaru.edu.vnTóm tắt applications to process big data on large clustersVới sự phát triển của công nghệ thông tin, dữ liệu of commodity machines. This study, a standardhàng hải lớn đang là xu hướng ngày càng tăng clustering algorithm called K-means is based oncủa các ứng dụng nhằm xử lý mà không đủ bộ nhớ the MapReduce model to be processed the marinechính của việc phân tích dữ liệu lớn đang là bài traffic data in southern region, Viet Nam.toán thách thức hiện nay. Đối với ứng dụng According to the main results obtained, wechuyên sâu, dữ liệu hàng hải lớn, thuật ngữ concerned with making inference or prediction the“MapReduce” gần đây đã thu hút sự chú ý đáng clustering data which were collected and werekể và bắt đầu được nghiên cứu để phân tích mà có shown the dashboard of maritime vessels traffic,thể xử lý hàng petabyte dữ liệu AIS cho hàng triệu including the scale, the trend of change and thetàu thuyền. MapReduce là một mô hình lập trình spatial distribution situation.cho phép dễ dàng phát triển các ứng dụng song Keywords: MapReduce, K-means, AIS data, datasong có thể mở rộng để xử lý dữ liệu lớn trên các mining.cụm máy tính [1]. Trong bài nghiên cứu này, mộtthuật toán gom cụm được gọi là K-means dựa trênmô hình MapReduce để xử lý dữ liệu hàng hải tàu 1. Đặt vấn đềbiển tại khu vực miền Nam, Việt Nam. Với kết quả Với sự phát triển mạnh mẽ của kinh tế biển, vớithu được, chúng tôi đưa ra suy luận hoặc dự đoán mật độ tàu thuyền dày đặc, đặc biệt là tập trung cácvề dữ liệu gom cụm mà chúng được thu thập và cảng biển lớn có khả năng tiếp nhận các tàu trọng tảisau đó là hiển thị dữ liệu của các hàng hải tàu lên tới 160,000DWT, điều này đã tạo ra dữ liệu lớnbiển, bao gồm quy mô, hướng và phân bố không hàng hải [2]. Dữ liệu hàng hải được thu thập từ hệ thống thông tin nhận dạng tự động (AIS, Automaticgian. Identification System) [3], cung cấp nhiều thông tinTừ khóa: Mô hình MapReduce, K-means, dữ liệu thời gian thực về hàng hải tàu biển và đã sử dụng đểAIS, khai phá dữ liệu. nhận thức tình huống hàng hải (MSA, MaritimeAbstract Situation Awareness) và giám sát đại dương. Sự phổWith the development of information technology, biến của hệ thống AIS đồng nghĩa với cung cấp mộtthe maritime big data is an increasing trend of nguồn dữ liệu phong phú để khai phá dữ liệu phục vụapplications being expected to deal with big data phân tích giao thông hàng hải tàu biển, theo thống kêthat usually do not fit in the main memory of an lượng dữ liệu được thu thập từ hệ thống AIS tronganalyzing big data is a challenging problem today. năm qua là rất lớn (tại khu vực miền Nam, Việt NamFor such data intensive application, the maritime đã thu thập hơn 100GB) - Trong nghiên cứu này,big data, the “MapReduce” framework has chúng tôi lấy mẫu dữ liệu ngày 13/9/2019. Được thểrecently attracted considerable attention and hiện trong Hình 1.started to be investigated for analysis which can Dữ liệu hàng hải là dữ liệu được thu thập qua hệhandle petabyte of AIS data for millions of vessels. thống AIS chứa nhiều thông tin tàu biển (thời gian, tênMapReduce is a programming model that allows tàu, MMSI - Maritime Mobile Service Identity , COG- Course Over Ground, SOG - Speed Over Ground,...).easy development of scalable parallelSỐ 68 (11-2021) 15 TẠP CHÍ ISSN: 1859-316X ...