Thiết kế hệ thống điều khiển camera nội soi dựa trên mạng nơron học sâu

Bài viết đề xuất một hệ thống tự động điều khiển vị trí của camera mà không cần tới sự tham gia của người trợ lý. Hệ thống của chúng tôi gồm có một bộ Kit Jetson AGX Xavier và một cánh tay robot sáu bậc tự do có vai trò giữ camera nội soi.
Nội dung trích xuất từ tài liệu:
Thiết kế hệ thống điều khiển camera nội soi dựa trên mạng nơron học sâuKỷ yếu Hội nghị KHCN Quốc gia lần thứ XIV về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR), TP. HCM, ngày 23-24/12/2021DOI: 10.15625/vap.2021.0047 THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN CAMERA NỘI SOI DỰA TRÊN MẠNG NƠRON HỌC SÂU Nguyễn Văn Thiện1, Kim Đình Thái2, Lê Xuân Hải2, Nguyễn Lê Hoàng3 Khoa Công nghệ thông tin, Trường Đại học Công nghiệp Hà Nội 1 2 Viện Công nghệ HaUI, Trường Đại học Công nghiệp Hà Nội 3 Khoa Công nghệ thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Email: thiennv@haui.edu.vn, thaikd@haui.edu.vn, hailx@haui.edu.vn, hoangnl20002@gmail.com TÓM TẮT: Để thực hiện mổ nội soi, bác sĩ cần có sự giúp đỡ của người trợ lý giữ camera trong suốt quá trình thực hiệnphẫu thuật. Tuy nhiên, do sự không hiểu ý giữa bác sĩ và trợ lý, cũng như sự run của tay, dẫn đến góc quan sát thường không tối ưuvà không ổn định. Để giải quyết vấn đề này, chúng tôi đề xuất một hệ thống tự động điều khiển vị trí của camera mà không cần tớisự tham gia của người trợ lý. Hệ thống của chúng tôi gồm có một bộ Kit Jetson AGX Xavier và một cánh tay robot sáu bậc tự do cóvai trò giữ camera nội soi. Từ những hình ảnh thu được bởi camera, một thuật toán xử lý ảnh dựa trên mạng nơ ron học sâu đượcđề xuất để phát hiện vị trí của dụng cụ phẫu thuật có trong bức ảnh đó. Sau đó, một thuật toán điều khiển cánh tay robot được đềxuất để đảm bảo vị trí của dụng cụ luôn nằm ở khu vực trung tâm của hình ảnh. Kết quả thực nghiệm trên mô hình cho thấy, khảnăng phát hiện dụng cụ của mô hình (recall) là khoảng 68.15% và tỉ lệ dự đoán chính xác của mô hình (precision) là khoảng65.85%, tốc độ khung hình là 10.4 (FPS), và hệ thống có thể tự động điều khiển vị trí của camera theo sự di chuyển của dụng cụnhằm đảm bảo vùng quan sát là tối ưu và ổn định Từ khóa: Phẫu thuật nội soi, dụng cụ phẫu thuật, điều khiển, xử lý ảnh, mạng nơron học sâu. I. GIỚI THIỆU Ngày nay, phương pháp mổ nội soi đang dần thay thế phương pháp mổ hở truyền thống nhờ những ưu điểmvượt trội của nó, chẳng hạn như chẳng hạn như: ít đau sau mổ hơn, hồi phục nhanh hơn, thời gian nằm viện ngắn hơn,vết sẹo nhỏ hơn và nguy cơ nhiễm trùng thấp hơn so với mổ mở [1, 2]. Trong phẫu thuật nội soi, các bác sĩ sẽ tạo racác vết rạch “đủ nhỏ” lên cơ thể bệnh nhân để cho phép các dụng cụ phẫu thuật và ống nội soi đi qua. Sau đó, nhà phẫuthuật sẽ thực hiện các thao tác cắt hoặc đốt bởi các dụng cụ cầm tay thông qua việc quan sát những hình ảnh trên mộtmàn hình được cung cấp bởi camera gắn trên ống nội soi, như trong hình 1. Bên cạnh đó, nhà phẫu thuật luôn cần có sựgiúp đỡ của một người trợ lý giữ camera trong suốt quá trình thực hiện. Khi nhà phẫu thuật thay đổi vị trí cắt hoặc đốtthì người trợ lý cũng cần di chuyển vị trí của camera tương ứng để đảm bảo vùng quan sát là tốt nhất. Tuy nhiên, do sựkhông hiểu ý giữa nhà phẫu thuật và người trợ lý, cũng như sự run của tay do phải cầm giữ camera trong thời gian dài,dẫn đến góc quan sát thường không tối ưu và không ổn định. Hình 1. Phẫu thuật nội soi Trong những năm gần đây, thị giác máy tính đã có những phát triển vượt bậc và do đó việc tích hợp kỹ thuật thịgiác máy tính đã trở thành một phần quan trọng trong computer-assisted interventions (CAI) cho phẫu thuật nội soi [3].Một trong những thách thức được đặt ra đó là phát hiện dụng cụ phẫu thuật trong những hình ảnh thu được từ cameranội soi. Từ đó có thể phát triển một công cụ đánh giá tự động hiệu quả của một quá trình mổ nội soi thông qua việctheo dõi dụng cụ phẫu thuật [4]. Hơn nữa, việc phát hiện dụng cụ phẫu thuật có thể cung cấp những thông tin phản hồivề vị trí của các dụng cụ đang sử dụng và do đó, có thể điều khiển tự động camera nội soi tới vị trí mong muốn [5].Nguyễn Văn Thiện, Kim Đình Thái, Lê Xuân Hải, Nguyễn Lê Hoàng 93 Đã có một số nghiên cứu dựa trên thị giác máy tính cho việc phát hiện dụng cụ phẫu thuật nội soi được xuấtbản. Cách tiếp cận thứ nhất dựa trên những đặc trưng hình ảnh cho việc phát hiện, chẳng hạn như: dựa trên màu [5, 6],gradients [7] và texture [8]. Tuy nhiên, hầu hết các nghiên cứu này không đủ mạnh mẽ để phát hiện các dụng cụ phẫuthuật trong bụng bệnh nhân, nơi thường có sự xuất hiện của khói, máu, độ chói hoặc độ bóng. Vì vậy, trong những nămgần đây đã có một số nghiên cứu dựa trên convolutional neural network (CNN). Puta et al. [9] là người đầu tiên sửdụng CNN cho nhiều nhiệm vụ nhận dạng trên video nội soi. Một vài nghiên cứu [10-12] đã được đề xuất trong tháchthức phát hiện sự xuất hiện công cụ trong M2CAI 2016 [13]. Jin et al. [4] sau đó đã phát triển công việc này bằng việcdựa vào Fast Region-based Convolutional Network (Faster R-CNN) [14] để nhận ra không chỉ sự xuất hiện mà cònđịnh vị trí của đầu dụng cụ trong những video cắt túi mật. Tuy nhiên, hầu hết các nghiên cứu này chủ yếu tập trung vàoviệc phát hiện dụng cụ phẫu thuật mà chưa quan tâm đến việc ứng dụng kết quả đó vào một nhiệm vụ cụ thể trong mổnội soi. Vì vậy, trong nghiên cứu này, chúng tôi trước hết đề xuất một thuật toán dựa trên mạng nơron học sâu cho việcphát hiện dụng cụ phẫu thuật trong những hình ảnh thu được từ camera nội soi. Sau đó, một hệ thống tự động điềukhiển vị trí của camera được đề xuất để đảm bảo vùng quan sát khu vực mổ là tối ưu và ổn định, nhằm hướng đến loạibỏ sự tham gia của người trợ lý giữ camera. II. PHƯƠNG PHÁPA. Thuật toán phát hiện dụng cụ phẫu thuật1. Mô hình mạng nơron học sâu ...