LINK TẢI LUẬN VĂN MIỄN PHÍ CHO AE KET-NOI
Kết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồ
TÓM TẮT
Trong những năm gần đây, số lượng người gặp vấn đề về vận động đã tăng lên ở Việt Nam và trên thế giới. Đối với người già và người khuyết tật, các chức năng thể chất của họ bị giảm sút nghiêm trọng, và do đó xe lăn điện gần như là phương tiện duy nhất để duy trì tính cơ động. Luận án này đã đề xuất một số phương pháp cho việc điều khiển bán tự động cho xe lăn điện dựa vào tín hiệu điện não đồ (EEG), camera, các vật mốc và bản đồ. Cụ thể, để điều khiển bán tự động cho xe lăn đến đích, một quá trình gồm 3 giai đoạn được thực hiện, bao gồm: (1) người dùng chọn vị trí điểm đích trên giao diện máy tính bằng tín hiệu EEG; (2) xe lăn tự xác định vị trí bắt đầu trên bản đồ dựa vào các vật mốc trong môi trường; và (3) hệ thống điều khiển xe lăn điện tự động đến đích dựa vào thông tin điểm bắt đầu và đích đến.
Trong môi trường trong nhà, để bắt đầu cho một lộ trình di chuyển tự động, một điểm đích cần được lựa chọn. Khi người khuyết tật bị hạn chế về vận động chẳng hạn như không thể cử động tay hay đầu, các hoạt động nháy mắt là phù hợp để người dùng ra các lệnh lựa chọn đích đến trên một giao diện máy tính đã được thiết kế trước với các điểm đích. Từ đó, luận án đề xuất hai phương pháp phân loại các hoạt động nháy mắt từ tín hiệu EEG gồm phương pháp ngưỡng biên độ và mô hình học sâu 1D-CNN. Phương pháp ngưỡng biên độ được áp dụng cho phân loại các hoạt động mắt như nháy mắt trái, nháy mắt phải, và không nháy mắt với độ chính xác trung bình trên 92%. Cụ thể, độ chính xác khi phân loại nháy mắt trái, nháy mắt phải, và không nháy mắt có tỷ lệ lượt là 97%, 99% và 82% cho mỗi loại. Ưu điểm của phương pháp này là có thể xử lý trực tiếp trên tín hiệu mà không cần được huấn luyện trước với thời gian ngắn. Với phương pháp phân loại các hoạt động mắt dùng mạng học sâu 1D-CNN, tập dữ liệu huấn luyện cần được thu thập trước theo một quy trình được chuẩn hóa. Với đặc điểm của các hoạt động mắt, chỉ có tín hiệu từ 4 điện cực trong tổng số 14 điện cực thu được từ thiết bị Emotiv Epoc+ được trích xuất và ghép lại tạo thành 1 tín hiệu cho huấn luyện. Các tín hiệu này được làm trơn dùng bộ lọc Savitzky − Golay trước khi đưa vào huấn luyện. Kết quả phân loại cho 5 loại nháy
Trang – v –
TÓM TẮT
mắt gồm nháy mắt trái, nháy mắt phải, nháy hai mắt, nháy hai mắt hai lần liên tiếp và không nháy mắt có độ chính xác trung bình trên 98%, với tỷ lệ lần lượt là 98,1%, 100%, 95,9%, 100%, và 98,1% cho mỗi loại.
Sau khi người dùng đã chọn được điểm đích, vị trí ban đầu của xe lăn trên bản đồ cần được xác định. Với xe lăn điện được trang bị camera, thông tin của các vật mốc tự nhiên bao gồm hình ảnh vật mốc và vị trí của nó trong môi trường, là rất cần thiết cho việc xác định vị trí của xe lăn. Để định vị trên bản đồ dựa vào vật mốc, xe lăn cần thu thập thông tin vật mốc và lưu vào cơ sở dữ liệu, sau đó trong quá trình di chuyển xe lăn sẽ xác định vị trí dựa vào các vật mốc này. Để thu thập thông tin vật mốc trong môi trường, luận án kiến nghị phương pháp mật độ điểm đặc trưng lớn nhất cho nhận biết vật mốc tự nhiên và phương pháp xác định vị trí của vật mốc dựa vào vị trí xe lăn và thông tin 3D từ camera. Cụ thể, hình ảnh môi trường thu thập được từ camera sẽ được trích xuất đặc trưng, và sau đó các thuật toán hình thái học được thực hiện để kết nối các điểm đặc trưng này lại tạo thành các đối tượng trong ảnh. Mật độ điểm đặc trưng cho từng đối tượng này sẽ được tính toán và đối tượng nào có mật độ điểm đặc trưng lớn nhất được chọn là vật mốc. Với vật mốc đã được lựa chọn, thông tin 3D của vật mốc và vị trí của xe lăn trong môi trường được dùng để xác định vị trí vật mốc. Bên cạnh đó, luận án cũng kiến nghị phương pháp xác định vị trí xe lăn trên bản đồ lưới 2D ảo từ thông tin vật mốc trong môi trường thực, nhằm phục vụ cho việc điều khiển xe lăn. Cụ thể, sau khi nhận dạng được các vật mốc có trong cơ sở dữ liệu đã thu thập trước đó, thông tin tọa độ vị trí của các vật mốc này trong không gian môi trường và trong không gian của camera sẽ được dùng để tính toán vị trí xe lăn trong môi trường thực và trên bản đồ 2D lưới ảo bằng các phương trình lượng giác.
Để giảm bớt việc tham gia điều khiển của người sử dụng và tăng sự an toàn, luận án đề xuất mô hình điều khiển thực - ảo cho xe lăn điện dựa vào bản đồ lưới 2D ảo, cho phép người khuyết tật đến bất kỳ điểm đến định sẵn nào trên bản đồ lưới này. Cụ thể, bản đồ lưới 2D ảo được xây dựng từ môi trường thực bằng cách chia thành các ô lưới có thể chứa các khoảng trống hay chướng ngại vật. Sau đó, bản đồ với
Trang – vi –
TÓM TẮT
các ô lưới được vẽ này sẽ được mô phỏng để tìm các đường đi tối ưu để đến các vị trí đích bằng mô hình Deep Q-Networks (DQNs) với hàm kích hoạt PreLU. Bên trong mô hình DQNs-PreLU là một mạng nơ-ron truyền thẳng sử dụng phương pháp lan truyền ngược để cập nhật các thông số mạng. Ngõ vào mô hình là bản đồ lưới và ngõ ra là các hành động của xe lăn tương ứng trên bản đồ bao gồm Lên, Xuống, Trái, Phải. Với các thí nghiệm đã được thực hiện, mô hình DQNs-PreLU cho thấy thời gian huấn luyện ngắn hơn rất nhiều so với các mô hình khác và các thông số mô hình có thể lưu trữ lại để dùng cho điều khiển xe lăn trong môi trường thực. Để có thể điều khiển xe lăn trong môi trường thực, một thuật toán mới được đề xuất để chuyển đổi các hành động của xe lăn từ ngõ ra của mô hình DQNs-PreLU khi mô phỏng với bản đồ lưới 2D ảo thành các lệnh điều khiển thực tế cho xe lăn. Kết quả thí nghiệm đã cho thấy mô hình điều khiển đề xuất có thể tự động điều khiển xe lăn đến đích mong muốn với tính ổn định và an toàn hơn so với khi người dùng tự điều khiển.
Từ những kết quả này, một mô hình xe lăn điện bán tự động cho người khuyết tật trong môi trường trong nhà có thể được ứng dụng trong thực tế. Hiệu quả của các phương pháp đề xuất đã được đánh giá thông qua các kết quả thí nghiệm. Các phương pháp và mô hình được kiến nghị cùng với các kết quả thu được trong luận án này đã được đăng trong các kỷ yếu hội thảo khoa học và tạp chí khoa học. Với mô hình xe lăn điện bán tự động được đề xuất cùng với các kết quả thử nghiệm, xe lăn điện với chi phí thấp có thể được sản xuất trong tương lai gần, hướng đến nhu cầu di chuyển thiết yếu và an toàn cho người khuyết tật.
Trang – vii –
ABSTRACT
ABSTRACT
In recent years, the number of people facing mobility issues has increased in Vietnam and worldwide. For the elderly and people with disabilities, their physical functions are severely compromised, and therefore, electric wheelchairs are nearly the sole means to maintain mobility. This thesis has proposed several methods for semi-automatic control of an electric wheelchair based on electroencephalogram (EEG) signals, cameras, landmarks, and maps. Specifically, to semi-automatically control the wheelchair to the destination, a three-stage process is implemented, including (1) users selecting the destination on a computer interface using EEG signals; (2) the wheelchair autonomously determining a starting position on the map based on landmarks in an indoor environment; and (3) the wheelchair system automatically controlling the electric wheelchair to reach the desired destination based on the starting position and destination information.
In an indoor environment, to initiate an automatic travel route, a destination needs to be selected. In the case of disabled people with limited mobility such as being unable to move an electric wheelchair by their hands or head, blinking operations are suitable for moving by selecting commands on a computer interface pre-designed with destinations. Therefore, the thesis proposes two methods of classifying blink activities from EEG signals, including the amplitude thresholding method and the 1D-CNN deep learning model. In particular, the amplitude thresholding method is applied to classify eye activities such as left blink, right blink, and neutral with an average accuracy of over 92%. Specifically, the accuracy rates for classifying left-eye blink, right-eye blink, and neutral are 97%, 99%, and 82% respectively for each type. The advantage of this method is its ability to directly process signals without the need for pre-training with a short computation time. With the second method using a 1D-CNN deep learning network is that the training data
Trang – viii –
ABSTRACT
set needs to be pre-collected according to a normalized procedure. With the characteristics of eye activities, only the EEG signals obtained from 4 electrodes of the Emotiv Epoc+ system with 14-electrodes are extracted and reassembled to produce one signal for training. Moreover, the EEG signals are smoothed using Savitzky − Golay filters before training and this can produce better accuracy. Finally, the classification results for 5 types of blinks including left-eye blink, right-eye blink, two-eye blink, double two-eye blink, and neutral have an average accuracy exceeding 98%, with respective rates of 98,1%, 100%, 95,9%, 100%, and 98,1% for each type.
After the user has selected a desired destination on the map, the wheelchair's initial position needs to be determined. With an electric wheelchair equipped with a camera, the information of natural landmarks, including the image of the landmark and its position in the environment, are essential for determining the position of the wheelchair. To determine the location based on these landmarks, the wheelchair needs to collect landmark information and then store them in a database during the movement. Therefore, to collect information of landmarks in an indoor environment, the thesis proposes the methods of the maximum feature density for the identification of natural landmarks and determining the positions of landmarks based on the wheelchair's position and 3D information from the camera. In particular, environmental images collected from the camera will be extracted features, and then morphological algorithms are performed to connect these feature points for creating objects in the image. The feature density for each of these objects will be calculated and the object with the highest feature density is selected as the landmark. With the landmark selected, the 3D information of that landmark and the wheelchair's position in the environment are used for locating the landmark. In addition, the thesis proposes the method for locating the wheelchair on a virtual 2D grid map from landmark information in the real environment for controlling the mobile wheelchair. In particular, after identifying landmarks in the collected database, the coordinate of these landmarks in the environmental and camera spaces will be used to calculate the
Trang – ix –
ABSTRACT
wheelchair position in the real environment and the virtual 2D grid map using the trigonometric equations.
To reduce the user's participation in control and increase safety, the thesis proposes a virtual-real control model for electric wheelchairs based on a virtual 2D grid map, allowing people with disabilities to reach any destination pre-designed on this grid map. In particular, the virtual 2D grid map is built from the real environment by dividing it into grid cells that may contain free spaces or obstacles. This map with the plotted grid cells is then simulated for finding the optimal paths to reach the desired destination using a Deep Q-Networks (DQNs) model with the PreLU activation function. Therefore, the DQNs-PreLU model is designed with a feedforward neural network using backpropagation for updating the network parameters. The network algorithm is that the input is the grid map and the output is the wheelchair actions including Up, Down, Left, and Right. With the experiments performed, the DQNs-PreLU model shows that the training time is much shorter than other models and the model parameters can be stored for controlling the wheelchair in the real environment. In addition, to better control the wheelchair in the real environment, a new algorithm was proposed to convert the wheelchair actions from the output of the DQNs-PreLU model after simulated with the virtual 2D grid map into real control commands. Experimental results show that the proposed control model can automatically control the wheelchair to reach the desired destination with more stability and safety compared to the wheelchair controlled by the user.
From these results, the semi-automatic electric wheelchair model for the disabled people can be applied in practice. In addition, the effectiveness of the proposed methods has been evaluated through experimental results. In particular, these proposed methods with the results in this thesis have been published in the proceedings of scientific conferences and scientific journals. With the proposed semi- autonomous electric wheelchair model along with the test results, a low-cost electric wheelchair with safe mobility can be produced to support the disabled people.
Trang – x –
MỤC LỤC
MỤC LỤC
QUYẾT ĐỊNH GIAO ĐỀ TÀI..................................................................................i LÝ LỊCH CÁ NHÂN ................................................................................................ii LỜI CAM ĐOAN .................................................................................................... iii LỜI CẢM ƠN...........................................................................................................iv TÓM TẮT ..................................................................................................................v ABSTRACT ........................................................................................................... viii MỤC LỤC.................................................................................................................xi DANH SÁCH CÁC TỪ VIẾT TẮT ......................................................................xv DANH SÁCH CÁC HÌNH....................................................................................xvii DANH SÁCH CÁC BẢNG....................................................................................xxi CHƯƠNG 1................................................................................................................1 TỔNG QUAN ............................................................................................................1
1.1. TÍNH CẤP THIẾT CỦA ĐỀ TÀI LUẬN ÁN .................................................1
1.2. MỤC TIÊU NGHIÊN CỨU CỦA LUẬN ÁN...............................................10
1.3. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU................................................11
1.4. CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU.............................11
1.5. ĐÓNG GÓP VỀ KHOA HỌC CỦA LUẬN ÁN ...........................................12
1.6. CẤU TRÚC CỦA LUẬN ÁN ........................................................................14
CHƯƠNG 2..............................................................................................................16 CƠ SỞ LÝ THUYẾT ..............................................................................................16
2.1. TỔNG QUAN VỀ TÍN HIỆU EEG................................................................16
2.2. PHÂN LOẠI HOẠT ĐỘNG DỰA VÀO TÍN HIỆU EEG............................17
2.2.1. Phát hiện hoạt động mắt dựa vào ngưỡng biên độ tín hiệu EEG....................17
2.2.2. Phân loại tín hiệu EEG dùng mạng nơ-ron.....................................................18
2.2.3. Phân loại tín hiệu EEG dùng mạng nơ-ron tích chập .....................................19
2.2.4. Phân loại tín hiệu EEG dùng mạng nơ-ron hồi quy........................................20
2.3. GIAO TIẾP GIỮA NÃO NGƯỜI VÀ MÁY TÍNH ......................................20
2.4. MÔ HÌNH XE LĂN ĐIỆN CHO NGƯỜI KHUYẾT TẬT ...........................22
2.4.1. Xe lăn điện thông minh...................................................................................22
2.4.2. Xe lăn điện với bộ điều khiển robot................................................................23
Trang – xi –
MỤC LỤC
2.4.3. Xe lăn điện tích hợp với môi trường thông minh ...........................................24
2.4.4. Xe lăn điện với chức năng tránh chướng ngại vật............................................24
2.4.5. Hệ thống chia sẻ điều khiển cho xe lăn điện...................................................25
2.5. PHƯƠNG PHÁP XÂY DỰNG BẢN ĐỒ LƯỚI 2D ĐỂ ĐIỀU HƯỚNG XE LĂN VÀ ROBOT TRONG NHÀ.............................................................................28
2.6. CÁC PHƯƠNG PHÁP ĐỊNH VỊ CHO XE LĂN VÀ ROBOT DI ĐỘNG...30
2.6.1. Phương pháp đoán định vị trí..........................................................................30
2.6.2. Phương pháp định vị dùng vật mốc ................................................................30
2.6.3. Phương pháp định vị dùng hệ thống WiFi......................................................31
2.7. CÁC PHƯƠNG PHÁP NHẬN DẠNG VẬT THỂ ........................................32
2.7.1. Phương pháp nhận dạng dựa trên diện mạo....................................................32
2.7.2. Phương pháp nhận dạng dựa trên các điểm đặc trưng....................................32
2.7.3. Nhận dạng vật thể theo phương pháp máy học...............................................33
2.8. MÔ HÌNH HÓA VÀ ĐIỀU KHIỂN XE LĂN ĐIỆN ....................................34
2.9. PHƯƠNG PHÁP LẬP KẾ HOẠCH ĐƯỜNG ĐI CHO ROBOT DI ĐỘNG36
2.9.1. Phương pháp A* .............................................................................................36
2.9.2. Phương pháp học tăng cường..........................................................................37
CHƯƠNG 3..............................................................................................................40 PHÂN LOẠI TÍN HIỆU EEG CỦA HOẠT ĐỘNG MẮT CHO ỨNG DỤNG GIAO TIẾP GIỮA NÃO NGƯỜI VÀ MÁY TÍNH.............................................40
3.1. TÍN HIỆU EEG CỦA HOẠT ĐỘNG NHÁY MẮT ......................................40
3.2. THU THẬP DỮ LIỆU ....................................................................................43
3.2.1. Quy trình thu thập dữ liệu...............................................................................43
3.2.2. Tập dữ liệu gốc của tín hiệu EEG ...................................................................45
3.3. XỬ LÝ TÍN HIỆU ..........................................................................................49
3.3.1. Lọc nhiễu dùng bộ lọc Hamming....................................................................49
3.3.2. Làm trơn tín hiệu dùng bộ lọc Savitzky – Golay............................................51
3.4. PHÂN LOẠI TÍN HIỆU EEG CỦA HOẠT ĐỘNG MẮT ............................53
3.4.1. Phân loại hoạt động nháy mắt theo phương pháp ngưỡng biên độ.................53
3.4.2. Phân loại tín hiệu hoạt động mắt dùng mô hình 1D-CNN..............................57
Trang – xii –
MỤC LỤC
CHƯƠNG 4..............................................................................................................76 NHẬN DẠNG VÀ XÁC ĐỊNH VỊ TRÍ VẬT MỐC TỰ NHIÊN TRONG MÔI TRƯỜNG TRONG NHÀ .......................................................................................76 4.1. VAI TRÒ CỦA VẬT MỐC ĐỐI VỚI QUÁ TRÌNH ĐỊNH VỊ VÀ ĐIỀU KHIỂN XE LĂN ĐIỆN ............................................................................................76
4.2. PHƯƠNG PHÁP MẬT ĐỘ ĐIỂM ĐẶC TRƯNG LỚN NHẤT CHO NHẬN DẠNG CÁC VẬT MỐC TRONG TỰ NHIÊN........................................................78
4.2.1. Phát hiện các điểm đặc trưng ..........................................................................79
4.2.2. Kết nối các điểm đặc trưng trong các đối tượng.............................................81
4.2.3. Nhận biết vật mốc tự nhiên .............................................................................81
4.3. XÁC ĐỊNH VỊ TRÍ VẬT MỐC TRONG MÔI TRƯỜNG............................82
4.3.1. Vị trí của xe lăn trong môi trường ..................................................................82
4.3.2. Xác định vị trí vật mốc....................................................................................84
4.4. KẾT QUẢ NHẬN BIẾT VÀ THU THẬP VẬT MỐC TỰ NHIÊN..............85
4.5. KẾT QUẢ XÁC ĐỊNH VỊ TRÍ VẬT MỐC...................................................95
CHƯƠNG 5............................................................................................................101 MÔ HÌNH ĐIỀU KHIỂN XE LĂN ĐIỆN KẾT HỢP TÍN HIỆU EEG VÀ CAMERA DỰA VÀO BẢN ĐỒ ..........................................................................101 5.1. HỆ THỐNG ĐIỀU KHIỂN THỰC - ẢO CHO XE LĂN ĐIỆN DỰA VÀO BẢN ĐỒ LƯỚI 2D ẢO ..........................................................................................101
5.1.1. Cấu trúc hệ thống điều khiển thực -ảo cho xe lăn điện.................................101
5.1.2. Bản đồ lưới 2D ảo .........................................................................................103
5.1.3. Giao diện lựa chọn đích đến cho xe lăn ........................................................105
5.1.4. Mô hình DQNs lập kế hoạch đường đi tối ưu cho xe lăn .............................106
5.2. ĐỊNH VỊ XE LĂN ĐIỆN TRONG BẢN ĐỒ LƯỚI 2D ẢO DỰA VÀO VẬT MỐC TỰ NHIÊN....................................................................................................110
5.3. ĐIỀU HƯỚNG XE LĂN ĐIỆN TRONG MÔI TRƯỜNG THỰC..............113
5.4. PHƯƠNG PHÁP TRÁNH VẬT CẢN DỰA VÀO THÔNG TIN 3D MÔI
TRƯỜNG ................................................................................................................115
5.5. KẾT QUẢ THÍ NGHIỆM ĐIỀU KHIỂN XE LĂN ĐIỆN ..........................117 5.5.1. Mô phỏng huấn luyện tìm đường đi cho xe lăn dựa vào bản đồ lưới 2D ảo 117 5.5.2. Kết quả nhận dạng vật mốc...........................................................................122
Trang – xiii –
MỤC LỤC
5.5.3. Xác định vị trí xe lăn trên bản đồ lưới 2D ảo dựa vào vật mốc....................125
5.5.4. Xe lăn di chuyển đến đích mong muốn dựa vào bản đồ lưới 2D ảo.............129
CHƯƠNG 6............................................................................................................141 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN...........................................................141
6.1. KẾT LUẬN...................................................................................................141
6.2. HƯỚNG PHÁT TRIỂN................................................................................145
TÀI LIỆU THAM KHẢO ....................................................................................146 CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ..................................................................160
Trang – xiv –
DANH SÁCH CÁC TỪ VIẾT TẮT
DANH SÁCH CÁC TỪ VIẾT TẮT
ACC APF ALS BCI
CNN DQNs DWA D-DW A
DSS DRL EEG EMG ECG FAST
GPS HOG
HHT IOU
IMU LIDAR
NN PCA PRE PWM
Accuracy
Angle-based Potential Field Amyotrophic Lateral Sclerosis Brain – Computer Interface
Convolutional Neural Network Deep Q – networks
Dynamic Window Approach
Double Dynamic Window Approach
Drive – Safe System
Deep Reinforcement Learning Electroencephalography Electromyography
Electrocardiogram
Features from Accelerated Segment Test
Global Positioning System Histogram of Oriented Gradients
Hilbert – Huang Transform Intersection over Union
Inertial Measurement Unit Light Detection and Ranging
Neural Network
Principal Component Analysis Precision
Pulse Width Modulation
Độ chính xác
Vùng góc tiềm năng
Bệnh xơ cứng teo cơ bên Giao tiếp não người và máy tính
Mạng nơ-ron tích chập Mạng Q sâu.
Phương pháp cửa sổ động Phương pháp cửa sổ động kép
Hệ thống lái xe an toàn Học tăng cường sâu Điện não đồ
Điện cơ
Điện tâm đồ
Các đặc trưng từ kiểm tra phân đoạn tăng tốc
Hệ thống định vị toàn cầu Biểu đồ Gradient định hướng
Biến đổi Hilbert–Huang Vùng giao nhau tại những liên kết
Đơn vị đo lường quán tính Đo khoảng cách bằng ánh sáng
Mạng nơ-ron
Phân tích thành phần chính Độ chính xác
Điều chế độ rộng xung
BRISK
Binary Robust Invariant Scalable Keypoints
Các điểm đặc trưng có thể mở rộng bất biến bền vững bằng nhị phân
Trang – xv –
DANH SÁCH CÁC TỪ VIẾT TẮT
RGB Red – Green – Blue
RGB-D Red – Green – Blue – Depth RFID Radio Frequency Identification
RL Reinforcement Learning
ROC Receiver Operating Characteristic
SEN Sensitivity
SLAM Simultaneous Localization and Mapping
SURF Speeded Up Robust Features
SIFT Scale – Invariant Feature Transform
SSVEP Steady – State Visual Evoked Potential
VFH Vector Field Histogram WHO World Health Organization 3D Three – Dimensional
2D Two – Dimensional
1D One – Dimensional
Đỏ – Lục – Lam
Đỏ - Lục – Lam – Độ sâu Nhận dạng tần số vô tuyến điện
Học tăng cường
Đặc tính hoạt động của bộ thu
Độ nhạy
Bản đồ hóa và bản địa hóa đồng thời
Tăng tốc đặc tính bền vững Biến đổi đặc trưng bất biến theo tỷ lệ
Tiềm năng kích thích trực quan ở trạng thái ổn định Biểu đồ trường vectơ
Tổ chức Y tế Thế giới
3 chiều
2 chiều
1 chiều
Trang – xvi –
DANH SÁCH CÁC HÌNH
DANH SÁCH CÁC HÌNH
Hình
Hình 1.1. Sơ đồ khối quá trình điều khiển xe lăn điện dựa vào tín hiệu EEG, camera, vật mốc và bản đồ .....................................................................................................10 Hình 2.1. Tín hiệu EEG được ghi nhận khi có sự chuyển động của mắt ... ............18 Hình 2.2. Sơ đồ điều khiển kết hợp của BCI và xe lăn ... .......................................22 Hình 2.3. Sơ đồ bộ điều khiển xe lăn di động kết hợp cánh tay robot... .................23 Hình 2.4. Mô hình hệ thống xe lăn đa cách ...............................................24 Hình 2.5. Hệ thống xe lăn điện với chức năng định vị và tránh vật cản ... .............25 Hình 2.6. Hệ thống chia sẻ điều khiển cho xe lăn điện ... .......................................26 Hình 2.7. Mô hình chia sẻ điều khiển xe lăn điện sử dụng BCI và cảm biến ... .....27 Hình 2.8. Biểu diễn chùm sonar trên bản đồ lưới 2D .............................................28 Hình 2.9. Phương pháp xây dựng bản đồ lưới kết hợp ngữ nghĩa đối tượng .........29 Hình 2.10. Định vị robot dùng các vật mốc trên trần nhà... ....................................31 Hình 2.11. Sử dụng WiFi để định vị vị trí robot ... .................................................31 Hình 2.12. Hệ quy chiếu toàn cục và hệ quy chiếu cục bộ của xe lăn hay robot ...35 Hình 3.1. Một số tín hiệu cơ bản của chuyển động mắt .........................................41 Hình 3.2. Tín hiệu EEG khi nháy mắt ....................................................................42 Hình 3.3: Hai loại tín hiệu EEG của hoạt động nháy mắt ......................................43 Hình 3.4. Thiết bị Emotiv Epoch+ ...................................................................... ...44 Hình 3.5. Hướng dẫn đeo thiết bị và kiểm tra kết nối ... .........................................44 Hình 3.6. Quy trình thực hiện thí nghiệm... ............................................................45 Hình 3.7. Tín hiệu gốc từ 4 kênh AF3, F7, F8, AF4 khi nháy mắt trái ...................46 Hình 3.8. Tín hiệu gốc từ 4 kênh AF3, F7, F8, AF4 khi nháy mắt phải ..................47 Hình 3.9. Tín hiệu gốc từ 4 kênh AF3, F7, F8, AF4 khi nháy hai mắt ....................47 Hình 3.10. Tín hiệu gốc từ 4 kênh AF3, F7, F8, AF4 khi nháy hai mắt hai lần liên tiếp ...............................................................................................................48
Trang
Trang – xvii –
DANH SÁCH CÁC HÌNH
Hình 3.11. Tín hiệu gốc từ 4 kênh AF3, F7, F8, AF4 khi không nháy mắt .............48 Hình 3.12. Tín hiệu EEG ở kênh F7 khi nháy mắt trái trước và sau khi lọc dùng bộ lọc Hamming.............................................................................................................50 Hình 3.13. Biểu diễn tín hiệu EEG tại kênh F7 trước và sau khi làm trơn bằng bộ lọc Savitzky − Golay.......................................................................................................52 Hình 3.14. Tín hiệu EEG khi nháy hai mắt tại kênh F7 được lọc Hamming và làm trơn với bộ lọc Savitzky − Golay ..............................................................................53 Hình 3.15. Mô tả cách thức chia tín hiệu EEG thành các khung dữ liệu .................54 Hình 3.16. Mô tả tín hiệu nháy mắt tự nguyện.........................................................54 Hình 3.17. Kết quả nhận dạng hoạt động mắt ..........................................................57 Hình 3.18. Tín hiệu nháy mắt trái thu được từ 4 kênh AF3, F7, F8, AF4 ...............59 Hình 3.19. Tín hiệu ghép từ 4 kênh độ dài 2804 mẫu khi nháy mắt trái..................59 Hình 3.20. Tín hiệu nháy mắt phải thu được từ 4 kênh AF3, F7, F8, AF4..............60 Hình 3.21. Tín hiệu ghép từ 4 kênh độ dài 2804 mẫu khi nháy mắt phải ................60 Hình 3.22. Tín hiệu nháy hai mắt thu được ở 4 kênh AF3, F7, F8, AF4 .................61 Hình 3.23. Tín hiệu ghép từ 4 kênh độ dài 2804 mẫu khi nháy hai mắt ..................61 Hình 3.24. Tín hiệu nháy hai mắt hai lần liên tiếp từ 4 kênh AF3, F7, F8, AF4 .....62 Hình 3.25. Tín hiệu ghép từ 4 kênh độ dài 2804 mẫu khi nháy hai mắt hai lần liên tiếp ...............................................................................................................62 Hình 3.26. Tín hiệu không nháy mắt thu được ở 4 kênh AF3, F7, F8, AF4............63 Hình 3.27. Tín hiệu ghép từ 4 kênh độ dài 2804 mẫu khi không nháy mắt.............64 Hình 3.28. Mô hình 1D-CNN phân loại tín hiệu EEG của hoạt động mắt ..............65 Hình 3.29. Tổ chức dữ liệu để huấn luyện mô hình 1D-CNN .................................67 Hình 3.30. Hiệu suất huấn luyện mô hình 1D-CNN phân loại hoạt động mắt ........69 Hình 3.31. Kết quả phân loại các hoạt động mắt trên tập kiểm tra ..........................71 Hình 3.32. Kết quả phân loại các hoạt động mắt với hai loại nháy mắt trái và phải dùng tín hiệu không ghép kênh .................................................................................72 Hình 4.1. Các bước xác định vật mốc tự nhiên ........................................................78 Hình 4.2. Mô hình xe lăn di động hai bánh vi sai và hai bánh tự do........................82
Trang – xviii –
DANH SÁCH CÁC HÌNH
Hình 4.3. Ước tính vị trí mốc trong không gian 2D .................................................84
Hình 4.4. Xe lăn với camera RGB-D, Encoder và máy tính....................................85
Hình 4.5. Các đối tượng chứa các điểm đặc trưng ...................................................86
Hình 4.6. Biểu diễn sự giãn nở với các lần lặp khác nhau .......................................87
Hình 4.7. Ảnh chứa đường bao đối tượng và khung đặc trưng................................88
Hình 4.8. Nhận dạng vật mốc ở khoảng cách 2 m từ camera đến các đối tượng.....88
Hình 4.9. Nhận dạng vật mốc ở khoảng cách 1 m từ camera đến các đối tượng.....89
Hình 4.10. IOU cho các hộp giới hạn.......................................................................90 Hình 4.11. Nhận biết vật mốc tự nhiên với các điều kiện ánh sáng khác nhau .......91
Hình 4.12. Nhận biết vật mốc tự nhiên theo góc 0o .................................................92 Hình 4.13. Nhận biết vật mốc tự nhiên theo góc 45o ...............................................92 Hình 4.14. Nhận biết vật mốc tự nhiên theo góc 30o ...............................................93 Hình 4.15. Các vật mốc tự nhiên được phát hiện từ các khu vực khác nhau ...........93 Hình 4.16. Biểu đồ sai số tương đối của phép đo khoảng cách tới các vật mốc......95 Hình 4.17. Biểu diễn quỹ đạo chuyển động của xe lăn đến các vị trí đặt trước.......96 Hình 5.1. Hệ thống thực − ảo cho xe lăn điện dựa vào bản đồ lưới 2D ảo ............102 Hình 5.2. Quá trình tạo bản đồ lưới 2D ảo từ môi trường thực..............................104 Hình 5.3. Bản đồ lưới 2D ảo của môi trường thực.................................................104 Hình 5.4. Quy trình thực hiện lựa chọn đích đến dùng BCI ..................................105 Hình 5.5. Giao diện người dùng để chọn điểm đến mong muốn ...........................106 Hình 5.6. Giao diện người dùng chọn điểm đến “Phòng ngủ” bằng lệnh EEG .....106 Hình 5.7. Cấu trúc mạng nơ-ron trong mô hình DQNs..........................................109 Hình 5.8. Các mẫu vật mốc trong môi trường trong nhà .......................................110 Hình 5.9. Hệ tọa độ của camera RGB-D................................................................110 Hình 5.10. Vị trí của xe lăn với bốn hướng............................................................112 Hình 5.11. Tọa độ của xe lăn, vật mốc và đích đến trong bản đồ lưới 2D ảo........113 Hình 5.12. Biểu diễn bộ chuyển đổi các lệnh điều khiển thực tế từ mô phỏng .....113 Hình 5.13. Ảnh độ sâu được chụp từ camera RGB-D............................................115 Hình 5.14. Mô tả chuyển đổi bản đồ 3D sang 2D với độ cao được định trước .....116
Trang – xix –
DANH SÁCH CÁC HÌNH
Hình 5.15. Môi trường huấn luyện .........................................................................117 Hình 5.16. So sánh tỷ lệ windows khi huấn luyện mô hình DQNs với 2 loại hàm kích hoạt trong trường hợp bản đồ lưới 8×11.........................................................................118 Hình 5.17. So sánh tỷ lệ windows khi huấn luyện mô hình DQNs với hai loại hàm kích hoạt trong trường hợp bản đồ lưới 11×33 ...............................................................119 Hình 5.18. Các thành phần vectơ mô tả của vùng con trong ảnh...........................123 Hình 5.19. Bốn loại vật mốc khác nhau được nhận dạng dựa trên các vật mốc được lưu trữ trong cơ sở dữ liệu.......................................................................................124 Hình 5.20. Sai số tuyệt đối của phép đo Xa từ camera đến các vật mốc tại các vị trí khác nhau .............................................................................................................126 Hình 5.21. Sai số tuyệt đối của khoảng cách Za từ camera đến các vật mốc tại các vị trí khác nhau............................................................................................................126 Hình 5.22. Môi trường thí nghiệm trong nhà .........................................................126 Hình 5.23. Bốn vị trí của xe lăn trên bản đồ lưới 2D với các vật mốc...................127 Hình 5.24. Vị trí xe lăn trên bản đồ lưới 2D với 3 vật mốc ...................................128 Hình 5.25. Hệ thống xe lăn với các camera RGB-D, Emotiv Epoc+, bộ điều khiển và máy tính .............................................................................................................129 Hình 5.26. Môi trường thí nghiệm .........................................................................130 Hình 5.27. Đường di chuyển của xe lăn trong môi trường thực tế ........................131 Hình 5.28. Quy trình điều hướng xe lăn điện ở chế độ bán tự động ......................132 Hình 5.29. Biểu diễn đường đi mô phỏng và đường đi thực của xe lăn bằng điều khiển bán tự động....................................................................................................133 Hình 5.30. So sánh chuyển động của xe lăn theo hai phương pháp điều khiển (điều khiển bán tự động và tự điều khiển)........................................................................135 Hình 5.31. Môi trường trong thí nghiệm thứ hai....................................................136 Hình 5.32. So sánh chuyển động của xe lăn theo hai phương pháp điều khiển (điều khiển bán tự động và tự điều khiển)........................................................................137 Hình 5.33. Chuyển động của xe lăn khi có vật cản ................................................138
Trang – xx –
DANH SÁCH CÁC BẢNG
DANH SÁCH CÁC BẢNG
Bảng Trang Bảng 2.1. Các dạng sóng EEG ................................................................................ 17 Bảng 3.1. Các trường hợp phân loại hoạt động mắt ............................................... 56 Bảng 3.2. Tên và nhãn tín hiệu của các hoạt động mắt.... ........................................64 Bảng 3.3. Ma trận nhầm lẫn .................................................................................... 66 Bảng 3.4. Mô tả dữ liệu huấn luyện phân loại hoạt động mắt ................................ 68 Bảng 3.5. Hiệu suất mô hình 1D-CNN khi huấn luyện phân loại hoạt động mắt ....70 Bảng 3.6. Xác thực chéo 5 lần đối với bộ phân loại hoạt động nháy mắt................72 Bảng 3.7. Các nghiên cứu phân loại hoạt động mắt .................................................73 Bảng 3.8. Thời gian xử lý phân loại tín hiệu EEG của hoạt động mắt.....................74 Bảng 4.1. Kết quả trích đặc trưng dùng các phương pháp khác nhau ......................87 Bảng 4.2. IOU với các khoảng cách khác nhau ...................................................... 90 Bảng 4.3. IOU với điều kiện ánh sáng khác nhau .................................................. 92 Bảng 4.4. Thời gian xử lý nhận dạng vật mốc của phương pháp đề xuất .............. 94 Bảng 4.5. Đánh giá sai số vị trí của xe lăn ............................................................. 97 Bảng 4.6. Kết quả định vị vật mốc dựa vào vị trí xe lăn ........................................ 97 Bảng 4.7. Các nghiên cứu nhận dạng, thu thập thông tin vị trí đối tượng tự động .98 Bảng 5.1. Thông số mô hình huấn luyện .............................................................. 118 Bảng 5.2. Hiệu suất của các mô hình DQNs được đề xuất .................................. 120 Bảng 5.3. So sánh hiệu suất của các mô hình ....................................................... 121 Bảng 5.4. Độ chính xác khi nhận dạng các vật mốc bằng phương pháp SURF ... 125 Bảng 5.5. Độ chính xác khi định vị xe lăn ........................................................... 127 Bảng 5.6. Độ chính xác khi định vị xe lăn bằng 3 vật mốc .................................. 128 Bảng 5.7. Các giá trị và trạng thái điều khiển xe lăn điện .................................... 130 Bảng 5.8. Các lệnh điều khiển xe lăn được chuyển đổi từ các lệnh mô phỏng .... 134 Bảng 5.9. Sai số đường đi của xe lăn trong các môi trường thí nghiệm ................138
Trang – xxi –
Chương 1: Tổng quan
CHƯƠNG 1 TỔNG QUAN
1.1. TÍNH CẤP THIẾT CỦA ĐỀ TÀI LUẬN ÁN
Trong xã hội hiện nay, người khuyết tật luôn gặp phải những khó khăn và thiệt thòi cả về thể chất và tinh thần hơn so với những người bình thường khác. Những khiếm khuyết trên cơ thể tạo ra những suy giảm đáng kể và ảnh hưởng lâu dài, trực tiếp đến khả năng tư duy, hoạt động, sinh hoạt hằng ngày của họ, gây nên những khó khăn nhất định trong cuộc sống. Thống kê của Tổ chức y tế thế giới (WHO) năm 2022 cho thấy 16% dân số thế giới tương đương 1,3 tỷ người bị khuyết tật và ngày càng tăng lên [1]. Theo Tổng cục Thống kê năm 2018, Việt Nam là quốc gia có số lượng người khuyết tật khá lớn so với tổng dân số trong khu vực châu Á-Thái Bình Dương, có khoảng 6,2 triệu người khuyết tật, chiếm 7,06% dân số từ 2 tuổi trở lên, trong đó có 58% là nữ, 28,3% là trẻ em, gần 29% là người khuyết tật nặng và đặc biệt nặng [2]. Ngoài ra, thống kê cũng cho thấy tỷ lệ người khuyết tật vận động là 29,41%, khuyết tật nghe nói 9,32%; khuyết tật nhìn 13,84%, khuyết tật thần kinh và tâm thần 16,83%, khuyết tật trí tuệ 6,52% và khuyết tật khác 24,08%. Người khuyết tật gặp rất nhiều khó khăn trong cuộc sống, đặc biệt đối với người khuyết tật về vận động. Khoảng 7% trong số những người khuyết tật về vận động trên thế giới cần dùng đến xe lăn [3]. Thị trường xe lăn điện đã đạt doanh thu 2,89 tỷ USD vào năm 2021 và dự kiến đạt 5,27 tỷ USD. Thị trường xe lăn điện dự kiến sẽ tăng trưởng gần 10,76% trong giai đoạn 2022-2027 [4].
Vận hành xe lăn truyền thống là một công việc đầy khó khăn đối với người khuyết tật. Do đó, việc sử dụng xe lăn điện để mang lại khả năng cơ động dễ dàng là cần thiết. Xe lăn điện được trang bị các thiết bị công nghệ cao có thể giúp cho người
Trang – 1 –
Chương 1: Tổng quan
khuyết tật di chuyển mà không cần sự trợ giúp. Đơn giản nhất là xe lăn điện được trang bị một cần điều khiển mà người sử dụng có thể điều khiển hướng di chuyển của xe lăn theo ý muốn của mình [5]. Trong những năm gần đây, nhiều phương pháp đã được giới thiệu để phát triển hệ thống xe lăn thông minh để phù hợp với người khuyết tật. Xu hướng phát triển có thể được phân loại thành ba lĩnh vực chính: 1) Cải tiến công nghệ hỗ trợ [6], 2) Cải tiến giao diện vật lý của người dùng [7], 3) Cải thiện điều khiển chia sẻ giữa người dùng và máy [8]. Một trong những vấn đề quan trọng của xe lăn thông minh là cung cấp khả năng di chuyển độc lập cho người tàn tật nặng, những người không thể điều khiển xe lăn bằng cần điều khiển tiêu chuẩn. Do đó, việc phục hồi khả năng vận động của họ có thể cải thiện đáng kể chất lượng cuộc sống.
Xe lăn thông minh được phát triển phụ thuộc nhiều vào tình trạng sức khỏe người dùng, tức là khả năng và khuyết tật, và không có giải pháp duy nhất phù hợp cho tất cả người dùng. Bệnh nhân bị suy yếu vận động thường thiếu kiểm soát cơ bắp và trong trường hợp xấu nhất họ không thể cử động cánh tay và chân. Để hỗ trợ khả năng di chuyển của những bệnh nhân này, tín hiệu hay hành động từ giọng nói, lưỡi có thể tạo ra các lệnh điều khiển [9, 10]. Điều hướng bằng giọng nói đòi hỏi môi trường yên tĩnh và có thể không tốt để sử dụng trong môi trường ồn ào. Hơn nữa, giải pháp này đôi khi được coi là bất lịch sự khi nói to trong một khu vực yên tĩnh. Jin Sun Ju và các cộng sự đã sử dụng một camera nhận dạng các cử chỉ trên khuôn mặt của người sử dụng để điều khiển xe lăn đi thẳng, đi lùi, rẽ trái, rẽ phải [11]. Trong nghiên cứu của Y. Zhang và các cộng sự [12], một camera nhận dạng các cử chỉ của bàn tay để điều khiển hướng đi cho xe lăn điện. Sadi [13] và Chhaya.G.Patil [14] dùng camera nhận dạng số ngón tay được giơ lên để thực hiện các lệnh điều khiển cho xe lăn. Một cách điều khiển xe lăn khác sử dụng cử chỉ của người sử dụng là nhận dạng sự di chuyển của mắt, với độ chính xác phân loại là 99,3% và có thể đưa ra đoán trong khoảng 1,57 ms [15]. Mặc dù các nghiên cứu dùng camera để phát hiện các cử chỉ của người sử dụng có thời gian xử lý nhanh và độ chính xác phân loại cao, nhưng chỉ phù hợp với một điều kiện ánh sáng chuẩn. Độ chính xác sẽ giảm đáng
Trang – 2 –
Chương 1: Tổng quan
kể khi bị quá sáng hay quá tối, hay vị trí của khuôn mặt, mắt, bàn tay bị lệch khỏi vùng ghi hình của camera.
Đối với việc sử dụng EEG trong những năm qua đã trở thành một chủ đề được quan tâm để điều khiển máy móc cho những đối tượng tàn tật nặng không thể dùng giọng nói hay vận động các chi hay đầu để ra lệnh điều khiển [16]. Để làm như vậy, các mẫu tín hiệu EEG cần được phân loại và nhóm thành các hành động dự định. Xe lăn điều khiển bằng EEG là thiết bị thích hợp cho những bệnh nhân bị liệt hoàn toàn với bộ não khỏe mạnh để điều hướng môi trường của họ [17]. Người sử dụng sẽ được gắn các điện cực lên đầu để thu thập các tín hiệu EEG và truyền về máy tính. Tín hiệu EEG thu được là dạng tín hiệu ngẫu nhiên khá phức tạp, do đó cần sử dụng các bộ lọc và các thuật toán để trích các đặc trưng của tín hiệu, cho biết tín hiệu nào liên quan đến hoạt động của cơ thể. Nhóm nghiên cứu của Nguyễn Thanh Hải [18, 19] thu thập tín hiệu EEG từ hoạt động của mắt (mở mắt, chớp mắt, liếc trái, liếc phải) và sử dụng bộ lọc Hamming để chia tín hiệu thành các dải tần khác nhau cho từng hoạt động. Sau đó, thông qua mạng nơ-ron để huấn luyện các tín hiệu thành bốn lệnh điều khiển cho xe lăn như đi tới, đi lùi, rẽ trái, rẽ phải với tốc độ di chuyển 5km/h trong môi trường trong nhà. Bên cạnh đó, các nghiên cứu về việc sử dụng tín hiệu EEG để điều khiển xe lăn cho người khuyết tật cũng được quan tâm phát triển với mục đích điều khiển thuận tiện cho người sử dụng với chi phí đầu tư thấp [20]. Tuy nhiên, khi sử dụng tín hiệu EEG cho điều khiển xe lăn, người dùng phải có sự kiểm soát cảm xúc và sự tập trung tốt để điều khiển hiệu quả. Đây là một gánh nặng cho người dùng mặc dù phương pháp này có thể là một lựa chọn tốt cho những người có cơ thể bị tê liệt hoàn toàn. Có lẽ giải pháp tốt nhất cho trường hợp này là dựa vào các phương pháp sử dụng nhiều tín hiệu từ người dùng và môi trường xung quanh để phân tích trước khi đưa ra lệnh mong muốn [21]. Sử dụng chiến lược này sẽ áp đặt ít gánh nặng hơn cho người dùng so với trường hợp chỉ dựa vào một đầu vào.
Nhằm giảm bớt sự điều khiển của người dùng và đảm bảo an toàn, xe lăn được điều khiển tự động hay bán tự động là một giải pháp cần thiết. Chế độ tự động của xe lăn đồng nghĩa với việc xe lăn phải tự di chuyển đến điểm đích mà người sử dụng
Trang – 3 –
Chương 1: Tổng quan
mong muốn, đồng thời phải tránh được những chướng ngại vật trên đường đi. Đã có nhiều phương pháp được áp dụng để xe lăn tự hành như di chuyển theo đường đi đã được vạch sẵn [22], di chuyển theo tọa độ sử dụng định vị GPS và bộ lọc Kalman [23], di chuyển theo bản đồ [24]. Bên cạnh đó, xe lăn thông minh cũng đã được cải thiện về các bộ phận điều hướng, chẳng hạn như tự động tránh chướng ngại vật, cách giao tiếp giữa người dùng và hệ thống điều khiển và sự thích ứng với mức độ khuyết tật [25]. Trong thập kỷ qua, một số thuật toán điều hướng đã được nghiên cứu cho các xe lăn điện thông minh và hầu hết trong số các nghiên cứu này sử dụng các cảm biến khác nhau để phát hiện và tránh chướng ngại vật. Xe lăn được phát triển cho người cao tuổi và có thể nhận ra các chướng ngại vật khác nhau bằng cách sử dụng cảm biến siêu âm [26]. Từ đó, phương pháp kết hợp các cảm biến sẽ hỗ trợ người dùng điều hướng trong các không gian hẹp. Xe lăn điện được thiết kế có khả năng tránh chướng ngại vật và tự động đi đến các điểm đích được chọn bởi người dùng [27, 28]. Xe lăn này sử dụng một hệ thống điều khiển an toàn DSS đã được triển khai để hỗ trợ cho người dùng khiếm thị và cho phép xe lăn di chuyển theo một bức tường và vượt qua các cửa bên trong tòa nhà. Malek Njah đã sử dụng đồng thời bộ điều khiển mờ để tránh chướng ngại vật và bộ lọc Kalman mở rộng để tổng hợp dữ liệu từ cảm biến siêu âm và encoder mang lại độ chính xác cao cho hệ thống định vị [29]. Mặc dù, kỹ thuật tổng hợp dữ liệu từ nhiều loại cảm biến giúp cải thiện độ chính xác của dữ liệu và thông tin thu thập được, nhưng để triển khai và duy trì một hệ thống kết hợp nhiều cảm biến có thể tốn kém vì yêu cầu phần cứng và phần mềm phức tạp. Hơn nữa, việc xử lý và kết hợp dữ liệu từ nhiều nguồn có thể tạo ra độ trễ trong việc tính toán, điều này là quan trọng trong các ứng dụng yêu cầu độ phản ứng nhanh [30, 31].
Điều hướng dựa trên thị giác máy ngày càng được sự chú ý mạnh mẽ như là một giải pháp thay thế cho điều hướng dựa trên cảm biến. Các phương pháp này được phân loại thành các phương pháp dựa trên thị giác lập thể (stereovision) và thị giác một mắt (monocular vision). Các phương pháp sử dụng các kỹ thuật stereovision phân biệt chướng ngại vật bằng cách sử dụng thông tin độ sâu ba chiều [32]. Hạn chế đáng
Trang – 4 –
Chương 1: Tổng quan
kể của các phương pháp này là thời gian tính toán nhiều và chi phí phần cứng cao. Ngược lại, các hệ thống điều hướng dựa trên monocular vision sử dụng các kỹ thuật xử lý ảnh để nhận biết các chướng ngại vật, liên quan đến tất cả các vật thể khác nhau trong môi trường [33]. Gần đây, LiDAR và camera ngày càng được sử dụng nhiều do khả năng cung cấp thông tin 3 chiều (3D) về môi trường so với các loại cảm biến khác chỉ cung cấp thông tin 2 chiều (2D) như siêu âm, laser 2D. LiDAR cung cấp thông tin 3D chính xác với khoảng cách xa so với camera do ít bị ảnh hưởng bởi điều kiện ánh sáng của môi trường xung quanh, trong khi đó camera có thể cung cấp nhiều thông tin về môi trường hơn như hình ảnh, màu sắc, và ngữ nghĩa [34]. Ngoài ra, LiDAR có giá thành cao hơn nhiều so với camera. Nhóm nghiên cứu của Y.Tawil [35] và nhóm của Jordan S. Nguyen [36] đã sử dụng camera với các thuật toán áp dụng vào việc phát hiện vật cản, tìm khoảng trống để xe lăn điện vượt qua vật cản. Hệ thống này có thể giúp người sử dụng cảm giác an toàn hơn khi di chuyển trong khu vực có nhiều chướng ngại vật.
Lĩnh vực vẽ bản đồ và định vị đã và đang được nghiên cứu rộng rãi cho xe lăn hay robot tự hành. Xe lăn hay robot tự hành phải được cung cấp chi tiết về bản đồ di chuyển để có thể được định vị trong không gian di chuyển. Hơn nữa, tọa độ hiện tại của xe lăn hay robot được dùng làm cơ sở thu thập thêm những thông tin mới trong quá trình di chuyển [37]. Các thuật toán vẽ bản đồ dần được phát triển như thuật toán bản địa hóa và bản đồ hóa đồng thời (SLAM) được áp dụng để vẽ bản đồ 3D [38]. Để định vị xe lăn hay robot trong không gian di chuyển, có nhiều phương pháp được thực hiện. Đầu tiên là những phương pháp định vị 2D sử dụng những thông tin khoảng cách thu về từ sóng WiFi [39], cảm biến laser [40], cảm biến laser kết hợp với RFID [41]. Cùng với đó, các phương pháp xử lý ảnh cũng đã được sử dụng trong định vị robot [42]. Phương pháp xử lý ảnh được sử dụng để nhận biết các vật mốc nhân tạo cố định được xây dựng sẵn trong không gian di chuyển [43], từ đó áp dụng vào việc xác định vị trí hiện tại của xe lăn trên một bản đồ đã được xây dựng trước trong quá trình di chuyển. Alcantarilla và các cộng sự đề xuất phương pháp mạnh mẽ và nhanh chóng định vị cho xe lăn dựa vào thị giác máy tính, trong đó các đặc trưng của hình
Trang – 5 –
Chương 1: Tổng quan
ảnh được trích xuất, kết hợp với các thành phần bản đồ để đưa ra vị trí hiện tại của robot tự hành [44]. Trong thực tế, bản đồ hóa cho robot di động trong môi trường là một thách thức lớn do dữ liệu thu được từ môi trường và thuật toán được áp dụ
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
Kết hợp tín hiệu EEG, Camera và vật mốc để định vị, điều khiển xe lăn điện đến đích dựa vào bản đồ
TÓM TẮT
Trong những năm gần đây, số lượng người gặp vấn đề về vận động đã tăng lên ở Việt Nam và trên thế giới. Đối với người già và người khuyết tật, các chức năng thể chất của họ bị giảm sút nghiêm trọng, và do đó xe lăn điện gần như là phương tiện duy nhất để duy trì tính cơ động. Luận án này đã đề xuất một số phương pháp cho việc điều khiển bán tự động cho xe lăn điện dựa vào tín hiệu điện não đồ (EEG), camera, các vật mốc và bản đồ. Cụ thể, để điều khiển bán tự động cho xe lăn đến đích, một quá trình gồm 3 giai đoạn được thực hiện, bao gồm: (1) người dùng chọn vị trí điểm đích trên giao diện máy tính bằng tín hiệu EEG; (2) xe lăn tự xác định vị trí bắt đầu trên bản đồ dựa vào các vật mốc trong môi trường; và (3) hệ thống điều khiển xe lăn điện tự động đến đích dựa vào thông tin điểm bắt đầu và đích đến.
Trong môi trường trong nhà, để bắt đầu cho một lộ trình di chuyển tự động, một điểm đích cần được lựa chọn. Khi người khuyết tật bị hạn chế về vận động chẳng hạn như không thể cử động tay hay đầu, các hoạt động nháy mắt là phù hợp để người dùng ra các lệnh lựa chọn đích đến trên một giao diện máy tính đã được thiết kế trước với các điểm đích. Từ đó, luận án đề xuất hai phương pháp phân loại các hoạt động nháy mắt từ tín hiệu EEG gồm phương pháp ngưỡng biên độ và mô hình học sâu 1D-CNN. Phương pháp ngưỡng biên độ được áp dụng cho phân loại các hoạt động mắt như nháy mắt trái, nháy mắt phải, và không nháy mắt với độ chính xác trung bình trên 92%. Cụ thể, độ chính xác khi phân loại nháy mắt trái, nháy mắt phải, và không nháy mắt có tỷ lệ lượt là 97%, 99% và 82% cho mỗi loại. Ưu điểm của phương pháp này là có thể xử lý trực tiếp trên tín hiệu mà không cần được huấn luyện trước với thời gian ngắn. Với phương pháp phân loại các hoạt động mắt dùng mạng học sâu 1D-CNN, tập dữ liệu huấn luyện cần được thu thập trước theo một quy trình được chuẩn hóa. Với đặc điểm của các hoạt động mắt, chỉ có tín hiệu từ 4 điện cực trong tổng số 14 điện cực thu được từ thiết bị Emotiv Epoc+ được trích xuất và ghép lại tạo thành 1 tín hiệu cho huấn luyện. Các tín hiệu này được làm trơn dùng bộ lọc Savitzky − Golay trước khi đưa vào huấn luyện. Kết quả phân loại cho 5 loại nháy
Trang – v –
TÓM TẮT
mắt gồm nháy mắt trái, nháy mắt phải, nháy hai mắt, nháy hai mắt hai lần liên tiếp và không nháy mắt có độ chính xác trung bình trên 98%, với tỷ lệ lần lượt là 98,1%, 100%, 95,9%, 100%, và 98,1% cho mỗi loại.
Sau khi người dùng đã chọn được điểm đích, vị trí ban đầu của xe lăn trên bản đồ cần được xác định. Với xe lăn điện được trang bị camera, thông tin của các vật mốc tự nhiên bao gồm hình ảnh vật mốc và vị trí của nó trong môi trường, là rất cần thiết cho việc xác định vị trí của xe lăn. Để định vị trên bản đồ dựa vào vật mốc, xe lăn cần thu thập thông tin vật mốc và lưu vào cơ sở dữ liệu, sau đó trong quá trình di chuyển xe lăn sẽ xác định vị trí dựa vào các vật mốc này. Để thu thập thông tin vật mốc trong môi trường, luận án kiến nghị phương pháp mật độ điểm đặc trưng lớn nhất cho nhận biết vật mốc tự nhiên và phương pháp xác định vị trí của vật mốc dựa vào vị trí xe lăn và thông tin 3D từ camera. Cụ thể, hình ảnh môi trường thu thập được từ camera sẽ được trích xuất đặc trưng, và sau đó các thuật toán hình thái học được thực hiện để kết nối các điểm đặc trưng này lại tạo thành các đối tượng trong ảnh. Mật độ điểm đặc trưng cho từng đối tượng này sẽ được tính toán và đối tượng nào có mật độ điểm đặc trưng lớn nhất được chọn là vật mốc. Với vật mốc đã được lựa chọn, thông tin 3D của vật mốc và vị trí của xe lăn trong môi trường được dùng để xác định vị trí vật mốc. Bên cạnh đó, luận án cũng kiến nghị phương pháp xác định vị trí xe lăn trên bản đồ lưới 2D ảo từ thông tin vật mốc trong môi trường thực, nhằm phục vụ cho việc điều khiển xe lăn. Cụ thể, sau khi nhận dạng được các vật mốc có trong cơ sở dữ liệu đã thu thập trước đó, thông tin tọa độ vị trí của các vật mốc này trong không gian môi trường và trong không gian của camera sẽ được dùng để tính toán vị trí xe lăn trong môi trường thực và trên bản đồ 2D lưới ảo bằng các phương trình lượng giác.
Để giảm bớt việc tham gia điều khiển của người sử dụng và tăng sự an toàn, luận án đề xuất mô hình điều khiển thực - ảo cho xe lăn điện dựa vào bản đồ lưới 2D ảo, cho phép người khuyết tật đến bất kỳ điểm đến định sẵn nào trên bản đồ lưới này. Cụ thể, bản đồ lưới 2D ảo được xây dựng từ môi trường thực bằng cách chia thành các ô lưới có thể chứa các khoảng trống hay chướng ngại vật. Sau đó, bản đồ với
Trang – vi –
TÓM TẮT
các ô lưới được vẽ này sẽ được mô phỏng để tìm các đường đi tối ưu để đến các vị trí đích bằng mô hình Deep Q-Networks (DQNs) với hàm kích hoạt PreLU. Bên trong mô hình DQNs-PreLU là một mạng nơ-ron truyền thẳng sử dụng phương pháp lan truyền ngược để cập nhật các thông số mạng. Ngõ vào mô hình là bản đồ lưới và ngõ ra là các hành động của xe lăn tương ứng trên bản đồ bao gồm Lên, Xuống, Trái, Phải. Với các thí nghiệm đã được thực hiện, mô hình DQNs-PreLU cho thấy thời gian huấn luyện ngắn hơn rất nhiều so với các mô hình khác và các thông số mô hình có thể lưu trữ lại để dùng cho điều khiển xe lăn trong môi trường thực. Để có thể điều khiển xe lăn trong môi trường thực, một thuật toán mới được đề xuất để chuyển đổi các hành động của xe lăn từ ngõ ra của mô hình DQNs-PreLU khi mô phỏng với bản đồ lưới 2D ảo thành các lệnh điều khiển thực tế cho xe lăn. Kết quả thí nghiệm đã cho thấy mô hình điều khiển đề xuất có thể tự động điều khiển xe lăn đến đích mong muốn với tính ổn định và an toàn hơn so với khi người dùng tự điều khiển.
Từ những kết quả này, một mô hình xe lăn điện bán tự động cho người khuyết tật trong môi trường trong nhà có thể được ứng dụng trong thực tế. Hiệu quả của các phương pháp đề xuất đã được đánh giá thông qua các kết quả thí nghiệm. Các phương pháp và mô hình được kiến nghị cùng với các kết quả thu được trong luận án này đã được đăng trong các kỷ yếu hội thảo khoa học và tạp chí khoa học. Với mô hình xe lăn điện bán tự động được đề xuất cùng với các kết quả thử nghiệm, xe lăn điện với chi phí thấp có thể được sản xuất trong tương lai gần, hướng đến nhu cầu di chuyển thiết yếu và an toàn cho người khuyết tật.
Trang – vii –
ABSTRACT
ABSTRACT
In recent years, the number of people facing mobility issues has increased in Vietnam and worldwide. For the elderly and people with disabilities, their physical functions are severely compromised, and therefore, electric wheelchairs are nearly the sole means to maintain mobility. This thesis has proposed several methods for semi-automatic control of an electric wheelchair based on electroencephalogram (EEG) signals, cameras, landmarks, and maps. Specifically, to semi-automatically control the wheelchair to the destination, a three-stage process is implemented, including (1) users selecting the destination on a computer interface using EEG signals; (2) the wheelchair autonomously determining a starting position on the map based on landmarks in an indoor environment; and (3) the wheelchair system automatically controlling the electric wheelchair to reach the desired destination based on the starting position and destination information.
In an indoor environment, to initiate an automatic travel route, a destination needs to be selected. In the case of disabled people with limited mobility such as being unable to move an electric wheelchair by their hands or head, blinking operations are suitable for moving by selecting commands on a computer interface pre-designed with destinations. Therefore, the thesis proposes two methods of classifying blink activities from EEG signals, including the amplitude thresholding method and the 1D-CNN deep learning model. In particular, the amplitude thresholding method is applied to classify eye activities such as left blink, right blink, and neutral with an average accuracy of over 92%. Specifically, the accuracy rates for classifying left-eye blink, right-eye blink, and neutral are 97%, 99%, and 82% respectively for each type. The advantage of this method is its ability to directly process signals without the need for pre-training with a short computation time. With the second method using a 1D-CNN deep learning network is that the training data
Trang – viii –
ABSTRACT
set needs to be pre-collected according to a normalized procedure. With the characteristics of eye activities, only the EEG signals obtained from 4 electrodes of the Emotiv Epoc+ system with 14-electrodes are extracted and reassembled to produce one signal for training. Moreover, the EEG signals are smoothed using Savitzky − Golay filters before training and this can produce better accuracy. Finally, the classification results for 5 types of blinks including left-eye blink, right-eye blink, two-eye blink, double two-eye blink, and neutral have an average accuracy exceeding 98%, with respective rates of 98,1%, 100%, 95,9%, 100%, and 98,1% for each type.
After the user has selected a desired destination on the map, the wheelchair's initial position needs to be determined. With an electric wheelchair equipped with a camera, the information of natural landmarks, including the image of the landmark and its position in the environment, are essential for determining the position of the wheelchair. To determine the location based on these landmarks, the wheelchair needs to collect landmark information and then store them in a database during the movement. Therefore, to collect information of landmarks in an indoor environment, the thesis proposes the methods of the maximum feature density for the identification of natural landmarks and determining the positions of landmarks based on the wheelchair's position and 3D information from the camera. In particular, environmental images collected from the camera will be extracted features, and then morphological algorithms are performed to connect these feature points for creating objects in the image. The feature density for each of these objects will be calculated and the object with the highest feature density is selected as the landmark. With the landmark selected, the 3D information of that landmark and the wheelchair's position in the environment are used for locating the landmark. In addition, the thesis proposes the method for locating the wheelchair on a virtual 2D grid map from landmark information in the real environment for controlling the mobile wheelchair. In particular, after identifying landmarks in the collected database, the coordinate of these landmarks in the environmental and camera spaces will be used to calculate the
Trang – ix –
ABSTRACT
wheelchair position in the real environment and the virtual 2D grid map using the trigonometric equations.
To reduce the user's participation in control and increase safety, the thesis proposes a virtual-real control model for electric wheelchairs based on a virtual 2D grid map, allowing people with disabilities to reach any destination pre-designed on this grid map. In particular, the virtual 2D grid map is built from the real environment by dividing it into grid cells that may contain free spaces or obstacles. This map with the plotted grid cells is then simulated for finding the optimal paths to reach the desired destination using a Deep Q-Networks (DQNs) model with the PreLU activation function. Therefore, the DQNs-PreLU model is designed with a feedforward neural network using backpropagation for updating the network parameters. The network algorithm is that the input is the grid map and the output is the wheelchair actions including Up, Down, Left, and Right. With the experiments performed, the DQNs-PreLU model shows that the training time is much shorter than other models and the model parameters can be stored for controlling the wheelchair in the real environment. In addition, to better control the wheelchair in the real environment, a new algorithm was proposed to convert the wheelchair actions from the output of the DQNs-PreLU model after simulated with the virtual 2D grid map into real control commands. Experimental results show that the proposed control model can automatically control the wheelchair to reach the desired destination with more stability and safety compared to the wheelchair controlled by the user.
From these results, the semi-automatic electric wheelchair model for the disabled people can be applied in practice. In addition, the effectiveness of the proposed methods has been evaluated through experimental results. In particular, these proposed methods with the results in this thesis have been published in the proceedings of scientific conferences and scientific journals. With the proposed semi- autonomous electric wheelchair model along with the test results, a low-cost electric wheelchair with safe mobility can be produced to support the disabled people.
Trang – x –
MỤC LỤC
MỤC LỤC
QUYẾT ĐỊNH GIAO ĐỀ TÀI..................................................................................i LÝ LỊCH CÁ NHÂN ................................................................................................ii LỜI CAM ĐOAN .................................................................................................... iii LỜI CẢM ƠN...........................................................................................................iv TÓM TẮT ..................................................................................................................v ABSTRACT ........................................................................................................... viii MỤC LỤC.................................................................................................................xi DANH SÁCH CÁC TỪ VIẾT TẮT ......................................................................xv DANH SÁCH CÁC HÌNH....................................................................................xvii DANH SÁCH CÁC BẢNG....................................................................................xxi CHƯƠNG 1................................................................................................................1 TỔNG QUAN ............................................................................................................1
1.1. TÍNH CẤP THIẾT CỦA ĐỀ TÀI LUẬN ÁN .................................................1
1.2. MỤC TIÊU NGHIÊN CỨU CỦA LUẬN ÁN...............................................10
1.3. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU................................................11
1.4. CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU.............................11
1.5. ĐÓNG GÓP VỀ KHOA HỌC CỦA LUẬN ÁN ...........................................12
1.6. CẤU TRÚC CỦA LUẬN ÁN ........................................................................14
CHƯƠNG 2..............................................................................................................16 CƠ SỞ LÝ THUYẾT ..............................................................................................16
2.1. TỔNG QUAN VỀ TÍN HIỆU EEG................................................................16
2.2. PHÂN LOẠI HOẠT ĐỘNG DỰA VÀO TÍN HIỆU EEG............................17
2.2.1. Phát hiện hoạt động mắt dựa vào ngưỡng biên độ tín hiệu EEG....................17
2.2.2. Phân loại tín hiệu EEG dùng mạng nơ-ron.....................................................18
2.2.3. Phân loại tín hiệu EEG dùng mạng nơ-ron tích chập .....................................19
2.2.4. Phân loại tín hiệu EEG dùng mạng nơ-ron hồi quy........................................20
2.3. GIAO TIẾP GIỮA NÃO NGƯỜI VÀ MÁY TÍNH ......................................20
2.4. MÔ HÌNH XE LĂN ĐIỆN CHO NGƯỜI KHUYẾT TẬT ...........................22
2.4.1. Xe lăn điện thông minh...................................................................................22
2.4.2. Xe lăn điện với bộ điều khiển robot................................................................23
Trang – xi –
MỤC LỤC
2.4.3. Xe lăn điện tích hợp với môi trường thông minh ...........................................24
2.4.4. Xe lăn điện với chức năng tránh chướng ngại vật............................................24
2.4.5. Hệ thống chia sẻ điều khiển cho xe lăn điện...................................................25
2.5. PHƯƠNG PHÁP XÂY DỰNG BẢN ĐỒ LƯỚI 2D ĐỂ ĐIỀU HƯỚNG XE LĂN VÀ ROBOT TRONG NHÀ.............................................................................28
2.6. CÁC PHƯƠNG PHÁP ĐỊNH VỊ CHO XE LĂN VÀ ROBOT DI ĐỘNG...30
2.6.1. Phương pháp đoán định vị trí..........................................................................30
2.6.2. Phương pháp định vị dùng vật mốc ................................................................30
2.6.3. Phương pháp định vị dùng hệ thống WiFi......................................................31
2.7. CÁC PHƯƠNG PHÁP NHẬN DẠNG VẬT THỂ ........................................32
2.7.1. Phương pháp nhận dạng dựa trên diện mạo....................................................32
2.7.2. Phương pháp nhận dạng dựa trên các điểm đặc trưng....................................32
2.7.3. Nhận dạng vật thể theo phương pháp máy học...............................................33
2.8. MÔ HÌNH HÓA VÀ ĐIỀU KHIỂN XE LĂN ĐIỆN ....................................34
2.9. PHƯƠNG PHÁP LẬP KẾ HOẠCH ĐƯỜNG ĐI CHO ROBOT DI ĐỘNG36
2.9.1. Phương pháp A* .............................................................................................36
2.9.2. Phương pháp học tăng cường..........................................................................37
CHƯƠNG 3..............................................................................................................40 PHÂN LOẠI TÍN HIỆU EEG CỦA HOẠT ĐỘNG MẮT CHO ỨNG DỤNG GIAO TIẾP GIỮA NÃO NGƯỜI VÀ MÁY TÍNH.............................................40
3.1. TÍN HIỆU EEG CỦA HOẠT ĐỘNG NHÁY MẮT ......................................40
3.2. THU THẬP DỮ LIỆU ....................................................................................43
3.2.1. Quy trình thu thập dữ liệu...............................................................................43
3.2.2. Tập dữ liệu gốc của tín hiệu EEG ...................................................................45
3.3. XỬ LÝ TÍN HIỆU ..........................................................................................49
3.3.1. Lọc nhiễu dùng bộ lọc Hamming....................................................................49
3.3.2. Làm trơn tín hiệu dùng bộ lọc Savitzky – Golay............................................51
3.4. PHÂN LOẠI TÍN HIỆU EEG CỦA HOẠT ĐỘNG MẮT ............................53
3.4.1. Phân loại hoạt động nháy mắt theo phương pháp ngưỡng biên độ.................53
3.4.2. Phân loại tín hiệu hoạt động mắt dùng mô hình 1D-CNN..............................57
Trang – xii –
MỤC LỤC
CHƯƠNG 4..............................................................................................................76 NHẬN DẠNG VÀ XÁC ĐỊNH VỊ TRÍ VẬT MỐC TỰ NHIÊN TRONG MÔI TRƯỜNG TRONG NHÀ .......................................................................................76 4.1. VAI TRÒ CỦA VẬT MỐC ĐỐI VỚI QUÁ TRÌNH ĐỊNH VỊ VÀ ĐIỀU KHIỂN XE LĂN ĐIỆN ............................................................................................76
4.2. PHƯƠNG PHÁP MẬT ĐỘ ĐIỂM ĐẶC TRƯNG LỚN NHẤT CHO NHẬN DẠNG CÁC VẬT MỐC TRONG TỰ NHIÊN........................................................78
4.2.1. Phát hiện các điểm đặc trưng ..........................................................................79
4.2.2. Kết nối các điểm đặc trưng trong các đối tượng.............................................81
4.2.3. Nhận biết vật mốc tự nhiên .............................................................................81
4.3. XÁC ĐỊNH VỊ TRÍ VẬT MỐC TRONG MÔI TRƯỜNG............................82
4.3.1. Vị trí của xe lăn trong môi trường ..................................................................82
4.3.2. Xác định vị trí vật mốc....................................................................................84
4.4. KẾT QUẢ NHẬN BIẾT VÀ THU THẬP VẬT MỐC TỰ NHIÊN..............85
4.5. KẾT QUẢ XÁC ĐỊNH VỊ TRÍ VẬT MỐC...................................................95
CHƯƠNG 5............................................................................................................101 MÔ HÌNH ĐIỀU KHIỂN XE LĂN ĐIỆN KẾT HỢP TÍN HIỆU EEG VÀ CAMERA DỰA VÀO BẢN ĐỒ ..........................................................................101 5.1. HỆ THỐNG ĐIỀU KHIỂN THỰC - ẢO CHO XE LĂN ĐIỆN DỰA VÀO BẢN ĐỒ LƯỚI 2D ẢO ..........................................................................................101
5.1.1. Cấu trúc hệ thống điều khiển thực -ảo cho xe lăn điện.................................101
5.1.2. Bản đồ lưới 2D ảo .........................................................................................103
5.1.3. Giao diện lựa chọn đích đến cho xe lăn ........................................................105
5.1.4. Mô hình DQNs lập kế hoạch đường đi tối ưu cho xe lăn .............................106
5.2. ĐỊNH VỊ XE LĂN ĐIỆN TRONG BẢN ĐỒ LƯỚI 2D ẢO DỰA VÀO VẬT MỐC TỰ NHIÊN....................................................................................................110
5.3. ĐIỀU HƯỚNG XE LĂN ĐIỆN TRONG MÔI TRƯỜNG THỰC..............113
5.4. PHƯƠNG PHÁP TRÁNH VẬT CẢN DỰA VÀO THÔNG TIN 3D MÔI
TRƯỜNG ................................................................................................................115
5.5. KẾT QUẢ THÍ NGHIỆM ĐIỀU KHIỂN XE LĂN ĐIỆN ..........................117 5.5.1. Mô phỏng huấn luyện tìm đường đi cho xe lăn dựa vào bản đồ lưới 2D ảo 117 5.5.2. Kết quả nhận dạng vật mốc...........................................................................122
Trang – xiii –
MỤC LỤC
5.5.3. Xác định vị trí xe lăn trên bản đồ lưới 2D ảo dựa vào vật mốc....................125
5.5.4. Xe lăn di chuyển đến đích mong muốn dựa vào bản đồ lưới 2D ảo.............129
CHƯƠNG 6............................................................................................................141 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN...........................................................141
6.1. KẾT LUẬN...................................................................................................141
6.2. HƯỚNG PHÁT TRIỂN................................................................................145
TÀI LIỆU THAM KHẢO ....................................................................................146 CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ..................................................................160
Trang – xiv –
DANH SÁCH CÁC TỪ VIẾT TẮT
DANH SÁCH CÁC TỪ VIẾT TẮT
ACC APF ALS BCI
CNN DQNs DWA D-DW A
DSS DRL EEG EMG ECG FAST
GPS HOG
HHT IOU
IMU LIDAR
NN PCA PRE PWM
Accuracy
Angle-based Potential Field Amyotrophic Lateral Sclerosis Brain – Computer Interface
Convolutional Neural Network Deep Q – networks
Dynamic Window Approach
Double Dynamic Window Approach
Drive – Safe System
Deep Reinforcement Learning Electroencephalography Electromyography
Electrocardiogram
Features from Accelerated Segment Test
Global Positioning System Histogram of Oriented Gradients
Hilbert – Huang Transform Intersection over Union
Inertial Measurement Unit Light Detection and Ranging
Neural Network
Principal Component Analysis Precision
Pulse Width Modulation
Độ chính xác
Vùng góc tiềm năng
Bệnh xơ cứng teo cơ bên Giao tiếp não người và máy tính
Mạng nơ-ron tích chập Mạng Q sâu.
Phương pháp cửa sổ động Phương pháp cửa sổ động kép
Hệ thống lái xe an toàn Học tăng cường sâu Điện não đồ
Điện cơ
Điện tâm đồ
Các đặc trưng từ kiểm tra phân đoạn tăng tốc
Hệ thống định vị toàn cầu Biểu đồ Gradient định hướng
Biến đổi Hilbert–Huang Vùng giao nhau tại những liên kết
Đơn vị đo lường quán tính Đo khoảng cách bằng ánh sáng
Mạng nơ-ron
Phân tích thành phần chính Độ chính xác
Điều chế độ rộng xung
BRISK
Binary Robust Invariant Scalable Keypoints
Các điểm đặc trưng có thể mở rộng bất biến bền vững bằng nhị phân
Trang – xv –
DANH SÁCH CÁC TỪ VIẾT TẮT
RGB Red – Green – Blue
RGB-D Red – Green – Blue – Depth RFID Radio Frequency Identification
RL Reinforcement Learning
ROC Receiver Operating Characteristic
SEN Sensitivity
SLAM Simultaneous Localization and Mapping
SURF Speeded Up Robust Features
SIFT Scale – Invariant Feature Transform
SSVEP Steady – State Visual Evoked Potential
VFH Vector Field Histogram WHO World Health Organization 3D Three – Dimensional
2D Two – Dimensional
1D One – Dimensional
Đỏ – Lục – Lam
Đỏ - Lục – Lam – Độ sâu Nhận dạng tần số vô tuyến điện
Học tăng cường
Đặc tính hoạt động của bộ thu
Độ nhạy
Bản đồ hóa và bản địa hóa đồng thời
Tăng tốc đặc tính bền vững Biến đổi đặc trưng bất biến theo tỷ lệ
Tiềm năng kích thích trực quan ở trạng thái ổn định Biểu đồ trường vectơ
Tổ chức Y tế Thế giới
3 chiều
2 chiều
1 chiều
Trang – xvi –
DANH SÁCH CÁC HÌNH
DANH SÁCH CÁC HÌNH
Hình
Hình 1.1. Sơ đồ khối quá trình điều khiển xe lăn điện dựa vào tín hiệu EEG, camera, vật mốc và bản đồ .....................................................................................................10 Hình 2.1. Tín hiệu EEG được ghi nhận khi có sự chuyển động của mắt ... ............18 Hình 2.2. Sơ đồ điều khiển kết hợp của BCI và xe lăn ... .......................................22 Hình 2.3. Sơ đồ bộ điều khiển xe lăn di động kết hợp cánh tay robot... .................23 Hình 2.4. Mô hình hệ thống xe lăn đa cách ...............................................24 Hình 2.5. Hệ thống xe lăn điện với chức năng định vị và tránh vật cản ... .............25 Hình 2.6. Hệ thống chia sẻ điều khiển cho xe lăn điện ... .......................................26 Hình 2.7. Mô hình chia sẻ điều khiển xe lăn điện sử dụng BCI và cảm biến ... .....27 Hình 2.8. Biểu diễn chùm sonar trên bản đồ lưới 2D .............................................28 Hình 2.9. Phương pháp xây dựng bản đồ lưới kết hợp ngữ nghĩa đối tượng .........29 Hình 2.10. Định vị robot dùng các vật mốc trên trần nhà... ....................................31 Hình 2.11. Sử dụng WiFi để định vị vị trí robot ... .................................................31 Hình 2.12. Hệ quy chiếu toàn cục và hệ quy chiếu cục bộ của xe lăn hay robot ...35 Hình 3.1. Một số tín hiệu cơ bản của chuyển động mắt .........................................41 Hình 3.2. Tín hiệu EEG khi nháy mắt ....................................................................42 Hình 3.3: Hai loại tín hiệu EEG của hoạt động nháy mắt ......................................43 Hình 3.4. Thiết bị Emotiv Epoch+ ...................................................................... ...44 Hình 3.5. Hướng dẫn đeo thiết bị và kiểm tra kết nối ... .........................................44 Hình 3.6. Quy trình thực hiện thí nghiệm... ............................................................45 Hình 3.7. Tín hiệu gốc từ 4 kênh AF3, F7, F8, AF4 khi nháy mắt trái ...................46 Hình 3.8. Tín hiệu gốc từ 4 kênh AF3, F7, F8, AF4 khi nháy mắt phải ..................47 Hình 3.9. Tín hiệu gốc từ 4 kênh AF3, F7, F8, AF4 khi nháy hai mắt ....................47 Hình 3.10. Tín hiệu gốc từ 4 kênh AF3, F7, F8, AF4 khi nháy hai mắt hai lần liên tiếp ...............................................................................................................48
Trang
Trang – xvii –
DANH SÁCH CÁC HÌNH
Hình 3.11. Tín hiệu gốc từ 4 kênh AF3, F7, F8, AF4 khi không nháy mắt .............48 Hình 3.12. Tín hiệu EEG ở kênh F7 khi nháy mắt trái trước và sau khi lọc dùng bộ lọc Hamming.............................................................................................................50 Hình 3.13. Biểu diễn tín hiệu EEG tại kênh F7 trước và sau khi làm trơn bằng bộ lọc Savitzky − Golay.......................................................................................................52 Hình 3.14. Tín hiệu EEG khi nháy hai mắt tại kênh F7 được lọc Hamming và làm trơn với bộ lọc Savitzky − Golay ..............................................................................53 Hình 3.15. Mô tả cách thức chia tín hiệu EEG thành các khung dữ liệu .................54 Hình 3.16. Mô tả tín hiệu nháy mắt tự nguyện.........................................................54 Hình 3.17. Kết quả nhận dạng hoạt động mắt ..........................................................57 Hình 3.18. Tín hiệu nháy mắt trái thu được từ 4 kênh AF3, F7, F8, AF4 ...............59 Hình 3.19. Tín hiệu ghép từ 4 kênh độ dài 2804 mẫu khi nháy mắt trái..................59 Hình 3.20. Tín hiệu nháy mắt phải thu được từ 4 kênh AF3, F7, F8, AF4..............60 Hình 3.21. Tín hiệu ghép từ 4 kênh độ dài 2804 mẫu khi nháy mắt phải ................60 Hình 3.22. Tín hiệu nháy hai mắt thu được ở 4 kênh AF3, F7, F8, AF4 .................61 Hình 3.23. Tín hiệu ghép từ 4 kênh độ dài 2804 mẫu khi nháy hai mắt ..................61 Hình 3.24. Tín hiệu nháy hai mắt hai lần liên tiếp từ 4 kênh AF3, F7, F8, AF4 .....62 Hình 3.25. Tín hiệu ghép từ 4 kênh độ dài 2804 mẫu khi nháy hai mắt hai lần liên tiếp ...............................................................................................................62 Hình 3.26. Tín hiệu không nháy mắt thu được ở 4 kênh AF3, F7, F8, AF4............63 Hình 3.27. Tín hiệu ghép từ 4 kênh độ dài 2804 mẫu khi không nháy mắt.............64 Hình 3.28. Mô hình 1D-CNN phân loại tín hiệu EEG của hoạt động mắt ..............65 Hình 3.29. Tổ chức dữ liệu để huấn luyện mô hình 1D-CNN .................................67 Hình 3.30. Hiệu suất huấn luyện mô hình 1D-CNN phân loại hoạt động mắt ........69 Hình 3.31. Kết quả phân loại các hoạt động mắt trên tập kiểm tra ..........................71 Hình 3.32. Kết quả phân loại các hoạt động mắt với hai loại nháy mắt trái và phải dùng tín hiệu không ghép kênh .................................................................................72 Hình 4.1. Các bước xác định vật mốc tự nhiên ........................................................78 Hình 4.2. Mô hình xe lăn di động hai bánh vi sai và hai bánh tự do........................82
Trang – xviii –
DANH SÁCH CÁC HÌNH
Hình 4.3. Ước tính vị trí mốc trong không gian 2D .................................................84
Hình 4.4. Xe lăn với camera RGB-D, Encoder và máy tính....................................85
Hình 4.5. Các đối tượng chứa các điểm đặc trưng ...................................................86
Hình 4.6. Biểu diễn sự giãn nở với các lần lặp khác nhau .......................................87
Hình 4.7. Ảnh chứa đường bao đối tượng và khung đặc trưng................................88
Hình 4.8. Nhận dạng vật mốc ở khoảng cách 2 m từ camera đến các đối tượng.....88
Hình 4.9. Nhận dạng vật mốc ở khoảng cách 1 m từ camera đến các đối tượng.....89
Hình 4.10. IOU cho các hộp giới hạn.......................................................................90 Hình 4.11. Nhận biết vật mốc tự nhiên với các điều kiện ánh sáng khác nhau .......91
Hình 4.12. Nhận biết vật mốc tự nhiên theo góc 0o .................................................92 Hình 4.13. Nhận biết vật mốc tự nhiên theo góc 45o ...............................................92 Hình 4.14. Nhận biết vật mốc tự nhiên theo góc 30o ...............................................93 Hình 4.15. Các vật mốc tự nhiên được phát hiện từ các khu vực khác nhau ...........93 Hình 4.16. Biểu đồ sai số tương đối của phép đo khoảng cách tới các vật mốc......95 Hình 4.17. Biểu diễn quỹ đạo chuyển động của xe lăn đến các vị trí đặt trước.......96 Hình 5.1. Hệ thống thực − ảo cho xe lăn điện dựa vào bản đồ lưới 2D ảo ............102 Hình 5.2. Quá trình tạo bản đồ lưới 2D ảo từ môi trường thực..............................104 Hình 5.3. Bản đồ lưới 2D ảo của môi trường thực.................................................104 Hình 5.4. Quy trình thực hiện lựa chọn đích đến dùng BCI ..................................105 Hình 5.5. Giao diện người dùng để chọn điểm đến mong muốn ...........................106 Hình 5.6. Giao diện người dùng chọn điểm đến “Phòng ngủ” bằng lệnh EEG .....106 Hình 5.7. Cấu trúc mạng nơ-ron trong mô hình DQNs..........................................109 Hình 5.8. Các mẫu vật mốc trong môi trường trong nhà .......................................110 Hình 5.9. Hệ tọa độ của camera RGB-D................................................................110 Hình 5.10. Vị trí của xe lăn với bốn hướng............................................................112 Hình 5.11. Tọa độ của xe lăn, vật mốc và đích đến trong bản đồ lưới 2D ảo........113 Hình 5.12. Biểu diễn bộ chuyển đổi các lệnh điều khiển thực tế từ mô phỏng .....113 Hình 5.13. Ảnh độ sâu được chụp từ camera RGB-D............................................115 Hình 5.14. Mô tả chuyển đổi bản đồ 3D sang 2D với độ cao được định trước .....116
Trang – xix –
DANH SÁCH CÁC HÌNH
Hình 5.15. Môi trường huấn luyện .........................................................................117 Hình 5.16. So sánh tỷ lệ windows khi huấn luyện mô hình DQNs với 2 loại hàm kích hoạt trong trường hợp bản đồ lưới 8×11.........................................................................118 Hình 5.17. So sánh tỷ lệ windows khi huấn luyện mô hình DQNs với hai loại hàm kích hoạt trong trường hợp bản đồ lưới 11×33 ...............................................................119 Hình 5.18. Các thành phần vectơ mô tả của vùng con trong ảnh...........................123 Hình 5.19. Bốn loại vật mốc khác nhau được nhận dạng dựa trên các vật mốc được lưu trữ trong cơ sở dữ liệu.......................................................................................124 Hình 5.20. Sai số tuyệt đối của phép đo Xa từ camera đến các vật mốc tại các vị trí khác nhau .............................................................................................................126 Hình 5.21. Sai số tuyệt đối của khoảng cách Za từ camera đến các vật mốc tại các vị trí khác nhau............................................................................................................126 Hình 5.22. Môi trường thí nghiệm trong nhà .........................................................126 Hình 5.23. Bốn vị trí của xe lăn trên bản đồ lưới 2D với các vật mốc...................127 Hình 5.24. Vị trí xe lăn trên bản đồ lưới 2D với 3 vật mốc ...................................128 Hình 5.25. Hệ thống xe lăn với các camera RGB-D, Emotiv Epoc+, bộ điều khiển và máy tính .............................................................................................................129 Hình 5.26. Môi trường thí nghiệm .........................................................................130 Hình 5.27. Đường di chuyển của xe lăn trong môi trường thực tế ........................131 Hình 5.28. Quy trình điều hướng xe lăn điện ở chế độ bán tự động ......................132 Hình 5.29. Biểu diễn đường đi mô phỏng và đường đi thực của xe lăn bằng điều khiển bán tự động....................................................................................................133 Hình 5.30. So sánh chuyển động của xe lăn theo hai phương pháp điều khiển (điều khiển bán tự động và tự điều khiển)........................................................................135 Hình 5.31. Môi trường trong thí nghiệm thứ hai....................................................136 Hình 5.32. So sánh chuyển động của xe lăn theo hai phương pháp điều khiển (điều khiển bán tự động và tự điều khiển)........................................................................137 Hình 5.33. Chuyển động của xe lăn khi có vật cản ................................................138
Trang – xx –
DANH SÁCH CÁC BẢNG
DANH SÁCH CÁC BẢNG
Bảng Trang Bảng 2.1. Các dạng sóng EEG ................................................................................ 17 Bảng 3.1. Các trường hợp phân loại hoạt động mắt ............................................... 56 Bảng 3.2. Tên và nhãn tín hiệu của các hoạt động mắt.... ........................................64 Bảng 3.3. Ma trận nhầm lẫn .................................................................................... 66 Bảng 3.4. Mô tả dữ liệu huấn luyện phân loại hoạt động mắt ................................ 68 Bảng 3.5. Hiệu suất mô hình 1D-CNN khi huấn luyện phân loại hoạt động mắt ....70 Bảng 3.6. Xác thực chéo 5 lần đối với bộ phân loại hoạt động nháy mắt................72 Bảng 3.7. Các nghiên cứu phân loại hoạt động mắt .................................................73 Bảng 3.8. Thời gian xử lý phân loại tín hiệu EEG của hoạt động mắt.....................74 Bảng 4.1. Kết quả trích đặc trưng dùng các phương pháp khác nhau ......................87 Bảng 4.2. IOU với các khoảng cách khác nhau ...................................................... 90 Bảng 4.3. IOU với điều kiện ánh sáng khác nhau .................................................. 92 Bảng 4.4. Thời gian xử lý nhận dạng vật mốc của phương pháp đề xuất .............. 94 Bảng 4.5. Đánh giá sai số vị trí của xe lăn ............................................................. 97 Bảng 4.6. Kết quả định vị vật mốc dựa vào vị trí xe lăn ........................................ 97 Bảng 4.7. Các nghiên cứu nhận dạng, thu thập thông tin vị trí đối tượng tự động .98 Bảng 5.1. Thông số mô hình huấn luyện .............................................................. 118 Bảng 5.2. Hiệu suất của các mô hình DQNs được đề xuất .................................. 120 Bảng 5.3. So sánh hiệu suất của các mô hình ....................................................... 121 Bảng 5.4. Độ chính xác khi nhận dạng các vật mốc bằng phương pháp SURF ... 125 Bảng 5.5. Độ chính xác khi định vị xe lăn ........................................................... 127 Bảng 5.6. Độ chính xác khi định vị xe lăn bằng 3 vật mốc .................................. 128 Bảng 5.7. Các giá trị và trạng thái điều khiển xe lăn điện .................................... 130 Bảng 5.8. Các lệnh điều khiển xe lăn được chuyển đổi từ các lệnh mô phỏng .... 134 Bảng 5.9. Sai số đường đi của xe lăn trong các môi trường thí nghiệm ................138
Trang – xxi –
Chương 1: Tổng quan
CHƯƠNG 1 TỔNG QUAN
1.1. TÍNH CẤP THIẾT CỦA ĐỀ TÀI LUẬN ÁN
Trong xã hội hiện nay, người khuyết tật luôn gặp phải những khó khăn và thiệt thòi cả về thể chất và tinh thần hơn so với những người bình thường khác. Những khiếm khuyết trên cơ thể tạo ra những suy giảm đáng kể và ảnh hưởng lâu dài, trực tiếp đến khả năng tư duy, hoạt động, sinh hoạt hằng ngày của họ, gây nên những khó khăn nhất định trong cuộc sống. Thống kê của Tổ chức y tế thế giới (WHO) năm 2022 cho thấy 16% dân số thế giới tương đương 1,3 tỷ người bị khuyết tật và ngày càng tăng lên [1]. Theo Tổng cục Thống kê năm 2018, Việt Nam là quốc gia có số lượng người khuyết tật khá lớn so với tổng dân số trong khu vực châu Á-Thái Bình Dương, có khoảng 6,2 triệu người khuyết tật, chiếm 7,06% dân số từ 2 tuổi trở lên, trong đó có 58% là nữ, 28,3% là trẻ em, gần 29% là người khuyết tật nặng và đặc biệt nặng [2]. Ngoài ra, thống kê cũng cho thấy tỷ lệ người khuyết tật vận động là 29,41%, khuyết tật nghe nói 9,32%; khuyết tật nhìn 13,84%, khuyết tật thần kinh và tâm thần 16,83%, khuyết tật trí tuệ 6,52% và khuyết tật khác 24,08%. Người khuyết tật gặp rất nhiều khó khăn trong cuộc sống, đặc biệt đối với người khuyết tật về vận động. Khoảng 7% trong số những người khuyết tật về vận động trên thế giới cần dùng đến xe lăn [3]. Thị trường xe lăn điện đã đạt doanh thu 2,89 tỷ USD vào năm 2021 và dự kiến đạt 5,27 tỷ USD. Thị trường xe lăn điện dự kiến sẽ tăng trưởng gần 10,76% trong giai đoạn 2022-2027 [4].
Vận hành xe lăn truyền thống là một công việc đầy khó khăn đối với người khuyết tật. Do đó, việc sử dụng xe lăn điện để mang lại khả năng cơ động dễ dàng là cần thiết. Xe lăn điện được trang bị các thiết bị công nghệ cao có thể giúp cho người
Trang – 1 –
Chương 1: Tổng quan
khuyết tật di chuyển mà không cần sự trợ giúp. Đơn giản nhất là xe lăn điện được trang bị một cần điều khiển mà người sử dụng có thể điều khiển hướng di chuyển của xe lăn theo ý muốn của mình [5]. Trong những năm gần đây, nhiều phương pháp đã được giới thiệu để phát triển hệ thống xe lăn thông minh để phù hợp với người khuyết tật. Xu hướng phát triển có thể được phân loại thành ba lĩnh vực chính: 1) Cải tiến công nghệ hỗ trợ [6], 2) Cải tiến giao diện vật lý của người dùng [7], 3) Cải thiện điều khiển chia sẻ giữa người dùng và máy [8]. Một trong những vấn đề quan trọng của xe lăn thông minh là cung cấp khả năng di chuyển độc lập cho người tàn tật nặng, những người không thể điều khiển xe lăn bằng cần điều khiển tiêu chuẩn. Do đó, việc phục hồi khả năng vận động của họ có thể cải thiện đáng kể chất lượng cuộc sống.
Xe lăn thông minh được phát triển phụ thuộc nhiều vào tình trạng sức khỏe người dùng, tức là khả năng và khuyết tật, và không có giải pháp duy nhất phù hợp cho tất cả người dùng. Bệnh nhân bị suy yếu vận động thường thiếu kiểm soát cơ bắp và trong trường hợp xấu nhất họ không thể cử động cánh tay và chân. Để hỗ trợ khả năng di chuyển của những bệnh nhân này, tín hiệu hay hành động từ giọng nói, lưỡi có thể tạo ra các lệnh điều khiển [9, 10]. Điều hướng bằng giọng nói đòi hỏi môi trường yên tĩnh và có thể không tốt để sử dụng trong môi trường ồn ào. Hơn nữa, giải pháp này đôi khi được coi là bất lịch sự khi nói to trong một khu vực yên tĩnh. Jin Sun Ju và các cộng sự đã sử dụng một camera nhận dạng các cử chỉ trên khuôn mặt của người sử dụng để điều khiển xe lăn đi thẳng, đi lùi, rẽ trái, rẽ phải [11]. Trong nghiên cứu của Y. Zhang và các cộng sự [12], một camera nhận dạng các cử chỉ của bàn tay để điều khiển hướng đi cho xe lăn điện. Sadi [13] và Chhaya.G.Patil [14] dùng camera nhận dạng số ngón tay được giơ lên để thực hiện các lệnh điều khiển cho xe lăn. Một cách điều khiển xe lăn khác sử dụng cử chỉ của người sử dụng là nhận dạng sự di chuyển của mắt, với độ chính xác phân loại là 99,3% và có thể đưa ra đoán trong khoảng 1,57 ms [15]. Mặc dù các nghiên cứu dùng camera để phát hiện các cử chỉ của người sử dụng có thời gian xử lý nhanh và độ chính xác phân loại cao, nhưng chỉ phù hợp với một điều kiện ánh sáng chuẩn. Độ chính xác sẽ giảm đáng
Trang – 2 –
Chương 1: Tổng quan
kể khi bị quá sáng hay quá tối, hay vị trí của khuôn mặt, mắt, bàn tay bị lệch khỏi vùng ghi hình của camera.
Đối với việc sử dụng EEG trong những năm qua đã trở thành một chủ đề được quan tâm để điều khiển máy móc cho những đối tượng tàn tật nặng không thể dùng giọng nói hay vận động các chi hay đầu để ra lệnh điều khiển [16]. Để làm như vậy, các mẫu tín hiệu EEG cần được phân loại và nhóm thành các hành động dự định. Xe lăn điều khiển bằng EEG là thiết bị thích hợp cho những bệnh nhân bị liệt hoàn toàn với bộ não khỏe mạnh để điều hướng môi trường của họ [17]. Người sử dụng sẽ được gắn các điện cực lên đầu để thu thập các tín hiệu EEG và truyền về máy tính. Tín hiệu EEG thu được là dạng tín hiệu ngẫu nhiên khá phức tạp, do đó cần sử dụng các bộ lọc và các thuật toán để trích các đặc trưng của tín hiệu, cho biết tín hiệu nào liên quan đến hoạt động của cơ thể. Nhóm nghiên cứu của Nguyễn Thanh Hải [18, 19] thu thập tín hiệu EEG từ hoạt động của mắt (mở mắt, chớp mắt, liếc trái, liếc phải) và sử dụng bộ lọc Hamming để chia tín hiệu thành các dải tần khác nhau cho từng hoạt động. Sau đó, thông qua mạng nơ-ron để huấn luyện các tín hiệu thành bốn lệnh điều khiển cho xe lăn như đi tới, đi lùi, rẽ trái, rẽ phải với tốc độ di chuyển 5km/h trong môi trường trong nhà. Bên cạnh đó, các nghiên cứu về việc sử dụng tín hiệu EEG để điều khiển xe lăn cho người khuyết tật cũng được quan tâm phát triển với mục đích điều khiển thuận tiện cho người sử dụng với chi phí đầu tư thấp [20]. Tuy nhiên, khi sử dụng tín hiệu EEG cho điều khiển xe lăn, người dùng phải có sự kiểm soát cảm xúc và sự tập trung tốt để điều khiển hiệu quả. Đây là một gánh nặng cho người dùng mặc dù phương pháp này có thể là một lựa chọn tốt cho những người có cơ thể bị tê liệt hoàn toàn. Có lẽ giải pháp tốt nhất cho trường hợp này là dựa vào các phương pháp sử dụng nhiều tín hiệu từ người dùng và môi trường xung quanh để phân tích trước khi đưa ra lệnh mong muốn [21]. Sử dụng chiến lược này sẽ áp đặt ít gánh nặng hơn cho người dùng so với trường hợp chỉ dựa vào một đầu vào.
Nhằm giảm bớt sự điều khiển của người dùng và đảm bảo an toàn, xe lăn được điều khiển tự động hay bán tự động là một giải pháp cần thiết. Chế độ tự động của xe lăn đồng nghĩa với việc xe lăn phải tự di chuyển đến điểm đích mà người sử dụng
Trang – 3 –
Chương 1: Tổng quan
mong muốn, đồng thời phải tránh được những chướng ngại vật trên đường đi. Đã có nhiều phương pháp được áp dụng để xe lăn tự hành như di chuyển theo đường đi đã được vạch sẵn [22], di chuyển theo tọa độ sử dụng định vị GPS và bộ lọc Kalman [23], di chuyển theo bản đồ [24]. Bên cạnh đó, xe lăn thông minh cũng đã được cải thiện về các bộ phận điều hướng, chẳng hạn như tự động tránh chướng ngại vật, cách giao tiếp giữa người dùng và hệ thống điều khiển và sự thích ứng với mức độ khuyết tật [25]. Trong thập kỷ qua, một số thuật toán điều hướng đã được nghiên cứu cho các xe lăn điện thông minh và hầu hết trong số các nghiên cứu này sử dụng các cảm biến khác nhau để phát hiện và tránh chướng ngại vật. Xe lăn được phát triển cho người cao tuổi và có thể nhận ra các chướng ngại vật khác nhau bằng cách sử dụng cảm biến siêu âm [26]. Từ đó, phương pháp kết hợp các cảm biến sẽ hỗ trợ người dùng điều hướng trong các không gian hẹp. Xe lăn điện được thiết kế có khả năng tránh chướng ngại vật và tự động đi đến các điểm đích được chọn bởi người dùng [27, 28]. Xe lăn này sử dụng một hệ thống điều khiển an toàn DSS đã được triển khai để hỗ trợ cho người dùng khiếm thị và cho phép xe lăn di chuyển theo một bức tường và vượt qua các cửa bên trong tòa nhà. Malek Njah đã sử dụng đồng thời bộ điều khiển mờ để tránh chướng ngại vật và bộ lọc Kalman mở rộng để tổng hợp dữ liệu từ cảm biến siêu âm và encoder mang lại độ chính xác cao cho hệ thống định vị [29]. Mặc dù, kỹ thuật tổng hợp dữ liệu từ nhiều loại cảm biến giúp cải thiện độ chính xác của dữ liệu và thông tin thu thập được, nhưng để triển khai và duy trì một hệ thống kết hợp nhiều cảm biến có thể tốn kém vì yêu cầu phần cứng và phần mềm phức tạp. Hơn nữa, việc xử lý và kết hợp dữ liệu từ nhiều nguồn có thể tạo ra độ trễ trong việc tính toán, điều này là quan trọng trong các ứng dụng yêu cầu độ phản ứng nhanh [30, 31].
Điều hướng dựa trên thị giác máy ngày càng được sự chú ý mạnh mẽ như là một giải pháp thay thế cho điều hướng dựa trên cảm biến. Các phương pháp này được phân loại thành các phương pháp dựa trên thị giác lập thể (stereovision) và thị giác một mắt (monocular vision). Các phương pháp sử dụng các kỹ thuật stereovision phân biệt chướng ngại vật bằng cách sử dụng thông tin độ sâu ba chiều [32]. Hạn chế đáng
Trang – 4 –
Chương 1: Tổng quan
kể của các phương pháp này là thời gian tính toán nhiều và chi phí phần cứng cao. Ngược lại, các hệ thống điều hướng dựa trên monocular vision sử dụng các kỹ thuật xử lý ảnh để nhận biết các chướng ngại vật, liên quan đến tất cả các vật thể khác nhau trong môi trường [33]. Gần đây, LiDAR và camera ngày càng được sử dụng nhiều do khả năng cung cấp thông tin 3 chiều (3D) về môi trường so với các loại cảm biến khác chỉ cung cấp thông tin 2 chiều (2D) như siêu âm, laser 2D. LiDAR cung cấp thông tin 3D chính xác với khoảng cách xa so với camera do ít bị ảnh hưởng bởi điều kiện ánh sáng của môi trường xung quanh, trong khi đó camera có thể cung cấp nhiều thông tin về môi trường hơn như hình ảnh, màu sắc, và ngữ nghĩa [34]. Ngoài ra, LiDAR có giá thành cao hơn nhiều so với camera. Nhóm nghiên cứu của Y.Tawil [35] và nhóm của Jordan S. Nguyen [36] đã sử dụng camera với các thuật toán áp dụng vào việc phát hiện vật cản, tìm khoảng trống để xe lăn điện vượt qua vật cản. Hệ thống này có thể giúp người sử dụng cảm giác an toàn hơn khi di chuyển trong khu vực có nhiều chướng ngại vật.
Lĩnh vực vẽ bản đồ và định vị đã và đang được nghiên cứu rộng rãi cho xe lăn hay robot tự hành. Xe lăn hay robot tự hành phải được cung cấp chi tiết về bản đồ di chuyển để có thể được định vị trong không gian di chuyển. Hơn nữa, tọa độ hiện tại của xe lăn hay robot được dùng làm cơ sở thu thập thêm những thông tin mới trong quá trình di chuyển [37]. Các thuật toán vẽ bản đồ dần được phát triển như thuật toán bản địa hóa và bản đồ hóa đồng thời (SLAM) được áp dụng để vẽ bản đồ 3D [38]. Để định vị xe lăn hay robot trong không gian di chuyển, có nhiều phương pháp được thực hiện. Đầu tiên là những phương pháp định vị 2D sử dụng những thông tin khoảng cách thu về từ sóng WiFi [39], cảm biến laser [40], cảm biến laser kết hợp với RFID [41]. Cùng với đó, các phương pháp xử lý ảnh cũng đã được sử dụng trong định vị robot [42]. Phương pháp xử lý ảnh được sử dụng để nhận biết các vật mốc nhân tạo cố định được xây dựng sẵn trong không gian di chuyển [43], từ đó áp dụng vào việc xác định vị trí hiện tại của xe lăn trên một bản đồ đã được xây dựng trước trong quá trình di chuyển. Alcantarilla và các cộng sự đề xuất phương pháp mạnh mẽ và nhanh chóng định vị cho xe lăn dựa vào thị giác máy tính, trong đó các đặc trưng của hình
Trang – 5 –
Chương 1: Tổng quan
ảnh được trích xuất, kết hợp với các thành phần bản đồ để đưa ra vị trí hiện tại của robot tự hành [44]. Trong thực tế, bản đồ hóa cho robot di động trong môi trường là một thách thức lớn do dữ liệu thu được từ môi trường và thuật toán được áp dụ
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
You must be registered for see links