LINK TẢI LUẬN VĂN MIỄN PHÍ CHO AE KET-NOI
Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D
LIỆT KÊ HÌNH VẼ....................................................................................................... 12 LIỆT KÊ BẢNG............................................................................................................ 14 CHƯƠNG 1: TỔNG QUAN ......................................................................................... 16
1.1 ĐẶT VẤN ĐỀ ................................................................................................. 16
1.2 MỤC TIÊU ..................................................................................................... 17
1.3 NỘI DUNG NGHIÊN CỨU ........................................................................... 17
1.4 GIỚI HẠN ...................................................................................................... 18
1.5 BỐ CỤC .......................................................................................................... 18
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT .............................................................................. 19 2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƯ VIỆN LIÊN QUAN ......... 19 2.1.1 Giới thiệu xử lý ảnh....................................................................................... 19 2.1.2 Những kiến thức cơ bản trong xử lý ảnh....................................................... 20 2.1.3 Phương pháp nhận dạng vật mốc................................................................... 21 2.2 TRUYỀN DỮ LIỆU BLUETOOTH ................................................................. 21 2.2.1 Giới thiệu...................................................................................................... 21
2.2.2 Ứng dụng của Bluetooth ............................................................................... 22
2.2.3 Ưu và nhược điểm của công nghệ Bluetooth ......................................... 23 2.3 NGÔN NGỮ PYTHON .................................................................................. 23 2.3.1 Giới thiệu...................................................................................................... 23 2.3.3 Ưu điểm và nhược điểm Python .................................................................... 25 2.4 ARDUINO.......................................................................................................... 25 2.4.1 Giới thiệu...................................................................................................... 25 2.4.2 Ứng dụng của Arduino............................................................................... 26 2.4.3 Arduino IDE ................................................................................................. 26 2.5 GIỚI THIỆU PHẦN CỨNG ............................................................................. 27 2.5.1 Camera Intel RealSense D435 ....................................................................... 27 2.5.2 Module HC06 ............................................................................................... 30 2.5.3 Kit Arduino Nano ......................................................................................... 31 2.5.4 Module Điều Khiển Động Cơ BTS7960........................................................ 32 CHƯƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ .............................................................. 33 3.1 GIỚI THIỆU...................................................................................................... 33 3.2 THIẾT KẾ HỆ THỐNG PHẦN CỨNG ........................................................... 33 3.2.1 Khối thu tín hiệu ........................................................................................... 34 3.2.2 Khối xử lý và khối hiển thị ............................................................................ 35 3.2.4 Khối giao tiếp và điều khiển .......................................................................... 35 3.2.5 Khối nguồn ................................................................................................... 37 3.3 CÁC TÍNH TOÁN TRONG XỬ LÝ ẢNH ĐẦU VÀO................................. 39 3.3.1 Nhận dạng vật mốc bằng ảnh màu của camera .............................................. 39 3.3.2 Tính khoảng cách dựa vào ảnh độ sau nhận được từ camera.......................... 42
CHƯƠNG 4: THI CÔNG HỆ THỐNG..................................................................... 43
4.1 GIỚI THIỆU .................................................................................................. 43
4.2 THI CÔNG HỆ THỐNG ............................................................................... 43
4.2.1 Các linh kiện và model cần thiết cho mô hình ............................................... 43
4.2.2 Kết nối, lắp ráp và kiểm tra mô hình.............................................................. 43 4.3 THI CÔNG MÔ HÌNH .................................................................................. 44 4.3.2 Kết nối bộ phận điều khiển động lực với nguồn............................................. 45 4.3.3 Kết nối bộ phận camera với laptop ................................................................ 45 4.3.4 Mô hình hoàn chỉnh....................................................................................... 46 4.4 LẬP TRÌNH HỆ THỐNG ................................................................................. 47 4.4.1 Lưu đồ giải thuật........................................................................................... 47 4.4.2 Lập trình ngôn ngữ Python với Sublime Text 3 ............................................. 49 4.4.2 Lập trình Arduino với Arduino IDE .............................................................. 52 4.5 VIẾT TÀI LIỆU HƯỚNG DẪN SỬ DỤNG, THAO TÁC .............................. 53 4.5.1 Viết tài liệu hướng dẫn sử dụng..................................................................... 53 4.5.2 Quy trình thao tác.......................................................................................... 54 CHƯƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ.................................................... 55
5.1 CAMERA 3D ..................................................................................................... 55
5.2 XÁC ĐỊNH VẬT CẢN ................................................................................... 55
5.3 NHẬN DẠNG VẬT MỐC.............................................................................. 57
5.4 KẾT QUẢ TRÁNH VẬT CẢN...................................................................... 58
5.5 KẾT QUẢ ĐO KHOẢNG CÁCH CỦA XE LĂN......................................... 60
CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .......................................... 62 6.1 KẾTLUẬN.......................................................................................................62
6.1.1 Kết quả đạt được........................................................................................... 62
6.1.2 Những mặt hạn chế ....................................................................................... 62 6.2 HƯỚNG PHÁT TRIỂN ................................................................................. 62
LIỆT KÊ HÌNH VẼ
Hình Trang
Hình 1 : Bluetooth ......................................................................................................... 22 Hình 2: Arduino IDE ..................................................................................................... 26 Hình 3: camera Intel RealSense D435 3D...................................................................... 27 Hình 4: Cấu tạo camera Intel RealSense D435 3D......................................................... 28 Hình 5: Nguyên lý camera Intel RealSense D435 3D..................................................... 28 Hình 6: Sơ đồ phần cứng camera Intel RealSense D435 3D........................................... 29 Hình 7: Module HC06 ................................................................................................... 30 Hình 8: Kit Arduino Nano. ............................................................................................ 31 Hình 9: Module điều khiển động cơ BTS7960............................................................... 32 Hình 10: Sơ đồ khối ...................................................................................................... 34 Hình 11: Khối thu tín hiệu ............................................................................................. 34 Hình 12: Laptop ............................................................................................................ 35 Hình 13: Hình ảnh động cơ xe lăn ................................................................................. 36 Hình 14: Sơ đồ nguyên lý mạch điều khiển động cơ ...................................................... 37 Hình 15: Acquy của xe lăn điện..................................................................................... 37 Hình 16: Sơ đồ nguyên lý khối nguồn acquy ................................................................. 39 Hình 17: Giao giữa 2 tập hợp keypoint .......................................................................... 42 Hình 18: Bộ phận điều khiển ......................................................................................... 44 Hình 19: Bộ phận điều khiển hoàn chỉnh ....................................................................... 44 Hình 20: Bộ phận điều khiển với nguồn ........................................................................ 45 Hình 21: Bộ phận camera và laptop ............................................................................... 46 Hình 22: mô hình hoàn chỉnh......................................................................................... 46
Hình 23: Lưu đồ giải thuật chính ................................................................................... 47 Hình 24: Ma trận không gian màu RGB ........................................................................ 48 Hình 25: Truyền dữ liệu cho xe di chuyển ..................................................................... 49 Hình 26: Xác định khoảng cách dừng camera ................................................................ 50 Hình 27: Truyền dữ liệu cho xe di chuyển ..................................................................... 50 Hình 28: Tạo file mới Sublime Text 3 ........................................................................... 52 Hình 29: chọn cổng Arduino ......................................................................................... 52 Hình 30: Kiểm tra thư viện ............................................................................................ 53 Hình 31: Kết quả ảnh RGB và ảnh độ sâu từ camera ..................................................... 55 Hình 32: Kết quả xác định vật cản của camera............................................................... 56 Hình 33: Kết quả xác định vật mốc của camera trường hợp 1 ........................................ 57 Hình 34: Kết quả xác định vật mốc của camera trường hợp 2 ........................................ 57 Hình 35: Kết quả xác định vật mốc của camera trường hợp 3 ........................................ 58 Hình 36: đi thẳng........................................................................................................... 58 Hình 37: rẽ trái .............................................................................................................. 59 Hình 38: rẽ phải............................................................................................................. 59 Hình 39: xe lăn dừng trước vật mốc............................................................................... 60
LIỆT KÊ BẢNG
Bảng Trang
Bảng 1: Thông số cơ bản động cơ................................................................................. 36 Bảng 2: Thông số đo được............................................................................................ 38 Bảng 3: Danh sách các model và linh kiện liên quan. ................................................... 43 Bảng 4: Thống kê kết quả xác định khoảng cách tối đa camera nhìn thấy vật cản ......... 56 Bảng 5: Thống kê kết quả xác định khoảng cách vật mốc ............................................. 60
TÓM TẮT
Trong đời sống, xe lăn là thiết bị hỗ trợ cần thiết cho những người khuyết tật, nó đã và đang được ứng dụng trong các hộ gia đình đang có người khuyết tật, di chuyển một cách khó khăn.
Đề tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D” là mô hình với mục đích giúp người khuyết tật có cả năng di chuyển một cách tự động, linh hoạt. Xe lăn đạt được những mục tiêu nhận diện vật cản phía trước, xác định được vật mốc và cho xe ngừng di chuyển tại vật mốc.
Kết quả đã đạt được những mục tiêu đề ra với đề tài là:
Xác định được vật cản
Điều hướng xe lăn di chuyển khi có vật cản
Nhận dạng được vật mốc
Xác dịnh vị trí dừng khi có vật mốc
Với kết quả đạt được xe lăn có thể chạy theo đúng với yêu cầu trong điều kiện thực tế, khả thi trong thương mại và cuộc sống.
Có khả năng ứng dụng trong các bệnh viện, nhà ở,... nơi có địa hình di chuyển không quá gồ ghề.
CHƯƠNG 1: TỔNG QUAN
CHƯƠNG 1: TỔNG QUAN
1.1 ĐẶT VẤN ĐỀ
Theo công bố của Tổng cục thống kê và UNICEF ngày 11 -1 -2019, hơn 7% dân số Việt Nam từ 2 tuổi trở lên – khoảng 6,2 triệu người là người khuyết tật. Bên cạnh đó, có 13% dân số - gần 12 triệu người, sống chung trong hộ gia đình có người khuyết tật. Người khuyết tật được phân thành 6 loại dạng tật, đó là: khuyết tật vận động (chân, tay); khuyết tật nghe, nói (câm, điếc); khuyết tật nhìn (khuyết tật về mắt, khiếm thị); khuyết tật thần kinh, tâm thần (người rối loạn thần kinh, người điên); khuyết tật trí tuệ (bại não, động kinh, tự kỷ); khuyết tật khác (nạn nhân chất độc da cam, người nhiễm vi rút độc hủy hoại cơ thể...).[1]
Cơ sở hạ tầng hiện nay ở nước ta vẫn chưa phát triển các hạng mục dành cho người khuyết tật. Nhà nước đã trợ cấp các công cụ hỗ trợ cho người khuyết tật như chân tay giả, xe lăn, máy trợ thính...nhưng đối với người khuyết tật về vận động hay nghe, nhìn thì xe lăn là vật dụng rất cần thiết để di chuyển. Tuy nhiên, để một người khuyết tật có thể tự đi lại được bằng xe lăn thì đòi hỏi phải có bộ điều khiển để xe lăn có thể di chuyển theo ý muốn của người khuyết tật.
Có nhiều nghiên cứu về bộ điều khiển cho xe lăn điện như bài báo “Gyro- Accelerometer based Control of an Intelligent Wheelchair” [2] của nhớm tác giả Rafia Hassani, Mohamed Boumehraz, Maroua Hamzi, Zineb Habba được ra mắt ngày 9 tháng 6 năm 2018, đề tài xe lăn điện điều khiển bằng cử động đầu của nhóm sinh viên đại học sư phạm kỹ thuật Đà Nẵng, Đại học giao thông vận tải, ... vẫn còn một số nhược điểm như thiết bị điều khiển còn sơ sài, sử dụng cảm biến siêu âm phát hiện vật cản quá nhiều gây mất thẩm mĩ, ...
Với mục đích có thể tạo ra một bộ điều khiển giúp người khuyết tật có thể di chuyển dễ dàng bằng xe lăn vận dụng một các ưu điểm và nhằm khắc phục một số nhược điểm mà các nghiên cứu trước đã thực hiện, nhóm xin giới thiệu đề tài: “Nghiên cứu, thiết kế
CHƯƠNG 1: TỔNG QUAN
và thi công bộ điều khiển xe lăn điện bằng cảm biến gia tốc”, do chính nhóm tiến hành nghiên cứu và thực hiện. Với mô hình này, chúng ta có thể phát triển bộ điều khiển biến chiếc xe lăn thành một vật dụng hữu ích giúp cho người khuyết tật có thể đi lại dễ dàng hơn
Cùng với sự phát triển ngày càng mạnh mẽ của khoa học kĩ thuật trong một vài thập kỷ gần đây, xử lý ảnh tuy là một ngành khoa học còn tương đối mới mẻ so với nhiều ngành khoa học khác nhưng hiện nay đang là một trong những lĩnh vực phát triển rất nhanh và thu hút sự quan tâm đặc biệt từ các nhà khoa học, thúc đẩy các trung tâm nghiên cứu, ứng dụng về lĩnh vực hấp dẫn này. Xử lý ảnh đóng vai trò quan trọng trong nhiều ứng dụng thực tế về khoa học kĩ thuật cũng như trong cuộc sống thường ngày như: sản xuất và kiểm tra chất lượng, sự di chuyển của Robot, các phương tiện đi lại tự trị, công cụ hướng dẫn cho người mù, an ninh và giám sát, nhận dạng đối tượng, nhận dạng mặt, các ứng dụng trong y học, sản xuất, hiệu chỉnh video.
Camera 3D [1-2] hiện đang là loại camera có độ ứng dụng cao trong khoa học kỹ thuật vì camera này có khả năng ghi nhận chiều sâu đối tượng, tương tự mắt con người.
1.2 MỤC TIÊU
Mục tiêu nghiên cứu của đề tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D” sử dụng laptop xử lý được tín hiệu từ camera 3D Realsense sau đó giao tiếp với Arduino Nano là bộ xử lý tín hiệu điều khiển động cơ đặt dưới xe để điều khiển xe lăn điện.
1.3 NỘI DUNG NGHIÊN CỨU
Để tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D” Có những nội dung sau:
NỘI DUNG 1: Tìm hiểu phương pháp nhận dạng vật mốc
NỘI DUNG 2: Tổng quan về xử lý ảnh.
NỘI DUNG 3: Tìm hiểu camera 3D và các Module liên quan. NỘI DUNG 4: Viết chương trình trên Python va Arduino.
CHƯƠNG 1: TỔNG QUAN
NỘI DUNG 5: Hoàn thành mô hình.
NỘI DUNG 6: Đánh giá kết quả thực hiện
1.4 GIỚI HẠN
Với đề tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D” thì chỉ sử dụng được ở những nơi có địa hình bằng phẳng không gồ ghề, tránh ánh sáng trực tiếp từ mặt trời gây ra nhiễu camera. Khoảng cách phát hiện được vật cản là dưới 1.5m, độ cao của vật phải trên 0.5m so với mặt đất.
1.5 BỐ CỤC
Chương 1: Tổng quan
Chương này trình bày đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nôi dung
nghiên cứu, các giới hạn thông số và bố cục đồ án.
Chương 2: Cơ sở lý thuyết
Chương này sẽ trình bày cơ bản về xử lý ảnh, phương pháp cơ bản để nhận dạng và
phân loại ảnh, tính kích thước sản phẩm, giới thiệu cơ bản về camera3D và thư viện liên quan.
Chương 3: Thiết kế và tính toán
Chương này sẽ đi tìm hiểu kỹ các thuật toán nhận dạng sản phẩm theo hình dạng,
thuật toán tính kích thước và thiết kế mô hình sản phẩm.
Chương 4: Thi công hệ thống
Nội dung chương này là quá trình thi công cùng với việc chạy chương trình về phân
loại sản phẩm cũng như tính kích thước sản phẩm.
Chương 5: Kết quả nhận xét và đánh giá
Nội dung chương này là tổng hợp các kết quả đạt được sau khi thi công mô hình và
kết quả đạt được khi phân loại sản phẩm.
Chương 6: Kết luận và hướng phát triển
Kết quả nhận được khi hoàn thiện đề tài, đưa ra các hướng phát triển hoàn thiện.
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƯ VIỆN LIÊN QUAN 2.1.1 Giới thiệu xử lý ảnh
Xử lý ảnh không còn là đề tài quá mới, nó được áp dụng từ trong các hoạt động thường ngày cho đến việc nâng cao sản xuất. Nó giúp ích cho cá nhân hay gia đình, mà còn ứng dụng cả trong Chính trị, Y tế, Giáo dục...
Xử lý tín hiệu là một môn học trong kỹ thuật điện tử, viễn thông và trong toán học. Liên quan đến nghiên cứu và xử lý tín hiệu kỹ thuật số và analog, giải quyết các vấn đề về lưu trữ, các thành phần bộ lọc, các hoạt động khác trên tín hiệu. Các tín hiệu này bao gồm truyền dẫn tín hiệu, âm thanh hay giọng nói, hình ảnh, và các tín hiệu khác...
Trong số các phương pháp xử lý tín hiệu kể trên, lĩnh vực giải quyết với các loại tín hiệu mà đầu vào là một hình ảnh và đầu ra cũng là một hình ảnh, sản phẩm đầu ra được thực hiện trong một quá trình xử lý. Đó chính là quá trình xử lý ảnh. Nó có thể được chia thành xử lý hình ảnh tương tự và xử lý hình ảnh kỹ thuật số.
Để có 1 bức ảnh số ta có quá trình thực hiện như sau: Chụp ảnh từ một máy ảnh là một quá trình vật lý. Ánh sáng mặt trời sử dụng như một nguồn năng lượng. Một dãy cảm biến được sử dụng cho việc thu lại của hình ảnh. Vì vậy, khi ánh sáng mặt trời rơi trên người đối tượng, sau đó số lượng ánh sáng phản xạ của đối tượng được cảm nhận từ các cảm biến, và một tín hiệu điện áp liên tục được tạo ra bởi số lượng dữ liệu cảm biến đó. Để tạo ra một hình ảnh kỹ thuật số, chúng ta cần chuyển đổi dữ liệu này thành một dạng kỹ thuật số. Điều này liên quan đến việc lấy mẫu và lượng tử hóa. Kết quả của việc lấy mẫu và lượng tử hóa sau một quá trình xử lý là một hình ảnh kỹ thuật số.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 19
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.1.2 Những kiến thức cơ bản trong xử lý ảnh
A. Điểm ảnh:
Là đơn vị cơ bản nhất để tạo nên một bước ảnh kỹ thuật số, địa chỉ của điểm ảnh được xem như là một tọa độ (x,y) nào đó. Một bức ảnh kỹ thuật số - có thể được tạo ra bằng cách chụp hay bằng một phương pháp đồ họa nào khác - được tạo nên từ hàng ngàn hay hàng triệu pixel riêng lẻ. Bức ảnh càng chứa nhiều pixel thì càng chi tiết. Một triệu pixel thì tương đương với 1 megapixel.
B. Ảnh số:
là tập hợp hữu hạn các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với ảnh thật. Số điểm ảnh xác định độ phân giải của ảnh. Ảnh có độ phân giải càng cao thì càng thể hiện rõ nét các đặt điểm của tấm hình càng làm cho tấm ảnh trở nên thực và sắc nét hơn. Một hình ảnh là một tín hiệu hai chiều. Nó được xác định bởi hàm toán học f(x, y) trong đó x và y là hai tọa độ theo chiều ngang và chiều dọc. Các giá trị của f(x, y) tại bất kỳ điểm nào là cung cấp các giá trị điểm ảnh (pixel ) tại điểm đó của một hình ảnh.
C. Phân loại ảnh:
Mức xám của điểm ảnh là cường độ sáng, gán bằng một giá trị tại điểm đó. Các mức ảnh xám thông thường: 16, 32, 64, 128, 256. Mức được sử dụng thông dụng nhất là 256, tức là dùng 1 byte để biểu diễn mức xám.
Ảnh nhị phân: Là ảnh có 2 mức trắng và đen. Chỉ có 2 giá trị 0 và 1 và chỉ sử dụng 1 bit dữ liệu trên 1 điểm ảnh.
Ảnh đen trắng: Là ảnh có hai màu đen, trắng (không chứa màu khác) với mức xám ở các điểm ảnh có thể khác nhau.
Ảnh màu: Là ảnh kết hợp của 3 màu cơ bản lại với nhau để tạo ra một thế giới màu sinh động. Người ta thường dùng 3 byte để mô tả mức màu, tức là có khoảng 16,7 triệu mức màu.
Hiện nay xử lý ảnh được giảng dạy trường đại học và ứng dụng vào thực tế rất nhiều như các phần mềm chỉnh sửa hình ảnh hay nhận biết khuôn mặt. Chính vì thế có rất nhiều
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 20
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
công cụ để chúng ta lập trình ứng dụng vào thực tế, Như phải kể đến Matlap, hay ngôn ngữ Python...
2.1.3 Phương pháp nhận dạng vật mốc
Với đề tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D.” Thiết kế mô hình phân có khả năng nhận dạng các vật xung để có quyết định cho xe lăn.
Trong cuộc sống hiện nay,mỗi gia đình đều trang bị rất nhiều vật dụng trong nhà với vô số màu sắc, hình dáng. Mỗi vật mốc đều có một hình dáng , màu sắc khác nhau . Vì thế mỗi vật mốc có điểm đặc biệt riêng. Ở đây ta chúng ta nhận dạng vật mốc bằng các điểm đặc đó của vật mốc.
Có nhiều giải thuật để nhận dạng vật mốc như SUFT,YOLO..., trong phần này tui đề cập tới giải thuật SIFT (Scale-Invariant Feature Transform) là phát minh đã được đăng kí bản quyền của David Lowe, là giải thuật trong lĩnh vực Computer Vision, dùng để nhận dạng và miêu tả những điểm đặc trưng(local features) trong ảnh. Giải thuật lần đầu được giới thiệu bởi David Lowe năm 1999. Giải thuật này(cùng với giải thuật anh em là SURF) được ứng dụng rộng rãi trong Nhận dạng đối tượng(object recognition), mô hình hóa 3D(3D modeling),...
2.2 TRUYỀN DỮ LIỆU BLUETOOTH 2.2.1 Giới thiệu
Bluetooth là sự trao đổi dữ liệu không dây tầm gần giữa các thiết bị điện tử. Công nghệ này hỗ trợ việc truyền dữ liệu qua các khoảng cách ngắn giữa các thiết bị di động như điện thoại di động, tablet, laptop với nhau và với thiết bị cố định mà không cần một sợi cáp để truyền tải. Bluetooth sử dụng sóng Radio tần số 2.4GHz. Tuy sử dụng cùng tần số với công nghệ Wifi nhưng chúng không hề xung đột với nhau vì Bluetooth sử dụng tần số có bước sóng ngắn hơn.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 21
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
Hình 1 : Bluetooth
Bluetooth là một chuẩn điện tử, điều đó có nghĩa là các hãng sản xuất muốn có đặt tính này trong sản phẩm thì họ phải tuân theo các yêu cầu của chuẩn của Bluetooth cho sản phẩm của mình. Những chỉ tiêu kỹ thuật này bảo đảm cho các thiết bị có thể nhận ra và tương tác với nhau khi sử dụng công nghệ Bluetooth.
2.2.2 Ứng dụng của Bluetooth
Các ứng dụng nổi bật của Bluetooth gồm:
+ Điều khiển và giao tiếp không dây giữa một điện thoại di động và tai nghe không dây.
+ Mạng không dây giữa các máy tính cá nhân trong một không gian hẹp đòi hỏi ít băng thông.
+ Giao tiếp không dây với các thiết bị vào ra của máy tính, chẳng hạn như chuột, bàn phím và máy in.
+ Thay thế các giao tiếp nối tiếp dùng dây truyền thống giữa các thiết bị đo, thiết bị định vị, thiết bị y tế, máy quét mã vạch, và các thiết bị điều khiển giao thông.
+ Thay thế các điều khiển dùng tia hồng ngoại.
+ Gửi các các tập tin qua lại các thiết bị dùng Bluetooth khác.
+ Điều khiển từ xa cho các thiết bị trò chơi điện tử.
+ Kết nối Internet cho máy tính bằng cách dùng điện thoại di động thay modem.
Trong đề tài của tôi, Bluetooth đóng vai trò truyền lệnh điều khiển của bộ phận xử lý tới bộ phận động lực, giúp cho xe lăn di chuyển mà không cần dây dẫn rườm rà.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 22
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.2.3 Ưu và nhược điểm của công nghệ Bluetooth
Ưu điểm:
Thay thế hoàn toàn dây nối.
Hoàn toàn không nguy hại đến sức khoẻ con người.
Bảo mật an toàn với công nghệ mã hóa trong. Một khi kết nối được thiết lập thì khó có một thiết bị nào có thể nghe trộm hay lấy cắp dữ liệu.
Các thiết bị có thể kết nối với nhau trong vòng 20m mà không cần trực diện (hiện nay có loại Bluetooth kết nối lên đến 100m)
Kết nối điện thoại và tai nghe Bluetooth khiến cho việc nghe máy khi lái xe hay bận việc dễ dàng.
Giá thành rẻ.
Tốn ít năng lượng, chờ tốn 0.3mAh, tối đa 30mAh trong chế độ truyền dữ liệu. Không gây nhiễu các thiết bị không dây khác.
Tính tương thích cao nên được nhiều nhà sản xuất phần cứng và phần mềm hỗ trợ.
Nhược điểm:
Tốc độ thấp, khoảng 720kbps tối đa. Bắt sóng kém khi có vật cản.
Thời gian thiết lập lâu.
NGÔN NGỮ PYTHON
2.3
2.3.1 Giới thiệu
Python là một ngôn ngữ lập trình được sử dụng phổ biến ngày nay từ trong môi trường học đường cho tới các dự án lớn . Ngôn ngữ phát triển nhiều loại ứng dụng, phần mềm khác nhau như các chương trình chạy trên desktop, server, lập trình các ứng dụng web... Ngoài ra Python cũng là ngôn ngữ ưa thích trong xây dựng các chương trình trí tuệ nhân tạo trong đó bao gồm machine learning. Ban đầu, Python được phát triển để chạy trên nền Unix. Nhưng sau này, nó đã chạy trên mọi hệ điều hành từ MS-DOS đến Mac OS, OS/2, Windows, Linux và các hệ điều hành khác thuộc họ Unix. Python do Guido van Rossum tạo ra năm 1990. Python được phát triển trong một dự án mã mở, do tổ chức phi lợi nhuận Python Software Foundation quản lý. Mặc dù sự phát triển của Python có sự
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 23
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
đóng góp của rất nhiều cá nhân, nhưng Guido van Rossum hiện nay vẫn là tác giả chủ yếu của Python. Ông giữ vai trò chủ chốt trong việc quyết định hướng phát triển của Python. Python là ngôn ngữ có hình thức đơn giản, cú pháp ngắn gọn, sử dụng một số lượng ít các từ khoá, do đó Python là một ngôn ngữ dễ học đối với người mới bắt đầu tìm hiểu. Python là ngôn ngữ có mã lệnh (source code hay đơn giản là code) không mấy phức tạp. cả trường hợp bạn chưa biết gì về Python bạn cũng có thể suy đoán được ý nghĩa của từng dòng lệnh trong source code. Python có nhiều ứng dụng trên nhiều nền tảng, chương trình phần mềm viết bằng ngôn ngữ Python có thể được chạy trên nhiều nền tảng hệ điều hành khác nhau bao gồm Windows, Mac OSX và Linux.
OpenCV (Open Source Computer Vision Library) là một thư viện mã nguồn mở, nó là miễn phí cho những ai bắt đầu tiếp cận với các học thuật. OpenCV được ứng dụng trong nhiều lĩnh vực như cho thị giác máy tính hay xử lý ảnh và máy học. Thư viện được lập trình trên các ngôn ngữ cấp cao: C++, C, Python, hay Java và hỗ trợ trên các nền tảng Window , Linux, Mac OS, iOS và Android. OpenCV đã được tạo ra tại Intel vào năm 1999 bởi Gary Bradsky , và ra mắt vào năm 2000. Opencv có rất nhiều ứng dụng: Nhận dạng ảnh, xử lý hình ảnh, phục hồi hình ảnh/video, thực tế ảo...
Ở đề tài này thư viện OpenCV được chạy trên ngôn ngữ Python. OpenCV được dùng làm thư viện chính để xử lý hình ảnh đầu vào và sau đó đi nhận dạng ảnh.
OpenCV Là một thư viện mở nên sử dụng các thuật toán một cách miễn phí, cùng với việc chúng ta cũng có thể đóng góp thêm các thuật toán giúp Thư viện thêm ngày càng phát triển.
Các chức năng của thư viện OpenCV:
+ Đối với hình ảnh, chúng ta có thể đọc và lưu hay ghi chúng. + Về Video cũng tương tự như hình ảnh cũng có đọc và ghi.
+ Xử lý hình ảnh có thể lọc nhiễu cho ảnh, hay chuyển đổi ảnh. + Thực hiện nhận dạng đặc điểm của hình dạng trong ảnh
+ Phát hiện các đối tượng xác định được xác định trước như khuôn mặt, mắt, xe trong video hay hình ảnh.
+ Phân tích video, ... ước lượng chuyển động của nó, trừ nền ra và theo dõi các đối tượng trong video.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 24
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.3.3 Ưu điểm và nhược điểm Python
Ưu điểm:
+Là một ngôn ngữ có hình thức sáng sủa, cấu trúc roc ràng, cú pháp ngắn gọn
+Có trên tất cả các nền tảng hệ điều hành từ UNIX, MS – DOS, Mac OS, Windows và Linix và các OS khác thuộc họ Unix.
+Tương thích mạnh mẽ với Unix, hardware, thirt-party software với số lượng thư viện lớn (400 triệu người sử dụng)
+Python với tốc độ xử lý cực nhanh, python có thể tạo ra những chương trình từ những script siêu nhỏ tới những phần mềm cực lớn như Biender 3D.
Nhược điểm:
+Python không có các thuộc tính như
rotected,private hay public, không có vòng lặp do...while và switch....case.
+Mặc dù tốc độ xử lý của Python nhanh hơn PHP nhưng không bằng JAVA và C++.
2.4 ARDUINO 2.4.1 Giới thiệu
Arduino là một nền tảng mã nguồn mở được sử dụng để xây dựng các ứng dụng điện tử tương tác với nhau hay với môi trường được thuận lợi hơn.Arduino giống như một máy tính nhỏ để người dùng có thể lập trình và thực hiện các dự án điện tử mà không cần có các công cụ chuyên biệt để phục vụ việc nạp code.
Arduino tương tác với thế giới thông qua các cảm biến điện tử, đèn, và động cơ.
Arduino gồm:
+ Phần cứng gồm một board mạch mã nguồn mở (thường gọi là vi điều khiển): có thể lập trình được.
+ Các phần mềm hỗ trợ phát triển tích hợp IDE (Integrated Development
Environment) dùng để soạn thảo, biên dịch code và nạp chương cho board.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 25
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.4.2 Ứng dụng của Arduino
Arduino có khả năng đọc các thiết bị cảm biến, điều khiển động cơ,... nên nó thường được dùng để làm bộ xử lý trung tâm của rất nhiều loại robot.
+ Game tương tác: Arduino có thể được sử dụng để tương tác với Joystick, màn hình,...
+ Máy bay không người lái.
+ Điều khiển đèn tín hiệu giao thông, làm hiệu ứng đèn Led nhấp nháy trên các biển quảng cáo...
+ Điều khiển các thiết bị cảm biến ánh sáng, âm thanh. + Làm máy in 3D
+ Làm đàn bằng ánh sáng
Arduino còn rất nhiều ứng dụng hữu ích khác tùy vào sự sáng tạo của người dùng.
2.4.3 Arduino IDE
Arduino IDE Arduino Integrated Development Environment) là một trình soạn thảo văn bản, giúp bạn viết code để nạp vào bo mạch arduino.Một trương trình viết bởi Arduino IDE được gọi là sketch, sketch được lưu dưới định dạng .ino.
Hình 2: Arduino IDE
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 26
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.5 GIỚI THIỆU PHẦN CỨNG
2.5.1 Camera Intel RealSense D435
A. Giới thiệu về camera Intel RealSense D435
Hình 3: camera Intel RealSense D435 3D
Intel RealSense D435 là sản phẩm của Microsoft dựa trên công nghệ camera được phát triển bởi PrimeSense. Intel RealSense D435 được coi như là một thiết bị ngoại vi cho Xbox 360, cho phép giao tiếp với con người thông qua các cử chỉ, đem lại những cảm giác thú vị cho người chơi game trên Xbox. Khả năng hiểu được cử chỉ con người của Intel RealSense D435 dựa trên hai đặc tính chính sau: thông tin về độ sâu ảnh (depth map), khả năng phát hiện và bám theo đặc tính cơ thể người (body skeleton tracking).
Bên cạnh phục vụ cho mục đích chơi game, sản phẩm Intel RealSense D435 còn được dùng vào mục đích nghiên cứu xử lý ảnh 3D, phát hiện cử chỉ (gesture recognition), bám theo người (body tracking) và nhiều mục đích khác. Lý do chính cho sự thành công của sản phẩm Intel RealSense D435 là giá cả khá rẻ (khoảng 140$ trên 1 sản phẩm) cho thiết bị có khả năng cung cấp các thông tin 3D với chất lượng chấp nhận được.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D
LIỆT KÊ HÌNH VẼ....................................................................................................... 12 LIỆT KÊ BẢNG............................................................................................................ 14 CHƯƠNG 1: TỔNG QUAN ......................................................................................... 16
1.1 ĐẶT VẤN ĐỀ ................................................................................................. 16
1.2 MỤC TIÊU ..................................................................................................... 17
1.3 NỘI DUNG NGHIÊN CỨU ........................................................................... 17
1.4 GIỚI HẠN ...................................................................................................... 18
1.5 BỐ CỤC .......................................................................................................... 18
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT .............................................................................. 19 2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƯ VIỆN LIÊN QUAN ......... 19 2.1.1 Giới thiệu xử lý ảnh....................................................................................... 19 2.1.2 Những kiến thức cơ bản trong xử lý ảnh....................................................... 20 2.1.3 Phương pháp nhận dạng vật mốc................................................................... 21 2.2 TRUYỀN DỮ LIỆU BLUETOOTH ................................................................. 21 2.2.1 Giới thiệu...................................................................................................... 21
2.2.2 Ứng dụng của Bluetooth ............................................................................... 22
2.2.3 Ưu và nhược điểm của công nghệ Bluetooth ......................................... 23 2.3 NGÔN NGỮ PYTHON .................................................................................. 23 2.3.1 Giới thiệu...................................................................................................... 23 2.3.3 Ưu điểm và nhược điểm Python .................................................................... 25 2.4 ARDUINO.......................................................................................................... 25 2.4.1 Giới thiệu...................................................................................................... 25 2.4.2 Ứng dụng của Arduino............................................................................... 26 2.4.3 Arduino IDE ................................................................................................. 26 2.5 GIỚI THIỆU PHẦN CỨNG ............................................................................. 27 2.5.1 Camera Intel RealSense D435 ....................................................................... 27 2.5.2 Module HC06 ............................................................................................... 30 2.5.3 Kit Arduino Nano ......................................................................................... 31 2.5.4 Module Điều Khiển Động Cơ BTS7960........................................................ 32 CHƯƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ .............................................................. 33 3.1 GIỚI THIỆU...................................................................................................... 33 3.2 THIẾT KẾ HỆ THỐNG PHẦN CỨNG ........................................................... 33 3.2.1 Khối thu tín hiệu ........................................................................................... 34 3.2.2 Khối xử lý và khối hiển thị ............................................................................ 35 3.2.4 Khối giao tiếp và điều khiển .......................................................................... 35 3.2.5 Khối nguồn ................................................................................................... 37 3.3 CÁC TÍNH TOÁN TRONG XỬ LÝ ẢNH ĐẦU VÀO................................. 39 3.3.1 Nhận dạng vật mốc bằng ảnh màu của camera .............................................. 39 3.3.2 Tính khoảng cách dựa vào ảnh độ sau nhận được từ camera.......................... 42
CHƯƠNG 4: THI CÔNG HỆ THỐNG..................................................................... 43
4.1 GIỚI THIỆU .................................................................................................. 43
4.2 THI CÔNG HỆ THỐNG ............................................................................... 43
4.2.1 Các linh kiện và model cần thiết cho mô hình ............................................... 43
4.2.2 Kết nối, lắp ráp và kiểm tra mô hình.............................................................. 43 4.3 THI CÔNG MÔ HÌNH .................................................................................. 44 4.3.2 Kết nối bộ phận điều khiển động lực với nguồn............................................. 45 4.3.3 Kết nối bộ phận camera với laptop ................................................................ 45 4.3.4 Mô hình hoàn chỉnh....................................................................................... 46 4.4 LẬP TRÌNH HỆ THỐNG ................................................................................. 47 4.4.1 Lưu đồ giải thuật........................................................................................... 47 4.4.2 Lập trình ngôn ngữ Python với Sublime Text 3 ............................................. 49 4.4.2 Lập trình Arduino với Arduino IDE .............................................................. 52 4.5 VIẾT TÀI LIỆU HƯỚNG DẪN SỬ DỤNG, THAO TÁC .............................. 53 4.5.1 Viết tài liệu hướng dẫn sử dụng..................................................................... 53 4.5.2 Quy trình thao tác.......................................................................................... 54 CHƯƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ.................................................... 55
5.1 CAMERA 3D ..................................................................................................... 55
5.2 XÁC ĐỊNH VẬT CẢN ................................................................................... 55
5.3 NHẬN DẠNG VẬT MỐC.............................................................................. 57
5.4 KẾT QUẢ TRÁNH VẬT CẢN...................................................................... 58
5.5 KẾT QUẢ ĐO KHOẢNG CÁCH CỦA XE LĂN......................................... 60
CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .......................................... 62 6.1 KẾTLUẬN.......................................................................................................62
6.1.1 Kết quả đạt được........................................................................................... 62
6.1.2 Những mặt hạn chế ....................................................................................... 62 6.2 HƯỚNG PHÁT TRIỂN ................................................................................. 62
LIỆT KÊ HÌNH VẼ
Hình Trang
Hình 1 : Bluetooth ......................................................................................................... 22 Hình 2: Arduino IDE ..................................................................................................... 26 Hình 3: camera Intel RealSense D435 3D...................................................................... 27 Hình 4: Cấu tạo camera Intel RealSense D435 3D......................................................... 28 Hình 5: Nguyên lý camera Intel RealSense D435 3D..................................................... 28 Hình 6: Sơ đồ phần cứng camera Intel RealSense D435 3D........................................... 29 Hình 7: Module HC06 ................................................................................................... 30 Hình 8: Kit Arduino Nano. ............................................................................................ 31 Hình 9: Module điều khiển động cơ BTS7960............................................................... 32 Hình 10: Sơ đồ khối ...................................................................................................... 34 Hình 11: Khối thu tín hiệu ............................................................................................. 34 Hình 12: Laptop ............................................................................................................ 35 Hình 13: Hình ảnh động cơ xe lăn ................................................................................. 36 Hình 14: Sơ đồ nguyên lý mạch điều khiển động cơ ...................................................... 37 Hình 15: Acquy của xe lăn điện..................................................................................... 37 Hình 16: Sơ đồ nguyên lý khối nguồn acquy ................................................................. 39 Hình 17: Giao giữa 2 tập hợp keypoint .......................................................................... 42 Hình 18: Bộ phận điều khiển ......................................................................................... 44 Hình 19: Bộ phận điều khiển hoàn chỉnh ....................................................................... 44 Hình 20: Bộ phận điều khiển với nguồn ........................................................................ 45 Hình 21: Bộ phận camera và laptop ............................................................................... 46 Hình 22: mô hình hoàn chỉnh......................................................................................... 46
Hình 23: Lưu đồ giải thuật chính ................................................................................... 47 Hình 24: Ma trận không gian màu RGB ........................................................................ 48 Hình 25: Truyền dữ liệu cho xe di chuyển ..................................................................... 49 Hình 26: Xác định khoảng cách dừng camera ................................................................ 50 Hình 27: Truyền dữ liệu cho xe di chuyển ..................................................................... 50 Hình 28: Tạo file mới Sublime Text 3 ........................................................................... 52 Hình 29: chọn cổng Arduino ......................................................................................... 52 Hình 30: Kiểm tra thư viện ............................................................................................ 53 Hình 31: Kết quả ảnh RGB và ảnh độ sâu từ camera ..................................................... 55 Hình 32: Kết quả xác định vật cản của camera............................................................... 56 Hình 33: Kết quả xác định vật mốc của camera trường hợp 1 ........................................ 57 Hình 34: Kết quả xác định vật mốc của camera trường hợp 2 ........................................ 57 Hình 35: Kết quả xác định vật mốc của camera trường hợp 3 ........................................ 58 Hình 36: đi thẳng........................................................................................................... 58 Hình 37: rẽ trái .............................................................................................................. 59 Hình 38: rẽ phải............................................................................................................. 59 Hình 39: xe lăn dừng trước vật mốc............................................................................... 60
LIỆT KÊ BẢNG
Bảng Trang
Bảng 1: Thông số cơ bản động cơ................................................................................. 36 Bảng 2: Thông số đo được............................................................................................ 38 Bảng 3: Danh sách các model và linh kiện liên quan. ................................................... 43 Bảng 4: Thống kê kết quả xác định khoảng cách tối đa camera nhìn thấy vật cản ......... 56 Bảng 5: Thống kê kết quả xác định khoảng cách vật mốc ............................................. 60
TÓM TẮT
Trong đời sống, xe lăn là thiết bị hỗ trợ cần thiết cho những người khuyết tật, nó đã và đang được ứng dụng trong các hộ gia đình đang có người khuyết tật, di chuyển một cách khó khăn.
Đề tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D” là mô hình với mục đích giúp người khuyết tật có cả năng di chuyển một cách tự động, linh hoạt. Xe lăn đạt được những mục tiêu nhận diện vật cản phía trước, xác định được vật mốc và cho xe ngừng di chuyển tại vật mốc.
Kết quả đã đạt được những mục tiêu đề ra với đề tài là:
Xác định được vật cản
Điều hướng xe lăn di chuyển khi có vật cản
Nhận dạng được vật mốc
Xác dịnh vị trí dừng khi có vật mốc
Với kết quả đạt được xe lăn có thể chạy theo đúng với yêu cầu trong điều kiện thực tế, khả thi trong thương mại và cuộc sống.
Có khả năng ứng dụng trong các bệnh viện, nhà ở,... nơi có địa hình di chuyển không quá gồ ghề.
CHƯƠNG 1: TỔNG QUAN
CHƯƠNG 1: TỔNG QUAN
1.1 ĐẶT VẤN ĐỀ
Theo công bố của Tổng cục thống kê và UNICEF ngày 11 -1 -2019, hơn 7% dân số Việt Nam từ 2 tuổi trở lên – khoảng 6,2 triệu người là người khuyết tật. Bên cạnh đó, có 13% dân số - gần 12 triệu người, sống chung trong hộ gia đình có người khuyết tật. Người khuyết tật được phân thành 6 loại dạng tật, đó là: khuyết tật vận động (chân, tay); khuyết tật nghe, nói (câm, điếc); khuyết tật nhìn (khuyết tật về mắt, khiếm thị); khuyết tật thần kinh, tâm thần (người rối loạn thần kinh, người điên); khuyết tật trí tuệ (bại não, động kinh, tự kỷ); khuyết tật khác (nạn nhân chất độc da cam, người nhiễm vi rút độc hủy hoại cơ thể...).[1]
Cơ sở hạ tầng hiện nay ở nước ta vẫn chưa phát triển các hạng mục dành cho người khuyết tật. Nhà nước đã trợ cấp các công cụ hỗ trợ cho người khuyết tật như chân tay giả, xe lăn, máy trợ thính...nhưng đối với người khuyết tật về vận động hay nghe, nhìn thì xe lăn là vật dụng rất cần thiết để di chuyển. Tuy nhiên, để một người khuyết tật có thể tự đi lại được bằng xe lăn thì đòi hỏi phải có bộ điều khiển để xe lăn có thể di chuyển theo ý muốn của người khuyết tật.
Có nhiều nghiên cứu về bộ điều khiển cho xe lăn điện như bài báo “Gyro- Accelerometer based Control of an Intelligent Wheelchair” [2] của nhớm tác giả Rafia Hassani, Mohamed Boumehraz, Maroua Hamzi, Zineb Habba được ra mắt ngày 9 tháng 6 năm 2018, đề tài xe lăn điện điều khiển bằng cử động đầu của nhóm sinh viên đại học sư phạm kỹ thuật Đà Nẵng, Đại học giao thông vận tải, ... vẫn còn một số nhược điểm như thiết bị điều khiển còn sơ sài, sử dụng cảm biến siêu âm phát hiện vật cản quá nhiều gây mất thẩm mĩ, ...
Với mục đích có thể tạo ra một bộ điều khiển giúp người khuyết tật có thể di chuyển dễ dàng bằng xe lăn vận dụng một các ưu điểm và nhằm khắc phục một số nhược điểm mà các nghiên cứu trước đã thực hiện, nhóm xin giới thiệu đề tài: “Nghiên cứu, thiết kế
CHƯƠNG 1: TỔNG QUAN
và thi công bộ điều khiển xe lăn điện bằng cảm biến gia tốc”, do chính nhóm tiến hành nghiên cứu và thực hiện. Với mô hình này, chúng ta có thể phát triển bộ điều khiển biến chiếc xe lăn thành một vật dụng hữu ích giúp cho người khuyết tật có thể đi lại dễ dàng hơn
Cùng với sự phát triển ngày càng mạnh mẽ của khoa học kĩ thuật trong một vài thập kỷ gần đây, xử lý ảnh tuy là một ngành khoa học còn tương đối mới mẻ so với nhiều ngành khoa học khác nhưng hiện nay đang là một trong những lĩnh vực phát triển rất nhanh và thu hút sự quan tâm đặc biệt từ các nhà khoa học, thúc đẩy các trung tâm nghiên cứu, ứng dụng về lĩnh vực hấp dẫn này. Xử lý ảnh đóng vai trò quan trọng trong nhiều ứng dụng thực tế về khoa học kĩ thuật cũng như trong cuộc sống thường ngày như: sản xuất và kiểm tra chất lượng, sự di chuyển của Robot, các phương tiện đi lại tự trị, công cụ hướng dẫn cho người mù, an ninh và giám sát, nhận dạng đối tượng, nhận dạng mặt, các ứng dụng trong y học, sản xuất, hiệu chỉnh video.
Camera 3D [1-2] hiện đang là loại camera có độ ứng dụng cao trong khoa học kỹ thuật vì camera này có khả năng ghi nhận chiều sâu đối tượng, tương tự mắt con người.
1.2 MỤC TIÊU
Mục tiêu nghiên cứu của đề tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D” sử dụng laptop xử lý được tín hiệu từ camera 3D Realsense sau đó giao tiếp với Arduino Nano là bộ xử lý tín hiệu điều khiển động cơ đặt dưới xe để điều khiển xe lăn điện.
1.3 NỘI DUNG NGHIÊN CỨU
Để tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D” Có những nội dung sau:
NỘI DUNG 1: Tìm hiểu phương pháp nhận dạng vật mốc
NỘI DUNG 2: Tổng quan về xử lý ảnh.
NỘI DUNG 3: Tìm hiểu camera 3D và các Module liên quan. NỘI DUNG 4: Viết chương trình trên Python va Arduino.
CHƯƠNG 1: TỔNG QUAN
NỘI DUNG 5: Hoàn thành mô hình.
NỘI DUNG 6: Đánh giá kết quả thực hiện
1.4 GIỚI HẠN
Với đề tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D” thì chỉ sử dụng được ở những nơi có địa hình bằng phẳng không gồ ghề, tránh ánh sáng trực tiếp từ mặt trời gây ra nhiễu camera. Khoảng cách phát hiện được vật cản là dưới 1.5m, độ cao của vật phải trên 0.5m so với mặt đất.
1.5 BỐ CỤC
Chương 1: Tổng quan
Chương này trình bày đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nôi dung
nghiên cứu, các giới hạn thông số và bố cục đồ án.
Chương 2: Cơ sở lý thuyết
Chương này sẽ trình bày cơ bản về xử lý ảnh, phương pháp cơ bản để nhận dạng và
phân loại ảnh, tính kích thước sản phẩm, giới thiệu cơ bản về camera3D và thư viện liên quan.
Chương 3: Thiết kế và tính toán
Chương này sẽ đi tìm hiểu kỹ các thuật toán nhận dạng sản phẩm theo hình dạng,
thuật toán tính kích thước và thiết kế mô hình sản phẩm.
Chương 4: Thi công hệ thống
Nội dung chương này là quá trình thi công cùng với việc chạy chương trình về phân
loại sản phẩm cũng như tính kích thước sản phẩm.
Chương 5: Kết quả nhận xét và đánh giá
Nội dung chương này là tổng hợp các kết quả đạt được sau khi thi công mô hình và
kết quả đạt được khi phân loại sản phẩm.
Chương 6: Kết luận và hướng phát triển
Kết quả nhận được khi hoàn thiện đề tài, đưa ra các hướng phát triển hoàn thiện.
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƯ VIỆN LIÊN QUAN 2.1.1 Giới thiệu xử lý ảnh
Xử lý ảnh không còn là đề tài quá mới, nó được áp dụng từ trong các hoạt động thường ngày cho đến việc nâng cao sản xuất. Nó giúp ích cho cá nhân hay gia đình, mà còn ứng dụng cả trong Chính trị, Y tế, Giáo dục...
Xử lý tín hiệu là một môn học trong kỹ thuật điện tử, viễn thông và trong toán học. Liên quan đến nghiên cứu và xử lý tín hiệu kỹ thuật số và analog, giải quyết các vấn đề về lưu trữ, các thành phần bộ lọc, các hoạt động khác trên tín hiệu. Các tín hiệu này bao gồm truyền dẫn tín hiệu, âm thanh hay giọng nói, hình ảnh, và các tín hiệu khác...
Trong số các phương pháp xử lý tín hiệu kể trên, lĩnh vực giải quyết với các loại tín hiệu mà đầu vào là một hình ảnh và đầu ra cũng là một hình ảnh, sản phẩm đầu ra được thực hiện trong một quá trình xử lý. Đó chính là quá trình xử lý ảnh. Nó có thể được chia thành xử lý hình ảnh tương tự và xử lý hình ảnh kỹ thuật số.
Để có 1 bức ảnh số ta có quá trình thực hiện như sau: Chụp ảnh từ một máy ảnh là một quá trình vật lý. Ánh sáng mặt trời sử dụng như một nguồn năng lượng. Một dãy cảm biến được sử dụng cho việc thu lại của hình ảnh. Vì vậy, khi ánh sáng mặt trời rơi trên người đối tượng, sau đó số lượng ánh sáng phản xạ của đối tượng được cảm nhận từ các cảm biến, và một tín hiệu điện áp liên tục được tạo ra bởi số lượng dữ liệu cảm biến đó. Để tạo ra một hình ảnh kỹ thuật số, chúng ta cần chuyển đổi dữ liệu này thành một dạng kỹ thuật số. Điều này liên quan đến việc lấy mẫu và lượng tử hóa. Kết quả của việc lấy mẫu và lượng tử hóa sau một quá trình xử lý là một hình ảnh kỹ thuật số.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 19
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.1.2 Những kiến thức cơ bản trong xử lý ảnh
A. Điểm ảnh:
Là đơn vị cơ bản nhất để tạo nên một bước ảnh kỹ thuật số, địa chỉ của điểm ảnh được xem như là một tọa độ (x,y) nào đó. Một bức ảnh kỹ thuật số - có thể được tạo ra bằng cách chụp hay bằng một phương pháp đồ họa nào khác - được tạo nên từ hàng ngàn hay hàng triệu pixel riêng lẻ. Bức ảnh càng chứa nhiều pixel thì càng chi tiết. Một triệu pixel thì tương đương với 1 megapixel.
B. Ảnh số:
là tập hợp hữu hạn các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với ảnh thật. Số điểm ảnh xác định độ phân giải của ảnh. Ảnh có độ phân giải càng cao thì càng thể hiện rõ nét các đặt điểm của tấm hình càng làm cho tấm ảnh trở nên thực và sắc nét hơn. Một hình ảnh là một tín hiệu hai chiều. Nó được xác định bởi hàm toán học f(x, y) trong đó x và y là hai tọa độ theo chiều ngang và chiều dọc. Các giá trị của f(x, y) tại bất kỳ điểm nào là cung cấp các giá trị điểm ảnh (pixel ) tại điểm đó của một hình ảnh.
C. Phân loại ảnh:
Mức xám của điểm ảnh là cường độ sáng, gán bằng một giá trị tại điểm đó. Các mức ảnh xám thông thường: 16, 32, 64, 128, 256. Mức được sử dụng thông dụng nhất là 256, tức là dùng 1 byte để biểu diễn mức xám.
Ảnh nhị phân: Là ảnh có 2 mức trắng và đen. Chỉ có 2 giá trị 0 và 1 và chỉ sử dụng 1 bit dữ liệu trên 1 điểm ảnh.
Ảnh đen trắng: Là ảnh có hai màu đen, trắng (không chứa màu khác) với mức xám ở các điểm ảnh có thể khác nhau.
Ảnh màu: Là ảnh kết hợp của 3 màu cơ bản lại với nhau để tạo ra một thế giới màu sinh động. Người ta thường dùng 3 byte để mô tả mức màu, tức là có khoảng 16,7 triệu mức màu.
Hiện nay xử lý ảnh được giảng dạy trường đại học và ứng dụng vào thực tế rất nhiều như các phần mềm chỉnh sửa hình ảnh hay nhận biết khuôn mặt. Chính vì thế có rất nhiều
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 20
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
công cụ để chúng ta lập trình ứng dụng vào thực tế, Như phải kể đến Matlap, hay ngôn ngữ Python...
2.1.3 Phương pháp nhận dạng vật mốc
Với đề tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D.” Thiết kế mô hình phân có khả năng nhận dạng các vật xung để có quyết định cho xe lăn.
Trong cuộc sống hiện nay,mỗi gia đình đều trang bị rất nhiều vật dụng trong nhà với vô số màu sắc, hình dáng. Mỗi vật mốc đều có một hình dáng , màu sắc khác nhau . Vì thế mỗi vật mốc có điểm đặc biệt riêng. Ở đây ta chúng ta nhận dạng vật mốc bằng các điểm đặc đó của vật mốc.
Có nhiều giải thuật để nhận dạng vật mốc như SUFT,YOLO..., trong phần này tui đề cập tới giải thuật SIFT (Scale-Invariant Feature Transform) là phát minh đã được đăng kí bản quyền của David Lowe, là giải thuật trong lĩnh vực Computer Vision, dùng để nhận dạng và miêu tả những điểm đặc trưng(local features) trong ảnh. Giải thuật lần đầu được giới thiệu bởi David Lowe năm 1999. Giải thuật này(cùng với giải thuật anh em là SURF) được ứng dụng rộng rãi trong Nhận dạng đối tượng(object recognition), mô hình hóa 3D(3D modeling),...
2.2 TRUYỀN DỮ LIỆU BLUETOOTH 2.2.1 Giới thiệu
Bluetooth là sự trao đổi dữ liệu không dây tầm gần giữa các thiết bị điện tử. Công nghệ này hỗ trợ việc truyền dữ liệu qua các khoảng cách ngắn giữa các thiết bị di động như điện thoại di động, tablet, laptop với nhau và với thiết bị cố định mà không cần một sợi cáp để truyền tải. Bluetooth sử dụng sóng Radio tần số 2.4GHz. Tuy sử dụng cùng tần số với công nghệ Wifi nhưng chúng không hề xung đột với nhau vì Bluetooth sử dụng tần số có bước sóng ngắn hơn.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 21
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
Hình 1 : Bluetooth
Bluetooth là một chuẩn điện tử, điều đó có nghĩa là các hãng sản xuất muốn có đặt tính này trong sản phẩm thì họ phải tuân theo các yêu cầu của chuẩn của Bluetooth cho sản phẩm của mình. Những chỉ tiêu kỹ thuật này bảo đảm cho các thiết bị có thể nhận ra và tương tác với nhau khi sử dụng công nghệ Bluetooth.
2.2.2 Ứng dụng của Bluetooth
Các ứng dụng nổi bật của Bluetooth gồm:
+ Điều khiển và giao tiếp không dây giữa một điện thoại di động và tai nghe không dây.
+ Mạng không dây giữa các máy tính cá nhân trong một không gian hẹp đòi hỏi ít băng thông.
+ Giao tiếp không dây với các thiết bị vào ra của máy tính, chẳng hạn như chuột, bàn phím và máy in.
+ Thay thế các giao tiếp nối tiếp dùng dây truyền thống giữa các thiết bị đo, thiết bị định vị, thiết bị y tế, máy quét mã vạch, và các thiết bị điều khiển giao thông.
+ Thay thế các điều khiển dùng tia hồng ngoại.
+ Gửi các các tập tin qua lại các thiết bị dùng Bluetooth khác.
+ Điều khiển từ xa cho các thiết bị trò chơi điện tử.
+ Kết nối Internet cho máy tính bằng cách dùng điện thoại di động thay modem.
Trong đề tài của tôi, Bluetooth đóng vai trò truyền lệnh điều khiển của bộ phận xử lý tới bộ phận động lực, giúp cho xe lăn di chuyển mà không cần dây dẫn rườm rà.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 22
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.2.3 Ưu và nhược điểm của công nghệ Bluetooth
Ưu điểm:
Thay thế hoàn toàn dây nối.
Hoàn toàn không nguy hại đến sức khoẻ con người.
Bảo mật an toàn với công nghệ mã hóa trong. Một khi kết nối được thiết lập thì khó có một thiết bị nào có thể nghe trộm hay lấy cắp dữ liệu.
Các thiết bị có thể kết nối với nhau trong vòng 20m mà không cần trực diện (hiện nay có loại Bluetooth kết nối lên đến 100m)
Kết nối điện thoại và tai nghe Bluetooth khiến cho việc nghe máy khi lái xe hay bận việc dễ dàng.
Giá thành rẻ.
Tốn ít năng lượng, chờ tốn 0.3mAh, tối đa 30mAh trong chế độ truyền dữ liệu. Không gây nhiễu các thiết bị không dây khác.
Tính tương thích cao nên được nhiều nhà sản xuất phần cứng và phần mềm hỗ trợ.
Nhược điểm:
Tốc độ thấp, khoảng 720kbps tối đa. Bắt sóng kém khi có vật cản.
Thời gian thiết lập lâu.
NGÔN NGỮ PYTHON
2.3
2.3.1 Giới thiệu
Python là một ngôn ngữ lập trình được sử dụng phổ biến ngày nay từ trong môi trường học đường cho tới các dự án lớn . Ngôn ngữ phát triển nhiều loại ứng dụng, phần mềm khác nhau như các chương trình chạy trên desktop, server, lập trình các ứng dụng web... Ngoài ra Python cũng là ngôn ngữ ưa thích trong xây dựng các chương trình trí tuệ nhân tạo trong đó bao gồm machine learning. Ban đầu, Python được phát triển để chạy trên nền Unix. Nhưng sau này, nó đã chạy trên mọi hệ điều hành từ MS-DOS đến Mac OS, OS/2, Windows, Linux và các hệ điều hành khác thuộc họ Unix. Python do Guido van Rossum tạo ra năm 1990. Python được phát triển trong một dự án mã mở, do tổ chức phi lợi nhuận Python Software Foundation quản lý. Mặc dù sự phát triển của Python có sự
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 23
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
đóng góp của rất nhiều cá nhân, nhưng Guido van Rossum hiện nay vẫn là tác giả chủ yếu của Python. Ông giữ vai trò chủ chốt trong việc quyết định hướng phát triển của Python. Python là ngôn ngữ có hình thức đơn giản, cú pháp ngắn gọn, sử dụng một số lượng ít các từ khoá, do đó Python là một ngôn ngữ dễ học đối với người mới bắt đầu tìm hiểu. Python là ngôn ngữ có mã lệnh (source code hay đơn giản là code) không mấy phức tạp. cả trường hợp bạn chưa biết gì về Python bạn cũng có thể suy đoán được ý nghĩa của từng dòng lệnh trong source code. Python có nhiều ứng dụng trên nhiều nền tảng, chương trình phần mềm viết bằng ngôn ngữ Python có thể được chạy trên nhiều nền tảng hệ điều hành khác nhau bao gồm Windows, Mac OSX và Linux.
OpenCV (Open Source Computer Vision Library) là một thư viện mã nguồn mở, nó là miễn phí cho những ai bắt đầu tiếp cận với các học thuật. OpenCV được ứng dụng trong nhiều lĩnh vực như cho thị giác máy tính hay xử lý ảnh và máy học. Thư viện được lập trình trên các ngôn ngữ cấp cao: C++, C, Python, hay Java và hỗ trợ trên các nền tảng Window , Linux, Mac OS, iOS và Android. OpenCV đã được tạo ra tại Intel vào năm 1999 bởi Gary Bradsky , và ra mắt vào năm 2000. Opencv có rất nhiều ứng dụng: Nhận dạng ảnh, xử lý hình ảnh, phục hồi hình ảnh/video, thực tế ảo...
Ở đề tài này thư viện OpenCV được chạy trên ngôn ngữ Python. OpenCV được dùng làm thư viện chính để xử lý hình ảnh đầu vào và sau đó đi nhận dạng ảnh.
OpenCV Là một thư viện mở nên sử dụng các thuật toán một cách miễn phí, cùng với việc chúng ta cũng có thể đóng góp thêm các thuật toán giúp Thư viện thêm ngày càng phát triển.
Các chức năng của thư viện OpenCV:
+ Đối với hình ảnh, chúng ta có thể đọc và lưu hay ghi chúng. + Về Video cũng tương tự như hình ảnh cũng có đọc và ghi.
+ Xử lý hình ảnh có thể lọc nhiễu cho ảnh, hay chuyển đổi ảnh. + Thực hiện nhận dạng đặc điểm của hình dạng trong ảnh
+ Phát hiện các đối tượng xác định được xác định trước như khuôn mặt, mắt, xe trong video hay hình ảnh.
+ Phân tích video, ... ước lượng chuyển động của nó, trừ nền ra và theo dõi các đối tượng trong video.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 24
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.3.3 Ưu điểm và nhược điểm Python
Ưu điểm:
+Là một ngôn ngữ có hình thức sáng sủa, cấu trúc roc ràng, cú pháp ngắn gọn
+Có trên tất cả các nền tảng hệ điều hành từ UNIX, MS – DOS, Mac OS, Windows và Linix và các OS khác thuộc họ Unix.
+Tương thích mạnh mẽ với Unix, hardware, thirt-party software với số lượng thư viện lớn (400 triệu người sử dụng)
+Python với tốc độ xử lý cực nhanh, python có thể tạo ra những chương trình từ những script siêu nhỏ tới những phần mềm cực lớn như Biender 3D.
Nhược điểm:
+Python không có các thuộc tính như
rotected,private hay public, không có vòng lặp do...while và switch....case.+Mặc dù tốc độ xử lý của Python nhanh hơn PHP nhưng không bằng JAVA và C++.
2.4 ARDUINO 2.4.1 Giới thiệu
Arduino là một nền tảng mã nguồn mở được sử dụng để xây dựng các ứng dụng điện tử tương tác với nhau hay với môi trường được thuận lợi hơn.Arduino giống như một máy tính nhỏ để người dùng có thể lập trình và thực hiện các dự án điện tử mà không cần có các công cụ chuyên biệt để phục vụ việc nạp code.
Arduino tương tác với thế giới thông qua các cảm biến điện tử, đèn, và động cơ.
Arduino gồm:
+ Phần cứng gồm một board mạch mã nguồn mở (thường gọi là vi điều khiển): có thể lập trình được.
+ Các phần mềm hỗ trợ phát triển tích hợp IDE (Integrated Development
Environment) dùng để soạn thảo, biên dịch code và nạp chương cho board.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 25
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.4.2 Ứng dụng của Arduino
Arduino có khả năng đọc các thiết bị cảm biến, điều khiển động cơ,... nên nó thường được dùng để làm bộ xử lý trung tâm của rất nhiều loại robot.
+ Game tương tác: Arduino có thể được sử dụng để tương tác với Joystick, màn hình,...
+ Máy bay không người lái.
+ Điều khiển đèn tín hiệu giao thông, làm hiệu ứng đèn Led nhấp nháy trên các biển quảng cáo...
+ Điều khiển các thiết bị cảm biến ánh sáng, âm thanh. + Làm máy in 3D
+ Làm đàn bằng ánh sáng
Arduino còn rất nhiều ứng dụng hữu ích khác tùy vào sự sáng tạo của người dùng.
2.4.3 Arduino IDE
Arduino IDE Arduino Integrated Development Environment) là một trình soạn thảo văn bản, giúp bạn viết code để nạp vào bo mạch arduino.Một trương trình viết bởi Arduino IDE được gọi là sketch, sketch được lưu dưới định dạng .ino.
Hình 2: Arduino IDE
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 26
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.5 GIỚI THIỆU PHẦN CỨNG
2.5.1 Camera Intel RealSense D435
A. Giới thiệu về camera Intel RealSense D435
Hình 3: camera Intel RealSense D435 3D
Intel RealSense D435 là sản phẩm của Microsoft dựa trên công nghệ camera được phát triển bởi PrimeSense. Intel RealSense D435 được coi như là một thiết bị ngoại vi cho Xbox 360, cho phép giao tiếp với con người thông qua các cử chỉ, đem lại những cảm giác thú vị cho người chơi game trên Xbox. Khả năng hiểu được cử chỉ con người của Intel RealSense D435 dựa trên hai đặc tính chính sau: thông tin về độ sâu ảnh (depth map), khả năng phát hiện và bám theo đặc tính cơ thể người (body skeleton tracking).
Bên cạnh phục vụ cho mục đích chơi game, sản phẩm Intel RealSense D435 còn được dùng vào mục đích nghiên cứu xử lý ảnh 3D, phát hiện cử chỉ (gesture recognition), bám theo người (body tracking) và nhiều mục đích khác. Lý do chính cho sự thành công của sản phẩm Intel RealSense D435 là giá cả khá rẻ (khoảng 140$ trên 1 sản phẩm) cho thiết bị có khả năng cung cấp các thông tin 3D với chất lượng chấp nhận được.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
You must be registered for see links