nhOx_hon3y
New Member
Link tải luận văn miễn phí cho ae Kết nối
CHƯƠNG 2: TỔNG QUAN .................................................................................................8
2.1. Các vấn đề liên quan đến bài toán dựng mô hình 3 chiều ........................................8
2.1.1. Thị giác máy ..................................................................................................8
2.1.2. Thị giác lập thể ..............................................................................................9
2.1.3. Hình học epipolar và một số ma trận biến đổi.............................................10
2.1.4. Phân cấp các phép biến đổi.........................................................................14
2.2. Các kĩ thuật trong bài toán dựng mô hình 3 chiều...................................................16
2.2.1. Qui trình dựng mô hình 3 chiều...................................................................16
2.2.2. Trích chọn đặc trưng....................................................................................19
2.2.3. Bài toán đối sánh..........................................................................................22
2.2.4. Tìm ma trận cơ bản F...................................................................................28
2.2.5. Chỉnh sửa ảnh ..............................................................................................30
2.2.6. Khôi phục độ sâu .........................................................................................32
CHƯƠNG 3: XÂY DỰNG BỘ CÔNG CỤ DỰNG MÔ HÌNH 3 CHIỀU TỪ CẶP ẢNH
CHỤP...................................................................................................................................34
3.1. Mô hình bộ công cụ dựng mô hình 3 chiều từ cặp ảnh............................................34
3.2. Điểm góc SUSAN....................................................................................................34
3.2.1. Một vài khái niệm........................................................................................34
3.2.2. Thuật toán tìm điểm góc SUSAN................................................................36
3.3. Đối sánh điểm góc SUSAN .....................................................................................39
3.3.1. Tìm tập ứng cử viên.....................................................................................39
3.3.2. Tìm tập các cặp đối sánh tương ứng............................................................40
3.4. Thuật toán tính ma trận cơ bản sử dụng RANSAC .................................................42
3.5. Chỉnh sửa ảnh bằng phương pháp chuyển đổi sang tọa độ cực...............................43
3.5.1. Các đường epipolar định hướng ..................................................................44
3.5.2. Ma trận đồng hình tương thích H và ma trận cơ bản F................................45
3.5.3. Xây dựng ảnh chỉnh sửa ..............................................................................45
3.6. Đối sánh miền dựa vào cửa sổ tương quan..............................................................48
3.7. Thuật toán tam giác tối ưu tính độ sâu cho một cặp điểm ảnh đối sánh..................52
3.7.1. Tính ma trận camera từ ma trận cơ bản F....................................................52
3.7.2. Tính độ sâu...................................................................................................53
CHƯƠNG 4: KẾT QUẢ THỬ NGHIỆM VÀ BÀN LUẬN...............................................59
4.1. Tiền xử lý.................................................................................................................59
4.2. Đối sánh ảnh và khôi phục thông tin 3 chiều...........................................................60
4.2.1. Chỉnh sửa ảnh ..............................................................................................60
4.2.2. Đối sánh ảnh và lấy độ sâu ..........................................................................61
KẾT LUẬN..........................................................................................................................63
TÀI LIỆU THAM KHẢO ...................................................................................................65
Tài liệu Tiếng Anh:......................................................................................................65
Mã nguồn và công cụ hỗ trợ: .......................................................................................67
PHỤ LỤC ............................................................................................................................68
1. Một số định nghĩa ....................................................................................................68
2. Một số thuật toán .....................................................................................................69
A. Thuật toán 8 điểm được chuẩn hoá tính F ...........................................................69
B. RANSAC (RANdom Sample Consensus)...........................................................71
C. Không gian rỗng phải (Right Null-Space)...........................................................71
MỞ ĐẦU
Trong những năm gần đây, việc dựng mô hình 3 chiều từ các ảnh 2 chiều thu hút
ngày càng nhiều sự quan tâm của các nhà nghiên cứu. Điều đó một phần là do yêu
cầu của các kĩ thuật này trong các ứng dụng tăng lên như trong các lĩnh vực bảo tồn
cổ vật, phân tích hiện trường phạm tội, thiết kế kiến trúc, xử lý phim, trò chơi 3
chiều…Bên cạnh đó, phần cứng đồ họa có giá thành hạ, năng lực tính toán nâng cao
cũng là yếu tố góp phần thúc đẩy sự phát triển các phương pháp cũng như kĩ thuật
mô hình hoá và dựng lại mô hình 3 chiều. Hơn nữa, camera cầm tay là thiết bị số
hóa tiện dụng, sẵn có và rẻ tiền cho nên việc cung cấp thông tin đầu vào dùng
camera là rất dễ dàng. Bài toán dựng mô hình 3 chiều từ chuỗi các ảnh đầu vào là
bài toán xây dựng thông tin 3 chiều từ thông tin của các ảnh 2 chiều. Một cách toán
học, cấu trúc 3 chiều được dựng lại từ các phép chiếu 2 chiều . Bên cạnh đó các ảnh
đầu vào lại là các ảnh texture tự nhiên nhất do vậy cấu trúc 3 chiều đạt được rất hiệu
quả. Rất nhiều nhà nghiên đã phát triển các phương pháp và kĩ thuật khác nhau để
giải quyết bài toán này.
Chúng tui tập trung tìm hiểu qui trình dựng mô hình 3 chiều từ cặp ảnh đầu vào, các
phương pháp nghiên cứu, kĩ thuật triển khai từng bước trong qui trình này. Từ đó,
chúng tui xây dựng bộ công cụ dựng mô hình 3 chiều của cảnh hay đối tượng với
đầu vào là 2 ảnh màu chụp chung một cảnh hay một đối tượng đó.
Với nội dung nghiên cứu nêu ra ở trên, chúng tui mong muốn sau khi hoàn thành đề
tài hiểu biết thêm về xu thế phát triển của các ứng dụng 3 chiều, các hướng nghiên
cứu và triển khai trong lĩnh vực này. Đặc biệt chúng tui muốn đi sâu tìm hiểu về qui
trình dựng mô hình 3 chiều từ chuỗi các ảnh đầu vào (số lượng ban đầu là 2) và kết
quả thu được là bộ công cụ triển khai thành công qui trình được nêu ra.
Luận văn bao gồm bốn chương:
Chương một: Giới thiệu về bài toán dựng mô hình 3 chiều nói chung và bài toán
dựng mô hình 3 chiều từ chuỗi các ảnh nói riêng, các đặc trưng và các xu thế phát
triển. Đồng thời chúng tui cũng nêu ra mục tiêu và hướng giải quyết của luận văn
đó là giải quyết bài toán dựng mô hình 3 chiều từ các ảnh 2 chiều được chụp bởi
camera cầm tay.
Chương hai: Nêu những vấn đề, khái niệm và mô hình toán học liên quan đến bài
toán dựng mô hình 3 chiều từ ảnh 2 chiều. Đồng thời, nêu tổng quan, phân tích và
so sánh các kỹ thuật, phương pháp giải quyết bài toán này.
Chương ba: Xây dựng bộ công cụ dựng mô hình 3 chiều từ cặp ảnh chụp. Lựa chọn
những kỹ thuật, phương pháp, thuật toán phù hợp để triển khai bộ công cụ.
Chương bốn: Đưa ra một số kết quả thử nghiệm của các module cài đã được cài
đặt.CHƯƠNG 1: GIỚI THIỆU
Đồ hoạ 3 chiều được nghiên cứu ở các trường đại học từ những năm 1970 và được
thương mại hoá khi Hollywood chú ý đến những nghiên cứu này vào những năm
1980 [10]. Hình ảnh chuyển động lúc sơ khai là nghành công nghiệp xa xỉ và chỉ
được sử dụng hạn chế đối với các công cụ tài chính. Cùng với sự phát triển của các
gói phần mềm chuẩn của mô hình hoá và chuyển động, 3 chiều dần xuất hiện trong
công nghệ truyền hình và các video chuyên nghiệp. Hay nói cách khác, nghệ thuật 3
chiều đã tìm được chỗ đứng trong các dịch vụ đa phương tiện.
Việc sử dụng mô hình 3 chiều cho mục đích hiển thị ngày càng trở nên quan trọng.
Những năm vừa qua, trong lĩnh vực thị giác máy, người ta chú trọng nhiều đến vấn
đề điều khiển và điều hướng robot, tuy nhiên gần đây, hướng quan tâm đã có sự
thay đổi. Người ta chú trọng nhiều đến vấn đề tương tác và hiển thị. Các mô hình 3
chiều có tính chân thực cao là thành phần không thể thiếu khi mô phỏng và hiển thị
sự vật, sự kiện. Đồ họa 3 chiều trải rộng trên nhiều ứng dụng như trong trò chơi
điện tử, công nghiệp làm phim, trình chiếu đối tượng trong thực tại trộn phục vụ
cho y tế, quân sự, hàng không, giáo dục… Trong trò chơi điện tử, đồ hoạ 3 chiều
thực sự bộc lộ đặc tính ưu việt của nó đáp ứng nhu cầu, thị hiếu khách hàng. Chất
lượng đồ hoạ cũng như khả năng đáp ứng thời gian thực của các ứng dụng 3 chiều
thay đổi nhanh chóng do sự thay đổi chóng mặt của các thiết bị phần cứng cũng như
công nghệ. Tiếp đó, là sự bùng nổ của các ứng dụng 3 chiều trên Internet. Do vậy,
đồ hoạ 3 chiều đã ngày càng trở nên quen thuộc.
Hơn 3 thập kỉ qua, mô hình hoá và chuyển động 3 chiều được chuẩn hoá trong các
phần mềm thương mại. Maya, 3Dstudio Max, Softimage hay Lightwave [27] là
những gói ứng dụng điển hình được sử dụng trong giáo dục cũng như công nghệ 3
chiều. Tất cả những gói ứng dụng này đều tương tự hay liên quan đến các kĩ năng
của nghệ thuật đồ họa truyền thống nhưng áp dụng trong môi trường kĩ thuật số: mô
hình hoá tương tự như nghệ thuật điêu khắc, texturing liên quan đến kĩ thuật vẽ
hay minh hoạ.
Một hạn chế lớn nhất của các kĩ thuật dựng mô hình 3 chiều truyền thống là giá
thành cao khi mà người ta vẫn phải thao tác thủ công và sử dụng các thiết bị chuyên
dụng. Các thiết bị dùng cho thiết kế và hiển thị đồ họa như máy quét laze, màn hình
hiển thị và các thiết bị số hoá khác là các thiết bị đắt tiền, yêu cầu sự cẩn trọng khi
sử dụng, sự phức tạp khi điều khiển. Do vậy, người ta tiến hành “mềm hóa” trong
dựng mô hình 3 chiều. Các thuật toán được áp dụng nhiều hơn trong việc lấy thông
tin 3 chiều của đối tượng, các nguồn dữ liệu để lấy thông tin 3 chiều cũng phong
phú hơn.
Khôi phục lại thông tin 3 chiều sử dụng camera cầm tay trong khi thiếu thông tin về
môi trường chụp ảnh (camera, ánh sáng,…) là một thử thách lớn. Bởi vì, khi sử
dụng camera cầm tay, vị trí và hướng quay của camera rất tự do. Do vậy, các khung
nhìn của các ảnh cũng tự do. Tuy nhiên, nếu dựng mô hình 3 chiều từ ảnh 2 chiều
thành công thì ý nghĩa của nó rất lớn, bởi vì, thiết bị phần cứng rẻ tiền và sẵn có.
Ban đầu người ta tiến hành đối sánh dựa trên sự quan sát. Các điểm đối sánh tương
ứng dưới dạng các điểm điều khiển được lựa chọn cần có sự tương tác với con
người. Do vậy tiêu tốn thêm thời gian đồng thời số lượng các điểm đối sánh không
nhiều. Một hướng giải quyết khác là người ta điều khiển môi trường chụp ảnh: Ví
dụ, gắn camera ở một vị trí cố định rồi cho đối tượng cần chụp lên bàn xoay hay
gắn nhiều camera cố định xung quanh đối tượng cần chụp như vậy ảnh thu nhận
được có các góc độ khác nhau và xác định được các tâm chiếu, các thông số
trong/ngoài của camera nhằm phục vụ tốt hơn cho quá trình khôi phục điểm 3 chiều.
Tuy nhiên với cách này, ta lại phải tiêu tốn thời gian và thủ tục để hiểu chỉnh
camera.
Trong những năm gần đây, người ta quan tâm đến việc lấy thông tin 3 chiều từ các
khung nhìn không được hiệu chỉnh (uncalibrated view). Các kĩ thuật tự hiệu chỉnh
chiếm phần lớn thời gian [9,18,12], các phương pháp này bắt nguồn từ hình học
epipolar và trifocal tensor [15,26] nhờ đó các điểm đối sánh tương ứng được tự
động tính toán dễ dàng hơn.
Thông tin 3 chiều được trích chọn từ ảnh yêu cầu rất ít sự tương tác với người dùng.
Dựng mô hình 3 chiều từ ảnh là phương pháp phát triển dưới sự kết hợp của đồ họa,
thị giác máy và nhiếp ảnh. Con người thu nhận thông tin 3 chiều nhờ sự quan sát
đối tượng bằng hai mắt hay nói cách khác hai khung nhìn khác nhau. Trong lĩnh vực
thị giác máy, các nhà nghiên cứu đã cố gắng rất nhiều trong việc cung cấp khả năng
“quan sát” tương tự con người cho máy tính. Ban đầu, họ hướng tới ngành robot và
tự động hóa nhằm mục đích cho phép robot tự điều hướng khi đi qua môi trường
mới. Gần đây hướng nghiên cứu dịch chuyển sang hiển thị trực quan và giao tiếp
đồng thời có sự kết hợp nhiều hơn với lĩnh vực đồ họa. Một trong những mối quan
tâm lớn nhất của các nhà nghiên cứu là cung cấp các thuật toán để có thể tự động
lấy được thông tin từ chuỗi các ảnh. Mười năm trở lại đây, người ta thường nhấn
mạnh đến hình học đa ảnh, đa khung nhìn [15] và cho phép nhiều cách tiếp cận linh
hoạt trong việc lấy thông tin 3 chiều từ các ảnh khác nhau. Thực tế, hướng hiển thị
trực quan đã phát triển từ trước nhưng dưới một ngữ cảnh khác, dựa trên nghệ thuật
nhiếp ảnh. Nửa cuối thế kỉ 19, các ảnh chụp đã được sử dụng lấy thông tin 3 chiều
để tạo bản đồ, đo đạc các công trình.
Cách tiếp cận dựa trên ảnh được đưa ra có rất nhiều ưu điểm. Cảnh cần mô hình hóa
được chụp ở các khung nhìn khác nhau. Các thiết bị để thu nhận đầu ảnh đầu vào
lại sẵn có như các máy ảnh kĩ thuật số, các máy quay camera. Mối quan hệ giữa các
ảnh được tính toán tự động từ thông tin lấy được trực tiếp của ảnh thông qua các
thuật toán. Do vậy không cần đến các số đo khung cảnh, hay các thủ tục hiệu chỉnh
thiết bị bằng tay như các kĩ thuật truyền thống nữa. Xu thế hiện nay là cải tiến việc
tự động hoá trong nhận dạng và dựng mô hình 3 chiều của đối tượng từ các ảnh.
Bên cạnh đó cách tiếp cận dựa trên ảnh này lại rất linh hoạt ở chỗ rất dễ dàng mô
hình đối tượng có kích cỡ nhỏ cũng như mô hình một khung cảnh rộng lớn.
Lấy thông tin 3 chiều từ các ảnh 2 chiều thu hút ngày càng nhiều sự quan tâm của
các nhà nghiên cứu. Điều đó một phần là do yêu cầu của các kĩ thuật này trong các
ứng dụng tăng lên như trong các lĩnh vực bảo tồn cổ vật, phân tích hiện trường
phạm tội, thiết kế kiến trúc, xử lý phim, trò chơi 3 chiều…Bên cạnh đó, phần cứng
đồ họa có giá thành hạ cũng là yếu tố góp phần thúc đẩy sự phát triển các phương
pháp cũng như kĩ thuật mô hình hoá và dựng lại mô hình 3 chiều. Bài toán dựng mô
hình 3 chiều từ chuỗi các ảnh đầu vào là bài toán xây dựng thông tin 3 chiều từ
thông tin của các ảnh 2 chiều. Một cách toán học, cấu trúc 3 chiều được dựng lại từ
các phép chiếu 2 chiều. Bên cạnh đó các ảnh đầu vào lại là các ảnh texture tự nhiên
nhất do vậy cấu trúc 3 chiều đạt được rất hiệu quả.
Mục đích của luận văn là tìm hiểu các kĩ thuật xử lý ảnh và xây dựng phương pháp
dựng mô hình 3 chiều tự động chỉ sử dụng đầu vào là các ảnh. Hai ảnh của cùng đối
tượng hay cùng cảnh được chụp bởi camera cầm tay qua một qui trình xử lý lấy ra
thông tin 3 chiều của đối tượng. Mục tiêu của đề tài này là tìm hiểu một số đặc
trưng nổi bật của các phương pháp, kĩ thuật dựng mô hình 3 chiều nhằm mục đích
kết hợp các kĩ thuật thành một qui trình trọn vẹn tạo ra mô hình 3 chiều có ý nghĩa
và đáp ứng được một số các ứng dụng. Các kĩ thuật, phương pháp đề cập đến đều áp
dụng trên việc dựng lại mô hình của đối tượng, cảnh không được hiệu chỉnh. Khi
đó, tất cả các tham số bao gồm tham số trong/ ngoài của camera, cấu trúc 3 chiều
của cảnh đều được tính toán từ thông tin của các ảnh thông qua các thuật toán. Từ
đó, chúng tui triển khai một số module giải quyết bài toán dựng mô hình 3 chiều
của cảnh hay đối tượng với đầu vào là 2 ảnh màu chụp chung một cảnh hay một đối
tượng đó.
Đề tài được phát triển với sự kết hợp của nhiều phương pháp nghiên cứu: thu thập,
phân tích, phân loại và đặc tả dữ liệu; nghiên cứu, phân tích và tổng hợp tài liệu;
phương pháp phân tích, thiết kế hệ thống thông tin và lập trình theo công nghệ
hướng đối tượng.
Chương 2 của luận văn giới thiệu một số vấn đề liên quan đến bài toán dựng mô
hình 3 chiều, tổng quan qui trình dựng mô hình 3 chiều, một số kĩ thuật đã và đang
được nghiên cứu và triển khai trong dựng mô hình 3 chiều.
Trong chương 3, chúng tui xây dựng bộ công cụ dựng mô hình 3 chiều từ cặp ảnh
đầu vào. Các kĩ thuật được dùng để triển khai bộ công cụ bao gồm thuật toán tìm
điểm góc SUSAN, thuật toán tính ma trận cơ bản sử dụng RANSAC, kĩ thuật chỉnh
sửa ảnh dựa trên chuyển đổi sang hệ trục tọa độ cực, kĩ thuật đối sánh toàn ảnh và
thuật toán tam giác tối ưu tìm độ sâu cho một cặp đối sánh.
Chương 4 của luận văn bao gồm một số kết quả thử nghiệm của các module tạo nên
bộ công cụ.
Chương 5 là phần kết luận. Trong phần này, chúng tui tổng kết những gì đã đạt
được, nêu lên hạn chế của luận văn và định hướng phát triển tiếp của đề tài.
CHƯƠNG 2: TỔNG QUAN
Các camera được chế tạo nhằm mô phỏng hệ thống thu nhận hình ảnh của con
người. Trong chương 2 này, chúng tui giới thiệu về cách tiếp nhận hình ảnh của
camera và các biểu diễn toán học liên quan, qua đó hình dung được quá trình thu
nhận và tổng hợp hình ảnh đối tượng của camera cũng như của con người. Tiếp theo
chúng tui giới thiệu tổng quan về các kĩ thuật, phương pháp liên quan đến tổng hợp
thông tin 3 chiều từ ảnh chụp.
2.1. Các vấn đề liên quan đến bài toán dựng mô hình 3
chiều
2.1.1. Thị giác máy
Thị giác được định nghĩa là quá trình khám phá thế giới thông qua hình ảnh [19].
Thị giác mô tả cái gì sẽ được hiển thị và vị trí hiển thị. Quá trình này sử dụng đầu
vào là các ảnh và đầu ra là các thông tin 3 chiều mô tả thế giới xung quanh.
Thị giác máy là các thực thi quá trình thị giác trên máy tính nhằm mục đích xây
dựng các khung cảnh 3 chiều, phục hồi khoảng cách, độ sâu… từ các ảnh.
Các kĩ thuật sử dụng trong thị giác máy được chia làm hai loại chính: Thị giác tích
cực (active vision) và thị giác thụ động (passive vision) [19]:
- Thị giác tích cực: Ánh sáng là yếu tố quan trọng trong quan sát và mô tả đối
tượng. Thị giác tích cực bao gồm các kĩ thuật liên quan đến xử lý ánh sáng, sử
dụng các nguồn sinh năng lượng như nguồn laze. Ánh sáng sinh ra từ các nguồn
sáng sẽ được phản xạ trên bề mặt đối tượng và được thu nhận bởi các bộ cảm
biến của camera. Thông tin về ánh sáng thu nhận được là yếu tố quan trọng
trong việc trích chọn và phản ánh thông tin 3 chiều. Tuy nhiên, các kĩ thuật này
gặp một số khó khăn khi xử lý ánh sáng như: cần phân biệt giữa ánh sáng
xung quanh và ánh sáng điểm, màu của đối tượng có thể xung đột với màu
nguồn sáng, ví dụ khi quan sát đối tượng màu đỏ với ánh sáng màu đỏ.
Giới thiệu về bài toán dựng mô hình 3 chiều nói chung và bài toán dựng mô hình 3 chiều từ chuỗi các ảnh nói riêng, các đặc trưng và các xu thế phát triển. Đồng thời cũng nêu ra mục tiêu và hướng giải quyết bài toán dựng mô hình 3 chiều từ các ảnh 2 chiều được chụp bởi camera cầm tay. Nêu những vấn đề, khái niệm và mô hình toán học liên quan đến bài toán dựng mô hình 3 chiều từ ảnh 2 chiều. Xây dựng bộ công cụ dựng mô hình 3 chiều từ cặp ảnh chụp; lựa chọn những kỹ thuật, phương pháp, thuật toán phù hợp để triển khai bộ công cụ. Qua dó đưa ra một số kết quả thử nghiệm của các module cài đã được cài đặt
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
CHƯƠNG 2: TỔNG QUAN .................................................................................................8
2.1. Các vấn đề liên quan đến bài toán dựng mô hình 3 chiều ........................................8
2.1.1. Thị giác máy ..................................................................................................8
2.1.2. Thị giác lập thể ..............................................................................................9
2.1.3. Hình học epipolar và một số ma trận biến đổi.............................................10
2.1.4. Phân cấp các phép biến đổi.........................................................................14
2.2. Các kĩ thuật trong bài toán dựng mô hình 3 chiều...................................................16
2.2.1. Qui trình dựng mô hình 3 chiều...................................................................16
2.2.2. Trích chọn đặc trưng....................................................................................19
2.2.3. Bài toán đối sánh..........................................................................................22
2.2.4. Tìm ma trận cơ bản F...................................................................................28
2.2.5. Chỉnh sửa ảnh ..............................................................................................30
2.2.6. Khôi phục độ sâu .........................................................................................32
CHƯƠNG 3: XÂY DỰNG BỘ CÔNG CỤ DỰNG MÔ HÌNH 3 CHIỀU TỪ CẶP ẢNH
CHỤP...................................................................................................................................34
3.1. Mô hình bộ công cụ dựng mô hình 3 chiều từ cặp ảnh............................................34
3.2. Điểm góc SUSAN....................................................................................................34
3.2.1. Một vài khái niệm........................................................................................34
3.2.2. Thuật toán tìm điểm góc SUSAN................................................................36
3.3. Đối sánh điểm góc SUSAN .....................................................................................39
3.3.1. Tìm tập ứng cử viên.....................................................................................39
3.3.2. Tìm tập các cặp đối sánh tương ứng............................................................40
3.4. Thuật toán tính ma trận cơ bản sử dụng RANSAC .................................................42
3.5. Chỉnh sửa ảnh bằng phương pháp chuyển đổi sang tọa độ cực...............................43
3.5.1. Các đường epipolar định hướng ..................................................................44
3.5.2. Ma trận đồng hình tương thích H và ma trận cơ bản F................................45
3.5.3. Xây dựng ảnh chỉnh sửa ..............................................................................45
3.6. Đối sánh miền dựa vào cửa sổ tương quan..............................................................48
3.7. Thuật toán tam giác tối ưu tính độ sâu cho một cặp điểm ảnh đối sánh..................52
3.7.1. Tính ma trận camera từ ma trận cơ bản F....................................................52
3.7.2. Tính độ sâu...................................................................................................53
CHƯƠNG 4: KẾT QUẢ THỬ NGHIỆM VÀ BÀN LUẬN...............................................59
4.1. Tiền xử lý.................................................................................................................59
4.2. Đối sánh ảnh và khôi phục thông tin 3 chiều...........................................................60
4.2.1. Chỉnh sửa ảnh ..............................................................................................60
4.2.2. Đối sánh ảnh và lấy độ sâu ..........................................................................61
KẾT LUẬN..........................................................................................................................63
TÀI LIỆU THAM KHẢO ...................................................................................................65
Tài liệu Tiếng Anh:......................................................................................................65
Mã nguồn và công cụ hỗ trợ: .......................................................................................67
PHỤ LỤC ............................................................................................................................68
1. Một số định nghĩa ....................................................................................................68
2. Một số thuật toán .....................................................................................................69
A. Thuật toán 8 điểm được chuẩn hoá tính F ...........................................................69
B. RANSAC (RANdom Sample Consensus)...........................................................71
C. Không gian rỗng phải (Right Null-Space)...........................................................71
MỞ ĐẦU
Trong những năm gần đây, việc dựng mô hình 3 chiều từ các ảnh 2 chiều thu hút
ngày càng nhiều sự quan tâm của các nhà nghiên cứu. Điều đó một phần là do yêu
cầu của các kĩ thuật này trong các ứng dụng tăng lên như trong các lĩnh vực bảo tồn
cổ vật, phân tích hiện trường phạm tội, thiết kế kiến trúc, xử lý phim, trò chơi 3
chiều…Bên cạnh đó, phần cứng đồ họa có giá thành hạ, năng lực tính toán nâng cao
cũng là yếu tố góp phần thúc đẩy sự phát triển các phương pháp cũng như kĩ thuật
mô hình hoá và dựng lại mô hình 3 chiều. Hơn nữa, camera cầm tay là thiết bị số
hóa tiện dụng, sẵn có và rẻ tiền cho nên việc cung cấp thông tin đầu vào dùng
camera là rất dễ dàng. Bài toán dựng mô hình 3 chiều từ chuỗi các ảnh đầu vào là
bài toán xây dựng thông tin 3 chiều từ thông tin của các ảnh 2 chiều. Một cách toán
học, cấu trúc 3 chiều được dựng lại từ các phép chiếu 2 chiều . Bên cạnh đó các ảnh
đầu vào lại là các ảnh texture tự nhiên nhất do vậy cấu trúc 3 chiều đạt được rất hiệu
quả. Rất nhiều nhà nghiên đã phát triển các phương pháp và kĩ thuật khác nhau để
giải quyết bài toán này.
Chúng tui tập trung tìm hiểu qui trình dựng mô hình 3 chiều từ cặp ảnh đầu vào, các
phương pháp nghiên cứu, kĩ thuật triển khai từng bước trong qui trình này. Từ đó,
chúng tui xây dựng bộ công cụ dựng mô hình 3 chiều của cảnh hay đối tượng với
đầu vào là 2 ảnh màu chụp chung một cảnh hay một đối tượng đó.
Với nội dung nghiên cứu nêu ra ở trên, chúng tui mong muốn sau khi hoàn thành đề
tài hiểu biết thêm về xu thế phát triển của các ứng dụng 3 chiều, các hướng nghiên
cứu và triển khai trong lĩnh vực này. Đặc biệt chúng tui muốn đi sâu tìm hiểu về qui
trình dựng mô hình 3 chiều từ chuỗi các ảnh đầu vào (số lượng ban đầu là 2) và kết
quả thu được là bộ công cụ triển khai thành công qui trình được nêu ra.
Luận văn bao gồm bốn chương:
Chương một: Giới thiệu về bài toán dựng mô hình 3 chiều nói chung và bài toán
dựng mô hình 3 chiều từ chuỗi các ảnh nói riêng, các đặc trưng và các xu thế phát
triển. Đồng thời chúng tui cũng nêu ra mục tiêu và hướng giải quyết của luận văn
đó là giải quyết bài toán dựng mô hình 3 chiều từ các ảnh 2 chiều được chụp bởi
camera cầm tay.
Chương hai: Nêu những vấn đề, khái niệm và mô hình toán học liên quan đến bài
toán dựng mô hình 3 chiều từ ảnh 2 chiều. Đồng thời, nêu tổng quan, phân tích và
so sánh các kỹ thuật, phương pháp giải quyết bài toán này.
Chương ba: Xây dựng bộ công cụ dựng mô hình 3 chiều từ cặp ảnh chụp. Lựa chọn
những kỹ thuật, phương pháp, thuật toán phù hợp để triển khai bộ công cụ.
Chương bốn: Đưa ra một số kết quả thử nghiệm của các module cài đã được cài
đặt.CHƯƠNG 1: GIỚI THIỆU
Đồ hoạ 3 chiều được nghiên cứu ở các trường đại học từ những năm 1970 và được
thương mại hoá khi Hollywood chú ý đến những nghiên cứu này vào những năm
1980 [10]. Hình ảnh chuyển động lúc sơ khai là nghành công nghiệp xa xỉ và chỉ
được sử dụng hạn chế đối với các công cụ tài chính. Cùng với sự phát triển của các
gói phần mềm chuẩn của mô hình hoá và chuyển động, 3 chiều dần xuất hiện trong
công nghệ truyền hình và các video chuyên nghiệp. Hay nói cách khác, nghệ thuật 3
chiều đã tìm được chỗ đứng trong các dịch vụ đa phương tiện.
Việc sử dụng mô hình 3 chiều cho mục đích hiển thị ngày càng trở nên quan trọng.
Những năm vừa qua, trong lĩnh vực thị giác máy, người ta chú trọng nhiều đến vấn
đề điều khiển và điều hướng robot, tuy nhiên gần đây, hướng quan tâm đã có sự
thay đổi. Người ta chú trọng nhiều đến vấn đề tương tác và hiển thị. Các mô hình 3
chiều có tính chân thực cao là thành phần không thể thiếu khi mô phỏng và hiển thị
sự vật, sự kiện. Đồ họa 3 chiều trải rộng trên nhiều ứng dụng như trong trò chơi
điện tử, công nghiệp làm phim, trình chiếu đối tượng trong thực tại trộn phục vụ
cho y tế, quân sự, hàng không, giáo dục… Trong trò chơi điện tử, đồ hoạ 3 chiều
thực sự bộc lộ đặc tính ưu việt của nó đáp ứng nhu cầu, thị hiếu khách hàng. Chất
lượng đồ hoạ cũng như khả năng đáp ứng thời gian thực của các ứng dụng 3 chiều
thay đổi nhanh chóng do sự thay đổi chóng mặt của các thiết bị phần cứng cũng như
công nghệ. Tiếp đó, là sự bùng nổ của các ứng dụng 3 chiều trên Internet. Do vậy,
đồ hoạ 3 chiều đã ngày càng trở nên quen thuộc.
Hơn 3 thập kỉ qua, mô hình hoá và chuyển động 3 chiều được chuẩn hoá trong các
phần mềm thương mại. Maya, 3Dstudio Max, Softimage hay Lightwave [27] là
những gói ứng dụng điển hình được sử dụng trong giáo dục cũng như công nghệ 3
chiều. Tất cả những gói ứng dụng này đều tương tự hay liên quan đến các kĩ năng
của nghệ thuật đồ họa truyền thống nhưng áp dụng trong môi trường kĩ thuật số: mô
hình hoá tương tự như nghệ thuật điêu khắc, texturing liên quan đến kĩ thuật vẽ
hay minh hoạ.
Một hạn chế lớn nhất của các kĩ thuật dựng mô hình 3 chiều truyền thống là giá
thành cao khi mà người ta vẫn phải thao tác thủ công và sử dụng các thiết bị chuyên
dụng. Các thiết bị dùng cho thiết kế và hiển thị đồ họa như máy quét laze, màn hình
hiển thị và các thiết bị số hoá khác là các thiết bị đắt tiền, yêu cầu sự cẩn trọng khi
sử dụng, sự phức tạp khi điều khiển. Do vậy, người ta tiến hành “mềm hóa” trong
dựng mô hình 3 chiều. Các thuật toán được áp dụng nhiều hơn trong việc lấy thông
tin 3 chiều của đối tượng, các nguồn dữ liệu để lấy thông tin 3 chiều cũng phong
phú hơn.
Khôi phục lại thông tin 3 chiều sử dụng camera cầm tay trong khi thiếu thông tin về
môi trường chụp ảnh (camera, ánh sáng,…) là một thử thách lớn. Bởi vì, khi sử
dụng camera cầm tay, vị trí và hướng quay của camera rất tự do. Do vậy, các khung
nhìn của các ảnh cũng tự do. Tuy nhiên, nếu dựng mô hình 3 chiều từ ảnh 2 chiều
thành công thì ý nghĩa của nó rất lớn, bởi vì, thiết bị phần cứng rẻ tiền và sẵn có.
Ban đầu người ta tiến hành đối sánh dựa trên sự quan sát. Các điểm đối sánh tương
ứng dưới dạng các điểm điều khiển được lựa chọn cần có sự tương tác với con
người. Do vậy tiêu tốn thêm thời gian đồng thời số lượng các điểm đối sánh không
nhiều. Một hướng giải quyết khác là người ta điều khiển môi trường chụp ảnh: Ví
dụ, gắn camera ở một vị trí cố định rồi cho đối tượng cần chụp lên bàn xoay hay
gắn nhiều camera cố định xung quanh đối tượng cần chụp như vậy ảnh thu nhận
được có các góc độ khác nhau và xác định được các tâm chiếu, các thông số
trong/ngoài của camera nhằm phục vụ tốt hơn cho quá trình khôi phục điểm 3 chiều.
Tuy nhiên với cách này, ta lại phải tiêu tốn thời gian và thủ tục để hiểu chỉnh
camera.
Trong những năm gần đây, người ta quan tâm đến việc lấy thông tin 3 chiều từ các
khung nhìn không được hiệu chỉnh (uncalibrated view). Các kĩ thuật tự hiệu chỉnh
chiếm phần lớn thời gian [9,18,12], các phương pháp này bắt nguồn từ hình học
epipolar và trifocal tensor [15,26] nhờ đó các điểm đối sánh tương ứng được tự
động tính toán dễ dàng hơn.
Thông tin 3 chiều được trích chọn từ ảnh yêu cầu rất ít sự tương tác với người dùng.
Dựng mô hình 3 chiều từ ảnh là phương pháp phát triển dưới sự kết hợp của đồ họa,
thị giác máy và nhiếp ảnh. Con người thu nhận thông tin 3 chiều nhờ sự quan sát
đối tượng bằng hai mắt hay nói cách khác hai khung nhìn khác nhau. Trong lĩnh vực
thị giác máy, các nhà nghiên cứu đã cố gắng rất nhiều trong việc cung cấp khả năng
“quan sát” tương tự con người cho máy tính. Ban đầu, họ hướng tới ngành robot và
tự động hóa nhằm mục đích cho phép robot tự điều hướng khi đi qua môi trường
mới. Gần đây hướng nghiên cứu dịch chuyển sang hiển thị trực quan và giao tiếp
đồng thời có sự kết hợp nhiều hơn với lĩnh vực đồ họa. Một trong những mối quan
tâm lớn nhất của các nhà nghiên cứu là cung cấp các thuật toán để có thể tự động
lấy được thông tin từ chuỗi các ảnh. Mười năm trở lại đây, người ta thường nhấn
mạnh đến hình học đa ảnh, đa khung nhìn [15] và cho phép nhiều cách tiếp cận linh
hoạt trong việc lấy thông tin 3 chiều từ các ảnh khác nhau. Thực tế, hướng hiển thị
trực quan đã phát triển từ trước nhưng dưới một ngữ cảnh khác, dựa trên nghệ thuật
nhiếp ảnh. Nửa cuối thế kỉ 19, các ảnh chụp đã được sử dụng lấy thông tin 3 chiều
để tạo bản đồ, đo đạc các công trình.
Cách tiếp cận dựa trên ảnh được đưa ra có rất nhiều ưu điểm. Cảnh cần mô hình hóa
được chụp ở các khung nhìn khác nhau. Các thiết bị để thu nhận đầu ảnh đầu vào
lại sẵn có như các máy ảnh kĩ thuật số, các máy quay camera. Mối quan hệ giữa các
ảnh được tính toán tự động từ thông tin lấy được trực tiếp của ảnh thông qua các
thuật toán. Do vậy không cần đến các số đo khung cảnh, hay các thủ tục hiệu chỉnh
thiết bị bằng tay như các kĩ thuật truyền thống nữa. Xu thế hiện nay là cải tiến việc
tự động hoá trong nhận dạng và dựng mô hình 3 chiều của đối tượng từ các ảnh.
Bên cạnh đó cách tiếp cận dựa trên ảnh này lại rất linh hoạt ở chỗ rất dễ dàng mô
hình đối tượng có kích cỡ nhỏ cũng như mô hình một khung cảnh rộng lớn.
Lấy thông tin 3 chiều từ các ảnh 2 chiều thu hút ngày càng nhiều sự quan tâm của
các nhà nghiên cứu. Điều đó một phần là do yêu cầu của các kĩ thuật này trong các
ứng dụng tăng lên như trong các lĩnh vực bảo tồn cổ vật, phân tích hiện trường
phạm tội, thiết kế kiến trúc, xử lý phim, trò chơi 3 chiều…Bên cạnh đó, phần cứng
đồ họa có giá thành hạ cũng là yếu tố góp phần thúc đẩy sự phát triển các phương
pháp cũng như kĩ thuật mô hình hoá và dựng lại mô hình 3 chiều. Bài toán dựng mô
hình 3 chiều từ chuỗi các ảnh đầu vào là bài toán xây dựng thông tin 3 chiều từ
thông tin của các ảnh 2 chiều. Một cách toán học, cấu trúc 3 chiều được dựng lại từ
các phép chiếu 2 chiều. Bên cạnh đó các ảnh đầu vào lại là các ảnh texture tự nhiên
nhất do vậy cấu trúc 3 chiều đạt được rất hiệu quả.
Mục đích của luận văn là tìm hiểu các kĩ thuật xử lý ảnh và xây dựng phương pháp
dựng mô hình 3 chiều tự động chỉ sử dụng đầu vào là các ảnh. Hai ảnh của cùng đối
tượng hay cùng cảnh được chụp bởi camera cầm tay qua một qui trình xử lý lấy ra
thông tin 3 chiều của đối tượng. Mục tiêu của đề tài này là tìm hiểu một số đặc
trưng nổi bật của các phương pháp, kĩ thuật dựng mô hình 3 chiều nhằm mục đích
kết hợp các kĩ thuật thành một qui trình trọn vẹn tạo ra mô hình 3 chiều có ý nghĩa
và đáp ứng được một số các ứng dụng. Các kĩ thuật, phương pháp đề cập đến đều áp
dụng trên việc dựng lại mô hình của đối tượng, cảnh không được hiệu chỉnh. Khi
đó, tất cả các tham số bao gồm tham số trong/ ngoài của camera, cấu trúc 3 chiều
của cảnh đều được tính toán từ thông tin của các ảnh thông qua các thuật toán. Từ
đó, chúng tui triển khai một số module giải quyết bài toán dựng mô hình 3 chiều
của cảnh hay đối tượng với đầu vào là 2 ảnh màu chụp chung một cảnh hay một đối
tượng đó.
Đề tài được phát triển với sự kết hợp của nhiều phương pháp nghiên cứu: thu thập,
phân tích, phân loại và đặc tả dữ liệu; nghiên cứu, phân tích và tổng hợp tài liệu;
phương pháp phân tích, thiết kế hệ thống thông tin và lập trình theo công nghệ
hướng đối tượng.
Chương 2 của luận văn giới thiệu một số vấn đề liên quan đến bài toán dựng mô
hình 3 chiều, tổng quan qui trình dựng mô hình 3 chiều, một số kĩ thuật đã và đang
được nghiên cứu và triển khai trong dựng mô hình 3 chiều.
Trong chương 3, chúng tui xây dựng bộ công cụ dựng mô hình 3 chiều từ cặp ảnh
đầu vào. Các kĩ thuật được dùng để triển khai bộ công cụ bao gồm thuật toán tìm
điểm góc SUSAN, thuật toán tính ma trận cơ bản sử dụng RANSAC, kĩ thuật chỉnh
sửa ảnh dựa trên chuyển đổi sang hệ trục tọa độ cực, kĩ thuật đối sánh toàn ảnh và
thuật toán tam giác tối ưu tìm độ sâu cho một cặp đối sánh.
Chương 4 của luận văn bao gồm một số kết quả thử nghiệm của các module tạo nên
bộ công cụ.
Chương 5 là phần kết luận. Trong phần này, chúng tui tổng kết những gì đã đạt
được, nêu lên hạn chế của luận văn và định hướng phát triển tiếp của đề tài.
CHƯƠNG 2: TỔNG QUAN
Các camera được chế tạo nhằm mô phỏng hệ thống thu nhận hình ảnh của con
người. Trong chương 2 này, chúng tui giới thiệu về cách tiếp nhận hình ảnh của
camera và các biểu diễn toán học liên quan, qua đó hình dung được quá trình thu
nhận và tổng hợp hình ảnh đối tượng của camera cũng như của con người. Tiếp theo
chúng tui giới thiệu tổng quan về các kĩ thuật, phương pháp liên quan đến tổng hợp
thông tin 3 chiều từ ảnh chụp.
2.1. Các vấn đề liên quan đến bài toán dựng mô hình 3
chiều
2.1.1. Thị giác máy
Thị giác được định nghĩa là quá trình khám phá thế giới thông qua hình ảnh [19].
Thị giác mô tả cái gì sẽ được hiển thị và vị trí hiển thị. Quá trình này sử dụng đầu
vào là các ảnh và đầu ra là các thông tin 3 chiều mô tả thế giới xung quanh.
Thị giác máy là các thực thi quá trình thị giác trên máy tính nhằm mục đích xây
dựng các khung cảnh 3 chiều, phục hồi khoảng cách, độ sâu… từ các ảnh.
Các kĩ thuật sử dụng trong thị giác máy được chia làm hai loại chính: Thị giác tích
cực (active vision) và thị giác thụ động (passive vision) [19]:
- Thị giác tích cực: Ánh sáng là yếu tố quan trọng trong quan sát và mô tả đối
tượng. Thị giác tích cực bao gồm các kĩ thuật liên quan đến xử lý ánh sáng, sử
dụng các nguồn sinh năng lượng như nguồn laze. Ánh sáng sinh ra từ các nguồn
sáng sẽ được phản xạ trên bề mặt đối tượng và được thu nhận bởi các bộ cảm
biến của camera. Thông tin về ánh sáng thu nhận được là yếu tố quan trọng
trong việc trích chọn và phản ánh thông tin 3 chiều. Tuy nhiên, các kĩ thuật này
gặp một số khó khăn khi xử lý ánh sáng như: cần phân biệt giữa ánh sáng
xung quanh và ánh sáng điểm, màu của đối tượng có thể xung đột với màu
nguồn sáng, ví dụ khi quan sát đối tượng màu đỏ với ánh sáng màu đỏ.
Giới thiệu về bài toán dựng mô hình 3 chiều nói chung và bài toán dựng mô hình 3 chiều từ chuỗi các ảnh nói riêng, các đặc trưng và các xu thế phát triển. Đồng thời cũng nêu ra mục tiêu và hướng giải quyết bài toán dựng mô hình 3 chiều từ các ảnh 2 chiều được chụp bởi camera cầm tay. Nêu những vấn đề, khái niệm và mô hình toán học liên quan đến bài toán dựng mô hình 3 chiều từ ảnh 2 chiều. Xây dựng bộ công cụ dựng mô hình 3 chiều từ cặp ảnh chụp; lựa chọn những kỹ thuật, phương pháp, thuật toán phù hợp để triển khai bộ công cụ. Qua dó đưa ra một số kết quả thử nghiệm của các module cài đã được cài đặt
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
You must be registered for see links