duccuong20052002
New Member
Download miễn phí Ứng dụng mạng neuron cho vấn đề nhận dạng tiếng nói
Trong bối cảnh hiện nay khi mà các nghiên cứu đang chuyển sang hướng xây dựng các hệ thống thông minh, mạng neuron nổi lên như một giải pháp đầy hứu hẹn. Nó thể hiện những ưu điểm nổi bật của mình so với các hệ thống khác ở khả năng mềm dẻo, linh hoạt và tính toán thô; đây cũng chính là trong số những điểm khác biệt giữa bộ óc con người với các máy thông minh nhân tạo. Nhưng cũng chính vì thế mà nó đòi hỏi một độ phức tạp rất cao trong thiết kế và cài đặt các hệ thống ứng dụng để có thể đạt được một tính năng tốt. Điểm mấu chốt của quy mô hệ thống là số lượng các neuron và số lượng các mức ẩn. Khả năng này sẽ được cải thiện không ngừng trong tương lai cùng với sự phát triển của các mạch tích hợp phần cứng cỡ lớn và các bộ nhớ ngày càng lớn hơn cho các phần mềm máy vi tính. Chính vì điều này mà mạng neuron được coi là “kỹ thuật của thế kỷ 21”.
Để tải tài liệu này, vui lòng Trả lời bài viết, Mods sẽ gửi Link download cho bạn ngay qua hòm tin nhắn.
Ketnooi -
You must be registered for see links
Ai cần tài liệu gì mà không tìm thấy ở Ketnooi, đăng yêu cầu down tại đây nhé:
Nhận download tài liệu miễn phí
Tóm tắt nội dung tài liệu:
chức năng của mạng. Vấn đề là ở chỗ số lượng các kết nối (các synapse) sẽ tăng rất nhanh cùng với số lượng các neuron ẩn đến nỗi đôi khi làm cho việc tích luỹ và kiểm tra không thể thực hiện được. Tuy nhiên, thông qua nghiên cứu các mạng kết nối đầy đủ đã được tích luỹ, người ta nhận thấy rằng một phần không nhỏ các kết nối có giá trị trọng số rất nhỏ. Điều này gợi ý cho chúng ta khả năng nghiên cứu các phương pháp tinh giảm mạng và các chiến lược rải mỏng kết nối.
Tinh giảm mạng là cách thức giảm số lượng các kết nối của mạng. Phương pháp tinh giảm mạng nổi tiếng nhất là phương pháp ODB (optimal brain damage). Một tiêu chuẩn tinh giảm thô được sử dụng - chúng ta chỉ đơn giản loại bỏ đi các trọng số nhỏ hơn một ngưỡng nào đó. Cần chú ý rằng mạng phải được tích luỹ lại sau khi tinh giảm. Tích luỹ kiểu này hội tụ nhanh hơn nhiều so với tích luỹ gốc. Việc tích luỹ lại sẽ hiệu chỉnh hầu hết các lỗi gây ra bởi tiêu chuẩn tinh giảm.
Thật không may là việc tinh giảm không có ảnh hưởng tích cực tới thời gian tích luỹ bởi nó được áp dụng sau khi tích luỹ. Trong vấn đề giảm thời gian tích luỹ, một số thực nhiệm đã chứng minh khả năng của các mạng có các kết nối được rải mỏng. Trước khi tích luỹ, không có một thông tin nào cho phép chúng ta biết được là những kết nối nào là quan trọng, và như vậy một tập hợp ngẫu nhiên các kết nối phải được lựa chọn.
Mục đích cuả chiến lược kết nối ngẫu nhiên là nhằm xem xét tất cả các kết nối trong một mạng kết nối đầy đủ tương ứng sao cho mỗi kết nối có một xác suất tồn tại là f. Số lượng mong đợi các kết nối trong mạng được rải mỏng (mạng thực tế) là Nf, ở đó N là số các kết nối trong mạng kết nối đầy đủ giả thiết. Các kết quả từ một số nghiên cứu cho thấy các mạng có các kết nối được rải mỏng tốt không kém, thậm chí tốt hơn các mạng OBD và các mạng kết nối đầy đủ.
Trong mạng neuron hồi quy, số các kết nối là tỷ lệ với bình phương kích thước mức ẩn. Như vậy với các mức ẩn lớn, cần các giá trị xác suất kết nối nhỏ để giảm số lượng kết nối tới một giá trị có thể kiểm soát được. Điều này làm giảm chức năng của mạng hơn là có thể được bù đắp bởi số lượng lớn các neuron.
Để giải quyết khó khăn do mối quan hệ bình phương giữa kích thước mức và số lượng kết nối, chúng ta cục bộ hoá các xác suất kết nối. Theo quan điểm này, giá trị xác suất kết nối của các kết nối phản hồi sẽ phụ thuộc khoảng cách giữa hai neuron. Khoảng cách này có thể được xác định bằng độ chênh lệch chỉ số của hai neuron khi ta tiến hành sắp xếp các neuron theo thứ tự lần lượt từng neuron rồi đến từng mức. Ví dụ, xác suất kết nối của hai neuron ẩn un và um có thể là
f(un,um)=e-|n-m|/s
ở đó s là một hằng số chọn trước.
2.2.6 Một vài ưu điểm và nhược điểm của thuật toán Back-propagation
Thuật toán back-propagation luôn được coi như là thuật toán phổ biến nhất cho mô hình học có giám sát của mạng neuron tiến đa mức. Về cơ bản mà nói, nó là một kỹ thuật gradient (đạo hàm), chứ không phải là một kỹ thuật tối ưu hoá. Thuật toán này có hai thuộc tính riêng biệt:
Nó rất đơn giản trong các tính toán cục bộ.
Nó thực hiện sự dịch chuyển theo các gradient ngẫu nhiên trong không gian trọng số (với việc cập các trọng số trên cơ sở từng mẫu một).
Hai tính chất này của thuật toán back-propagation đủ để trả lời cho tất cả các ưu và nhược điểm của nó.
Vấn đề tính toán cục bộ
Thuật toán back-propagation là một mô hình kết nối mà dựa trên các tính toán cục bộ để khám phá ra những khả năng xử lý thông tin của mạng neuron. Dạng giới hạn tính toán này được xem như một ràng buộc về tính cục bộ, với ý nghĩa là các tính toán của một neuron chỉ chịu ảnh hưởng của các neuron kết nối với nó. Việc sử dụng các tính toán cục bộ như vậy trong việc thiết kế mạng neuron nhân tạo thường được ủng hộ bởi ba lý do cơ bản:
Các mạng neuron nhân tạo thực hiện các tín toán cục bộ thường được duy trì như là một hình ảnh cuả các mạng lưới thần kinh sinh học.
Việc sử dụng các tính toán cục bộ cho phép một sự thoái hoá nhẹ nhàng về chức năng khi có lỗi cứng, và như vậy cung cấp cho chúng ta một nền tảng về một thiết kế mạng chấp nhận lỗi.
Các tính toán cục bộ thuận lợi cho việc sử dụng các kiến trúc song song như là một phương pháp hiệu quả để cài đặt các mạng neuron nhân tạo.
Về lý do thứ nhất kể trên, liên quan đến sự hợp lý về mặt sinh học của thuật toán back-propagation, vẫn còn nhiều câu hỏi nghiêm túc được đặt ra mà chưa có lời giải đáp thoả đáng. Tuy nhiên những sự thiếu hụt về thần kinh sinh học không làm giảm đi giá trị về mặt kỹ thuật của thuật tián back-propagation với tư cách là một công cụ xử lý thông tin, và được chứng minh bằng những ứng dụng thành công của nó trong nhiều lĩnh vực khác nhau.
Vấn đề hiệu quả tính toán
Độ phức tạp về tính toán của một thuật toán thường được xác định bằng số lượng các phép cộng, phép nhân, và sự lưu trữ liên quan tới việc cài đặt nó. Một thuật toán học được gọi là hiệu quả trong tính toán khi độ phức tạp tính toán của nó là hàm đa thức của số lượng các tham số có thể điều chỉnh được. Trên cơ sở đó, chúng ta có thể nói rằng thuật toán back-propagation là hiệu quả trong tính toán. Đặc biệt, với việc sử dụng nó để tích luỹ một mạng tiến đa mức bao gồm W trọng số synapse (kể cả các hệ số hiệu chỉnh), độ phức tạp của nó là một hàm tuyến tính của W. Điều này có thể dễ dàng được chứng minh bằng cách xem xét các tính toán liên quan đến việc thực hiện các giai đoạn tiến và lùi của thuật toán.
Vấn đề hội tụ
Thuật toán back-propagation sử dụng một “đánh giá tức thời” cho gradient của bề mặt lỗi trong không gian trọng số. Như vậy thuật toán là ngẫu nhiên về bản chất; nghĩa là nó có xu hướng đi theo những đường zigzag xung quanh hướng đi thực tới cực tiểu của bề mặt lỗi. Như vậy là nó có xu hướng hội tụ chậm; chúng ta có thể nêu ra hai nguyên nhân cơ bản sau:
Xét trường hợp bề mặt lỗi là khá bằng phẳng dọc theo một chiều trọng số nào đó. Điều này có nghĩa là đạo hàm của bề mặt lỗi theo trọng số này có trị tuyệt đối nhỏ. Trong trường hợp này, sự điều chỉnh áp dụng cho trọng số cũng nhỏ, và có thể cần nhiều vòng lặp kế tiếp nhau để có thể làm giảm đáng kể giá trị lỗi. Mặt khác nếu bề mặt lỗi có độ cong lớn dọc theo một chiều trọng số thì đạo hàm của bề mặt lỗi theo trọng số đang xét có trị số lớn, và như vậy các điều chỉnh áp dụng cho trọng số này cũng lớn. Điều này làm cho thuật toán có khả năng vượt quá điểm cực tiểu cần đi tới.
Chiều của vector gradient âm có thể chỉ theo hướng đi xa khỏi cực tiểu của mặt phẳng lỗi, và như vậy thì các điều chỉnh trọng số có xu hướng làm cho thuật toán đi sai hướng.
Theo một số nghiên cứu thực nghiệm, tốc độ hội tụ cục bộ của thuật toán back-propagation có tính chất tuyến tính, và có thể chính đó là nguồn gốc của các nguyên nhân gây ra sự ...
Tinh giảm mạng là cách thức giảm số lượng các kết nối của mạng. Phương pháp tinh giảm mạng nổi tiếng nhất là phương pháp ODB (optimal brain damage). Một tiêu chuẩn tinh giảm thô được sử dụng - chúng ta chỉ đơn giản loại bỏ đi các trọng số nhỏ hơn một ngưỡng nào đó. Cần chú ý rằng mạng phải được tích luỹ lại sau khi tinh giảm. Tích luỹ kiểu này hội tụ nhanh hơn nhiều so với tích luỹ gốc. Việc tích luỹ lại sẽ hiệu chỉnh hầu hết các lỗi gây ra bởi tiêu chuẩn tinh giảm.
Thật không may là việc tinh giảm không có ảnh hưởng tích cực tới thời gian tích luỹ bởi nó được áp dụng sau khi tích luỹ. Trong vấn đề giảm thời gian tích luỹ, một số thực nhiệm đã chứng minh khả năng của các mạng có các kết nối được rải mỏng. Trước khi tích luỹ, không có một thông tin nào cho phép chúng ta biết được là những kết nối nào là quan trọng, và như vậy một tập hợp ngẫu nhiên các kết nối phải được lựa chọn.
Mục đích cuả chiến lược kết nối ngẫu nhiên là nhằm xem xét tất cả các kết nối trong một mạng kết nối đầy đủ tương ứng sao cho mỗi kết nối có một xác suất tồn tại là f. Số lượng mong đợi các kết nối trong mạng được rải mỏng (mạng thực tế) là Nf, ở đó N là số các kết nối trong mạng kết nối đầy đủ giả thiết. Các kết quả từ một số nghiên cứu cho thấy các mạng có các kết nối được rải mỏng tốt không kém, thậm chí tốt hơn các mạng OBD và các mạng kết nối đầy đủ.
Trong mạng neuron hồi quy, số các kết nối là tỷ lệ với bình phương kích thước mức ẩn. Như vậy với các mức ẩn lớn, cần các giá trị xác suất kết nối nhỏ để giảm số lượng kết nối tới một giá trị có thể kiểm soát được. Điều này làm giảm chức năng của mạng hơn là có thể được bù đắp bởi số lượng lớn các neuron.
Để giải quyết khó khăn do mối quan hệ bình phương giữa kích thước mức và số lượng kết nối, chúng ta cục bộ hoá các xác suất kết nối. Theo quan điểm này, giá trị xác suất kết nối của các kết nối phản hồi sẽ phụ thuộc khoảng cách giữa hai neuron. Khoảng cách này có thể được xác định bằng độ chênh lệch chỉ số của hai neuron khi ta tiến hành sắp xếp các neuron theo thứ tự lần lượt từng neuron rồi đến từng mức. Ví dụ, xác suất kết nối của hai neuron ẩn un và um có thể là
f(un,um)=e-|n-m|/s
ở đó s là một hằng số chọn trước.
2.2.6 Một vài ưu điểm và nhược điểm của thuật toán Back-propagation
Thuật toán back-propagation luôn được coi như là thuật toán phổ biến nhất cho mô hình học có giám sát của mạng neuron tiến đa mức. Về cơ bản mà nói, nó là một kỹ thuật gradient (đạo hàm), chứ không phải là một kỹ thuật tối ưu hoá. Thuật toán này có hai thuộc tính riêng biệt:
Nó rất đơn giản trong các tính toán cục bộ.
Nó thực hiện sự dịch chuyển theo các gradient ngẫu nhiên trong không gian trọng số (với việc cập các trọng số trên cơ sở từng mẫu một).
Hai tính chất này của thuật toán back-propagation đủ để trả lời cho tất cả các ưu và nhược điểm của nó.
Vấn đề tính toán cục bộ
Thuật toán back-propagation là một mô hình kết nối mà dựa trên các tính toán cục bộ để khám phá ra những khả năng xử lý thông tin của mạng neuron. Dạng giới hạn tính toán này được xem như một ràng buộc về tính cục bộ, với ý nghĩa là các tính toán của một neuron chỉ chịu ảnh hưởng của các neuron kết nối với nó. Việc sử dụng các tính toán cục bộ như vậy trong việc thiết kế mạng neuron nhân tạo thường được ủng hộ bởi ba lý do cơ bản:
Các mạng neuron nhân tạo thực hiện các tín toán cục bộ thường được duy trì như là một hình ảnh cuả các mạng lưới thần kinh sinh học.
Việc sử dụng các tính toán cục bộ cho phép một sự thoái hoá nhẹ nhàng về chức năng khi có lỗi cứng, và như vậy cung cấp cho chúng ta một nền tảng về một thiết kế mạng chấp nhận lỗi.
Các tính toán cục bộ thuận lợi cho việc sử dụng các kiến trúc song song như là một phương pháp hiệu quả để cài đặt các mạng neuron nhân tạo.
Về lý do thứ nhất kể trên, liên quan đến sự hợp lý về mặt sinh học của thuật toán back-propagation, vẫn còn nhiều câu hỏi nghiêm túc được đặt ra mà chưa có lời giải đáp thoả đáng. Tuy nhiên những sự thiếu hụt về thần kinh sinh học không làm giảm đi giá trị về mặt kỹ thuật của thuật tián back-propagation với tư cách là một công cụ xử lý thông tin, và được chứng minh bằng những ứng dụng thành công của nó trong nhiều lĩnh vực khác nhau.
Vấn đề hiệu quả tính toán
Độ phức tạp về tính toán của một thuật toán thường được xác định bằng số lượng các phép cộng, phép nhân, và sự lưu trữ liên quan tới việc cài đặt nó. Một thuật toán học được gọi là hiệu quả trong tính toán khi độ phức tạp tính toán của nó là hàm đa thức của số lượng các tham số có thể điều chỉnh được. Trên cơ sở đó, chúng ta có thể nói rằng thuật toán back-propagation là hiệu quả trong tính toán. Đặc biệt, với việc sử dụng nó để tích luỹ một mạng tiến đa mức bao gồm W trọng số synapse (kể cả các hệ số hiệu chỉnh), độ phức tạp của nó là một hàm tuyến tính của W. Điều này có thể dễ dàng được chứng minh bằng cách xem xét các tính toán liên quan đến việc thực hiện các giai đoạn tiến và lùi của thuật toán.
Vấn đề hội tụ
Thuật toán back-propagation sử dụng một “đánh giá tức thời” cho gradient của bề mặt lỗi trong không gian trọng số. Như vậy thuật toán là ngẫu nhiên về bản chất; nghĩa là nó có xu hướng đi theo những đường zigzag xung quanh hướng đi thực tới cực tiểu của bề mặt lỗi. Như vậy là nó có xu hướng hội tụ chậm; chúng ta có thể nêu ra hai nguyên nhân cơ bản sau:
Xét trường hợp bề mặt lỗi là khá bằng phẳng dọc theo một chiều trọng số nào đó. Điều này có nghĩa là đạo hàm của bề mặt lỗi theo trọng số này có trị tuyệt đối nhỏ. Trong trường hợp này, sự điều chỉnh áp dụng cho trọng số cũng nhỏ, và có thể cần nhiều vòng lặp kế tiếp nhau để có thể làm giảm đáng kể giá trị lỗi. Mặt khác nếu bề mặt lỗi có độ cong lớn dọc theo một chiều trọng số thì đạo hàm của bề mặt lỗi theo trọng số đang xét có trị số lớn, và như vậy các điều chỉnh áp dụng cho trọng số này cũng lớn. Điều này làm cho thuật toán có khả năng vượt quá điểm cực tiểu cần đi tới.
Chiều của vector gradient âm có thể chỉ theo hướng đi xa khỏi cực tiểu của mặt phẳng lỗi, và như vậy thì các điều chỉnh trọng số có xu hướng làm cho thuật toán đi sai hướng.
Theo một số nghiên cứu thực nghiệm, tốc độ hội tụ cục bộ của thuật toán back-propagation có tính chất tuyến tính, và có thể chính đó là nguồn gốc của các nguyên nhân gây ra sự ...