cherubtear24
New Member
Download miễn phí Luận văn công cụ đo và cảm biến
-Mạng Adaline
Năm 1960, Windrow vàMarcian Hoff đã giới thiệu mạng Adaline và
một luật học gọi là LMS (Least Mean Square).
Mạng Adaline tương tựnhưperceptron ngoại trừhàm truyền là hàm
tuyến tính thay cho hardlimit. CảAdaline và Perceptron đều có cùng hạn chế:
chúng chỉcó thểgiải quyết được bài toán phân lớp tuyến tính (khảtách tuyến
tính). Tuy vậy thuật học LMS mạnh hơn luật học perceptron. Luật học
perceptron được đảm bảo hội tụ đến một lời giải cho phép phân nhóm đúng
đắn các mẫu huấn luyện, mạng thu được có thểnhạy với nhiễu vì các mẫu
thường nằm ởgần các biên quyết định. Thuật học LMS cực tiểu hóa sai số
bình phương trung bình do đó cốgắng dịch chuyển các biên quyết định ra xa
các mẫu huấn luyện nhất có thểtránh được ảnh hưởng của nhiễu
Để tải bản Đầy Đủ của tài liệu, xin Trả lời bài viết này, Mods sẽ gửi Link download cho bạn sớm nhất qua hòm tin nhắn.
Ai cần download tài liệu gì mà không tìm thấy ở đây, thì đăng yêu cầu down tại đây nhé:
Nhận download tài liệu miễn phí
Tóm tắt nội dung tài liệu:
∑p1
p2
Phần mềm
Qy1
Qy2
Q
nQy
qy1
qy2
q
n q
y
1
1y
1
2y
1
1n
y
Lớp vào Lớp ra
1
1b
1
1n
b
qb1
q
n q
b Q
nQ
b
Qb1
36
q
ib : ngưỡng của nơron thứ i ở lớp thứ q.
q
ijw : trọng liên kết giữa đầu ra thứ j của lớp thứ q-1 đến nơron thứ i của
lớp thứ q, j=1... 1−qn
Đầu vào mạng y0=p.
Đầu ra mạng y=yQ
Hàm năng lượng của mạng có thể tính theo biểu thức:
2
1
)(
2
1)( Qi
n
i
i ydwE
Q
−= ∑
=
Trong đó di là đầu ra mong muốn của nơron thứ i ở lớp ra.
Hầu hết các mạng nơron thực tế chỉ có 2 hay 3 lớp, rất hiếm mạng có từ
4 lớp trở lên. Các đặc điểm của tín hiệu đầu ra sẽ quyết định hàm truyền của
mạng ở lớp ra.
+ Một số mạng nơron truyền thẳng
- Mạng Perceptron (PE)
Trong đó :
m: số đầu vào
n: Số nơron
∑
∑
∑
p1
p2
Phần mềm
1y
2y
ny
1b
2b
nb
W
∑
b 1
n x 1
n x m
p
m x1
m
y
n x1 n x1
u
y=hardlim(Wp+b)
Hard limit Layer Input
Hình 2.11: Mạng perceptron một lớp với hàm truyền hardlimit
37
Ma trận trọng số:
⎥⎥
⎥⎥
⎦
⎤
⎢⎢
⎢⎢
⎣
⎡
=
nmnn www ....
..............
w...ww
w...ww
W
21
2m2221
1m1211
Ma trận đầu vào p= [p1,p2,....Phần mềm ]T
b= [b1, b2,....bn ]T
Phương trình tác động :
)()(
1
)( sgn ki
k
j
m
j
ij
k
i dpWy =⎟⎟⎠
⎞
⎜⎜⎝
⎛
= ∑
=
Trong đó )(kid là đầu ra mong muốn của nơron thứ i ở bước lặp thứ k.
Mạng sử dụng luật học Perceptron:
Wnew = Wold+e.pT
bnew = bold +e
Trong đó e =d-y là sai số Perceptron.
Mạng Perceptron thích hợp cho bài toán nhận dạng và phân loại mẫu.
-Mạng Adaline
Năm 1960, Windrow và Marcian Hoff đã giới thiệu mạng Adaline và
một luật học gọi là LMS (Least Mean Square).
Mạng Adaline tương tự như perceptron ngoại trừ hàm truyền là hàm
tuyến tính thay cho hardlimit. Cả Adaline và Perceptron đều có cùng hạn chế:
chúng chỉ có thể giải quyết được bài toán phân lớp tuyến tính (khả tách tuyến
tính). Tuy vậy thuật học LMS mạnh hơn luật học perceptron. Luật học
perceptron được đảm bảo hội tụ đến một lời giải cho phép phân nhóm đúng
đắn các mẫu huấn luyện, mạng thu được có thể nhạy với nhiễu vì các mẫu
thường nằm ở gần các biên quyết định. Thuật học LMS cực tiểu hóa sai số
bình phương trung bình do đó cố gắng dịch chuyển các biên quyết định ra xa
các mẫu huấn luyện nhất có thể tránh được ảnh hưởng của nhiễu.
38
Thuật học LMS có nhiều ý nghĩa sử dụng thực tế hơn luật học
perceptron, điều này đặc biệt đúng trong lĩnh vực xử lý tín hiệu số. Chẳng
hạn, các hệ thống điện thoại đường dài có thể sử dụng các mạng Adaline để
khử nhiễu lặp. Mạng Adaline cũng được ứng dụng để lọc thích nghi.
Trong đó :
m: số đầu vào
n: số nơron
Ma trận trọng số:
⎥⎥
⎥⎥
⎦
⎤
⎢⎢
⎢⎢
⎣
⎡
=
nmnn www ....
..............
w...ww
w...ww
W
21
2m2221
1m1211
Ma trận đầu vào p= [p1,p2,....Phần mềm ]T
b= [b1, b2,....bn ]T
Phương trình tác động
)()(
1
)( k
i
k
j
m
j
ij
k
i dpWy == ∑
=
Thuật toán sai số bình phương nhỏ nhất hay còn gọi là luật học delta
hay thuật học Windrow-Hoff.
∑
∑
∑
p1
p2
Phần mềm
1y
2y
ny
1b
2b
nb
W
∑
b 1
n x 1
n x m
p
m x1
m
y
n x1 n x1
u
y=pureline(Wp +b)
Lớp nơron tuyến tính Đầu vào
Hình 2.12: Mạng Adaline
39
Tại bước lặp thứ k+1 ta có:
)().(.2)()1( kpkekWkW Tα+=+
)(.)()1( keekbkb α+=+
Trong đó:
)().()()()()( kpkWkdkykdke −=−=
và α là hệ số học
- Mạng nơron truyền thẳng nhiều lớp sử dụng thuật học lan truyền
ngược
Mạng lan truyền ngược thường có một hay nhiều lớp ẩn với các nơron
dạng sigmoid và lớp ra là các nơron với hàm truyền tuyến tính. Mạng nhiều
lớp sử dụng thuật học lan truyền ngược đang được sử dụng rộng rãi nhất trong
lĩnh vực nơron.
Luật học lan truyền ngược được phát triển từ luật học delta. Cũng như
luật học delta, luật học lan truyền ngược (BP) là xấp xỉ của thuật toán giảm
dốc nhất, trong đó hàm chất lượng là sai số bình phương trung bình. Sự khác
nhau giữa luật học delta và luật học lan truyền ngược chỉ là cách thức lấy đạo
hàm.
W1
∑
b1 1
n1x 1
n1xm
p
m x1
m
y1
n1x1
n1x1
u1
y1=tansig(W1p +b1)
Lớp nơron Sigmoid Đầu vào
W2
∑
b2
n2x1
n2x1 n2x1
u2
y2=pureline(W2y1 +b2)
Lớp nơron tuyến tính
1
y2n2xn1
Hình 2.13: Ví dụ mạng hai lớp sử dụng thuật học BP
40
Đối với mạng đa lớp ta có phương trình )( 1111 ++++ += qqqqq byWgy với
q=0,1,..Q-1. Trong đó Q là số lớp của mạng. Các nơron ở lớp đầu tiên nhận
đầu vào từ ngoài: y0=p làm điểm khởi đầu. Các đầu ra của các nơron trong lớp
cuối cùng được xem là đầu ra của mạng y=yQ.
Mạng được cung cấp các tập mẫu học: {p1,d1},{p2,d2},...{pk,dk}, trong đó
pi là một đầu vào mạng và di là đầu ra đích tương ứng. Khi mỗi đầu vào được
áp lên mạng, luật học sẽ điều chỉnh các tham biến mạng để cực tiểu hóa sai số
bình phương trung bình:
))()(.())()(()().()( kykdkykdkekexF TT −−==∧ với x là véc tơ chứa các trọng
số và ngưỡng của mạng: x= ⎥⎦
⎤⎢⎣
⎡
b
W'
Thuật toán giảm dốc nhất cho xấp xỉ sai số bình phương trung bình là:
q
ij
q
ij
q
ij
ˆ
)()1(
w
Fkwkw
∂
∂−=+ α
q
i
q
i
q
i
ˆ
)()1(
b
Fkbkb
∂
∂−=+ α
Trong đó α là hệ số học.
Với định nghĩa q
i
ˆ
u
Fsqi ∂
∂= là độ nhạy của Fˆ theo thay đổi của net input tại
lớp q.
Thuật toán xấp xỉ giảm dốc nhất trở thành :
1q
ij
q
ij )()1(
−−=+ qjqi yskwkw α
q
iskbkb α−=+ )()1( qiqi
Và dạng ma trận:
Tqqqq yskWkW )(.)()1( 1−−=+ α
41
qqq skbkb .)()1( α−=+
Trong đó:
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥
⎦
⎤
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢
⎣
⎡
∂
∂
∂
∂
=∂
∂=
q
n
q
q
q
qu
F
.
u
F
u
F
ˆ
.
ˆ
ˆ
1
s
Ký hiệu
⎥⎥
⎥⎥
⎥⎥
⎥⎥
⎥
⎦
⎤
⎢⎢
⎢⎢
⎢⎢
⎢⎢
⎢
⎣
⎡
=
)('...00
..
..
..
0...)('0
0...0)('
)('
2
1
q
n
q
quf
uf
uf
uF
Ta có: ( ) 11)(' ++= qTqqqq sWuFs
))(('2 yduFs QQQ −−=
Ta sẽ truyền lùi các độ nhạy thông qua mạng từ lớp cuối cùng cho đến
lớp đầu tiên.
sQ sQ-1 ..... s2 s1
Tóm lại giải thuật BP được mô tả như sau:
• Bước truyền thẳng: truyền đầu vào xuôi theo mạng:
y0 = p
)( 1111 ++++ += qqqqq byWgy với q=0,1,...,Q-1.
y = yQ
• Bước truyền lùi: truyền lùi các độ nhạy:
))(('2 yduFs QQQ −−= ;
42
( ) 11)(' ++= qTqqqq sWuFs với q = Q-1,...,2,1.
• Các trọng số và ngưỡng được cập nhật theo luật xấp xỉ giảm dốc
nhất:
Tqqqq yskWkW )(.)()1( 1−−=+ α
qqq skbkb .)()1( α−=+
Tuy nhiên thuật toán BP cơ bản ở trên vẫn còn quá chậm cho các ứng
dụng. Việc nghiên cứu các thuật toán nhanh hơn được chia thành hai nhóm.
Nhóm thứ nhất phát triển các kỹ thuật mang tính kinh nghiệm (heuristic), nay
sinh khi nghiên cứu về chất lượng đặc trưng của thuật toán BP. Các kỹ thuật
heuristic này đưa ra các ý tưởng như hệ số học biến đổi, sử dụng momentum
và các biến co giãn. Nhóm thứ hai phát triển theo hướng kỹ thuật tối ưu hóa
số. Một số kỹ thuật về tối ưu hóa số đã áp dụng thành công cho mạng nơron
nhiều lớp là : thuật toán gradient liên hợp và thuật toán Levenberg-Marquardt
(LM- một phiên bản khác của phương pháp Newton)... [TL5]
2.3.3.2 Mạng nơron phản hồi
Mạng nơron phản hồi có một số đầu ra kết nối đến các đầu vào của
mạng.
Hình 2.14: Mạng nơr...