W3, politechnika infa 2 st, Sieci neuronowe, WYKŁADY

Sztuczne sieci neuronowe
Krzysztof A. Cyran
POLITECHNIKA ŚLĄSKA
Instytut Informatyki, p. 311
   Wyk
ł
ł
ad 3
ad 3
Wyk
PLAN:
Algorytm propagacji wstecznej błędu:
-
Oznaczenia
-
Uczenie jako minimalizacja błędu średniokwadratowego
-
Pojęcie uogólnionej delty
-
Cechy algorytmu backpropagation
-
Podsumowanie algorytmu klasycznego
-
Inercyjne modyfikacje
   Perceptron R-warstwowy
1
1
1
x
1
y
1
x
N
y
M
N
1
N
N
R-1
N
R
  Back propagation: oznaczenia
•
N
- ilość wejść
•
M
- ilość wyjść
•
R
- ilość warstw
•
L
- ilość wzorców uczących
•
N
i
- ilość neuronów warstwy i-tej (
N
R
= M
)
•
x
(j)
- j-ty wektor wejściowy
•
y
(j)
- j-ty wektor wyjściowy
•
d
(j)
- j-ty oczekiwany wektor wyjściowy
•
O
j
(l)R
- sygnał na wyjściu
j
-tego neuronu
R
-tej warstwy (
R
= 1..
N
R
)
po podaniu
l
-tego wzorca (
l
= 1..
L
)
•
E
-całkowity błąd sieci po podaniu wszystkich wzorców uczących
•
E
(l)
-całkowity błąd sieci po podaniu
l
-tego wzorca uczącego
•
E
m
(l)
-błąd po podaniu
l
-tego wzorca uczącego dla
m
-tego wyjścia
•
η-współczynnik uczenia
   Backpropagation
•
Dany jest ciąg uczący postaci:
{(
x
(1)
,
d
(1)
), ..., (
x
(L)
,
d
(L)
)}
Wówczas:
L
(
l
)
=
E
=
E
l
1
M
1
M
Gdzie:
∑
∑
(
l
)
l
m
(
)
l
m
(
)
l
m
(
)
2
E
=
E
=
(
d
−
y
)
2
m
=
1
m
=
1
  

zanotowane.pl

doc.pisz.pl

pdf.pisz.pl

alter.htw.pl