W5, politechnika infa 2 st, Sieci neuronowe, WYKŁADY

Sztuczne sieci neuronowe
Krzysztof A. Cyran
POLITECHNIKA ŚLĄSKA
Instytut Informatyki, p. 311
   Wykład 5
PLAN:
-
Metody doboru współczynnika uczenia
-
Problem inicjalizacji wag
-
Problem doboru architektury sieci
-
Dobór danych uczących
-
Preprocessing: ekstrakcja cech
   Wykład 5
PLAN:
-
Metody doboru współczynnika uczenia
-
Problem inicjalizacji wag
-
Problem doboru architektury sieci
-
Dobór danych uczących
-
Preprocessing: ekstrakcja cech
   Metody doboru współczynników
uczenia
•
Stałe współczynniki takie same dla wszystkich
warstw (np. η = 0.05, µ = 0.9)
•
Stałe współczynniki (osobno dla każdej z warstw)
η≤min(1
/n
i
)
gdzie:
n
i
to liczba wejść
i
-tego neuronu w
rozważanej warstwie
•
Cechy powyższych metod: proste ale mało
wydajne
   Metody doboru współczynników
uczenia (cd.)
•
Metoda adaptacyjna (jeżeli błąd maleje to należy
zwiększyć η). Zdefiniujmy błąd ε jako:
M
∑
=
2
ε
=
(
y
−
d
)
j
j
j
1
Jeżeli ε
i
>
k
w
ε
i
-1
to: η
i
+1
= η
i
ρ
d
(ρ
d
< 1)
w przeciwnym razie: η
i
+1
= η
i
ρ
i
(ρ
i
> 1)
Wartości przykładowe:
współczynnik dopuszczalnego wzrostu błędu:
k
w
=1.04,
współczynnik zmniejszania η: ρ
d
=0.7,
współczynnik zwiększania η: ρ
i
=1.05)
  

zanotowane.pl

doc.pisz.pl

pdf.pisz.pl

alter.htw.pl