უკუპროპაგაციული მოდელი/წონების კორექტირების პროცედურა

სწავლის პროცესში წახნაგების წონების კორექტირების პროცედურა ნეირონულ ქსელში წარმოადგენს ერთ-ერთ უმთავრეს ამოცანას. ქვემოთ ნაჩვენებია თუ როგორ შეიძლება ამის გაკეთება მარტივი მათემატიკური გამოთვლით და იმ აქტივაციის ფუნქციით, რომელიც წინა თავშია განსაზღვრული

შეცდომის ზომა

ვთქვათ, რომ ნეირონული ქსელის გამოსავალზე მიღებულია სიგნალი $(y_{1},y_{2},...,y_{n_{o}})$. ჩვენ გვინდა რომ ქსელმა მოგვცეს სიგნალის მნიშვნელობა $(t_{1},t_{2},...,t_{n_{o}})$, სადაც $n_{o}$ აღნიშნავს გამოსავალ შრეზე ნეირონების რაოდენობას. იმისათვის რომ შევადაროთ მიღებული სიგნალი სასურველს, მოდით შემოვიღოთ შემდეგი შეცდომის ზომა:

$E={\frac {1}{2}}\sum _{k}{(t_{k}-y_{k})^{2}}$.

ეს არის განსხვავებათა კვადრატების ჯამი, ნორმირების კოეფიციენტი $1/2$ საჭიროა, რომ შეიკვეცოს წარმოებისას.

ამ ზომაზე დაყრდნობით ჩვენ შეგვიძლია განვსაზღვროთ, თუ როდის არის სწავლის შედეგი მიღწეული. კერძოდ კი, თუ სრულდება $E\leq \epsilon$ პირობა ყველა შესასწავლი სტრუქტურისთვის. აქ $\epsilon$ არის წინასწარ შერჩეული მცირე რიცხვი.

წონის კორექტირების პრინციპი

წონის დასაკორექტირებლად უნდა მივმართოთ მეთოდს, რომლის მიხედვითაც ცალკეული წონის ცვლილების სიდიდე უნდა იყოს იმის პროპორციული თუ რამდენი წვლილი შეიტანა მან შეცდომის ზომაში. სხვა სიტყვებით,

$\Delta w_{ij}\sim -{\frac {\partial E}{\partial w_{ij}}}$,

სადაც $w_{ij}$ წარმოადგენს წახნაგის წონას, რომელიც აკავშირებს $i$-ურ და $j$-ურ ნეირონებს ორ მეზომელ შრეში.

გამოყვანა

ჩვენი ძირითადი მიზანი ახლა არის $-{\frac {\partial E}{\partial w_{ij}}}$ სიდიდის დათვლა.

შემდგომ განხილვაში ჩვენ ვიგულისხმებთ, რომ ჩვენი ქსელი შეიცავს მხოლოდ ერთ შიდა შრეს, თუმცა შედეგი ადვილი განსაზოგადებელია ნებისმიერი რაოდენობა შიდა შრისათვის. აგრეთვე წახნაგთა წონაში $w_{ij}$ ვიგულისმხებთ, რომ პირველი ინდექსი აღნიშნავს მარცხენა შრეში, ხოლო მეორე ინდექსი მარჯვენა შრეში მდებარე ნეირონს. წახნაგის წონის აღნიშვნა $w_{ij}$ გამოიყენება როგორც შემომავალი და შიდა, ასევე შიდა და გამავალი შრეების დამაკავშირებელ წახნაგებს, თუ ეს არ იწვევს გაუგებრობას; ხოლო თუ საჭიროა შიდა და გამავალი შრეების დამაკავშირებელი წახნაგის ცხადად გამოყოფა, უკანასკნელი აღინიშნება $w'_{ij}$-თი.

ჩავწეროთ,

(*) ${\frac {\partial E}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial w_{ij}}}$.

ამ გამოსახულების მარჯვენა მხარეში მეორე წევრი საკმაოდ ადვილი მისაღებია, ამისთვის ის კიდევ დავშალოთ, ${\frac {\partial o_{j}}{\partial w_{ij}}}={\frac {\partial o_{j}}{\partial net_{j}}}{\frac {net_{j}}{\partial w_{ij}}}$. რადგან $o_{j}=f(net_{j})$, წინა განყოფილებაში ნაჩვენები $f(net_{j})$-ის თვისების მიხედვით ${\frac {\partial o_{j}}{\partial net_{j}}}=o_{j}(1-o_{j})$; ხოლო $net_{j}=\sum {w_{ik}o_{k}}$ გამოსახულების ყველა წევრი გვაძლევს ნულს $w_{ij}$-ზე დიფერენცირებისას, გარდა $w_{ij}o_{j}$ წევრისა, შესაბამისად ${\frac {net_{j}}{\partial w_{ij}}}=o_{i}$. თუ შევაჯამებთ,

${\frac {\partial o_{j}}{\partial w_{ij}}}=o_{i}o_{j}(1-o_{j})$.

(*) განტოლების მარჯვენა მხარეში პირველი წევრი შეიცავს დამოკიდებულებას არქიტექტურულ ნაწილზე. არსობრივად ${\frac {\partial E}{\partial o_{j}}}$ არის ცდომილების ცვლილების სიდიდე რომელიმე ნეირონის გამომავალი სიგნალის მიმართ. თუ ეს ნეირონი იმყოფება გამომავალ შრეზე, მაშინ $o_{j}\equiv t_{j}$, და გვაქვს

${\frac {\partial E}{\partial o_{j}}}=-(t_{j}-y_{j})$.

როდესაც ნეირონი იმყოფება შიდა შრეზე, მაშინ მისი გამომავალი სიგნალის ცვლილება იწვევს გამომავალი სიგნალის მნიშვნელობის შეცვლას ყველა გარე შრის ნეირონზეც, რომლებიც თავის მხრივ მოქმედებენ ცდომილების სიდიდეზე, ამიტომ შეგვიძლია წარმოვადგინოთ საძიებელი სიდიდე შემდეგი ჯამის სახით, ${\frac {\partial E}{\partial o_{j}}}=\sum _{k}{{\frac {\partial E}{\partial o_{k}}}{\frac {\partial o_{k}}{\partial o_{j}}}}$, სადაც აჯამება მიდის $k$ ინდექსით რომელიც შეესაბამება გარე შრის ნეირონებს.