Повна версія

Головна arrow Інформатика arrow ІНТЕЛЕКТУАЛЬНІ СИСТЕМИ: НЕЧІТКІ СИСТЕМИ І МЕРЕЖІ

  • Увеличить шрифт
  • Уменьшить шрифт


<<   ЗМІСТ   >>

АЛГОРИТМ ЗВОРОТНОГО ПОШИРЕННЯ ПОМИЛКИ ДЛЯ МЕРЕЖІ TSK

Нечітка нейронна мережа TSK. має багатошарову структуру з прямим розповсюдженням сигналу, значення виходу якої можна змінювати, коригуючи параметри елементів верств, що дозволяє для навчання цієї мережі використовувати алгоритм зворотного поширення помилки [11]. Для цього буде потрібно навчальна вибірка у вигляді пар (х, d), де х = [х ,, ..., x N ] T - це вхідний вектор, ad- еталонний сигнал. Завдання полягає в такій корекції параметрів мережі, описаної виразом щоб міра похибки, що задається виразом:

була мінімальною.

Якщо застосовується найпростіший метод найшвидшого спуску, то відповідні формули адаптації приймають форму:

де п позначає номер чергової ітерації.

Формули (-) вимагають розрахунку градієнта цільової функції щодо параметрів функції належності. Остаточний вигляд цих формул залежить від використовуваного визначення функції похибки на виході мережі, так і від форми функції приналежності. Наприклад, при використанні функції Гаусса

Відповідні формули градієнта цільової функції для однієї пари навчальних даних (х, d) приймають вид [21]:

де

Незважаючи на складну структуру наведених формул, що виражають компоненти вектора градієнта, вони дозволяють аналітично визначити величини, необхідні для уточнення параметрів нечіткої мережі.

Метод найшвидшого спуску має лінійну збіжність, оскільки в ньому використовуються тільки складові першого порядку при розкладанні цільової функції в ряд Тейлора. Зазначений недолік, а також різке уповільнення мінімізації в найближчій околиці точки оптимального рішення, коли градієнт приймає дуже малі значення, роблять алгоритм найшвидшого спуску низькоефективних. Підвищити ефективність вдається шляхом евристичної модифікації виразу, що визначає напрямок градієнта.

Одна з модифікацій отримала назву алгоритму навчання з моментом. При цьому підході уточнення ваг мережі здійснюється за формулою:

де а - це коефіцієнт моменту, який приймає значення в інтервалі [0, 1].

Перший доданок у формулі відповідає алгоритму найшвидшого спуску, а другий доданок враховує остання зміна ваг і не залежить від фактичного значення градієнта. Чим більше значення коефіцієнта а, тим більше значення має показник моменту на підбір ваг. При постійному значенні коефіцієнта навчання t] [t) = rj приріст ваг залишається приблизно однаковим, тобто Aw y (г) = rjp (t) + aAw j . (/), Тому ефективне збільшення ваг можна писати формулою:

При значенні а = 0,9 це відповідає десятикратному збільшенню значення коефіцієнта навчання і, отже, десятикратному прискоренню процесу навчання. При малих значеннях градієнта показник моменту починає домінувати, що призводить до такого приросту ваги, яке відповідає збільшенню значення цільової функції, що дозволяє вийти із зони локального мінімуму. Однак показник моменту, не повинен домінувати протягом усього процесу навчання, оскільки це призводить до нестабільності алгоритму. На практиці, збільшення цільової функції не допускається більше, ніж на 4%. В іншому випадку, Ді ^ (/) = 0. При цьому показник градієнта починає домінувати над показником моменту і процес розвивається в напрямку мінімізації, заданому вектором градієнта [17].

 
<<   ЗМІСТ   >>