Повна версія

Головна arrow Природознавство arrow ІНТЕЛЕКТУАЛЬНІ СИСТЕМИ

  • Увеличить шрифт
  • Уменьшить шрифт


<<   ЗМІСТ   >>

СТАТИСТИЧНИЙ ПІДХІД ДО РОЗПІЗНАВАННЯ

Розглядається наступна задача розпізнавання образів. Дано безліч X об'єктів, щодо яких проводиться розпізнавання. Без істотного обмеження спільності будемо вважати, що воно представляється у вигляді об'єднання двох класів До 1 і Кг- Класи До і Кг невідомі, але дана навчальна вибірка, яка представляє собою кінцеве підмножина безлічі X, і про кожен елемент цієї підмножини повідомляється, до якого класу він належить. За навчальною вибіркою треба виробити вирішальне правило, яке за пред'явленням йому об'єкта з X вирішує, до якого з класів його віднести.

Якість і надійність вирішального правила

При статистичному підході до розпізнавання вважається, що навчальна вибірка формується таким чином. На безлічі X задано розподіл ймовірностей Р (х), і об'єкти х з'являються випадково і незалежно відповідно до цього розподілу. Існує '' вчитель ", який відносить об'єкти до одного з двох класів відповідно до умовної ймовірності P (i | х), яка говорить про ймовірності того, що об'єкт х буде віднесений до класу г 6 {1,2}. Ні розподіл Р (х ), ні правило класифікації р (г | х) нам не відомі, але відомо, що обидві функції існують, і, отже, існує спільний розподіл вірогідності р (х, г) = р (х) • р (г | х).

Класи Ki і Кг при статистичному підході так само задаються функціями розподілу ймовірностей. А саме, вважається, що існують умовні щільності розподілу Р (х | г = 1) і Р (х | г = 2), що задають щільність розподілу ймовірностей об'єктів першого і другого класів відповідно. Також існують величини Р і Р2, які визначають ймовірність появи об'єктів відповідно першого і другого класів. Існування цих функцій і величин не припускає, що ми їх знаємо.

Також вважається, що визначено безліч Т вирішальних правил F (x, a). У цій множині кожне правило визначається завданням параметра а (іноді зручно розуміти параметр а як вектор). Всі правила F (x, a) при фіксації параметра а можуть приймати одне з двох значень: одиниця або двійка, що говорять до якого з двох класів віднесений об'єкт х.

Для кожної функції F (x, а) може бути визначено якість Р (а) як ймовірність неправильних класифікацій, тобто ймовірність того, що вчитель і вирішальне правило класифікують об'єкт по різному. Формально якість Р (а) функції F (x, а) визначається так:

а) в разі, коли простір X дискретно і складається їх точок xi, ..., х п ,

де P (xj) - ймовірність виникнення об'єкта ху у

б) у разі, коли в просторі X існує щільність розподілу Р (х),

в) в загальному випадку можна вважати, що в просторі X х {1,2} задана імовірнісна міра Р (х, г), і тоді

Серед всіх функцій F (x, а) є така F (x, ao), яка мінімізує ймовірність помилок. Цю-то найкращу в класі функцію (або близьку до неї, тобто функцію з якістю, відмінним від Р (а о) не більше ніж на малу величину е) і слід знайти. Однак, оскільки спільний розподіл вірогідності Р (х, г) невідомо, пошук ведеться з використанням навчальної послідовності

тобто випадкової і незалежної вибірки прикладів фіксованої довжини Z, де Xj - об'єкт, ij - номер класу, якому належить об'єкт Xj, j = 1,2Понятно, що в загальному випадку не можна знайти алгоритм, який по кінцевої вибірці безумовно гарантував би успіх пошуку. Успіх можна гарантувати з певною ймовірністю I - т].

Таким чином, завдання полягає в тому, щоб для будь-якої функції P (x y i) серед вирішальних правил F (x, a) знайти по навчальної послідовності фіксованою довжини I таку функцію F (x, cv *), про яку з надійністю, що не меншою 1 - 77, можна було б стверджувати, що її якість відрізняється від якості кращої функції F (x, з * о) на величину, що не перевищує €.

Це завдання є окремий випадок відомої в математиці завдання, званої завданням мінімізації середнього ризику.

Як приклад можна привести вирішальне правило пер- септрона. Якщо класи Ki і К 2 0-віддільні, і

то вирішальне правило персептрона виглядає як

де a - ваговий вектор і в даному випадку параметр вирішального правила. Якість же вирішального правила визначається так:

Підведемо підсумок. Здатність до навчання характеризується двома поняттями:

  • а) якістю отриманого вирішального правила (ймовірністю неправильних відповідей; чим менше ця вірогідність, тим вище якість);
  • б) надійністю отримання вирішального правила із заданою якістю (ймовірністю отримання заданої якості; чим вище ця вірогідність, тим вище надійність успішного навчання).

Завдання зводиться до створення такого навчального пристрою, який за навчальною послідовності будувало б вирішальне правило, якість якого із заданою надійністю було б не нижче необхідного.

 
<<   ЗМІСТ   >>