Wydział Fizyki, Astronomii i Informatyki Stosowanej Uniwersytet Mikołaja Kopernika



Pobieranie 433.8 Kb.
Strona1/14
Data04.05.2016
Rozmiar433.8 Kb.
  1   2   3   4   5   6   7   8   9   ...   14


Wydział Fizyki, Astronomii i Informatyki Stosowanej

Uniwersytet Mikołaja Kopernika

Sebastian Skrzynecki

Optymalizacja prawdopodobieństw apriorycznych w zastosowaniu do klasyfikacji danych doświadczalnych




Praca Magisterska

napisana pod kierunkiem

prof. dr hab. Włodzisława Ducha

Toruń 2001


1.Wprowadzenie 4

2.Decyzje klasyfikatora jako przedmiot badań 6

2.1 Przygotowanie danych do klasyfikacji 6

2.2 Ogólny schemat klasyfikatora 7

2.3 Prawdopodobieństwa aprioryczne 9

3.Optymalizacja prawdopodobieństw apriorycznych 10

3.1 Przekształcenie przy pomocy liniowego parametru 10

3.2 Hiper – kwadratowa funkcja kosztu, i jej własności 11

3.3 Liczba popełnianych błędów jako funkcja kosztu 16

3.4 Różnice i podobieństwa 17

3.5 Korelacje pomiędzy zbiorami treningowym i testowym 21

3.6 Problem reprezentatywności próbek w bazie – wpływ na klasyfikację i kształt granic decyzji 25

4.Zmiany w modelach klasyfikatorów 31

4.1 Zmiany w modelu perceptronu ciągłego 31

4.2 Zmiany w modelu k – NN 35

4.3 Zmiany w komitecie klasyfikatorów 42

4.4 Zmiany w modelu FSM 43

5.Porównanie wyników klasyfikacji 47

5.1 Dane „Jonosfera” 47

5.2 Dane „Sonar” 48

5.3 Dane „Nadczynność tarczycy” 49

5.4 Dane „samogłoski” 50

5.5 Dane „obrazy satelitarne” 51

6.Ogólny projekt programu wspomagającego badania 53

6.1 Etapy projektowania aplikacji 53

6.2 Model kaskadowy cyklu życia oprogramowania 53

6.3 UML 54

6.3.1 Diagramy klas i obiektów 55

6.4 Diagramy w notacji UML programu wspomagającego badania 56

6Zakończenie 59

7Bibliografia 60



  1. Wprowadzenie


Wiele metod statystycznych, rozpoznawania wzorców (pattern recognition) i uczenia maszynowego stosuje się do klasyfikacji danych. Metody AI i NN również się do tego nadają. Przy pomocy odpowiednio zaprojektowanej sieci neuronowej możemy wyznaczyć przynależność danych do poszczególnych klas lub podjąć odpowiednią decyzję. Podobnie jest z metodami, które wywodzą się bezpośrednio z sieci neuronowych. Taką metodą jest klasyfikacja przy pomocy k najbliższych sąsiadów (k – NN).

Celem klasyfikacji jest przyporządkowanie obiektowi fizycznemu, zdarzeniu lub zjawisku jednej z wcześniej wyspecyfikowanych klas. Ludzie zadania te wykonują od początku swojej egzystencji pomimo braku formalnej teorii postrzegania i klasyfikacji obrazów.

W procesie zwanym adaptacją systemu lub uczeniem ustalane są pewne parametry danego klasyfikatora. Dla sieci neuronowej jest to optymalny, pod względem pewnej funkcji kosztu, dobór wag łączących neurony. Dla sytemu k – NN jest to wyznaczenie optymalnej liczby sąsiadów branych pod uwagę w ocenie prawdopodobieństwa przynależności nieznanej próbki do wszystkich możliwych klas. Systemy te generują na swoich wyjściach pewne wartości, na podstawie których po odpowiedniej interpretacji możemy określić kategorię danego obrazu. Sieć neuronowa mająca m wyjść oraz rozpoznająca m klas może być najbardziej wzbudzona na wyjściu o takim numerze, które wskazuje kategorię. Najbardziej wzbudzona może oznaczać przekroczenie pewnego progu wzbudzenia. System k-NN daje konkretne wartości prawdopodobieństw przynależności obrazu do każdej z klas. Wybierana jest ta, która ma największą wartość.

Praca dotyczy sprawdzenia efektywności poprawek a posteriori [1] w różnych systemach klasyfikujących dane, ich wpływu na prawdopodobieństwa klasyfikacji i granice decyzji klasyfikatorów. Poprawki a posteriori polegają na wprowadzeniu dodatkowych parametrów, które skalują prawdopodobieństwa wyjściowe klasyfikatorów według pewnych zasad. Dobór optymalnych parametrów odbywa się w drodze optymalizacji liniowej. Zadaniem jest odpowiedź na pytania: w jaki sposób dodatkowe parametry wpływają na system klasyfikacyjny? Czy wprowadzenie współczynników poprawia jakość klasyfikacji?

W rozdziale drugim przedstawiony jest przedmiot badań, jakim są prawdopodobieństwa generowane przez klasyfikator. Zdefiniowane są między innymi takie pojęcia jak: poprawność klasyfikacji oraz próbka. Formalnie opisane są decyzje klasyfikatora.

Rozdział trzeci dotyczy wpływu współczynników skalujących na architekturę systemów klasyfikacyjnych. Omówiony jest wpływ na granicę decyzji wyznaczaną przez perceptron ciągły, następnie wpływ dodatkowego parametru na zmianę w systemie k-NN. Wprowadza się pojęcia efektywnej liczby wektorów referencyjnych, okazuje się, że liczba takich wektorów może być liczbą rzeczywistą. Dalej badany jest wpływ na komitet klasyfikatorów, a w ostatnim kroku wpływ na sieć FSM.

W rozdziale czwartym znajduje się porównanie jakości klasyfikacji dla różnych systemów, oraz dla systemów FSM oraz k-NN z optymalizacją prawdopodobieństw. Wyniki na danych rzeczywistych pokazują, że metoda poprawia jakość klasyfikacji i daje wyniki, które znajdują się w czołówce.

Rozdział piąty dotyczy ogólnego projektu aplikacji wykorzystywanej w badaniach. Omówione zostały etapy projektowania aplikacji, język UML służący do obiektowego modelowania systemów. W dalszej części omówiony został obiektowy model aplikacji wykorzystanej w badaniach.

  1. Decyzje klasyfikatora jako przedmiot badań


W momencie, gdy stajemy przed problemem klasyfikacji danych musimy zdecydować jakiego sposobu użyjemy. Do dyspozycji mamy metody łatwe i trudne w zastosowaniu, szybkie i stosunkowo wolne. Metod klasyfikacji jest wiele, jak i narzędzi, które je wykorzystują. Nam jednak, nie będzie zależało na wszystkich cechach charakterystycznych i algorytmach postępowania, wynikiem których jest klasyfikacja zbioru próbek. Zajmiemy się ogólnym modelem klasyfikatora, przyjmiemy metodę klasyfikacji, jako „czarną skrzynkę”. Jedynie w próbie określenia wpływu metody optymalizacji na elementy danego klasyfikatora zajrzymy do „wnętrza” metody. Jedynym produktem klasyfikatora, jaki będzie nas interesować będą prawdopodobieństwa przynależności do każdej klasy poszczególnych próbek poddawanych klasyfikacji. Prawdopodobieństwa te będą korygowane za pomocą poprawek, które mogą wpłynąć na jakość klasyfikacji. Wynika z tego, że naszym celem będzie badanie wpływu naszych transformacji na klasyfikację, oraz przyjrzenie się tym zmianom od strony systemu klasyfikującego – wpływu na stosowane w nim metody.

Żeby można było przekształcać produkt klasyfikatora, przyjrzyjmy się dokładniej co jest przedmiotem naszych badań.




  1   2   3   4   5   6   7   8   9   ...   14


©absta.pl 2019
wyślij wiadomość

    Strona główna