Dobór zmiennych objaśniających w modelu liniowym



Pobieranie 35.19 Kb.
Data02.05.2016
Rozmiar35.19 Kb.
Dobór zmiennych objaśniających w modelu liniowym
Nieobecność w modelu zmiennej istotnej powoduje błędną prognozę (na ogół obciążenie estymatorów parametrów i w konsekwencji obciążenie estymatora wartości oczekiwanej prognozy – prognoza może iść w zupełnie złym kierunku).

Obecność w modelu nieistotnej zmiennej powoduje zbędny wzrost wariancji prognozy.


Miary zgodności modelu

Przy doborze zmiennych do modelu używa się na ogół następujących miar zgodności modelu (czyli miar dopasowania danych do modelu liniowego):



  • skorygowany współczynnik determinacji (poznany wcześniej, im większy, tym lepiej),

  • kryterium informacyjne Akaike (AIC, im mniejsze, tym lepiej):

(można spotkać też inne postacie wzoru; wzór powyżej taki jak zaimplementowany w R),



  • bayesowskie kryterium informacyjne (BIC, znane też jako kryterium informacyjne Schwartza, im mniejsze, tym lepiej):

,

  • statystyka Mallowa,

  • inne.

Stosowanie kryteriów informacyjnych wymaga koniecznie (!) spełnienia założenia o rozkładzie normalnym i niezależności zaburzeń losowych. Stosowanie skorygowanego współczynnika determinacji jest możliwe także przy pewnych odstępstwach od założeń o normalności zaburzeń losowych i o ich niezależności.
Metody typu brute force (przeszukiwanie wszystkich modeli)

W metodach typu brute force celem jest znalezienie modelu o najbardziej optymalnej (tzn. najlepszej) wartości pewnej miary zgodności modelu poprzez obliczenie tej miary dla wszystkich możliwych modeli.

Liczba wszystkich możliwych modeli przy zmiennych (nie licząc wyrazu wolnego) wynosi , zatem przejrzenie wszystkich modeli jest często niemożliwe i należy zastosować inne procedury.
Usuwanie zmiennych prawie stałych

Przed przystąpieniem do wyboru modelu spośród zmiennych możemy wykluczyć te zmienne (przede wszystkim ilościowe), które charakteryzują się zbyt małą zmiennością. Miarą zmienności wektora mogą być np.:

  • współczynnik zmienności:

,

  • pozycyjny współczynnik zmienności:

.

Usuwamy te zmienne, dla których któraś spośród tych dwóch miar jest mała (np.). Zmienne prawie stałe i tak prawdopodobnie zostaną usunięte przy innych procedurach, ale usunięcie ich na samym początku zmniejsza liczbę sprawdzanych później modeli.

Usunięcia zmiennych prawie stałych można też dokonać przed uruchomieniem procedury brute force lub przed przed procedurą krokową (o metodach krokowych poniżej).
Metody krokowe

Procedury krokowe składają się z następujących elementów:



  • dodawanie zmiennej do modelu: spośród zmiennych, które nie są jeszcze w modelu, wybieramy kandydatkę do dodania i jeśli spełnia ona określone kryterium włączenia do modelu, to zostaje włączona;

  • usuwanie zmiennej z modelu: spośród zmiennych, które są już w modelu, wybieramy kandydatkę do usunięcia i jeśli spełnia ona określone kryterium wykluczenia z modelu, to zostaje usunięta.

Ze względu na kierunek przeszukiwania modeli wyróżniamy cztery metody:



a) Metoda selekcji postępującej (forward selection):

  • wychodzimy od modelu tylko z wyrazem wolnym,

  • dodajemy kolejno zmienne do modelu aż do braku możliwości ich dodania (z powodu braku zmiennych spełniających kryterium dodania lub z powodu wyczerpania zmiennych czyli dojścia do modelu pełnego tj. ze wszystkimi zmiennymi).

b) Metoda eliminacji wstecznej (backward elimination):

  • wychodzimy od modelu pełnego tj. ze wszystkimi zmiennymi,

  • usuwamy kolejno zmienne z modelu aż do braku możliwości ich usunięcia (z powodu braku zmiennych spełniających kryterium usunięcia lub z powodu wyczerpania zmiennych czyli dojścia do modelu tylko z wyrazem wolnym).

c) Metoda regresji krokowej postępującej (stepwise forward regression):

  • wychodzimy od modelu tylko z wyrazem wolnym,

  • dodajemy jedną zmienną do modelu,

  • dodajemy kolejną zmienną do modelu,

  • usuwamy kolejno z modelu zmienne aż do braku możliwości ich usunięcia,

  • powtarzamy ostatnie dwa kroki aż do braku możliwości dodania zmiennej do modelu (z powodu braku zmiennych spełniających kryterium dodania lub z powodu wyczerpania zmiennych).

d) Metoda regresji krokowej wstecznej (stepwise backward regression):

  • wychodzimy od modelu pełnego tj. ze wszystkimi zmiennymi,

  • usuwamy jedną zmienną z modelu,

  • usuwamy kolejną zmienną z modelu,

  • dodajemy kolejno do modelu zmienne aż do braku możliwości ich dodania,

  • powtarzamy ostatnie dwa kroki aż do braku możliwości usunięcia zmiennej z modelu (z powodu braku zmiennych spełniających kryterium usunięcia lub z powodu wyczerpania zmiennych czyli dojścia do modelu tylko z wyrazem wolnym).

Ze względu na kryteria dodawania i usuwania zmiennych metody krokowe możemy podzielić na metody oparte na miarach dobroci modelu (skorygowany współczynnik determinacji, AIC, …) lub na testach istotności parametrów.







Metody oparte na miarach zgodności modelu

Metody oparte na testach istotności parametrów

Kryterium wybrania kandydatki do dodania do modelu

Na kandydatkę do dodania wybieramy tę zmienną spośród nieobecnych jeszcze w modelu, której dodanie spowodowałoby osiągnięcie najbardziej optymalnej wartości miary zgodności.

Na kandydatkę do dodania wybieramy tę zmienną spośród nieobecnych jeszcze w modelu, w modelu wzbogaconym o którą suma kwadratów reszt byłaby najmniejsza.

Kryterium dodania kandydatki do modelu

Jeśli miara zgodności osiąga lepszą wartość po dodaniu kandydatki niż przed dodaniem, to włączamy kandydatkę do modelu.

Jeśli kandydatka okazuje się istotna (tzn. przechodzi test istotności w modelu wzbogaconym o nią), to włączamy kandydatkę do modelu.

Kryterium wybrania kandydatki do usunięcia z modelu

Na kandydatkę do usunięcia wybieramy tę zmienną spośród obecnych jeszcze w modelu, której usunięcie spowodowałoby osiągnięcie najbardziej optymalnej wartości miary zgodności.

Na kandydatkę do usunięcia wybieramy tę zmienną spośród obecnych jeszcze w modelu, w modelu zubożonym o którą suma kwadratów reszt byłaby najmniejsza.

Kryterium usunięcia kandydatki z modelu

Jeśli miara zgodności osiąga lepszą wartość po usunięciu kandydatki niż przed usunięciem, to usuwamy kandydatkę z modelu.

Jeśli kandydatka okazuje się nieistotna (tzn. nie przechodzi testu istotności w dotychczasowym modelu), to usuwamy kandydatkę z modelu.

Testami, o których mowa, są testy cząstkowe lub testy ewentualnie brzegowe, jeśli zmiennej odpowiada jedna kolumna w macierzy planu.

Warunki równoważne poszukiwaniu najmniejszej sumy kwadratów reszt, gdy chcemy dodać zmienną:


  • największa wartość bezwzględna statystyki testowej testu brzegowego dotyczącego istotności kandydatki (jeśli kandydatce odpowiada jedna kolumna w macierzy planu) w modelu wzbogaconym o kandydatkę,

  • największa wartość statystyki testowej testu cząstkowego dotyczącego istotności kandydatki w modelu wzbogaconym o kandydatkę,

  • największa wartość współczynnika determinacji w modelu wzbogaconym o kandydatkę,

  • największy wartość próbkowego współczynnika korelacji wielorakiej między zmienną zależną a zmiennymi obecnymi w modelu i kandydatką,

  • największa wartość bezwzględna próbkowego współczynnika korelacji cząstkowej między zmienną zależną i kandydatką z pominięciem wpływu zmiennych obecnych już w modelu.

Warunki równoważne poszukiwaniu najmniejszej sumy kwadratów reszt, gdy chcemy usunąć zmienną:

  • najmniejsza wartość bezwzględna statystyki testowej testu brzegowego dotyczącego istotności kandydatki (jeśli kandydatce odpowiada jedna kolumna w macierzy planu) w modelu bieżącym,

  • najmniejsza wartość statystyki testowej testu cząstkowego dotyczącego istotności kandydatki w modelu bieżącym,

  • największa wartość współczynnika determinacji w modelu bez kandydatki,

  • największa wartość próbkowego współczynnika korelacji wielorakiej między zmienną zależną a zmiennymi obecnymi w modelu po usunięciu kandydatki,

  • najmniejsza wartość bezwzględna próbkowego współczynnika korelacji cząstkowej między zmienną zależną i kandydatką z pominięciem wpływu innych zmiennych obecnych już w modelu.

Mówienie o wszystkich warunkach równoważnych jest zbędne i wystarczy rozważać sumy kwadratów reszt. Mówienie o próbkowym współczynniku korelacji wielorakiej lub próbkowym współczynniku korelacji cząstkowej jest wręcz często nadużyciem i przerostem formy nad treścią. Nie polecam.


W Statistice stosuje się wszystkie cztery procedury krokowe a kryteria dodawania i usuwania zmiennych zostały oparte na testach.

W R stosuje się metody selekcji postępującej, eliminacji wstecznej i regresji krokowej wstecznej a kryteria dodawania i usuwania zmiennych zostały oparte na kryterium informacyjnym Akaike.


Metody oparte na próbkowych współczynnikach korelacji liniowej Pearsona: metoda Hellwiga, metoda analizy grafu, metoda Pawłowskiego...
Metoda Hellwiga (metoda wskaźników pojemności informacyjnej, ma zastosowanie

zasadniczo tylko w modelach, w których zmienne objaśniające mają charakter ilościowy)

wektor kwadratów próbkowych współczynników korelacji liniowej Pearsona

między zmienną zależną a poszczególnymi zmiennymi niezależnymi



macierz złożona z wartości bezwzględnych próbkowych współczynników

korelacji liniowej Pearsona zmiennych niezależnych



macierz, której wierszami są wszystkie-wyrazowe ciągi

zerojedynkowe oprócz ciągu zerowego (jest ich )


Sumujemy każdy wiersz macierzy. Wybieramy model prowadzący do wiersza macierzy z największą sumą wyrazów.
Naczelna maksyma dobierania zmiennych do modelu

Przy dobieraniu zmiennych do modelu dążymy do wybrania zmiennych, które są najmniej powiązane między sobą a najbardziej powiązane ze zmienną zależną.


©absta.pl 2016
wyślij wiadomość

    Strona główna