APENDIKS STATPROB

I Made Parsawan
1308 100 042
Analisis Regresi

Berikut ini adalah data APENDIKS A yang akan digunakan pada pemilihan beberapa metode persamaan regresi terbaik pada Analisis Regresi Terapan (Drapper & Smith) halaman 583.
Y X1 X2 X3 X4 X5 X6 X7 X8 X9
10.98 5.2 0.61 7.4 31 20 22 35.3 54.8 4
11.13 5.12 0.64 8 29 20 25 29.7 64 5
12.51 6.19 0.78 7.4 31 23 17 30.8 54.8 4
8.4 3.89 0.49 7.5 30 20 22 58.8 56.3 4
9.27 6.28 0.84 5.5 31 21 0 61.4 30.3 5
8.73 5.76 0.74 8.9 30 22 0 71.3 79.2 4
6.36 3.45 0.42 4.1 31 11 0 74.4 16.8 2
8.5 6.57 0.87 4.1 31 23 0 76.7 16.8 5
7.82 5.69 0.75 4.1 30 21 0 70.7 16.8 4
9.14 6.14 0.76 4.5 31 20 0 57.5 20.3 5
8.24 4.84 0.65 10.3 30 20 11 46.4 106.1 4
12.19 4.88 0.62 6.9 31 21 12 28.9 47.6 4
11.88 6.03 0.79 6.6 31 21 25 28.1 43.6 5
9.57 4.55 0.6 7.3 28 19 18 39.1 53.3 5
10.94 5.71 0.7 8.1 31 23 5 46.8 65.6 4
9.58 5.67 0.74 8.4 30 20 7 48.5 70.6 4
10.09 6.72 0.85 6.1 31 22 0 59.3 37.2 6
8.11 4.95 0.67 4.9 30 22 0 70 24 4
6.83 4.62 0.45 4.6 31 11 0 70 21.2 3
8.88 6.6 0.95 3.7 31 23 0 74.5 13.7 4
7.68 5.01 0.64 4.7 30 20 0 72.1 22.1 4
8.47 5.08 0.75 5.3 31 21 1 58.1 28.1 6
8.86 5.28 0.7 6.2 30 20 14 44.6 38.4 4
10.36 5.36 0.67 6.8 31 20 22 33.4 46.2 4
11.08 5.87 0.7 7.5 31 22 28 28.6 56.3 5

Berdasarkan data diatas, maka akan di dapat model persamaan regresi menggunakan software minitab sebagai berikut:




Sesuai dengan persamaan model regresi, yang dapat dinyatakan sebagai berikut:

Sehingga model penduganya adalah:

Setelah itu, dilakukan matrikx plot dari data tabel diatas (variabel respon terhadap variabel prediktor) untuk mengetahui bagaimana bentuk garis dari model atau persamaan yang diperoleh.

Dari gambar matrix plot di atas, tidak dapat menjelaskan secara visual beberapa model yang mengikuti distribusi normal, namun dari gambar di atas diasumsikan telah berdistribusi normal. Kemudian, dibutuhkan juga seberapa besar keeratan hubungan (korelasi) antar variabel prediktor tersebut, sehingga perlu dilakukan uji korelasi antar variable prediktor. Berikut adalah hasil output uji korelasi menggunakan software Minitab :

Correlations: Y; X1; X2; X3; X4; X5; X6; X7; X8; X9

Y X1 X2 X3 X4 X5 X6 X7 X8
X1 0,383
0,059

X2 0,306 0,944
0,137 0,000

X3 0,474 -0,126 -0,144
0,017 0,548 0,493

X4 0,137 0,382 0,248 -0,317
0,515 0,059 0,232 0,123

X5 0,536 0,685 0,764 0,231 0,020
0,006 0,000 0,000 0,266 0,924

X6 0,641 -0,191 -0,226 0,558 -0,205 0,117
0,001 0,360 0,277 0,004 0,326 0,578

X7 -0,845 -0,002 0,068 -0,616 0,077 -0,210 -0,858
0,000 0,993 0,748 0,001 0,713 0,314 0,000

X8 0,395 -0,131 -0,134 0,990 -0,321 0,212 0,492 -0,541
0,051 0,531 0,522 0,000 0,118 0,308 0,013 0,005

X9 0,382 0,616 0,601 0,074 -0,053 0,601 0,118 -0,237 0,028
0,059 0,001 0,001 0,726 0,800 0,002 0,576 0,254 0,893

Cell Contents: Pearson correlation
P-Value


Berdasarkan uji korelasi yang diperoleh dengan menggunakan software Minitab, dapat diketahui bahwa antar variabel predictor terdapat korelasi (keeratan hubungan) yang cukup besar, dimana nilai korelasi mempunyai nilai yang lebih besar dari 0.5 atau mendekati 1, sehingga pada persamaan ini terdapat kasus multikolinearitas. Hal ini mengindikasikan bahwa persamaan model regresi memiliki kasus multikolinearitas. Nilai Variance Inflation Factors (VIF) pada output minitab juga dapat menunjukkan indikasi bahwa terdapat kasus multikolinearitas. Dalam penjelasan ini yang diasumsikan menunjukkna adanya kasus multikolinearitas adalah nilai VIF yang lebih besar dari 10. Berikut adalah hasil output pada Minitab :








Dengan adanya kasus multikolinearitas, sehingga diperlukan beberapa metode untuk menentukan pilihan model terbaik pada persamaan tersebut, namun pada setiap metode yang digunakan tentu menghasilkan kesimpulan yang berbeda antara metode yang satu dengan metode yang lainya. Sebaiknya metode yang digunakan sesuai dengan kenyataan yang ada dan memilih yang sesuai secara bijaksana. Beberapa metode yang digunakan untuk menguji model terbaik:

Best Subset Regression
Pada metode ini, terdapat syarat untuk model terbaik, yaitu dengan melihat:
Nilai R2 maksimum
Nilai R2 terkoreksi (R2-adj) maksimum
Statistic Uji, Cp Mallows
Berikut adalah hasil output perhitungan metode Best Subset Regression dengan menggunakan bantuan software Minitab:



Best Subsets Regression: Y versus X1; X2; X3; X4; X5; X6; X7; X8; X9

Response is Y

Mallows X X X X X X X X X
Vars R-Sq R-Sq(adj) C-p S 1 2 3 4 5 6 7 8 9
1 71,4 70,2 35,1 0,89012 X
1 41,0 38,5 94,9 1,2790 X
2 86,0 84,7 8,5 0,63716 X X
2 84,9 83,5 10,7 0,66157 X X
3 88,5 86,8 5,6 0,59136 X X X
3 88,0 86,2 6,7 0,60493 X X X
4 89,3 87,2 6,0 0,58318 X X X X
4 89,1 87,0 6,4 0,58877 X X X X
5 90,0 87,3 6,7 0,58088 X X X X X
5 89,9 87,2 6,9 0,58304 X X X X X
6 91,7 88,9 5,4 0,54395 X X X X X X
6 90,8 87,7 7,2 0,57264 X X X X X X
7 92,0 88,7 6,7 0,54770 X X X X X X X
7 92,0 88,7 6,8 0,54917 X X X X X X X
8 92,3 88,4 8,2 0,55548 X X X X X X X X
8 92,2 88,3 8,3 0,55781 X X X X X X X X
9 92,4 87,8 10,0 0,56975 X X X X X X X X X



Berdasarkan hasil output diatas, dapat dilihat variabel yang memenuhi syarat sebagai model terbaik adalah model yang mengandung variable X1 dan X7. Walaupun dalam hal ini dapat dilihat dari nilai R-Sq dan R-Sq(adj) yaitu sebesar 86% dan 84.7% bukan merupakan nilai maksimum, namun pada statistik uji, Cp Mallows dimana dengan melihat jumlah parameter yaitu sebesar 10, maka yang mendekati dengan jumlah parameter tersebut adalah variabel X1 dan X7 yaitu sebesar 8.5.
Sehingga pada metode Best Subset Regression diperoleh model persamaan regresi yang terbaik adalah model

Berdasarkan hasil output pada software Minitab diperoleh:
Regression Analysis: Y versus X1; X7
The regression equation is
Y = 9,47 + 0,762 X1 - 0,0798 X7




The Stepwise Regression Procedure
Dalam metode ini adalah menggabungkan antara metode forward dan backward dengan menggunakan korelasi partial (individu). Metode Stepwise merupakan metode eliminasi langkah maju dimana pada variabel yang dimasukkan terlebih dahulu adalah variabel explanatory / independen / prediktor (X) yang memiliki korelasi paling besar dengan variabel respon (Y). kemudian dilakukan pengujian apakah variable yang dimasukkan signifikan atau tidak signifikan. Jika variabel yang dimasukan signifikan terhadap model, maka variabel tersebut dipertahankan dan dilakukan penambahan variabel dengan memilih variable yang memiliki nilai korelasi terbesar berikutnya. Akan tetapi jika variabel yang dimasukkan tidak signifikan terhadap model, maka variabel tersebut dikeluarkan. Sehingga dilanjutkan dengan memasukkan variabel terbesar berikutnya dengan tidak memperhitungkan (membuang variable yang tidak signifikan) variabel yang sudah tidak signifikan terhadap model persamaan regresi. Berikut adalah hasil output perhitungan dengan menggunakan bantuan software Minitab:
Stepwise Regression: Y versus X1; X2; X3; X4; X5; X6; X7; X8; X9
Alpha-to-Enter: 0,05 Alpha-to-Remove: 0,05
Response is Y on 9 predictors, with N = 25

Step 1 2
Constant 13,623 9,474

X7 -0,0798 -0,0798
T-Value -7,59 -10,59
P-Value 0,000 0,000

X1 0,76
T-Value 4,78
P-Value 0,000

S 0,890 0,637
R-Sq 71,44 86,00
R-Sq(adj) 70,20 84,73
Mallows C-p 35,1 8,5



Pada metode Stepwise terdapat 9 variabel explanatory / independen / prediktor, yaitu X1,X2, …, X9. Jika dilihat pada hasil korelasi diatas berdasarkan hasil output Minitab, maka variabel explanatory yang mempunyai korelasi paling besar dengan variabel respon adalah X7 sebesar 0.845. Sehingga variabel pertama yang dimasukkan ke dalam model adalah X7. Berdasarkan hasil output pada metode Stepwise dengan menggunakan bantuan software Minitab, maka diperoleh model terbaiknya yaitu dengan memasukkan variabel X1 dan X7. Pada metode Stepwise menggunakan software Minitab, akan langsung dapat diketahui bahwa variabel explanatory yang mempunyai korelasi terbesar akan menjadi model persamaan terbaik.
Sehingga model persamaan regresi terbaik adalah

Berdasarkan hasil output perhitungan dengan menggunakan software Minitab diperoleh sebagai berikut:
Regression Analysis: Y versus X1; X7
The regression equation is
Y = 9,47 + 0,762 X1 - 0,0798 X7


The Principal Component Regression
Untuk menggunakan metode The Principal Component Regression, terlebih dahulu dilakukan regresi untuk mengetahui ada tidaknya kasus multikolinieritas dengan menguji variable-variabel predictor apakah nilai VIF lebih besar dari 10 atau tidak.. Perhitungan nilai VIF pada pejelasan ini dilakukan dengan bantuan software Minitab, dengan hasil output adalah :







Hasil output regresi diatas memperlihatkan bahwa adanya kasus multikolinearitas karena terdapat nilai VIF variable predictor yang lebih dari 10, sehingga untuk pemecahan kasus tersebut dilakukan standarisasi terhadap masing-masing variabel predictor, X1, X2,...,X9. Standarisasi berikut dilakukan dengan bantuan software Minitab, outputnya adalah sebagai berikut :

Y Z1 Z2 Z3 Z4 Z5 Z6 Z7 Z8 Z9
10,98 -0,297 -0,677 0,595 0,675 -0,080 1,249 -1,002 0,493 -0,375
11,13 -0,395 -0,439 0,937 -1,921 -0,080 1,541 -1,326 0,890 0,798
12,51 0,915 0,674 0,595 0,675 0,915 0,762 -1,263 0,493 -0,375
8,4 -1,900 -1,630 0,652 -0,623 -0,080 1,249 0,359 0,558 -0,375
9,27 1,025 1,150 -0,488 0,675 0,252 -0,891 0,510 -0,563 0,798
8,73 0,389 0,356 1,450 -0,623 0,583 -0,891 1,083 1,545 -0,375
6,36 -2,439 -2,186 -1,286 0,675 -3,062 -0,891 1,263 -1,145 -2,722
8,5 1,380 1,389 -1,286 0,675 0,915 -0,891 1,396 -1,145 0,798
7,82 0,303 0,435 -1,286 -0,623 0,252 -0,891 1,048 -1,145 -0,375
9,14 0,854 0,515 -1,058 0,675 -0,080 -0,891 0,284 -0,994 0,798
8,24 -0,737 -0,359 2,249 -0,623 -0,080 0,179 -0,359 2,704 -0,375
12,19 -0,688 -0,597 0,310 0,675 0,252 0,276 -1,373 0,183 -0,375
11,88 0,719 0,753 0,139 0,675 0,252 1,541 -1,419 0,010 0,798
9,57 -1,092 -0,756 0,538 -3,220 -0,411 0,860 -0,782 0,428 0,798
10,94 0,328 0,038 0,994 0,675 0,915 -0,405 -0,336 0,958 -0,375
9,58 0,279 0,356 1,165 -0,623 -0,080 -0,210 -0,237 1,174 -0,375
10,09 1,564 1,230 -0,146 0,675 0,583 -0,891 0,388 -0,266 1,971
8,11 -0,603 -0,200 -0,830 -0,623 0,583 -0,891 1,008 -0,835 -0,375
6,83 -1,007 -1,948 -1,001 0,675 -3,062 -0,891 1,008 -0,955 -1,548
8,88 1,417 2,024 -1,514 0,675 0,915 -0,891 1,268 -1,279 -0,375
7,68 -0,529 -0,439 -0,944 -0,623 -0,080 -0,891 1,129 -0,917 -0,375
8,47 0,291 0,435 -0,602 0,675 0,252 -0,794 0,319 -0,658 1,971
8,86 -0,199 0,038 -0,089 -0,623 -0,080 0,471 -0,463 -0,214 -0,375
10,36 -0,101 -0,200 0,253 0,675 -0,080 1,249 -1,112 0,122 -0,375
11,08 0,523 0,038 0,652 0,675 0,583 1,832 -1,390 0,558 0,798

Untuk mengetahui ada tidaknya indikasi kasus multikolinieritas pada variabel predictor yang telah distandarisasi, yaitu Z1,Z2,...,Z9, maka perlu diketahui nilai korelasi antar variabael predictor tersebut. Hasil perhitungan korelasi dengan bantuan software Minitab dapat dilihat melalui output di bawah ini :
















Hasil output perhitungan korelasi di atas menunjukkan bahwa terdapat nilai korelasi yang tinggi antar variabel predictor sehingga mucul kasus multikolinear. Selanjutnya dilakukan perhintungan nilai Principal Component. Hasil perhitungan Principal Component dapat dilihat dari output software Minitab di bawah ini:



























Nilai dari Principal Component yang akan digunakan adalah yang nilai eigenvalue-nya lebih besar sama dengan satu. Sehingga nilai Principal Component yang akan digunakan adalah PC1, PC2, dan PC3 karena masing-masing nilai eigenvalue-nya lebih besar sama dengan satu. Setelah itu, mencari nilai PC1, PC2 dan PC3 dengan memasukkan nilai Zi ke dalam persamaan sebagai berikut:

PC1 = 0,312Z1+0,318Z2-0,454Z3+0,259Z4+0,086Z5-0,417Z6+0,381Z7-0,483Z8+0,103Z9
PC2 = -0,434Z1-0,433Z2-0,225Z3-0,031Z4-0,492Z5-0,175Z6+0,267Z7-0,207Z8-0,431Z9
PC3 = -0,081Z1+0,076Z2+0,146Z3-0,747Z4+0,161Z5-0,375Z6+0,433Z7+
0,199Z8+0,123Z9
Hasil yang diperoleh dengan memasukkan nilai Zi (untuk i=1,2,3,...,9) ke dalam persamaan-persamaan di atas sehingga diperoleh :
PC1
PC2 PC3
-1,56711 -0,12517 -1,30782
-2,64776 -0,90769 0,68107
-0,57055 -1,64689 -1,07378
-2,24245 1,36102 0,32992
1,99827 -0,89752 0,01022
-0,46633 -0,59293 1,83098
0,113 5,49023 -0,83548
3,19668 -0,90246 0,25766
1,91096 0,71523 0,84076
2,07576 -0,24859 -0,34438
-2,96788 -0,50215 1,08278
-1,10588 0,06787 -1,11588
-0,50807 -1,79293 -1,53644
-2,45672 0,16489 1,97084
-0,50133 -0,85118 -0,08468
-1,05294 -0,59166 0,79072
2,00899 -1,98444 0,22673
1,09628 1,06371 1,02997
0,44687 4,08843 -0,82007
3,40294 -0,64306 0,04364
1,12038 1,49444 0,91893
1,6425 -0,79754 0,00491

Kemudian meregresikan antara variabel respon (Y) terhadap variabel (PC1, PC2, dan PC3). Senhingga model persamaan regresi yang diperoleh dengan menggunakan software Minitab adalah :











Berdasarkan hasil output diatas, dapat diketahui bahwa PC1, PC2 dan PC3 adalah signifikan terhadap model. Hal ini dilihat dari nilai P-value=0.000 < α=0.05, baik di uji secara serentak (overall) maupun di uji secara individu. Jika model persamaan regresi tersebut dijadikan dalam bentuk persamaan Zi, maka diperoleh:
Y = 9,42 – 0,313PC1 – 0,669PC2 – 0,688PC3
= 9,42 – 0,313 (0,209Z1 + 0,228Z2 – 0,490Z3 + 0,247Z4 – 0,012Z5 – 0,444Z6 + 0,427Z7 – 0,472Z8 + 0,013Z9) – 0,669(–0,485Z1 – 0,494Z2 – 0,128Z3 – 0,082Z4 – 0,503Z5 – 0,087Z6 + 0,183Z7 – 0,114Z8 – 0,437Z9) – 0,688(0,086Z1 – 0,074Z2 – 0,144Z3 + 0,750Z4 – 0,159Z5 + 0,373Z6 – 0,430Z7 – 0,196Z8 – 0,131Z9)
Untuk memperoleh model persamaan regresi dalam bentuk variabel X, terlebih dahulu mensubstitusikan variabel PC1, PC2, dan PC3 ke dalam bentuk Z. Untuk mensubstitusikan variabel Z ke dalam bentuk X dengan memasukkan nilai mean dan standar deviasi dari masing-masing nilai Xi (untuk i=1,2,3...,9) ke dalam persamaan Z=(x-x ̅)/σ , maka perlu dicari terlebih dahulu nilai statistika deskriptifnya dimana untuk mengetahui nilai rata-rata dan standar deviasinya. Dengan bantuan software Minitab, maka dihasilkan sebagai berikut:











Dengan memasukkan nilai rata-rata dan standar deviasinya, maka diperoleh model persamaan regresi terbaik dengan metode The Principal Component Regression sebagai berikut:
Y = 9,42 – 0,313PC1 – 0,669PC2 – 0,688PC3
= 9,42 – 0,313 (0,209Z1 + 0,228Z2 – 0,490Z3 + 0,247Z4 – 0,012Z5 – 0,444Z6 + 0,427Z7 – 0,472Z8 + 0,013Z9) – 0,669(–0,485Z1 – 0,494Z2 – 0,128Z3 – 0,082Z4 – 0,503Z5 – 0,087Z6 + 0,183Z7 – 0,114Z8 – 0,437Z9) – 0,688(0,086Z1 – 0,074Z2 – 0,144Z3 + 0,750Z4 – 0,159Z5 + 0,373Z6 – 0,430Z7 – 0,196Z8 – 0,131Z9)
= 9,42 – 0,313[0,209(X1-5,442)/ 0,817 + 0.228(X2-0,6952)/0,1259 – 0,490(X3-6,356)/1,754 + 0,247(X4-30,480)/0,770 – 0,012(X5-20,240)/3,018 – 0,444(X6-9,16)/10,28 + 0,427(X7-52,60)/17,27 – 0,472(X8-43,36)/23,20 + 0,013(X9-4,320)/0,852] – 0,669[–0,485(X1-5,442)/ 0,817 – 0,494(X2-0,6952)/0,1259 – 0,128(X3-6,356)/1,754 – 0,082(X4-30,480)/0,770 – 0,503(X5-20,240)/3,018 – 0,087(X6-9,16)/10,28 + 0,183(X7-52,60)/17,27 – 0,114(X8-43,36)/23,20 – 0,437(X9-4,320)/0,852] – 0,668[0,086(X1-5,442)/ 0,817 – 0,074(X2-0,6952)/0,1259 – 0,144(X3-6,356)/1,754 + 0,750(X4-30,480)/0,770 – 0,159(X5-20,240)/3,018 + 0,373(X6-9,16)/10,28 – 0,430(X7-52,60)/17,27 – 0,196(X8-43,36)/23,20 – 0,131(X9-4,320)/0,852]