Tujuan untuk menyeleksi suatu variabel adalah untuk mendapatkan model yang parsimoni. Jika covariates sedikit (maksimal 12), diambil 1 hingga (k-1) covariates. Jika covariates banyak (sekitar 35), digunakan metode berikut.

  1. Metode Backward

Metode Backward merupakan langkah mundur, semua variabel X diregresikan dengan variabel Y. Pengeliminasian variabel X didasarkan pada nilai F(parsial) terkecil dan turut tidaknya variabel X pada model juga ditentukan oleh nilai F(tabel). Metode Backward merupakan metode regresi yang baik karena dalam metode ini dijelaskan perilaku variabel respon dengan sebaik-baiknya dengan memilih variabel penjelas dari sekian banyak variabel penjelas yang tersedia dalam data.

  1. Metode Forward

Metode Forward adalah langkah maju di mana peubah bebas dimasukkan satu demi satu menurut urutan besar pengaruhnya terhadap model, dan berhenti bila semua yang memenuhi syarat telah masuk. Dimulai dengan memeriksa matriks korelasi kemudian mengambil peubah bebas yang menghasilkan koefisien korelasi maksimum, dan tidak dipersoalkan apakah korelasi positif atau negatif karena yang diperhatikan hanyalah eratnya hubungan antara suatu peubah bebas dengan Y sedangkan arah hubungan tidak menjadi persoalan.

  1. Metode Stepwise

Regresi Stepwise adalah salah satu metode untuk mendapatkan model terbaik dari sebuah analisis regresi. Secara definisi adalah gabungan antara metode Forward dan Backward, variabel yang pertama kali masuk adalah variabel yang korelasinya tertinggi dan signifikan dengan variabel dependent, variabel yang masuk kedua adalah variabel yang korelasi parsialnya tertinggi dan masih signifikan,  setelah variabel tertentu masuk ke dalam model maka variabel lain yang ada di dalam model dievaluasi, jika ada variabel yang tidak signifikan maka variabel tersebut dikeluarkan.