회귀계수의 검정

단순 선형 회귀분석에서는 독립 변수(설명 변수)가 종속 변수에 유의미한 영향을 미치는지를 검정해야 합니다. 이를 위해 회귀 계수(β₁)에 대한 가설 검정을 수행합니다.

 

 

• 귀무가설(H₀): β₁ = 0 (독립 변수가 종속 변수에 영향을 주지 않는다)
• 대립가설(H₁): β₁ ≠ 0 (독립 변수가 종속 변수에 영향을 준다)

이 가설 검정을 수행하기 위해 t-검정 통계량을 사용합니다.

 

t-검정 통계량 수식

 

여기서,

• B^1: 표본에서 추정된 회귀 계수
• s.e( B^1 ): 회귀 계수의 표준 오차 (표본의 변동성을 나타냄)

이 값이 클수록 귀무가설을 기각할 가능성이 높아지며, 해당 독립 변수가 종속 변수에 유의미한 영향을 미친다고 판단할 수 있습니다.

 

회귀 계수와 표준 오차가 유의성에 미치는 영향

t-통계량 수식에서 알 수 있듯이, 회귀 계수가 클수록, 표준 오차가 작을수록 t-값이 커집니다. 즉, 변수의 영향력이 크면서도 그 값이 안정적일 때 해당 변수가 유의미하다고 판단할 가능성이 높아집니다.

✔ 회귀 계수(********************)가 크다 → 독립 변수가 종속 변수에 미치는 영향이 큼
✔ 표준 오차(********************)가 작다 → 여러 번 표본을 뽑아도 비슷한 회귀 계수가 나옴 (신뢰도 높음)
✔ t-통계량이 크면 p-value가 작아져 귀무가설을 기각할 가능성이 높아짐

 

radio 변수는 t-통계량이 크고 p-value가 매우 작기 때문에 sales에 유의미한 영향을 미친다고 판단할 수 있습니다.

 

표본 회귀 계수와 표준 오차의 의미

표본에서 추정한 회귀 계수()는 모집단의 '진짜' 회귀 계수()를 근사하는 값입니다. 하지만, 표본을 여러 번 뽑으면 회귀 계수도 변할 수 있기 때문에, 그 변동성을 측정하기 위해 **표준 오차()**를 사용합니다. 표본 회귀 계수들의 분포를 분석하면 표준 오차를 계산할 수 있으며, 이를 기반으로 신뢰 구간을 설정하고 변수의 유의성을 평가할 수 있습니다.

 

결론

• t-검정을 통해 회귀 계수의 유의성을 평가할 수 있으며, 이는 회귀 계수와 표준 오차의 크기에 따라 결정됩니다.
• 회귀 계수가 클수록, 표준 오차가 작을수록 t-통계량이 커져서 변수의 유의성이 높아짐.
• 하지만, 표준 오차가 작다고 해서 무조건 신뢰할 수 있는 것은 아니며, 데이터가 전체 모집단을 대표하는지 확인하는 과정이 필요합니다.

📌 즉, 단순히 t-값만 보고 판단하는 것이 아니라, 데이터의 분포와 표본의 특성까지 함께 고려하는 것이 중요하다! 🚀