단순 선형 회귀 계산기

단순선형회귀란?

단순선형회귀(Simple Linear Regression)는 하나의 독립변수(X)와 종속변수(Y) 간의 관계를 관측된 데이터에 직선을 적합시켜 모형화하는 통계 방법입니다. 회귀 방정식은 ŷ = b₀ + b₁x 형태를 취하며, b₀은 y절편이고 b₁은 회귀선의 기울기입니다. 이 방법은 최소제곱법(OLS)을 사용하여 모수를 추정하며, 관측값과 예측값 간 차이의 제곱합을 최소화합니다.

회귀분석은 1880년대 Francis Galton 경이 유전적 신장에 관한 연구에서 개척했으며, 자녀의 키가 모집단 평균으로 "회귀"하는 경향을 관찰한 것에서 유래했습니다. 이후 Karl Pearson과 Ronald Fisher가 현대 회귀분석에서 사용되는 추론통계(F-검정, 계수에 대한 t-검정)의 수학적 체계를 정립했습니다. 오늘날 단순선형회귀는 통계학에서 가장 기본적인 도구 중 하나로, 다중회귀, 분산분석(ANOVA), 그리고 많은 기계학습 알고리즘의 기초가 됩니다.

선형회귀의 핵심 개념

R² (결정계수)의 이해

R²는 독립변수에 의해 설명되는 종속변수 분산의 비율을 나타냅니다. 0에서 1 사이의 값을 가지며, 0은 모형이 변동성을 전혀 설명하지 못함을, 1은 모든 변동성을 설명함을 의미합니다. 조정된 R²는 예측변수의 수를 고려하며, 모형 간 비교 시 특히 유용합니다.

참고: 이 기준은 일반적인 지침입니다. 물리학이나 공학 분야에서는 R² 값이 0.90 이상인 경우가 흔합니다. 심리학과 사회과학에서는 R² 값이 0.20–0.40이면 의미 있는 수준으로 간주되는 경우가 많습니다.

단순선형회귀의 가정

회귀 결과를 해석하기 전에, 다음 가정들이 충족되는지 확인해야 합니다. 가정을 위반하면 편향된 추정치, 부정확한 표준오차, 유효하지 않은 추론을 초래할 수 있습니다.

APA 형식으로 회귀분석 결과 보고하는 방법

APA 제7판 지침에 따르면, 회귀분석 결과에는 자유도가 포함된 F-통계량, p-값, R², 회귀 방정식, 개별 계수 통계량을 포함해야 합니다. 다음은 적용할 수 있는 보고 양식입니다:

참고: 회귀계수, t-값, F-값은 소수점 둘째 자리까지 보고합니다. p-값은 소수점 셋째 자리까지 보고하되, .001 미만인 경우 p < .001로 표기합니다. R²와 주요 계수의 95% 신뢰구간을 항상 포함하십시오.

회귀분석 vs. 다른 검정: 언제 사용하는가

흔한 실수

• 데이터 범위를 벗어난 외삽: 회귀 방정식은 관측된 X 값의 범위 내에서만 유효합니다. 이 범위를 크게 벗어난 X 값에 대해 Y를 예측하는 것(외삽)은 신뢰할 수 없고 오해를 유발하는 결과를 낼 수 있습니다.
• 가정 무시: 회귀 결과는 선형성, 독립성, 정규성, 등분산성의 가정이 충족될 때만 신뢰할 수 있습니다. 모형을 해석하기 전에 반드시 잔차 그림을 확인하십시오.
• 상관과 인과를 혼동: 유의한 회귀 결과가 X가 Y를 야기한다는 것을 증명하지는 않습니다. 인과적 표현에 주의하고 교란변수를 고려하십시오. 인과관계는 무작위 배정 실험만이 확립할 수 있습니다.
• R²의 과대 해석: 높은 R²가 반드시 모형이 정확하거나 유용하다는 것을 의미하지 않습니다. 관계가 여전히 비선형일 수 있고, 모형이 이상치에 의해 좌우될 수 있습니다. 반대로, 낮은 R²가 X가 중요하지 않다는 것을 의미하지도 않습니다.
• p = .000으로 보고하는 실수: 통계 소프트웨어가 간혹 p = .000으로 표시하는 경우가 있습니다. 이는 항상 p < .001로 보고해야 합니다. p-값은 절대로 정확히 0이 될 수 없습니다.