로지스틱 회귀 계산기

이진 로지스틱 회귀분석이란?

이진 로지스틱 회귀분석(Binary Logistic Regression)은 하나 이상의 예측변수(독립변수)와 이진(이분형) 결과변수 사이의 관계를 모형화하는 통계 방법입니다. 선형 회귀가 연속형 결과를 예측하는 반면, 로지스틱 회귀는 관측치가 두 범주(0과 1로 코딩) 중 하나에 속할 확률을 예측합니다. 이 모형은 로지스틱(시그모이드) 함수를 사용하여 예측 확률을 0과 1 사이로 제한합니다.

로지스틱 회귀의 역사는 1838년 벨기에 수학자 Pierre-François Verhulst가 인구 성장을 모형화하기 위해 로지스틱 함수를 도입한 것에서 시작됩니다. 이후 1944년 Joseph Berkson이 "logit"이라는 용어를 만들고, David Cox가 1958년 이를 통계적 회귀 프레임워크로 정립하면서 현대적인 로지스틱 회귀분석의 토대가 마련되었습니다. 오늘날 로지스틱 회귀는 의학(질병 발생 예측), 마케팅(구매 여부 예측), 사회과학(투표 행동 분석) 등 거의 모든 분야에서 핵심적인 분류 기법으로 사용됩니다.

로지스틱 회귀의 핵심은 로그 오즈(logit) 변환입니다. 결과변수의 확률 p를 직접 모형화하는 대신, 오즈의 자연로그를 선형 함수로 모형화합니다: logit(p) = ln(p / (1 − p)) = B₀ + B₁X₁ + B₂X₂ + …. 이 변환 덕분에 좌변은 −∞에서 +∞까지의 범위를 가지며, 시그모이드 함수 p = 1 / (1 + e^−z)를 통해 0–1 확률로 역변환됩니다.

모형의 계수 추정에는 최대우도추정법(Maximum Likelihood Estimation, MLE)이 사용됩니다. 선형 회귀의 최소제곱법과 달리, MLE는 관측된 데이터가 나타날 우도(likelihood)를 최대화하는 계수를 반복적으로 탐색합니다. 구체적으로는 IRLS(Iteratively Reweighted Least Squares) 알고리즘이 사용되며, 이는 R의 glm() 함수와 SPSS에서 사용하는 것과 동일한 방법입니다. IRLS는 각 반복에서 가중치를 업데이트하며, 수렴 기준(tolerance)을 만족할 때까지 계수를 개선해 나갑니다.

핵심 개념

분류표 이해하기

분류표(Classification Table, 혼동 행렬이라고도 함)는 모형이 예측한 범주와 실제 관찰된 범주를 비교하여 모형의 분류 성능을 평가합니다. 일반적으로 확률 절단점(cutoff) 0.5를 기준으로, 예측 확률이 0.5 이상이면 1(발생)로, 미만이면 0(비발생)으로 분류합니다.

Hosmer-Lemeshow 적합도 검정

Hosmer-Lemeshow 검정은 로지스틱 회귀 모형이 데이터에 얼마나 잘 적합하는지를 평가하는 대표적인 방법입니다. 이 검정은 관측치를 예측 확률에 따라 일반적으로 10개의 동일 크기 집단(십분위수)으로 나눈 뒤, 각 집단 내에서 관측된 빈도와 모형이 예측한 기대 빈도를 비교합니다.

관측 빈도와 기대 빈도의 차이를 종합한 카이제곱 통계량이 계산되며, 자유도는 일반적으로 8(집단 수 − 2)입니다. 검정 결과의 해석은 다른 적합도 검정과 다릅니다: 비유의한 결과(p > .05)가 바람직하며, 이는 모형의 예측이 관측 데이터와 일치한다는 것을 나타냅니다. 반대로 유의한 결과(p ≤ .05)는 모형의 적합도가 부족하다는 것을 시사합니다.

그러나 Hosmer-Lemeshow 검정에는 한계가 있습니다. 표본 크기가 매우 크면 사소한 차이도 유의하게 나타날 수 있고, 반대로 표본 크기가 작으면 심각한 적합도 부족을 감지하지 못할 수 있습니다. 또한 집단의 수와 구성 방법에 따라 결과가 달라질 수 있습니다. 따라서 이 검정 결과를 다른 적합도 지표(유사 R², 분류표 정확도 등)와 함께 종합적으로 해석하는 것이 좋습니다.

로지스틱 회귀 vs 다른 분석

이진 결과변수를 분석하는 방법에는 여러 가지가 있습니다. 아래 표는 로지스틱 회귀와 관련 분석 방법들의 주요 특징을 비교합니다.

이진 결과변수에 다중 회귀를 적용하면(선형 확률 모형), 예측값이 0–1 범위를 벗어날 수 있고, 오차항의 이분산성 문제가 발생합니다. 따라서 이진 결과변수에는 로지스틱 회귀를 사용하는 것이 표준적인 접근법입니다.

이진 로지스틱 회귀의 가정

로지스틱 회귀 결과를 올바르게 해석하려면 다음 가정들이 합리적으로 충족되어야 합니다. 이러한 가정을 위반하면 편향된 추정치, 부정확한 p값, 신뢰할 수 없는 결론으로 이어질 수 있습니다.

APA 형식으로 로지스틱 회귀 결과 보고하기

APA 제7판 지침에 따르면, 로지스틱 회귀 결과에는 총괄 모형 검정 결과, 유사 R², 분류 정확도, 그리고 개별 예측변수의 계수, Wald 검정 결과, 오즈비와 95% 신뢰구간을 포함해야 합니다. 다음은 보고 템플릿과 예시입니다:

참고: 통계 기호(B, p, χ², R², OR)는 항상 이탤릭체로 표기합니다. p값은 소수점 셋째 자리까지 보고하되, .001 미만인 경우 p < .001로 표기합니다. 오즈비와 95% 신뢰구간은 반드시 함께 보고해야 합니다.

흔한 실수

• 계수를 선형 효과로 해석: 로지스틱 회귀의 계수 B는 로그 오즈의 변화량이며, 확률의 선형적 변화를 의미하지 않습니다. 예를 들어, B = 0.5는 "확률이 0.5 증가한다"는 뜻이 아니라, "오즈가 e^0.5 ≈ 1.65배 증가한다"는 뜻입니다. 확률에 대한 효과는 기준 확률에 따라 달라집니다.
• 분리 문제 무시: 완전 분리나 준완전 분리가 발생하면 계수가 비정상적으로 크고 표준오차가 매우 커집니다. 소프트웨어가 경고 메시지를 출력할 수 있으나, 많은 연구자가 이를 간과합니다. 분리가 의심되면 빈도 분포를 확인하고, Firth의 방법이나 변수 제거를 고려하세요.
• 과적합: 표본 크기에 비해 예측변수가 너무 많으면 과적합이 발생합니다. EPV < 10인 경우 특히 위험합니다. 모형이 훈련 데이터에는 잘 맞지만 새로운 데이터에 대한 일반화 능력이 떨어집니다. 변수 선택 방법(전진, 후진, 단계적)을 신중하게 적용하고, 가능하다면 교차 검증을 사용하세요.
• 오즈비 미보고: 계수(B)와 p값만 보고하고 오즈비(Exp(B))와 95% 신뢰구간을 보고하지 않는 것은 흔한 실수입니다. 오즈비는 효과의 크기를 직관적으로 전달하며, 신뢰구간은 추정의 정밀도를 보여줍니다. APA 가이드라인에서도 오즈비 보고를 권장합니다.
• 로짓 선형성 가정 미확인: 연속형 예측변수와 로짓 사이의 선형 관계를 확인하지 않으면, 모형이 비선형 패턴을 놓칠 수 있습니다. Box-Tidwell 검정이나 로짓 잔차 플롯을 통해 이 가정을 점검해야 합니다.
• 불균형 데이터 무시: 결과변수의 범주 비율이 매우 불균형한 경우(예: 양성 5%, 음성 95%), 모형이 다수 범주 쪽으로 편향될 수 있습니다. 전체 정확도가 높아 보여도 민감도가 매우 낮을 수 있으므로, 분류표의 민감도와 특이도를 반드시 확인하세요.