소개
연구를 설계할 때 가장 먼저 직면하는 질문 중 하나는 **"참가자를 몇 명 모집해야 하는가?"**입니다. 표본 크기(Sample Size)가 너무 작으면 실제로 존재하는 효과를 탐지할 통계적 검정력이 부족하고, 너무 크면 시간과 비용이 불필요하게 낭비됩니다.
**검정력 분석(Power Analysis)**은 연구에 필요한 최소 표본 크기를 과학적으로 결정하는 방법입니다. 네 가지 핵심 요소 — 유의수준(α), 검정력(1−β), 효과 크기(ES), 표본 크기(N) — 중 세 가지를 알면 나머지 하나를 계산할 수 있습니다.
이 가이드에서는 검정력 분석의 개념부터 다양한 통계 검정별 표본 크기 계산까지 실제 예제와 함께 상세히 안내합니다. StatMate의 표본 크기 계산기를 활용하면 검정 유형, 효과 크기, 유의수준, 검정력을 입력하는 것만으로 필요 표본 크기를 자동으로 얻을 수 있습니다.
표본 크기 계산이 중요한 이유
표본이 너무 작은 경우 (Underpowered Study)
- 제2종 오류(β) 위험 증가: 실제 효과가 있는데도 탐지하지 못함
- 통계적으로 유의하지 않은 결과를 "효과 없음"으로 잘못 결론
- 연구 자원(시간, 비용, 참가자 노력)의 낭비
- 학술지 게재 가능성 저하
표본이 너무 큰 경우 (Overpowered Study)
- 불필요한 비용과 시간 투자
- 실질적으로 의미 없는 작은 효과도 유의하게 나옴
- 연구 윤리 문제 (불필요하게 많은 참가자 노출)
적절한 표본 크기의 기준
적절한 표본 크기란 연구자가 관심 있는 크기의 효과를 합리적인 확률(검정력)로 탐지하기에 충분한 수입니다.
1단계: 핵심 개념 이해
네 가지 핵심 매개변수
| 매개변수 | 기호 | 의미 | 일반적 설정 | |---------|------|------|-----------| | 유의수준 | α | 제1종 오류 확률 (거짓 양성) | .05 (95% 신뢰) | | 검정력 | 1−β | 실제 효과를 탐지할 확률 | .80 또는 .90 | | 효과 크기 | ES | 탐지하려는 효과의 크기 | 연구 맥락에 따라 결정 | | 표본 크기 | N | 필요한 참가자 수 | 계산 대상 |
제1종 오류와 제2종 오류
| | 실제로 효과 없음 (H₀ 참) | 실제로 효과 있음 (H₀ 거짓) | |---|---|---| | H₀ 기각 | 제1종 오류 (α) — 거짓 양성 | 올바른 결정 (검정력, 1−β) | | H₀ 채택 | 올바른 결정 (1−α) | 제2종 오류 (β) — 거짓 음성 |
효과 크기 기준 (Cohen, 1988)
| 통계 검정 | 효과 크기 지표 | 작은 효과 | 중간 효과 | 큰 효과 | |----------|-------------|---------|---------|---------| | t-검정 | Cohen's d | 0.20 | 0.50 | 0.80 | | ANOVA | Cohen's f | 0.10 | 0.25 | 0.40 | | 상관분석 | r | 0.10 | 0.30 | 0.50 | | 카이제곱 | Cohen's w | 0.10 | 0.30 | 0.50 | | 회귀분석 | Cohen's f² | 0.02 | 0.15 | 0.35 |
2단계: 효과 크기 결정
효과 크기를 결정하는 방법은 다음 세 가지입니다.
방법 1: 선행 연구 기반
가장 권장되는 방법입니다. 유사한 선행 연구에서 보고된 효과 크기를 참고합니다.
예시: 선행 연구에서 새로운 교수법과 기존 교수법의 성적 차이가 d = 0.65로 보고되었다면, 이 값을 기반으로 표본 크기를 계산합니다.
방법 2: 실질적 의미 기반
연구자가 "이 정도 차이는 실제로 의미가 있다"고 판단하는 최소 차이를 효과 크기로 변환합니다.
예시: 신약이 혈압을 최소 5 mmHg 이상 낮춰야 임상적으로 의미 있다고 판단하고, 기존 연구에서 혈압의 표준편차가 10 mmHg이라면:
d = 최소 의미 있는 차이 / 표준편차 = 5 / 10 = 0.50 (중간 효과)
방법 3: Cohen의 기준 사용
선행 연구가 없고 실질적 기준도 불확실할 때 Cohen의 작은/중간/큰 효과 기준을 사용합니다. 이 방법은 최후의 수단으로, 가능하면 방법 1이나 2를 사용하세요.
3단계: 통계 검정별 표본 크기 계산
독립표본 t-검정
두 집단의 평균 차이를 비교할 때 필요한 각 집단의 표본 크기입니다.
공식 (근사):
n = (Zα/2 + Zβ)² × 2 / d²
여기서 d는 Cohen's d, Zα/2 = 1.96 (α=.05), Zβ = 0.842 (검정력=.80)
예제: 중간 효과 크기(d = 0.50), α = .05, 검정력 = .80
n = (1.96 + 0.842)² × 2 / 0.50² = (2.802)² × 2 / 0.25 = 7.851 × 8 = 62.81
각 집단 63명, 총 126명이 필요합니다.
다양한 조건별 필요 표본 크기 (독립표본 t-검정)
| 효과 크기 (d) | 검정력 .80 | 검정력 .90 | 검정력 .95 | |--------------|-----------|-----------|-----------| | 0.20 (작은) | 394명/집단 | 526명/집단 | 651명/집단 | | 0.50 (중간) | 64명/집단 | 85명/집단 | 105명/집단 | | 0.80 (큰) | 26명/집단 | 34명/집단 | 42명/집단 |
일원분산분석 (One-Way ANOVA)
세 개 이상의 집단을 비교할 때 각 집단에 필요한 표본 크기입니다.
예제: 3개 집단, 중간 효과(f = 0.25), α = .05, 검정력 = .80
| 집단 수 (k) | f = 0.10 | f = 0.25 | f = 0.40 | |------------|---------|---------|---------| | 3 | 322명/집단 | 52명/집단 | 21명/집단 | | 4 | 274명/집단 | 45명/집단 | 18명/집단 | | 5 | 240명/집단 | 39명/집단 | 16명/집단 |
3개 집단에서 중간 효과를 탐지하려면 각 집단 52명, 총 156명이 필요합니다.
상관분석
두 변수의 상관이 유의한지 검정할 때 필요한 표본 크기입니다.
예제: 중간 상관(r = .30), α = .05, 검정력 = .80
| 기대 상관 (r) | 검정력 .80 | 검정력 .90 | |-------------|-----------|-----------| | .10 | 782명 | 1,046명 | | .20 | 194명 | 259명 | | .30 | 85명 | 113명 | | .40 | 47명 | 62명 | | .50 | 29명 | 38명 |
r = .30을 탐지하려면 85명이 필요합니다.
카이제곱 독립성 검정
분할표에서 두 변수의 관련성을 검정할 때 필요한 전체 표본 크기입니다.
예제: 2x2 분할표, 중간 효과(w = 0.30), α = .05, 검정력 = .80
| 자유도 (df) | w = 0.10 | w = 0.30 | w = 0.50 | |------------|---------|---------|---------| | 1 (2x2) | 785명 | 88명 | 32명 | | 2 (3x2) | 964명 | 108명 | 39명 | | 4 (3x3) | 1,168명 | 130명 | 47명 |
2x2 분할표에서 중간 효과를 탐지하려면 88명이 필요합니다.
단순회귀분석
회귀계수가 유의한지 검정할 때 필요한 표본 크기입니다.
예제: 중간 효과(f² = 0.15), 독립변수 1개, α = .05, 검정력 = .80
| 독립변수 수 | f² = 0.02 | f² = 0.15 | f² = 0.35 | |-----------|---------|---------|---------| | 1 | 485명 | 55명 | 25명 | | 2 | 481명 | 67명 | 31명 | | 5 | 645명 | 91명 | 42명 | | 10 | 823명 | 118명 | 55명 |
독립변수 1개에서 중간 효과를 탐지하려면 55명이 필요합니다.
4단계: 검정력 곡선 해석
검정력 곡선은 표본 크기에 따라 검정력이 어떻게 변하는지 보여주는 그래프입니다.
검정력 곡선의 핵심 특성
| 특성 | 설명 | |------|------| | X축 | 표본 크기 (N) | | Y축 | 검정력 (1−β) | | 곡선 형태 | S자형 (처음에 급상승, 이후 완만) | | 수평 점근선 | 1.0에 가까워짐 (100% 도달 불가) |
검정력에 영향을 미치는 요인
| 요인 | 검정력 증가 방향 | 검정력 감소 방향 | |------|----------------|----------------| | 표본 크기 | N 증가 | N 감소 | | 효과 크기 | 큰 효과 | 작은 효과 | | 유의수준 | α 완화(예: .10) | α 엄격(예: .01) | | 검정 방향 | 단측 검정 | 양측 검정 | | 분산 | 낮은 분산 | 높은 분산 |
5단계: 실용적 고려사항
탈락률 보정
연구 진행 중 참가자 탈락은 불가피합니다. 계산된 표본 크기에 탈락률을 보정해야 합니다.
보정 공식: N_adjusted = N / (1 − 예상 탈락률)
예시: 필요 표본 크기 100명, 예상 탈락률 20%
N_adjusted = 100 / (1 − 0.20) = 100 / 0.80 = 125명
연구 유형별 권장 탈락률
| 연구 유형 | 예상 탈락률 | 보정 배수 | |----------|-----------|---------| | 횡단 설문조사 | 5~10% | 1.05~1.11 | | 종단 연구 (6개월) | 15~25% | 1.18~1.33 | | 임상 시험 (1년) | 20~40% | 1.25~1.67 | | 온라인 설문 | 10~30% | 1.11~1.43 |
비균등 집단 크기
집단 크기가 같지 않아도 되지만, 균등 배분이 가장 효율적입니다. 불가피하게 비균등이면 다음을 고려하세요.
| 집단 크기 비율 (n₁ : n₂) | 검정력 대비 효율성 | |-------------------------|-----------------| | 1:1 | 100% (최적) | | 1:2 | 약 89% | | 1:3 | 약 75% | | 1:4 | 약 64% |
비율이 1:4를 넘으면 검정력이 크게 떨어지므로 권장하지 않습니다.
결과 해석 방법
보고 예시
사전 검정력 분석을 실시하였다. 독립표본 t-검정에서 중간 효과 크기(d = 0.50)를 탐지하기 위해, 양측 검정, 유의수준 α = .05, 검정력 .80 조건에서 각 집단 최소 64명이 필요한 것으로 산출되었다. 예상 탈락률 15%를 고려하여 각 집단 76명, 총 152명을 모집 목표로 설정하였다.
보고 시 포함해야 할 요소
- 사용한 검정 유형: 독립표본 t-검정, ANOVA 등
- 효과 크기와 그 근거: 선행 연구 인용 또는 실질적 기준
- 유의수준과 검정력: 일반적으로 α = .05, 1−β = .80
- 검정 방향: 양측 또는 단측
- 산출된 표본 크기: 정확한 수치
- 탈락률 보정 후 최종 목표 수: 실제 모집 인원
StatMate로 표본 크기 계산하기
StatMate의 표본 크기 계산기를 사용하면 간편하게 계산할 수 있습니다.
- 표본 크기 계산기 페이지에 접속합니다.
- 통계 검정 유형을 선택합니다 (t-검정, ANOVA, 상관, 카이제곱 등).
- 효과 크기를 입력합니다 (직접 입력 또는 Cohen의 기준 선택).
- 유의수준(α)과 검정력(1−β)을 설정합니다.
- 검정 방향(양측/단측)을 선택합니다.
- 계산 버튼을 클릭합니다.
- 필요 표본 크기와 검정력 곡선을 확인합니다.
- 결과를 APA 형식으로 복사하거나 PDF로 내보낼 수 있습니다.
자주 묻는 질문 (FAQ)
검정력은 왜 .80으로 설정하나요?
Cohen(1988)이 제안한 관례적 기준입니다. .80은 실제 효과가 있을 때 이를 탐지할 확률이 80%라는 의미이며, 제2종 오류율(β)이 20%입니다. 이는 제1종 오류율(α = .05, 5%)과의 비율을 약 4:1로 유지하는 것으로, 대부분의 연구에서 수용 가능한 수준입니다. 의학 연구나 중요한 의사결정에서는 .90이나 .95를 사용하기도 합니다.
효과 크기를 모를 때는 어떻게 하나요?
세 가지 접근법이 있습니다.
- 파일럿 연구 실시: 소규모 예비 연구로 효과 크기를 추정합니다.
- 메타분석 참고: 해당 분야의 메타분석에서 평균 효과 크기를 확인합니다.
- 보수적 추정: Cohen의 "작은 효과"를 사용하여 충분한 표본을 확보합니다. 다만 비용이 많이 듭니다.
사후 검정력 분석(Post-hoc Power Analysis)은 유용한가요?
사후 검정력 분석(데이터 수집 후 관측된 효과 크기로 검정력 계산)은 권장되지 않습니다. 관측된 p-값과 사후 검정력은 일대일 대응 관계에 있어서 추가 정보를 제공하지 않습니다. 유의하지 않은 결과에 대해 "검정력이 부족했다"고 변명하는 용도로 오용될 수 있습니다. 검정력 분석은 반드시 **데이터 수집 전(사전)**에 실시해야 합니다.
설문조사에서 표본 크기는 어떻게 결정하나요?
설문조사(비율 추정)의 표본 크기는 통계 검정과 다른 공식을 사용합니다.
n = Z² × p(1−p) / E²
- Z: 신뢰수준에 해당하는 Z-값 (95%일 때 1.96)
- p: 예상 비율 (모를 때 0.5 사용)
- E: 허용 오차(오차 한계)
예시: 95% 신뢰수준, 오차 한계 ±3%
n = 1.96² × 0.5 × 0.5 / 0.03² = 3.8416 × 0.25 / 0.0009 = 1,068명
다중 비교를 할 때 표본 크기는 어떻게 보정하나요?
여러 검정을 동시에 수행하면 Bonferroni 보정 등으로 유의수준을 조정해야 합니다. 이 보정된 유의수준을 검정력 분석에 적용하면 더 큰 표본이 필요합니다. 예를 들어, 5개 비교에서 Bonferroni 보정을 적용하면 α = .05/5 = .01이 되어 각 비교에 더 많은 표본이 필요합니다.
예산이 제한되어 계산된 표본을 모집할 수 없으면?
이 경우 다음 전략을 고려하세요.
- 큰 효과에 집중: 작은 효과를 탐지하지 않고 큰 효과만 탐지하도록 설계
- 단측 검정 사용: 이론적 근거가 있다면 단측 검정으로 검정력 확보
- 반복 측정 설계: 대응표본은 독립표본보다 적은 수로 동일한 검정력 달성
- 공변량 통제: ANCOVA를 사용하여 오차 분산을 줄이면 표본 크기를 줄일 수 있음
- 순차 분석: 중간 분석을 포함하여 효과가 크면 조기 종료