1. 모집단과 표본
모집단(Population) : 관심의 대상이 되는 전체 집단. ex) 한 국가의 모든 성인
표본(Sample) : 모집단에서 추출한 일부. ex) 그 국가의 성인 중 일부를 조사
표본을 사용하는 이유 ?
1) 현실적인 제약
- 비용과 시간
- 접근성
2) 대표성
- 표본의 대표성 : 잘 설계된 표본은 모집단의 특성을 반영할 수 있음. 이를 모집단 전체에 일반화
3) 데이터 관리
- 데이터 처리의 용이성 : 작은 표본은 데이터 처리와 분석이 훨씬 용이함.
- 데이터 품질 관리 : 작은 표본에서는 데이터 품질을 더 쉽게 관리하고, 오류나 이상값을 식별하여 수정 가능
4) 모델 검증 용이
- 모델 적합도 테스트 : 표본 데이터를 사용하여 통계적 모델을 검증할 수 있음. 모델이 표본 데이터에 잘 맞는다면, 모집단에도 잘 맞을 가능성이 높음.
전수조사 : 모집단 전체를 조사하는 방법. 대규모일 경우 비용과 시간이 많이 듦.
표본조사 : 표본만을 조사하는 방법. 비용과 시간이 적게 들지만, 표본이 대표성을 가져야 함.
import numpy as np
import matplotlib.pyplot as plt
# 모집단 생성 (예: 국가의 모든 성인의 키 데이터)
population = np.random.normal(170, 10, 1000)
# 표본 추출
sample = np.random.choice(population, 100)
plt.hist(population, bins=50, alpha=0.5, label='population', color='blue')
plt.hist(sample, bins=50, alpha=0.5, label='sample', color='red')
plt.legend()
plt.title('population and sample distribution')
plt.show()
np.random.normal
- 함수는 정규분포(가우시안 분포)를 따르는 난수를 생성함.
- 정규분포는 평균과 표준편차를 중심으로 데이터가 대칭적으로 분포하는 분포임
numpy.random.normal(loc=0.0, scale=1.0, size=None)
- loc (float): 정규분포의 평균 (기본값: 0.0)
- scale (float): 정규분포의 표준편차 (기본값: 1.0)
- size (int 또는 tuple of ints): 출력 배열의 크기 (기본값: None, 즉 스칼라 값 반환)
np.random.choice
- 주어진 배열에서 임의로 샘플링하여 요소를 선택함.
- 이는 지정된 배열에서 무작위로 선택된 요소를 반환하는 기능을 제공
numpy.random.choice(a, size=None, replace=True, p=None)
- a (1-D array-like or int): 샘플링할 원본 배열. 정수인 경우 np.arange(a)와 동일하게 간주됩니다.
- size (int 또는 tuple of ints): 출력 배열의 크기 (기본값: None, 즉 단일 값 반환)
- replace (boolean): 복원 추출 여부를 나타냅니다. True면 동일한 요소가 여러 번 선택될 수 있습니다 (기본값: True)
- p (1-D array-like, optional): 각 요소가 선택될 확률. 배열의 합은 1이어야 합니다.
plt.hist
- bins는 데이터를 몇 개의 구간으로 나눌 것인가
- bins는 정수나 리스트로 입력할 수 있음.
정수 : 빈의 개수를 지정함.
리스트 : 각 빈의 경계를 직접 지정함. (140-150, 150-160, ... 이런 식으로)
- alpha : 히스토그램 막대의 투명도를 지정함. 0(투명) ~ 1(불투명) 사이의 값
- label : 히스토그램의 레이블 지정
- color : 히스토그램 막대의 색상을 지정
2. 표본오차와 신뢰구간
" 표본이 모집단과 대비해서 얼마나 차이나는지, 신뢰할 수 있는지 파악 가능 "
표본오차 (Sampling Error)
- 표본에서 계산된 통계량과 모집단의 진짜 값 간의 차이
- 표본 크기가 클수록 표본오차는 작아짐
- 이는 표본이 모집단을 완벽하게 대표하지 못하기 때문에 발생, 표본의 크기와 표본 추출 방법에 따라 달리질 수 있음.
- 표본의 크기 : 표본의 크기가 클수록 표본오차는 줄어듬. 더 많은 데이터를 수집할수록 모집단을 더 잘 대표
- 표본 추출 방법 : 무작위 추출 방법을 사용하면 표본오차를 줄일 수 있음. 모든 모집단 요소가 선택될 동등한 기회를 가지게 해야함.
신뢰구간 (Confidence Interval)
- 신뢰구간은 모집단의 특정 파라미터(예 : 평균, 비율)에 대해 추정된 값이 포함될 것으로 기대되는 범위를 나타냄.
- 신뢰구간 계산 방법
- 신뢰구간 = 표본평균 ± z × 표준오차
- 여기서 z는 선택된 신뢰수준에 해당하는 z-값입니다. 예를 들어, 95% 신뢰수준의 z-값은 1.96
- 일반적으로 95% 신뢰수준을 많이 사용함.
import scipy.stats as stats
# 표본 평균과 표본 표준편차 계산
sample_mean = np.mean(sample)
sample_std = np.std(sample)
# 95% 신뢰구간 계산
conf_interval = stats.t.interval(0.95, len(sample)-1, loc=sample_mean, scale=sample_std/np.sqrt(len(sample)))
print(f"표본 평균: {sample_mean}")
print(f"95% 신뢰구간: {conf_interval}")
stats.interval 이란?
- scipy.stats는 SciPy 라이브러리의 일부로, 통계 분석을 위한 다양한 함수와 클래스들을 제공하는 모듈입니다.
- scipy.stats.t.interval 함수는 주어진 신뢰 수준에서 t-분포(밑에서 얘기하는 student t 분포)를 사용하여 신뢰 구간(confidence interval)을 계산하는 데 사용됩니다.
scipy.stats.t.interval(alpha, df, loc=0, scale=1)
- alpha
- 신뢰 수준(confidence level)을 의미합니다. 예를 들어, 95% 신뢰 구간을 원하면 alpha를 0.95로 설정합니다.
- df
- 자유도(degrees of freedom)를 나타냅니다. 일반적으로 표본 크기에서 1을 뺀 값으로 설정합니다 (df = n - 1).
- loc
- 위치(parameter of location)로, 일반적으로 표본 평균을 설정합니다.
- scale
- 스케일(parameter of scale)로, 일반적으로 표본 표준 오차(standard error)를 설정합니다. 표본 표준 오차는 표본 표준편차를 표본 크기의 제곱근으로 나눈 값입니다 (scale = sample_std / sqrt(n)).
3. 정규분포
정규분포란 ?
- 정규분포란 종 모양의 대칭 분포로, 대부분의 데이터가 평균 주위에 몰려 있는 분포
- 표준편차는 분포의 퍼짐 정도를 나타냄.
# 정규분포 생성
normal_dist = np.random.normal(170, 10, 1000)
# 히스토그램으로 시각화
plt.hist(normal_dist, bins=30, density=True, alpha=0.6, color='g')
# 정규분포 곡선 추가
xmin, xmax = plt.xlim()
x = np.linspace(xmin, xmax, 100)
p = stats.norm.pdf(x, 170, 10)
plt.plot(x, p, 'k', linewidth=2)
plt.title('normal distribution histogram')
plt.show()
4. 긴 꼬리 분포
긴 꼬리 분포란 ?
- 대부분의 데이터가 분포의 한쪽 끝에 몰려 있고, 반대쪽으로 긴 꼬리가 이어지는 형태의 분포
- 정규 분포와 달리 대칭적이지 않고, 비대칭적임.
- 특정한 하나의 분포를 의미하지 않으며, 여러 종류의 분포(예: 파레토 분포, 지프의 법칙, 멱함수)를 포함할 수 있음.
예) 소득 분포, 웹사이트 방문자 수 등에서 관찰됨.
# 긴 꼬리 분포 생성 (예: 소득 데이터)
long_tail = np.random.exponential(1, 1000)
# 히스토그램으로 시각화
plt.hist(long_tail, bins=30, density=True, alpha=0.6, color='b')
plt.title('long tail distribution histogram')
plt.show()
5. 스튜던트 t 분포
스튜던트 t 분포란 ?
- t 분포는 모집단의 표준편차를 알 수 없고 표본의 크기가 작은 경우 (일반적으로 30 미만)에 정규분포 대신 사용하는 분포
- 정규분포와 유사하지만, 표본의 크기가 작을수록 꼬리가 두꺼워지는 특징이 있음.
- 표본 크기(자유도*)가 커지면 정규분포에 가까워짐.
자유도 : 표본크기 - 1 이라고 정의
위의 예시 사진에서 v가 자유도, 자유도가 적을 수록 꼬리가 두꺼움.
보통 적은 표본의 평균을 비교할 때 많이 사용함.
# 스튜던트 t 분포 생성
t_dist = np.random.standard_t(df=10, size=1000)
# 히스토그램으로 시각화
plt.hist(t_dist, bins=30, density=True, alpha=0.6, color='r')
# 스튜던트 t 분포 곡선 추가
x = np.linspace(-4, 4, 100)
p = stats.t.pdf(x, df=10)
plt.plot(x, p, 'k', linewidth=2)
plt.title('student t distribution histogram')
plt.show()
6. 카이제곱분포
카이제곱분포란 ?
- 범주형 데이터의 독립성 검정이나 적합도 검정에 사용되는 분포
- 자유도에 따라 모양이 달라진다.
- 상관관계나 인과관계를 판별하고자 하는 원인의 독립변수가 '완벽하게 서로 다른 질적 자료' 일 때 활용
- ● ex) 성별이나 나이에 따른 선거 후보 지지율
독립성 검정
- 두 범주형 변수 간의 관계가 있는지 확인할 때 사용
- 예를 들어, 성별과 직업 선택 간의 독립성을 검토
- 혹은, 성별이 후보 지지율에 영향을 끼치는지? 검토할 수 있음
적합도 검정
- 관축한 값들이 특정 분포에 해당하는지? 검정할 때 사용됨.
- 예를 들어, 주사위의 각 면이 동일한 확률도 나오는지 검토할 수 있음.
# 카이제곱분포 생성
chi2_dist = np.random.chisquare(df=2, size=1000)
# 히스토그램으로 시각화
plt.hist(chi2_dist, bins=30, density=True, alpha=0.6, color='m')
# 카이제곱분포 곡선 추가
x = np.linspace(0, 10, 100)
p = stats.chi2.pdf(x, df=2)
plt.plot(x, p, 'k', linewidth=2)
plt.title('카이제곱 분포 히스토그램')
plt.show()
7. 이항 분포
- 결과가 2개가 나오는 상황일 때 사용하는 분포
- 이항분포는 연속된 값을 가지지 않고, 특정한 정수 값만을 가질 수 있음. 예를들어, 동전을 10번 던질 때 앞면이 나오는 횟수 : 0,1,2,3,...,10과 같은 정수, 따라서 그래프가 다음과 같이 나옴.
- 성공 / 실패와 같은 두 가지 결과를 갖는 실험을 여러 번 반복했을 때, 성공 횟수의 분포
- 독립적인 시행이 n번 반복되고, 각 시행에서 성공과 실패 중 하나의 결과만 가능한 경우를 모델링하는 분포
- 성공 확률을 p라고 할 때, 성공의 횟수를 확률적으로 나타냄. (성공 확률 : p, 시도 횟수 : n)
사용 예시) 동전 던지기, 품질 관리 (불량률 모니터링)
# 이항분포 생성 (예: 동전 던지기 10번 중 앞면이 나오는 횟수)
binom_dist = np.random.binomial(n=10, p=0.5, size=1000)
# 히스토그램으로 시각화
plt.hist(binom_dist, bins=10, density=True, alpha=0.6, color='y')
plt.title('이항 분포 히스토그램')
plt.show()
8. 푸아송 분포
- 단위 시간 또는 단위 면적 당 발생하는 사건의 수를 모델링할 때 사용
- 푸아송 분포는 평균 발생률 λ를 가진 사건이 주어진 시간 또는 공간 내에서 몇 번 발생하는가를 나타냄
- 단위 시간 또는 단위 면적당 희귀하게 발생하는 사건의 수를 모델링하는데 적합함.
- 이항 분포처럼 연속된 값을 가지지 않기 때문에 이 분포도 또한 이산형 분포
- 평균 발생률 λ가 충분히 크다면 정규분포에 근사
- 평균 발생률이란 주어진 시간이나 공간에서 사건이 몇 번 발생했는지 ?
- ex) 한 시간동안 콜센터에 전화오는 건수가 10건이면 λ는 10
import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import poisson
# 푸아송 분포 파라미터 설정
lambda_value = 4 # 평균 발생률
x = np.arange(0, 15) # 사건 발생 횟수 범위
# 푸아송 분포 확률 질량 함수 계산
poisson_pmf = poisson.pmf(x, lambda_value)
# 그래프 그리기
plt.figure(figsize=(10, 6))
plt.bar(x, poisson_pmf, alpha=0.6, color='b', label=f'Poisson PMF (lambda={lambda_value})')
plt.xlabel('Number of Events')
plt.ylabel('Probability')
plt.title('Poisson Distribution')
plt.legend()
plt.grid(True)
plt.show()
정리)
- 결국 데이터의 수가 엄청 많아지면 정규분포에 수렴 (중심극한정리)
- 하지만, 데이터가 적을 경우 각 상황에 맞는 분포를 선택
- 특히, long tail distribution은 데이터가 많아도 정규분포가 되지 않는 분포임.
분포를 어떻게 고르면 될까 ? (무조건은 x, 참고)
