통계학

From Hidden Wiki
Jump to navigation Jump to search
필독 사항 유닠스 계열 저작물, 성인물, 도박 웹 써버 보안 프로그래밍 그래핔 파싱
필독 사항 고스트BSD 표면 웹 싸이트 제작 리눅스 마스터 파이썬 트킨터 뷰티펄 숲
수학 아이투피 마약, 아청물, 해킹 웹 싸이트 보안 웹 프로그래밍 데이터 분석 게임 제작
통계학 뮤와이어 다크넽 싸이트 제작 정보 보안 기사 쟁고우 팬더즈 파이게임

개요

통계학 (statistics)은 사회 현상을 통계에 의하여 관찰ㆍ연구하는 학문이다. 수학의 한 분야이다. 자연 과학 (자연과학), 사회 과학 (사회과학) 등 과학 분야에서 많이 쓰인다.


  • Clive Thompson on Why We Should Learn the Language of Data

https://www.wired.com/2010/04/st-thompson-statistics/

"왜 통계를 배워야 하는가?"에 대한 좋은 글이다.


리브레오피스 캘크 (LibreOffice Calc), 엑셀 (Microsoft Excel), 에스피에스에스 (SPSS), 파이썬 (Python), (R) 등을 통계 계산에 사용할 수 있다.


  • Run R code online

https://rdrr.io/snippets/


  • compile R online

https://rextester.com/l/r_online_compiler

파이썬

터미널을 연다. 아래 명령어 중 하나를 입력한다.

lsb_release -a
cat /etc/lsb-release
cat /etc/issue

우분투 20.10


python3 --version

파이썬 3.8.6



# scipy
import scipy
print('scipy: {}'.format(scipy.__version__))

# numpy
import numpy
print('numpy: {}'.format(numpy.__version__))

# matplotlib
import matplotlib
print('matplotlib: {}'.format(matplotlib.__version__))

# pandas
import pandas
print('pandas: {}'.format(pandas.__version__))

소스 코드파이썬에서 실행해서 scipy, numpy, matplotlib, pandas가 설치됐나 확인.

설치 안 됐으면 아래 명령어SciPy, NumPy, Matplotlib, pandas를 설치한다.

pip3 install pandas
pip3 install scipy
pip3 install matplotlib

numpy는 pandas가 설치될 때 같이 설치된다.


팬더즈 문서 참조.

모수 통계

모수 통계

Parametric statistics

Z-검정

Z-검정 (Z-test)


Z-검정은 정규분포를 가정하며, 추출된 표본이 동일 모집단에 속하는지 가설 검증하기 위해 사용.

Z-score는 '모집단 평균' 및 '모집단 표준 편차' 의 매개 변수를 이용해 계산

  • Null hypothesis(귀무 가설) - 표본 평균이 모집단 평균과 같음
  • Alternate hypothesis(대립 가설) - 표본 평균이 모집단 평균과 같지 않음

Z 검정 통계량값이 임계값(Critical value)보다 크고 작음에 따라, 가설을 기각 또는 채택하게 됨


Z-검정을 사용할 때?

a) 표본 크기가 30보다 큼 (30이하라면 T-test 사용)

b) 데이터가 서로 독립적 (하나의 데이터가 다른 데이터에 영향을 미치지 않고, 관련되지 않음)

c) 데이터가 정규분포 (그러나, 30보다 큰 대규모 표본에서는 중요하지 않음)

d) 각각의 데이터는 모집단에서 동일한 확률로 선택되야 함

e) 비교 검정에서는 샘플크기가 가능한 같아야 함


One-proportion Z-검정

One-Proportion Z-Test in R

https://sthda.com/english/wiki/one-proportion-z-test-in-r


One-proportion Z-검정 (R 예제)

One-proportion Z-검정은 '실제 측정 비율'이 '예상 이론 비율'과 일치하는지 비교하기 위해 사용.

예제로, 수컷과 암컷의 비율이 50%로 균등한 쥐 집단에서, 추출된 160마리에서 각각 95마리 수컷과 65마리 암컷의 암발생을 확인함.

우리는 암발생이 수컷 쥐에서 더 빈번한지 통계적으로 알고 싶다.


# prop.test 함수 사용 (binom.test 함수도 가능)
res <- prop.test(x = 95, n = 160, p = 0.5, correct = FALSE)
res


결과


1-sample proportions test without continuity correction

data:  95 out of 160, null probability 0.5
X-squared = 5.625, df = 1, p-value = 0.01771
alternative hypothesis: true p is not equal to 0.5
95 percent confidence interval:
0.5163169 0.6667870
sample estimates:
      p 
0.59375 


검정 결과 p-value 값이 0.01771으로 유의 수준인 alpha = 0.05보다 작음.

따라서, 암발생 쥐의 비율이 모집단 0.5 비율과 유의하게 다르다는 결론을 내림.


binom.test 함수로도 해보자.

res <- binom.test(x = 95, n = 160, p = 0.5)
# Printing the results
res 


결과

Exact binomial test

data:  95 and 160
number of successes = 95, number of trials = 160, p-value = 0.02157
alternative hypothesis: true probability of success is not equal to 0.5
95 percent confidence interval:
0.5133727 0.6705878
sample estimates:
probability of success 
              0.59375 




파이썬으로 해보자.

from scipy.stats import binom_test

print(binom_test(x=95, n=160, p=0.5))


결과

0.021573829619037872

스튜던츠 t-검정

스튜던츠 t-검정 (t-검정)

Student's t-test (t-test)

독립 표본 t-검정

대응 표본 t-검정


Unpaired and paired two-sample t-tests

Independent (unpaired) samples

Paired samples


평균 검정은 단일집단 혹은 독립된 집단 사이의 가설을 검정하기 위한 수단으로 수치형 변수에 대해 집단의 평균의 차를 비교하기 위해 사용한다. 검정통계량(평균검정에서는 t값)과 p-value를 계산하여 신뢰구간을 만족하는 지 확인하고, 가설의 채택 여부를 결정한다.


평균검정에는 크게 z-검정, t-검정, 분산분석으로 나뉜다. z-검정과 t-검정은 비교집단이 2개 이하일 경우에 사용하고 분산분석은 3개 집단 이상일 경우에 사용한다. 분산분석의 경우 다음에 다룰 것이기 때문에 논외한다. 2개 집단 이하에서 평균검정을 하기 위해서는 z-검정과 t-검정이 사용된다. 이 둘의 차이는 다음과 같다. z-검정은 모분산을 알고 있을 경우에만 사용이 가능하다. 반면, t-검정은 모분산을 모를 때도 사용이 가능하다. 이러한 z-검정의 제약조건(정규성, 모분산 보유)때문에 일반적으로 평균검정에는 t-검정을 사용한다.


t-검정에는 크게 3가지가 있다. 일표본 t-검정, 독립표본 t-검정, 쌍체표본 t-검정이다. 일표본 t-검정은 기존에 알려져 있는 평균값이 맞는지를 확인하기 위한 검정방법이다. 독립표본 t-검정은 독립된 두 집단간의 평균 차이를 검정한다. 쌍체표본 t-검정은 동일한 항목, 사람, 또는 물건에 대한 측정 값이 두개인 경우 그 차이를 비교하기 위해 사용하는 검정방법이다.


독립표본 t-검정

독립표본 t-검정(Independent sample t-test)을 하는 방법을 알아 보겠습니다. 2개의 독립적인 샘플에 대한 평균의 차이를 통계적으로 검정하는 겁니다. 그 전에 2개의 표본이 독립적이기 위해서는 아래 조건을 만족해야 합니다.

 - 2개의 표본이 서로 관계없는 모집단에서 추출
 - 표본 간에는 아무런 관계가 없음

일단 2개의 독립표본을 만들어 보겠습니다. R에서 기본으로 제공하고 있는 붓꽃(iris)의 종별 특성 데이터에서 2개 표본을 만들어 보겠습니다. iris에는 종별 50개, 총 150개의 샘플이 있는데, 그 중 2개종 100개의 데이터만 사용하겠습니다. 특성은 꽃받침의 길이(sepal.length)만 사용하겠습니다.



[파이썬 데이터 사이언스] 독립표본 t-검정(Independent sample t-test)

2개 종의 꽃받침의 길이에는 차이가 있습니까?

iris 데이터는 미리 iris.ods라는 이름의 캘크 (Calc) 파일로 만들어 놓았습니다. ​

ods 파일 등 리브레오피스 (LibreOffice) 파일인 odf 파일을 불러오려면 odfpy를 설치해야 합니다.

pip3 install odfpy


만약에 엑셀 (Excel) 파일인 xls나 xlsx 파일을 불러오려면 xlrd를 설치해야 합니다.

pip3 install xlrd


A1에 species, B1에 sepal이라고 쓰고, A2에서 A51까지는 1을, A52에서 A101까지는 2를 써놓으면 된다. B2에서 B51까지는 x1의 데이터를, B52부터 B101까지는 x2의 데이터를 입력하면 됨.

저의 경우 홈 디렉터리에 있는 iris.ods 파일(윈도우즈라면 바탕화면에 있는 iris.xlsx 파일)을 읽어서 data라는 데이터프레임을 만들고, 편의상 종별로 x1, x2로 나누었습니다.

import pandas as pd
from numpy import array

# 엑셀 파일 불러오기
data = pd.read_excel("/home/username/iris.ods")   # username 부분은 자신의 계정 이름을 적으면 된다. 윈도우즈의 경우 "C:/Users/username/Desktop/iris.xlsx"와 같이 쓸 수 있다.
data = pd.DataFrame(data)   # 데이터프레임으로 전환

x1 = array(data.sepal[ 0: 50])
x2 = array(data.sepal[50:100])

print(x1)  # 출력, 자료를 확인하기 위한 작업으로 불필요함
print(x2)


x1과 x2는 다음과 같습니다.

[5.1 4.9 4.7 4.6 5.  5.4 4.6 5.  4.4 4.9 5.4 4.8 4.8 4.3 5.8 5.7 5.4 5.1
5.7 5.1 5.4 5.1 4.6 5.1 4.8 5.  5.  5.2 5.2 4.7 4.8 5.4 5.2 5.5 4.9 5.
5.5 4.9 4.4 5.1 5.  4.5 4.4 5.  5.1 4.8 5.1 4.6 5.3 5. ]
[7.  6.4 6.9 5.5 6.5 5.7 6.3 4.9 6.6 5.2 5.  5.9 6.  6.1 5.6 6.7 5.6 5.8
6.2 5.6 5.9 6.1 6.3 6.1 6.4 6.6 6.8 6.7 6.  5.7 5.5 5.5 5.8 6.  5.4 6.
6.7 6.3 5.6 5.5 5.5 6.1 5.8 5.  5.6 5.7 5.7 6.2 5.1 5.7]


자료를 박스플롯으로 작성하여 보겠습니다.

import pandas as pd
from numpy import array

data = pd.read_excel("/home/username/iris.ods")
data = pd.DataFrame(data)

x1 = array(data.sepal[ 0: 50])
x2 = array(data.sepal[50:100])

import matplotlib.pyplot as plt
'exec(%matplotlib inline)'

plt.figure(figsize=(6,6))
plt.grid()
plt.boxplot([x1,x2])
plt.xlabel('species')
plt.ylabel('sepal')
plt.title('Iris Box Plot')

plt.show()


seaborn으로 박스플롯을 작성해 보겠습니다.

먼저 seaborn을 설치합니다.

pip3 install seaborn

그리고 아래 소스 코드를 실행합니다.

import pandas as pd
from numpy import array

data = pd.read_excel("/home/username/iris.ods")
data = pd.DataFrame(data)

x1 = array(data.sepal[ 0: 50])
x2 = array(data.sepal[50:100])

import matplotlib.pyplot as plt
import seaborn as sns

# 화면 스타일 설정하기
sns.set_style("whitegrid")

plt.figure(figsize=(6, 6))
sns.boxplot(x='species', y='sepal', data=data)
plt.title("Box Plot")
plt.show()

박스플롯은 seaborn이 matplotlib.pyplot보다 더 보기 좋은 것 같습니다.


데이터가 각각 30개 이상이기 때문에 필요 없을 수도 있지만, Shapiro-Wilks의 정규성을 검정하여 보겠습니다.

import pandas as pd
from numpy import array

data = pd.read_excel("/home/username/iris.ods")
data = pd.DataFrame(data)

x1 = array(data.sepal[ 0: 50])
x2 = array(data.sepal[50:100])

from scipy.stats import shapiro

# 정규성 검정
normal1 = shapiro(x1)
normal2 = shapiro(x2)
print(normal1, normal2)

결과는 다음과 같이 모두 p-value가 0.05보다 커서 정규성을 만족합니다.

ShapiroResult(statistic=0.9776989221572876, pvalue=0.4595281183719635) ShapiroResult(statistic=0.9778355956077576, pvalue=0.46473264694213867)


levene test로 등분산성을 검정합니다.

import pandas as pd
from numpy import array

data = pd.read_excel("/home/username/iris.ods")
data = pd.DataFrame(data)

x1 = array(data.sepal[ 0: 50])
x2 = array(data.sepal[50:100])

from scipy.stats import levene, ttest_ind

# 등분산성 검정
print(levene(x1, x2))

결과는 p-value가 .05보다 작아서 등분산성을 만족하지 못합니다.

LeveneResult(statistic=8.172720533728683, pvalue=0.005195521631017527)


등분산성을 bartlett test로 할 수도 있습니다.


import pandas as pd
from numpy import array

data = pd.read_excel("/home/username/iris.ods")
data = pd.DataFrame(data)

x1 = array(data.sepal[ 0: 50])
x2 = array(data.sepal[50:100])

from scipy.stats import bartlett

# 등분산성 검정
print(bartlett(x1, x2))


역시 결과는 p-value가 .05보다 작아서 등분산성을 만족하지 못합니다.

BartlettResult(statistic=6.891726740802407, pvalue=0.008659557933880048)



만약 등분산성을 만족한다면 다음과 같이 검정하면 됩니다.

import pandas as pd
from numpy import array

data = pd.read_excel("/home/username/iris.ods")
data = pd.DataFrame(data)

x1 = array(data.sepal[ 0: 50])
x2 = array(data.sepal[50:100])

from scipy.stats import ttest_ind

# 등분산성 검정
print(ttest_ind(x1, x2))

결과

Ttest_indResult(statistic=-10.52098626754911, pvalue=8.985235037487077e-18)

e-18은 10의 -18승이라는 의미입니다.


하지만 이 예제는 등분산성을 만족하지 못하기 때문에 다음과 같이 설정하여야 합니다. 등분산성을 만족하지 못하는 2개의 그룹에 대한 ttest_ind()에는 equal_var=False 옵션을 추가합니다.

import pandas as pd
from numpy import array

data = pd.read_excel("/home/username/iris.ods")
data = pd.DataFrame(data)

x1 = array(data.sepal[ 0: 50])
x2 = array(data.sepal[50:100])

from scipy.stats import ttest_ind

# 등분산성 검정
print(ttest_ind(x1, x2, equal_var=False))

결과

Ttest_indResult(statistic=-10.52098626754911, pvalue=3.746742613983842e-17)

e-17은 10의 -17승이라는 의미입니다.

결과가 조금 상이합니다.

그 결과 p-value는 0.05에 비하여 너무 작기 때문에 2개의 샘플의 평균은 통계적으로 유의한 차이가 있다고 판단할 수 있습니다.


각 그룹의 평균은 다음과 같습니다.

import pandas as pd
from numpy import array, mean

data = pd.read_excel("/home/username/iris.ods")
data = pd.DataFrame(data)

x1 = array(data.sepal[ 0: 50])
x2 = array(data.sepal[50:100])

# 평균
print(mean(x1), mean(x2))

결과

(5.006, 5.936)


이상 파이썬을 이용한 독립표본 t-검정을 알아보았습니다.

카이-제곱 검정

카이-제곱 검정 (카이제곱 검정)

Chi-squared test

회귀 분석

회귀 분석

Regression analysis


선형 회귀

Linear regression

분산 분석

분산 분석

analysis of variance (ANOVA)


일원 배치 분산 분석

일원 분산 분석

One-way (one factor) ANOVA

피어슨 상관 계수

피어슨 상관 계수

Pearson correlation coefficient

비모수 통계

비모수 통계

Nonparametric statistics


Rank test

Wilcoxon signed-rank 검정

Wilcoxon signed-rank 검정

Wilcoxon signed-rank test

Kruskal–Wallis 일원 분산 분석

Kruskal–Wallis 일원 분산 분석

Kruskal–Wallis one-way analysis of variance

Mann-Whitney U 검정

Mann-Whitney U 검정

Mann–Whitney U test

Mann-Whitney rank 검정

스피어만 순위 상관 계수

스피어만 순위 상관 계수 (스피어만 상관 계수)

Spearman's rank correlation coefficient

용어

* 모집단(population)은 관측 대상이 되는 전체 집단이다.
* 표본(sample)은 모 집단에서 일부만 조사한 것이다.
* 모 평균(population mean) μ는 모 집단의 평균이다. 모두 더한 후 전체 데이터 수 n으로 나눈다. 확률 변수기댓값이다.
* 표본 평균(sample mean) [math( \bar{X} )]는 표본의 평균이다. 모두 더한 후 n으로 나눈다.
* 모 분산(population variance) σ^^2^^은 모집단의 분산이다. 관측값에서 모 평균을 빼고 그것을 제곱한 값을 모두 더하여 전체 데이터 수 n으로 나눈 것이다.
* 표본 분산(sample variance) s^^2^^은 표본의 분산이다. 관측값에서 표본 평균을 빼고 제곱한 값을 모두 더한 것을 n-1로 나눈 것이다.
* 모 표준 편차(population standard deviation) σ는 모 집단의 표준 편차이다. 모 분산 σ^^2^^에 제곱근을 씌워서 구한다.
* 표본 표준 편차(sample standard deviation) s는 표본의 표준 편차이다. 표본 분산 s^^2^^에 제곱근을 씌워서 구한다.
* 평균 절대 편차(average absolute deviation 또는 mean absolute deviation)는 관측값에서 평균을 빼고, 그 차이값에 절대값을 취하고, 그 값들을 모두 더하여 전체 데이터 갯수로 나눠준 것이다. 절대값 편차의 평균이라고 생각하면 된다.
* 중앙값 절대 편차(median absolute deviation)는 관측값에서 중앙값을 빼고, 그 차이에 절댓값을 취한 값들의 중앙값을 구한다.
* 최소 절대 편차(least absolute deviation)는 회귀 분석(regression analysis)에 사용된다.
* 공분산(covariance): 2개의 확률 변수의 상관정도를 나타내는 값이다. 확률 변수 X의 증감에 따른 확률 변수 Y의 증감의 경향에 대한 측도이다.
* 상관 계수(correlation coefficient): 두 변인간의 관계를 나타내는 측도이다. 피어슨 상관 계수(Pearson correlation coefficient 또는 Pearson's r)를 가장 많이 사용한다. 공분산은 X와 Y의 단위에 의존하는 양이므로 단위와는 무관한 측도를 얻기 위하여 공분산을 X와 Y의 표준 편차의 곱으로 나누어서 얻은 값이 상관 계수이다. 상관 계수 X와 Y의 선형 관계의 강도에 대한 측도이다.
* [anchor(왜도)]왜도(skewness) 또는 왜곡도: 그래프가 왼쪽이나 오른쪽으로 치우친 정도이다.
* 첨도(kurtosis): 그래프가 위로 뾰족한 정도이다.
* 확률 변수(random variable): 표본 공간에서 정의된 실수 값 함수이다.
* 확률 분포(probability distribution): 확률 변수 X의 발생 가능성의 정도이다. 이산 확률 분포연속 확률 분포가 있다.
* 이산 확률 변수(random variable of discrete type): 확률 변수 X가 취할 수 있는 모든 값을 x1, x2, x3, ... 처럼 셀 수 있을 때 X를 이산 확률 변수라고 한다.
* 확률 질량 함수(probability mass function): 이산 확률 변수 X가 취할 수 있는 값 x1, x2, x3, ... 의 각각에 대해서 확률 P(X=x1), P(X=x2), P(X=x3), ... 을 대응시켜주는 관계이다.
* 연속 확률 변수(random variable of continuous type): 적절한 구간 내의 모든 값을 취하는 확률 변수이다.
* 확률 밀도 함수(probability density function): 연속 확률 변수 X에 관한 확률을 결정하는 함수 f(x)이다.
* 표본 분포(sampling distribution 또는 finite-sample distribution): 크기 n의 확률 표본(random sample)의 확률 변수(random variable)의 분포(distribution)이다.
* 기댓값(expected value)은 통계에서는 평균과 같다고 생각하면 된다. 가능한 값마다 확률을 곱해서 모두 더한 것이다. 확률 변수 X의 평균으로 보통 E(X)라고 쓴다.
* 자유도(degrees of freedom): "변인의 수 빼기 제약"이다.
* 베이즈 정리(Bayes' theorem): 이미 알려진 확률(사전 확률)을 통해, 알고 싶은 다른 확률(사후 확률)을 예측할 때 쓴다.

대푯값

* 대푯값(representative value)은 어떤 데이터를 대표하는 값이다. 평균, 중앙값, 최빈값, 백분위수, 사분위수, 절사평균 등이 있다.
* 평균(mean)은 데이터를 모두 더한 후 데이터의 갯수로 나눈 값이다.
* 중앙값(median)은 전체 데이터 중 가운데에 있는 수이다. 직원이 100명인 회사에서 직원들 연봉 평균은 5천만원인데 사장의 연봉이 100억인 경우, 회사 전체의 연봉 평균은 1억 4,851만원이 된다. 이처럼 극단적인 값이 있는 경우 중앙값이 평균값보다 유용하다.
* 최빈값(mode)은 가장 자주 나오는 값이다.
* 사분위수(quartile): 자료를 크기순으로 나열했을 때 4등분하는 관측값이다.
* 백분위수(percentile): 자료를 크기순으로 나열했을 때 x%인 관측값을 말한다.
* 이상점(극단값, outlier): 다른 자료와는 극단적으로 다른 값. 너무 크거나 작다.
* 절사 평균(trimmed mean): 관측값의 양쪽에서 일정 비율 α의 이상점을 버리고, 나머지 관측값들만으로 낸 평균을 100α% 절사 평균이라고 한다.

산포도

* 산포도(degree of scattering)는 자료가 흩어져 있는 정도를 나타낸다.
* 범위(range): 최대값에서 최소값을 뺀 것이다.
* 사분위간 범위(interquartile range): 3 사분위수(quartile)에서 1 사분위수를 뺀 값이다.
* 편차(deviation)는 관측값에서 평균 또는 중앙값을 뺀 것이다. 즉, 자료값들이 특정값으로부터 떨어진 정도를 나타내는 수치이다.
* 분산(variance)은 관측값에서 평균을 뺀 값을 제곱하고, 그것을 모두 더한 후 전체 갯수로 나눠서 구한다. 즉, 차이값의 제곱의 평균이다. 관측값에서 평균을 뺀 값인 편차를 모두 더하면 0이 나오므로 제곱해서 더한다. 확률 분포의 흩어진 정도를 말하며 확률 변수 X의 평균을 μ라고 할 때 X의 분포가 중심 위치의 측도인 μ로부터 떨어진 정도를 나타낸다.
* 표준 편차(standard deviation)는 분산을 제곱근한 것이다. 제곱해서 값이 뻥튀기 된 분산을 제곱근해서 다시 원래 크기로 만들어준다.
* 절대 편차(absolute deviation)는 관측값에서 평균 또는 중앙값을 빼고, 그 차이에 절대값을 취하고 그 값들의 대푯값을 구한 것이다.

기술 통계학

* 기술 통계학(descriptive statistics): 자료를 수집하고 정리해서 , 도표를 만들거나 요약하여 변동의 크기나 대푯값, 분산, 평균 등을 구하는 것이다.
* 히스토그램(histogram): 자료를 구간별로 나누어서 구간별로 상대 도수에 해당되는 만큼 막대를 그린 도표이다.
* 도수 분포표(frequency table): 계급 구간별로 도수(갯수)가 몇개인가 적은 이다.
* 줄기 잎 그림(stem-and-leaf plot, stem-and-leaf display): 히스토그램과 비슷하지만 도수만 쓰는 게 아니라 자료값도 입력하여 정보의 손실이 없다.
* 다섯 숫자 요약(five-number summary): 최소값, 제1사분위수(Q1), 중앙값, 제3사분위수(Q3), 최대값으로 전체 자료를 요약한 것이다.
* 상자 수염 그림(box-and-whisker plot, box-and-whisker diagram) 또는 상자 그림(box plot, boxplot)은 다섯 숫자 요약으로 그린, 자료의 특성을 요약하는 그래프이다.

추론 통계학

* 추론 통계학(inferential statistics 또는 inductive statistics) 또는 추측 통계학 또는 통계적 추론(statistical inference): 자료에 내포되어 있는 정보를 분석해서 불확실한 사실에 대해서 추론하여 검정, 추정, 예측 등을 하는 것이다.
* 모수(parameter): 모 평균, 모 분산, 모 표준 편차모집단(population)의 데이터이다.
* 통계량(statistic): 표본 평균, 표본 분산, 표본 표준 편차표본(sample)에서 나온 데이터이다.
* 점 추정(point estimation): 표본의 통계량으로 모수를 추정하는 것이다.
* 구간 추정(interval estimation): 점 추정만으로는 모수가 얼마나 정확하게 추정되었는지 모르므로 모 평균이 존재할 구간을 확률적으로 추정하는 것이다.
* 유의 수준(significance level): 제1종 오류를 범할 확률의 최대 허용 한계이다. 보통 α로 표시한다. 95%의 신뢰도를 기준으로 하면 1-0.95인 0.05가 유의 수준 값이다. 제2종 오류를 범할 확률의 최대 허용 한계는 β라고 한다.
* 신뢰 구간(confidence interval, CI): 실제로 모수가 존재할 것으로 예측되는 구간이다. 보통 신뢰도 95%의 신뢰 구간을 쓰지만 99%도 많이 쓰고, 가끔 90%도 쓴다. (a, b)라고 써놓으면 a는 구간의 시작, b는 구간의 끝을 의미한다. 100(1-α)%의 신뢰 구간이라고 부른다. 반복적으로 모 평균 μ에 대한 구간 추정을 시행하면 이들 중 95%에 해당하는 신뢰 구간이 참값 μ를 포함한다는 의미이다.
* 신뢰 수준(confidence interval level) 또는 신뢰도(reliability): 해당 구간에 모 평균이 있을 확률이 95%라는 뜻이다. 1-α나 100(1-α)%로 적는다. '신뢰도 95%의 신뢰 구간'과 같은 식으로 쓴다.
* p-값(p-value, probability value) 또는 유의 확률(significance probability, asymptotic significance): 귀무 가설 H,,0,,를 기각할 수 있는 최소한의 유의 수준(α)이다. 제1종 오류가 발생할 확률이다. 즉, H,,1,,을 선택했을 때 틀릴 확률이다.
* 임계 값(critical value, threshold value): 검정 통계량의 분포에서 유의 수준 α에 해당하는 선 위의 값이다.
* 확률(probability): 모집단으로부터 특정 표본이 관측될 가능성이다.
* 우도(likelihood):
* 독립 변수(independent variable) 또는 설명 변수(explanatory variable): 다른 변수에 영향을 주는 변수이다.
* 종속 변수(dependent variable) 또는 반응 변수(responsible variable): 다른 변수에 의해 영향을 받는 변수이다.
* 교란변수 또는 혼란변수(confounder): 인과관계상관관계를 혼동시킬 수 잇는 변수이다. 교회가 많으면 범죄율도 높지만 그건 교회 숫자가 원인이고 범죄율이 결과가 아니라 인구가 많으면 교회도 많고, 범죄율도 높다는 의미이다.
* 교호작용(interaction): 독립변수 사이에 상호 작용을 하여 서로의 작용에 영향을 주는 것을 말한다.
* 연속 확률 분포(continuous probability distribution): z-분포, t-분포, 카이-제곱 분포, F-분포 등.
* 표준 정규 분포(z-분포, standard normal distribution): σ^^2^^을 아는 경우 μ를 구할 때 사용한다.
* 스튜던츠 t-분포(t-분포, Student's t-distribution): σ^^2^^을 모를 때 표본 분산 s^^2^^으로 대체하여 μ를 구할 때 사용한다. 즉, 모 평균 검정에 사용한다. z-분포t-분포에서 귀무 가설 H,,0,,는 μ=0이나 μ,,1,,=μ,,2,, 등이고, 대립 가설 H,,1,,은 μ≠0나 μ,,1,,≠μ,,2,,같은 것이다. μ,,1,,=μ,,2,,처럼 변수가 2개인 경우 μ,,1,,-μ,,2,,=0으로 바꾸고 μ,,1,,-μ,,2,,를 d로 치환하면 d=0과 같은 변수가 하나인 식으로 바꿀 수 있다.
* 카이-제곱 분포(χ^^2^^ 분포, chi-squared distribution): σ^^2^^을 구할 때 사용한다. 모 분산 검정, 적합도 검정, 독립성/동질성 검정 등에 사용한다. 귀무 가설 H,,0,,는 σ^^2^^=1같은 것이고, 대립 가설 H,,1,,은 σ^^2^^≠1같은 것이다. 또는 H,,0,,는 μ,,1,,=μ,,2,,이고, H,,1,,은 μ,,1,,≠μ,,2,,와 같은 것으로 H,,0,,는 "μ,,1,,과 μ,,2,,의 약효가 비슷하다", H,,1,,은 "μ,,1,,과 μ,,2,,의 약효에 차이가 있다"와 같은 것이다.
* F-분포(F-distribution): σ,,1,,^^2^^ / σ,,2,,^^2^^ 을 구할 때 사용한다. 카이-제곱 분포를 따르는 두 확률 변수들의 비를 구한다. 분산 비 검정, 분산 분석, 회귀 분석 등에 사용한다.
* 분산 분석: 분산 분석의 귀무 가설 H,,0,,는 "μ,,1,,=μ,,2,,=μ,,3,,"같은 것이고, 대립 가설 H,,1,,은 "H,,0,,가 아니다"와 같은 것이다. 구체적인 예를 들자면, H,,0,,는 "약품 세 가지가 효과 차이가 없다"와 같은 것이고, H,,1,,은 "효과 차이가 있다"와 같은 것이다.
* 회귀 분석: 회귀 분석의 귀무 가설 H,,0,,는 "기울기 β,,1,,=0이다"같은 것이고, 대립 가설 H,,1,,은 "기울기 β,,1,,≠0이다"와 같은 것이다. 구체적인 예를 들자면, H,,0,,는 "약이 효과가 있다"이고, H,,1,,은 "약이 효과가 없다"이다. 회귀 분석에서 절편은 β,,0,,라고 하고, 기울기는 β,,1,,이라고 한다.

다른 학문과의 관계

사회과학

대규모의 자료를 다루어야 하는 사회과학은 통계학에 의존하지 않고 존재할 수 없다. 통계학의 탄생 자체가 사회과학의 방대한 데이터를 분석하기 위해 만들어낸 학문이다. 영어이름부터가 State의 학문으로, 국가에 관한 특성을 연구하기 위해 만들어졌다. 몇천만에서 몇십억을 다루는 통계를 연구하는 통계학은 태생적으로 사회과학과 떼어놓을 수 없다.

실험분석이나 자료해석이 필요한 연구분야에서 논문을 쓰려면 통계 지식이 필요하다. 대부분의 논문은 통계 분석을 거쳐 논문의 결론을 제시하는 구조다. 따라서 대학원 진학시에는 기본적인 테이블 결과 해석 정도는 할 줄 알아야 하며, 최소한 기초통계학과 회귀분석에 대한 지식을 마련하는 것이 연구에 직/간접적인 도움이 될 것이다. 또한 자기 연구에 통계를 직접 써먹고 싶다면 SPSS, SAS, Stata, R, MATLAB 등 통계 분석 프로그램을 다루는 법도 배울 필요가 있다. 엑셀 함수(trend, slope, linest 등) 및 데이터분석 메뉴에서 다중회귀분석을 지원한다.

특히 경제학에선 통계학이 빠질 수 없다. 학술적인 분야에서도 많이 쓰이지만, 실무에서는 필수적이다. 경제학 전반에서 통계를 사용하는데, 이중에서도 통계학을 집중적으로 다루는 분야가 두가지 있다. 경제통계학계량경제학(Econometrics)이다.

자연과학과 공학

복잡계, 카오스 이론, 네트워크, 머신러닝, 빅 데이터 등의 용어가 사용된다면 통계학과 연관된 분야다. 현대 자연과학은 정적인 연구주제가 고갈되었기 때문에 동적이고 예측불가능한 연구주제를 파고있다. 이런 문제들을 해결하기 위해 쓰이는 도구가 바로 통계학이다. 현대 자연과학은 전통적인 실험에서 벗어나, 통계학으로 대량의 데이터를 분석해 근사치를 구한 뒤, 이것을 수학적으로 추론하는 방식을 취한다.

의학, 약학

의학제약회사약학에서도 통계학이 필수적이다.

수학

* "통계교육 연구의 역사와 한국의 통계교육 - 탁경주, 이경화"를 참고했음.

통계학과 수학이 같은 분야이냐 아니냐에 대해선 많은 논쟁이 있었다.

통계학의 학문적 독립성을 역설했던 Moore는 “통계학은 수학이 아니라 경험과학에서 비롯된 수리과학”으로 규정하였다. 동시에 다음과 같은 근거를 제시한 바 있다.

* 통계학은 수학과 다른 독자적인 주제를 다루고 있다.
* 역사적으로 통계학은 수학과 별개의 학문으로 발생하였다.
* 통계학의 실제는 수학적이지 않다.
* 통계학은 학문적 정체성을 다루는 철학적 이슈가 다르다.
* 통계학은 수학적 아이디어를 사용하나, 수학은 통계적 아이디어를 수용하지 않는다.

대개 학문적 독립성은 연구 대상, 연구 내용, 연구 방법에 의해 설명된다 [18, p. 495]. 통계학은 불확실성을 내포한 경험적 자료(data)가 연구 대상이며 연구 내용은 맥락에 의존하는 경험과학의 성격을 띠고 있다. 반면, 수학은 수학 그 자체가 연구 대상이자 동시에 연구 방법인 형식과학이다.

반면 이안 해킹은 통계학의 논리적 확률론적 기반을 마련하면서 다른 결론을 내렸다. 그는 1960년대에 Logic of Statistical Inference (1965)를, 그리고 70년대에는 The Emergence of Probability (1975)를, 이어 90년대에는 The Taming of Chance (1990)를 낸 바 있다. 또한 그는 확률과 귀납 논리에 대한 책(Hacking, 2001)을 내는 등, 과학철학과 과학사 양쪽을 넘나들며 통계학과 확률을 지속적으로 연구해왔다. 해킹의 화두는 모든 일에는 그 일을 일어나게 할 수밖에 없는 조건들이 미리 존재하기 마련이라는 ‘결정론’(determinism)이다. 그 중에서도 그는 모든 물리적인 일들의 미래를 결정해주는 법칙이 존재한다는 물리법칙적 결정론(physical-law determinism)과 확률의 관계를 주목하였다. 즉, 그의 관점에서 통계는 확률을 도출해내는 방법으로, 수학의 연장이다.

세부 분야

수리적인 견지에서 통계학을 연구하는 수리통계학은 확률분포의 성질, 통계량의 충분성(sufficient statistics), 통계검정의 효용성(most powerful test) 등에 대한 증명, 확률과정(stochastic process)의 수리적 성질에 초점을 맞추는 반면, 응용통계학적인 견지에서는 통계적 모형에 대한 추정방법 개발과 구현, 분석결과의 해석 등에 방점이 놓여있다.

기초 분야

아래의 분야들은 어느 대학을 가든 '통계이론', '응용통계' 등의 이름으로 묶여 학부의 경우 전공 필수로 지정되고, 대학원의 경우 1년차에 수강을 마치는 것이 필수로 되어 있는 경우가 대부분이다. 이후 각론으로 들어가기 위한 기초를 공부한다.

* 수리통계학(이론통계)
'수리통계학'이라는 이름과 '이론통계'라는 이름이 혼용되는 경우가 많다. 확률변수의 분포, 조건부 확률과 독립성, 몇 가지의 특수한 분포(정규분포, 이항분포, 다항분포, 감마분포, 카이 제곱 분포, 포아송 분포, 다변량 정규분포), 확률변수의 함수 분포, 중심극한정리를 포함한 극한분포, 추정, 통계적 가설과 검정, 비모수적인 방법을 이용한 검정과 각종 통계량 등을 배운다.[* 서울대학교 통계학과 홈페이지] 요약하면 통계학의 기초개념을 수리적인 관점에서 포괄적으로 다루는 분야.
* 확률론
* 통계계산
컴퓨터 기술이 발달하면서 통계적 자료분석 방법은 점차 고도화되고 복잡해졌다. 특히 최근에는 분석해야할 데이터가 매우 커지고 방대해짐에 따라, 어떻게 하면 더 빠른 알고리즘을 이용하여 분석할 수 있을 지가 중요한 문제로 대두되었다. 이 분야에서는 통계에 사용되는 계산 방법, 즉 컴퓨팅 기술을 주로 다루며, 빅 데이터 프로세싱, 이미지 및 영상 처리, 기계학습(머신 러닝) 등에 요긴하게 응용된다.
* 회귀 분석(regression analysis)
* 실험계획법
어떤 주장을 통계적으로 검증하기 위해 자료를 수집할 때, 어떤 단계를 통하여 자료를 모을 지 실험을 계획하여야 한다. 이와 같은 실험을 계획하고 결과를 분석하는 법을 다룬다. 일반적으로 t-검정, 분산 분석(analysis of variance; ANOVA)이라 불리는 기법이 이 맥락에서 다뤄진다.

데이터의 형태에 따른 각론

다루게 되는 데이터의 형태에 따라, 여기에 접근하기 위한 이론적 관점이나 통계적 기법 등이 달라지게 된다.

* 다변량자료분석
둘 이상의 측정 변수(다변량 자료)를 다루는 분야이다. 예를 들어 단순히 각 사람들의 키만을 조사해 분석하는 게 아니라, 각 사람들의 키, 몸무게, 허리둘레, 성별 등등 많은 변수를 조사하여, 그 변수들이 가지고 있는 분포를 종합적으로 고려하여 데이터를 분석하기 위한 방법이다. 변수가 많기 때문에 시각화가 어렵고, 많은 변수를 한 번에 다루기 위해 행렬 이론 등이 많이 사용된다. 차원을 줄이고 정보를 요약하는 방법을 많이 다룬다. 학부 수준에서는 몇 개의 주성분을 뽑아내어 차원을 축소하는 주성분 분석, 숨겨진 요인을 찾는 요인 분석(인자분석), 자료를 분류 및 군집화하는 판별분석 및 군집분석 등을 다룬다. 
* 범주형자료분석
우리가 관심 대상으로 하는 자료는 키, 몸무게 등 수치적, 연속적으로 나오는 자료도 있지만, 성별 등 범주가 나누어져 있는 자료들이 있다. 이러한 범주형 자료를 분석하는 방법을 다룬다.
* 생존 분석/생존자료분석
불완전한 데이터 중 특수한 형태를 다루는 분야이다. 예를 들어 어떤 병에 대한 신약의 효과를 검증하기 위해 환자들을 모아 그 수명 시간을 조사하고자 하는 상황을 생각해보자. 이 때, 병이 악화되어 이미 수명이 다 한 사람은 수명을 정확히 알고 있지만, 아직 생존한 환자는 그 수명을 정확히 알지 못하고 '현 시점보다는 오래 산다'는 사실만 알게 되며 따라서 데이터가 불완전해진다. 이와 같은 불완전 자료를 분석하는 방법을 다루며 의학통계에 주로 응용된다.
* 확률과정론
많은 현상은 이전의 상태가 이후의 상태에 영향을 미치며, 그 상태가 결정되어있지 않고 랜덤하다. 따라서 이를 시간에 대한 함수로서의 확률변수열이라고 생각할 수 있는데, 이를 확률 과정(stochastic process)이라고 한다. 쉽게 말하면 매 시간마다 그 상태가 랜덤한 확률 변수라는 것이다. 확률과정론은 현상을 확률 과정으로 해석하여 모형을 세우고, 그 확률 과정의 여러 성질을 연구하는 분야이다.
* 시계열 분석 (time-series analysis)
시계열 자료, 즉 시간이 흐르며 관측된 자료를 다루는 분야이다. 주가 지수, 물가 지수, 월별/연별 강수량 등의 자료가 모두 시계열자료이다. 이러한 시계열자료의 두드러지는 특징은 한 시점에 여러 개의 데이터를 얻기 힘들다는 점과(시간이 흘러 버리므로), 관측치끼리 서로 연관이 있다(예를 들어, 오늘의 주가 지수는 어제의 주가 지수에 영향을 받을 수밖에 없다)는 점이다. 실생활의 수많은 자료가 시계열자료이므로 자료를 분석하고자 할 때 매우 중요한 분야 중 하나이다.

기타 각론

* 비모수통계학
'비모수(nonparametric)'는 기본적으로는 통계적인 추론을 모수(parameter)에 의존하지 않는다는 뜻이다. 모수는 우리가 가지고 있는 자료를 통해 추정하고자 하는 모집단(population)의 특징을 표현하는 대표값을 말한다. 만약 어떤 집단의 특징이 정규 분포를 따른다고 가정된다면, 그 집단의 특성은 정규 분포의 두 가지 모수인 평균과 표준편차로 표현되는 식이다.
* 베이즈 통계학 (베이지언 통계학, 베이지안 통계학)
토머스 베이즈베이즈 정리에 바탕을 두고 정립된 통계학의 흐름.
소위 '빈도주의(frequentist)'라 불리는 전통적인 통계학의 관점에서는, 모수를 상수이지만 알려져 있지 않은 것으로 보고, 값이 알려져 있지만 랜덤한 확률변수인 관측치를 이용하여 모수를 추정하는 데에 초점이 맞춰져 있었다. 그러나 베이즈주의자(Bayesian)의 관점은 약간 다르다. 우리가 모수를 직접 알지 못하므로, 이 불확실성을 확률분포로 표현하여, 모수가 어떤 확률분포에서 얻어진 값인 것으로 여긴다.
이러한 관점에서는 확률 역시 사건에 대한 믿음의 정도로 해석되고, 자료를 관찰하기 전의 '믿음의 정도'는 자료를 관찰한 후 이 자료에 따라 업데이트된다고 본다. 즉, 자료를 관찰하기 전에 가지고 있었던 모수에 대한 불확실성(=정보, 믿음의 부족)은 자료를 관찰함으로써 업데이트되게 되고, 이 업데이트의 과정은 베이즈 정리에 의해 이루어지게 된다.
여기서 데이터를 관찰하기 전에 가지고 있던 '불확실성에 대한 믿음'을 사전분포(prior distribution)라 하며, 이는 사전에 내가 알고 있는 정보에 의해 결정된다. 이후 관측치를 얻어 관측치를 보고 모수에 대해 알고 있는 정보를 업데이트하는데, 데이터로부터 오는 모수에 대한 정보를 가능도 또는 우도(likelihood)라고 부른다. 결과적으로 사전분포와 가능도를 모두 고려하여 모수에 대한 새로운 분포를 계산하게 되는데, 이를 사후분포(posterior distribution)라 한다.[* 사전에 알고 있는 정보를 사전분포라는 이름으로 분석에 활용하기 때문에, 아무런 자료가 없는 경우에는 자료를 분석하는 사람이 생각하는 '주관적 확률' 역시도 필요한 경우에는 분석에 포함시킬 수 있다. 물론 이런 경우는 있을 수 있는 모든 경우의 수에 대해 동일하거나 아주 미세한 차이만 있는 사전분포를 사용하여, 모든 가능성이 동등하게 고려될 수 있도록 한다. 만약 특정한 경향성을 가지고 있는 '주관적 확률'을 사용하고자 한다면, 여기에 대해서 정당화를 할 수 있어야 한다.]
모든 것을 손으로 계산해야 했던 시절에서는 사전분포와 사후분포의 관계를 깔끔하게 도출할 수 있는 문제가 제한적이었기 때문에, 그다지 많이 사용되지 못했다. 그러나 컴퓨터 기술의 발달로 인하여, 특히 마코프 체인 몬테 카를로 방법의 개발에 의해 사후분포를 도출할 수 있는 방법이 개발되면서 급성장하게 되었다.

관련 시험과 자격증

* 보험계리사
* 사회조사분석사
* 공무원 시험 - 5급 통계학(재경직) / 7급 통계학/ 9급 통계학개론이 출제되며, 7~9급에서는 통계직 시험이 따로 있다. 또한 통계직렬의 경우 사회조사분석사 1, 2급 취득 시 5%의 가산점을 부여한다. 다만 사회조사분석사 2급의 경우 7급 공무원시험에서 3%의 가산점이 부여된다.
* 대학수학능력시험 - 수학 가, 나형 공통 영역 중 한 과목 확률과 통계.
* 일부 대학 경제학과 경제대학원 입학시험에서 수리통계학.
* 품질경영기사
* 농촌진흥청 농업연구사 연구직 공무원 시험과목 '실험통계학'.
* 임용시험 수학교사 채용 시험 확률 및 통계 파트
* 실용수학자격시험 3급 이상

관련 저널

4대 저널로는 JASA(Journal of the American Statistical Association), JRSSB(Journal of the Royal Statistical Society: Series B), Biometrika, The Annals of Statistics이 있다.

통계 소프트웨어

파일:top10-analytics-data-science-software-2016.jpg

width=600

* 상용 소프트웨어: 스프레드 시트를 제외한 통계처리용 소프트웨어의 경우, 그 가격이 매우 비싸 개인이 구매하기는 쉽지 않다. 대학교, 연구기관, 회사 등에 있는 경우 해당 기관에 소속되어 있다는 것을 전제로 발급되는 라이센스를 이용하여 쓰게 되는 경우가 많다.
 * Excel, Calc: 모두 기본적으로는 통계 처리용 소프트웨어라기보다는 스프레드 시트다. 하지만 데이터의 숫자가 그리 많지 않은 경우에는, 간단한 통계분석 (z-분포, t-분포, 카이-제곱 분포, F-분포, 회귀 분석 등)은 수행할 수 있다.
 * SPSS
 * SAS
 * STATA
* 오픈 소스 소프트웨어
 * R: 'S'라는 통계 프로그래밍 언어의 발전형.([[1]]) 오픈 소스 소프트웨어이기 때문에 무료로 이용이 가능하고, 통계 연구자들이 '라이브러리(library)'라 불리는 확장기능을 끊임없이 개발, 발표하고 있어 폭넓은 용도로 활용이 가능하다. 초기에는 '오픈 소스 소프트웨어를 어떻게 신뢰하느냐' 하는 불안감으로 인해 사용을 꺼리는 곳도 있었지만, 반대로 회사의 이익 때문에 소스 코드를 공개하지 않는 상용 소프트웨어에 비하면 투명한 개발/유지 보수가 가능하다는 이해방식도 널리 퍼지고 있다.
 * Julia: 과학계산에 특화된 LLVM에 기반한 컴파일 언어. 컴파일 언어이기에 R, Python에 비해 매우 빠른 속도를 보인다.
 * Python: 엄밀히 말하면 통계 소프트웨어가 아니라 범용 프로그래밍 언어이다. 하지만 pandas, NumPy, StatsModels, scikit-learn 등의 패키지를 이용한 통계 분석이 가능하다.
 * JASP: SPSS를 대체할 목적으로 만들어진 무료 오픈 소스 소프트웨어로, 베이즈 통계학에 기반을 둔 분석을 SPSS와 유사한 인터페이스를 통해 수행할 수 있도록 만든 것이 최대의 특징이다.
 * PSPP: SPSS를 대체할 목적으로 GNU에서 만든 무료 오픈 소스 소프트웨어
 * gretl: 무료 오픈 소스 소프트웨어이며 회귀 분석, 계량경제학, 시계열 분석에 특화되어있는 라이브러리이다. Eviews라는 시계열 특화 계량경제 프로그램이 있는데 그 프로그램의 대용으로 적절하다.
 * ROOT: 입자물리학에서 널리 쓰이는 소프트웨어인데, GUI나 3D 등 별의별 것들을 다 담고 있지만 그 중에서도 입자물리를 하기 위해 필요한 수많은 통계 도구들을 갖추고 있다는 것이 이 프로그램의 특징이다. 예를 들어 가우스 분포는 물론이고 Landau 분포, crystal ball 분포, Breit-Wigner 분포 등 입자물리에서 자주 등장하는 다양한 분포들을 기본 패키지로 다룬다. 또한 회귀 분석, 가설 검정은 당연히 포함되어 있고 ML (maximal likelihood)을 활용한 전반적인 것들, unfolding, TMVA (Toolkit for Multivariate Data Analysis)[* 입자물리학자들이 쓰는 다양한 기계학습 방식을 간편하게 쓸 수 있는 라이브러리이다.] 등 입자물리학자들의 데이터 통계 분석을 위한 다양한 분석 툴 또한 갖추고 있다. LGPL (최소) 2.1 라이선스를 따르기 때문에 누구나 부담없이 사용 가능하다.

각종 오해와 통념들

[include(틀:토론 합의, this=문단, 토론주소1=OvertMuddyFluffyTable, 합의사항1=사측의 판단에 따라 편견 및 고정관념/과학 문서의 기여내용을 관련문서로 이동시키고 삭제하기)]

* 천몇백 명 표본으로 통계를 내는 각종 조사들은 신뢰할 수 없다. 대한민국 5천만 국민의 의견을 제대로 반영하려면 최소한 십만 명은 표본으로 삼아야 할 것이다.
 * 물론 표본의 크기가 커질수록 더 신뢰할 수 있는 데이터가 되기는 한다. 그러나 사회과학의 추론통계 기법에 따르면, 대한민국 5천만 국민의 의견을 95% 정도의 신뢰수준으로 추정하려면 천몇백 명으로도 충분하다. 
* 1,000명 조사에 응답률 10%이면 사실은 100명의 응답만으로 결론을 도출한 것이다.
 * 10,000명에게 전화를 걸어서 1,000명이 응답했다는 뜻이다.
 * 일반적으로 낮은 응답률은 여론조사에 걸리는 시간과 비용의 증가로 이어져서, 영세한 조사업체의 결과를 왜곡시킬 가능성을 높인다. 단, 사회 데이터를 분석할 때에는 응답률이 낮다는 사실 자체가 하나의 의미 있는(meaningful) 신호일 수 있음도 고려해야 한다. 응답하기를 거부한 사람들이 갖고 있는 생각이 조사결과에 반영될 리 없고, 이는 결국 응답률이 낮을수록 조사에 응하기로 한 소수의 "특별한" 사람들의 생각만을 반영했다는 의미가 되기 때문이다.
* 세상에는 세 가지 거짓말이 있다. 그냥 거짓말, 새빨간 거짓말, 그리고 통계.
 * 사실 이 유명 어록은 "모든 통계는 무조건 거짓말이다!" 가 아니라 "통계도 얼마든지 조작이 가능하니까 믿기 전에 한번 의심해 봐라" 정도의 의미로 받아들이는 게 더 바람직하다. 통계학에 이해가 깊으면 깊을수록, 아주 사소한 표본추출 방식만을 가지고도 어지간히 교육받은 사람들까지도 맘껏 농락하는 게 가능하다. 그러니까 오히려 이 어록은 통계학에 대해서 기초적으로라도 배워 놓으라는 뜻일 수 있다.[* 이 맥락에서 정반대로 "통계학을 모르는 사람은 고등교육을 받은 사람이 아니다" 라는 어록도 있다.][br]특히 사회과학에서는 꼭 조작이 아니더라도 동일 주제를 놓고 서로 다른 기관에서 조사를 하면 서로 다른 결과가 나오기도 한다. 이는 각 통계마다 조사방법론에 차이가 있기 때문이다. 예를 들어 전세계의 행복순위를 확인하기 위해서 각국 국민들을 설문조사하는데, 각국마다 100명씩 표본을 추출한다면 당장 리히텐슈타인의 표본과 중국의 표본 간의 대표성에는 차이가 있을 것이다. 또한 "전반적으로 당신은 행복하십니까?" 라고 묻는 것과, "당신은 하루 중 몇 번 정도 행복을 느끼십니까?" 로 묻는 것은 분명히 다르다.[* 극명한 사례를 들자면, 대한민국의 양성평등 순위는 세계에서 몇 등일까? 세계경제포럼(WEF)에 따르면 우리나라는 2013년 기준으로 136개국 중 111위로 최하위권이다. 그런데 유엔개발계획(UNDP)의 성불평등지수(GII)에 따르면 우리나라는 2011년 기준 146개국 중 11위로 최상위권에 속한다! 이렇게 엄청난 차이가 나타나는 것도 가능하다. [[2]]] 이런 차이를 알면 알수록, 알지 못하는 일반인들을 교묘하게 속이는 것은 쉬워진다.
* 추론통계학에서, 모평균을 추정하기 위해 95% 확률에서 신뢰수준과 오차범위를 활용할 경우, 이는 실제 모평균이 95% 확률로 신뢰구간 내에 존재하고 있다는 뜻이다.
 * 사실 이는 수많은 표본평균들 중의 95%에 달하는 표본평균들이 해당 오차범위 내에 놓인다는 뜻이다.[* 위 고정관념의 표현이 애매한 것 같아 원문을 옮긴다. "VERY COMMON ERROR : The confidence interval IS NOT the probability that the population mean lies within the interval."] [[3]] (26:00부터)
* p-값이 0.05보다 작다(p<0.05)는 것은 주어진 가설이 참일 확률은 95% 이상이라는 것을 의미한다.
 * 그렇지 않다. 미국통계학회에 따르면 영가설이 참이고 다른 모든 가정들이 타당할 경우 관찰된 결과 이상으로 극단적인 결과를 얻을 확률이 5% 이하임을 의미한다. 이는 현직 과학자들도 자주 틀리는 개념이며, 이에 대한 학계 내부의 반성의 목소리도 많다.
* 통계분석에 있어서 상관관계가 나오는 것만이 좋은 데이터다.
 * 꼭 그렇지만은 않아서, 연구주제에 따라서는 두 변인 간에 아무런 유의미한 관계가 없다고 밝혀지는 것이 중요한 경우도 있다. 실제 한 연구를 예로 들면, NGO에 고용되어 일하는 직원들의 근속년수와 임금수준 간에는 상관관계가 사실상 존재하지 않는다고 한다. 상관계수는 0에 극히 가깝게 나왔지만 그 자체로 논의거리가 나오니 좋은 연구로 취급된 사례다.[br]영가설을 기각하지 못하는 것이 연구자가 바라는 바인 경우도 있다. 예컨대 통계모형 제작에 필요한 요인분석 과정에서 Goodness-of-fit 검정을 하는 경우에는 p-값이 0.05 이상으로 크게 나오지 않으면 전체 분석을 다시 해야 한다.

[include(틀:문서 가져옴, this=문단, title=편견 및 고정관념/과학, version=576)]

관련 문서