Data Mastery: From Analysis to System De

데이터 분석 목적에 따른 통계 분석 방법의 종류와 선택 기

통계 분석은 집단 간 차이를 확인하는 차이 검정과 변수 간 관계를 파악하는 관계 분석으로 구분할 수 있습니다. 분석 목적과 데이터 특성에 따라 적절한 통계 분석 방법을 선택하는 것이 중요합니다. 1. 차이 검정: 집단 간 차이가 있는가?차이 검정은 집단 간 평균 등의 차이가 통계적으로 유의한지 확인하는 방법입니다. 대표적으로 t검정과 분산분석(ANOVA)이 있습니다.분석 방법사용 목적일표본 t검정한 집단의 평균이 특정 기준값과 다른지 확인독립표본 t검정서로 다른 두 집단의 평균 비교대응표본 t검정동일 대상의 전후 평균 비교일원 분산분석세 집단 이상의 평균 비교이원 분산분석두 요인에 따른 평균 차이 및 상호작용 확인반복측정 분산분석동일 대상을 여러 시점이나 조건에서 비교예를 들어 남성과 여성의 평균 대기시..

가설검정은 어떤 기준으로 귀무가설을 기각할까?

1. 가설검정이란?가설검정(Hypothesis Testing)은 귀무가설이 참이라고 가정하고, 표본 데이터를 통해 해당 가설을 기각할 충분한 통계적 근거가 있는지 판단하는 방법입니다. 여기서 중요한 것은 가설검정이 귀무가설을 중심으로 진행된다는 점입니다. 가설검정은 귀무가설이 맞다는 사실을 증명하는 과정이 아닙니다. 오히려 귀무가설을 반박할 만큼 충분한 증거가 있는지 확인하는 과정입니다. 가설검정은 다음 세 단계로 이해할 수 있습니다.귀무가설 설정: 귀무가설이 참이라고 가정합니다.표본 데이터 분석: 귀무가설을 기준으로 실제 관측 결과를 비교합니다.기각 여부 판단: 귀무가설을 반박할 충분한 근거가 있는지 판단합니다. 2. 어떤 경우에 귀무가설을 기각할까?아이스크림 회사에서 판매하는 제품의 평균 용량이 32..

데이터 분석의 시작, 문제와 원인을 섞지 않기

데이터 분석을 시작할 때는 문제·원인·해결 방안을 구분해야 한다. 특히 문제를 정의하는 단계에서는 해결해야 할 상태 자체에 집중하는 것이 중요하다. 예를 들어 “사무직 중심의 회사 이미지 때문에 제조업 인재 확보가 어렵다”는 문장에는 문제와 원인이 함께 들어 있다. 문제를 정의할 때는 제조업 관련 인재 확보가 어렵다고 쓰고, 회사 이미지가 실제 원인인지는 이후 분석으로 확인해야 한다. 원인을 미리 포함하면 분석의 질문이 “무엇이 원인인가?”에서 “내 생각이 맞다는 근거는 무엇인가?”로 바뀌기 쉽다. 해결책을 먼저 정해 놓는 경우에도 그 방법을 정당화하는 방향으로 데이터를 해석할 수 있다. 그렇다고 원인 가설을 생각하면 안 된다는 뜻은 아니다. 가설은 문제 정의와 분리하고, 검증할 대상으로 두면 된다. 회..

데이터를 가공한 뒤 무엇을 알 수 있을지 고민하기보다, 무엇을 알고 싶은지 먼저 생각하고 그에 맞게 데이터를 가공해야 한다. 질문과 목적이 필요한 데이터와 분석 방법을 결정하기 때문이다. 문제를 정의하지 않은 채 작업을 시작하면, 사용하는 데이터에 따라 분석의 방향이 흔들릴 수 있다. 개별 그래프와 수치를 만들더라도, 전체적으로 무엇을 설명하려는지 불분명해진다. 결과물의 핵심인 스토리 구조가 모호해지는 것이다. 분석 프로젝트의 큰 흐름은 다음과 같다. 문제가 무엇인가? → 그 문제를 일으키는 원인은 무엇인가? → 그 원인에 대한 해결 방안은 무엇인가? 문제를 확인하는 것만으로 해결 방안이 나오는 것은 아니다. 원인을 찾아야 무엇을 바꿔야 할지 알 수 있다. 따라서 분석은 현상을 보여주는 데서 끝나지 않고..

1. 가설검정이란?가설검정(Hypothesis Testing)은 모집단에 대해 알려져 있거나 가정한 사실이 맞는지 표본 데이터를 이용하여 통계적으로 검증하는 방법입니다. 여기서 가장 중요한 개념은 통계적 가설검정은 귀무가설(H₀)을 기준으로 진행한다는 것입니다.즉, 귀무가설이 참이라고 가정한 상태에서 표본 데이터를 분석하고, 귀무가설을 기각할 만큼 충분한 증거가 있는지 판단합니다. 가설검정을 위해서는 귀무가설과 대립가설을 설정해야 합니다.구분 귀무가설(H₀) 통계적 검정 대상 대립가설(H₁) 의미기존에 알려져 있거나 기준으로 가정한 사실기존 사실과 다른 새로운 주장목적검정의 기준검증하고 싶은 주장기호주로 =≠, ＞, ＜귀무가설은 일반적으로 등호(=)에서 시작한다고 기억하면 이해하기 쉽습니다. 2. 귀..

빅데이터 시대, 성과를 이끌어 내는 데이터 문해력 - 교보문고 빅데이터 시대, 성과를 이끌어 내는 데이터 문해력 - 교보문고"앞으로의 시대에 꼭 필요한 당신의 데이터 문해력" 왜 분석 방법이 아니라 활용 능력이 필요한가?product.kyobobook.co.kr 『데이터 문해력』의 1장 제목은 "앞으로 필요한 건 데이터 문해력: 분석보다 활용"이다. 이 장의 핵심은 다음 흐름으로 이해할 수 있다. 문제 및 목적 설정 → 분석 방법과 작업 → 결과 해석과 스토리 구축 데이터가 눈앞에 있다고 곧바로 그래프를 그리고 평균과 합계를 내는 것부터 시작해서는 안 된다. 먼저 무엇을 알고 싶은지, 그것을 알게 되면 무엇을 하고 싶은지 생각해야 한다. 그 목적에 따라 필요한 분석 방법과 데이터, 지표를 선택하는 것이..

1. 신뢰구간에서 표준정규분포를 사용하는 이유모집단 평균을 추정할 때는 표본평균과 표준오차를 활용합니다. 이때 표준정규분포는 신뢰구간을 얼마나 넓게 설정해야 하는지 결정하는 기준이 됩니다. 표준정규분포는 평균이 0, 표준편차가 1인 정규분포로, 중앙 95%에 해당하는 범위는 다음과 같습니다. 표준정규분포에서 -1.96부터 +1.96까지의 면적은 약 95%입니다.따라서 95% 신뢰구간에서는 1.96을 임계값으로 사용합니다. 2. 왜 1.96에 표준오차를 곱할까?핵심은 표준정규분포의 세계에서 실제 데이터의 세계로 변환하기 위해서입니다.1.96: 표준화된 분포에서 중심으로부터의 거리표준오차(SE): 표본평균이 변동하는 정도1.96 × SE: 실제 데이터 단위로 환산한 오차한계예를 들어 표본평균이 60점이고 표..

모집단 전체를 조사하지 않더라도 하나의 표본으로 모집단 평균을 추정할 수 있습니다. 핵심은 표본에서 계산한 표준오차를 이용해 표집분포의 변동성을 추정하고, 이를 바탕으로 모평균의 신뢰구간을 계산하는 것입니다. 1. 표본 하나로 모집단 평균을 추정할 수 있을까?모집단에서 표본을 여러 번 추출하면 매번 표본평균이 달라집니다. 예를 들어 표본을 5번 추출했다고 가정하겠습니다.표본표본 평균표본 158표본 262표본 359표본 461표본 560이처럼 반복 추출한 표본평균들이 이루는 확률분포를 표집분포(Sampling Distribution)라고 합니다. 문제는 현실에서 표본을 수백 번 반복 추출하기 어렵다는 점입니다. 그렇다면 표본을 한 번만 추출해도 표집분포의 변동성을 추정할 수 있을까요? 2. 표준오차를 이용..

1. 표집분포란?표집분포(Sampling Distribution)란 모집단에서 표본을 반복 추출했을 때, 각 표본에서 계산한 통계량들이 이루는 확률분포입니다. 예를 들어 모집단에서 100명씩 표본을 반복 추출한다고 가정하겠습니다. 2. 표집분포의 그래프 표집분포에서 중요한 것은 표본의 크기(n)에 따라 표본평균의 퍼짐 정도가 달라진다는 것입니다. 아래 그래프는 모평균 60, 모표준편차 10인 정규모집단에서 추출한 표본평균의 이론적 분포입니다. 3. 표집분포의 평균과 표준오차 모집단 평균이 mu, 표준편차가 sigma이고, 표본 크기가 n일 때 독립적인 무작위 표본추출을 가정하면 다음과 같습니다. 3.1 표집 분포의 평균 표본평균의 기대값은 모집단 평균과 같습니다. 3.2 표집분포의 표준오차 표준오차..

1. 표준편차와 모집단 추정의 관계통계적 추론은 표본에서 얻은 통계량을 이용하여 모집단의 특성을 추정하는 과정입니다. 이때 표준편차가 작을수록 데이터가 평균 주변에 집중되므로, 동일한 표본 크기에서 모집단 평균을 더 정밀하게 추정할 수 있습니다. 반대로 표준편차가 크면 데이터가 넓게 퍼져 있어 표본평균의 변동성도 커집니다.2. 표준편차에 따른 정규분포 비교아래 그래프는 평균은 같지만 표준편차가 다른 두 정규분포입니다.표준편차가 작을수록 분포가 평균 주변에 집중되고, 클수록 넓게 퍼집니다.여기서 중요한 것은 표준편차가 작으면 표본을 다시 추출하더라도 표본평균이 크게 달라질 가능성이 줄어든다는 점입니다.3. 왜 모집단 평균을 더 정밀하게 추정할까요?모집단 평균을 추정할 때 사용하는 대표적인 지표는 표준오차(..