Data Mastery: From Analysis to System De

[가설검정] 경험적 법칙과 표준오차로 이해하는 가설검정

정규분포에서는 데이터가 평균을 중심으로 일정한 범위 안에 모이는 경향이 있습니다. 이를 경험적 법칙(Empirical Rule)이라고 합니다.평균 ± 1표준편차: 약 68%평균 ± 2표준편차: 약 95%평균 ± 3표준편차: 약 99.7%즉, 평균에서 2표준편차보다 멀리 떨어진 값은 비교적 드물고, 3표준편차를 벗어나는 값은 매우 드물다고 볼 수 있습니다. 1. 표준오차는 무엇을 의미할까?표준오차(Standard Error)는 표본평균이 얼마나 흔들릴 수 있는지를 나타내는 값입니다.여기서 s는 표본표준편차, n은 표본크기입니다. 예를 들어 아이스크림 100개를 한 번 뽑았을 때 표준편차가 5g이라면, 입니다.이 값은 아이스크림 100개씩 반복해서 표본을 뽑는다고 가정했을 때, 각 표본평균들이 모집단 평균 ..

표준편차와 표준화: 데이터의 위치를 해석하는 방법

데이터 분석에서는 평균만으로 전체 분포를 이해하기 어렵습니다.같은 평균을 가진 데이터라도 값들이 평균 주변에 모여 있을 수도 있고, 넓게 퍼져 있을 수도 있기 때문입니다. 이때 사용하는 대표적인 지표가 표준편차이며, 이를 기준으로 개별 값의 상대적인 위치를 표현한 것이 표준화(Z-score)입니다.1. 표준편차와 데이터 분포표준편차(Standard Deviation)는 데이터가 평균을 중심으로 얼마나 퍼져 있는지 나타내는 지표입니다. 표준편차가 작으면 값들이 평균 근처에 모여 있고, 표준편차가 크면 값들이 넓게 퍼져 있다고 볼 수 있습니다. 정규분포를 따르는 데이터에서는 표준편차를 기준으로 데이터가 어느 범위에 포함되는지 대략적으로 파악할 수 있습니다.이를 경험적 법칙(Empirical Rule)이라고 ..

최근 공공데이터를 활용해 수산가공식품의 생산 동향을 분석했다. AI의 도움을 받아 필요한 수치를 빠르게 집계하고 표와 그래프를 만들었지만, 분석을 진행할수록 원인을 설명하는 데 한계가 느껴졌다.문제는 데이터를 직접 확인하지 않은 것이었다.1. 결과부터 찾기 시작했다AI를 활용한 뒤부터는 먼저 질문을 만들고 필요한 결과를 요청하는 방식으로 분석했다.연도별 생산량은 얼마인가?어떤 식품유형의 생산량이 증가했는가?어떤 제품을 후속 분석 대상으로 선정할 것인가?이 방식은 빠르고 효율적이었다. 하지만 I0300 데이터를 사실상 연도, 식품유형, 생산량만 있는 자료처럼 사용하게 만들었다. 2. 데이터프레임을 다시 확인했다원자료의 HEAD(10)을 확인하자 그동안 충분히 활용하지 못한 변수들이 보였다.인허가번호업소명소..

2.통계와 통계학은 비슷하게 들리지만 의미는 다릅니다.１. 통계(Statistics)통계는 데이터를 정리하고 요약하여 나타낸 수치나 정보를 의미합니다.예를 들어 평균 연봉, 실업률, 평균 키, 매출 증가율처럼 데이터를 통해 현재 상태나 특징을 보여주는 값이 통계에 해당합니다.통계 = 데이터를 요약해서 보여주는 결과 2. 통계학(Statistics)통계학은 데이터를 어떻게 수집하고, 분석하고, 해석할 것인지 다루는 학문이자 방법론입니다.특히 표본 데이터를 이용해 패턴과 관계를 파악하고, 확률을 통해 불확실성을 평가하여 모집단의 특성을 추론합니다.통계학 = 데이터를 이용해 신뢰할 수 있는 결론을 만드는 방법3. 차이를 간단히 정리하면구분의미통계데이터를 요약한 수치와 정보통계학데이터를 수집·분석·해석하는 방법..

통계학을 단순히 평균이나 표준편차를 계산하는 학문으로 생각하면 전체 흐름을 이해하기 어렵습니다. 통계학은 데이터를 수집하고 특징을 파악한 뒤, 그 안에서 발견한 패턴이 얼마나 믿을 만한지를 평가하고 최종적으로 더 큰 집단에 대한 결론과 의사결정으로 연결하는 과정으로 볼 수 있습니다. 전체 흐름은 다음과 같습니다.데이터 수집 → 데이터 요약·탐색 → 패턴과 관계 파악 → 불확실성 평가 → 모집단 추론 → 의사결정이번 글에서는 A 변수와 B 변수 사이의 상관관계를 확인하는 상황을 예로 들어 이 흐름을 살펴보겠습니다.1. 데이터 수집통계 분석의 출발점은 데이터입니다. 예를 들어 어떤 회사에서 **직원의 공부 시간(A)**과 업무 성과(B) 사이에 관계가 있는지 알고 싶다고 가정해보겠습니다.모든 직원을 조사하..

2026 빅데이터활용대회 | DX Challenge 2026 빅데이터활용대회 | DX Challenge 부산 빅데이터 혁신센터가 제공하는 오픈랩 데이터 및 부산광역시 Big-데이터웨이브 및 공공데이터를 기반으로, 부산 지역의 사회적 현안과 지역문제를 발견하고 이를 해결할 창의적인 솔루션www.dxchallenge.co.kr 공모전 제출 자료 ↓ 이번 2026 Big Data 활용 대회 공모전 프로젝트를 돌아보면서 가장 먼저 정리하고 싶었던 것은 단순히 “탈락했다”는 결과가 아니라, 내가 어떤 방식으로 분석을 구성했고, 어디에서 멈췄는가였습니다. 그래서 이번 회고는 글만 길게 쓰는 대신, 먼저 목차 레이아웃 이미지를 기준으로 생각을 정리해보려고 합니다.이번 이미지는 단순한 목차가 아니라, 이번 프로젝..

표를 작성할 때 비슷해 보이는 합계, 전체, 계, 소계는 다음과 같이 구분할 수 있다.표현의미일반적인 위치합계금액·건수처럼 값을 직접 더한 결과마지막 행전체비율·평균 등을 전체 원자료 기준으로 다시 계산한 결과첫 번째 행계합계 또는 전체를 포괄하는 행정·통계표 표현요약표는 첫 행, 집계표는 마지막 행소계세부 그룹별 중간 합산 결과각 그룹의 마지막 행총계여러 소계를 모두 합친 최종 결과표의 마지막 행어떻게 선택하면 될까?금액이나 건수만 합산했다면 합계건수와 전체 비율·평균이 함께 있다면 전체공공기관의 행정·통계표라면 계여러 하위 항목을 중간 집계했다면 소계여러 소계를 최종 합산했다면 총계예를 들어 구·군별 방문 횟수와 전체 방문 비율을 함께 보여주는 요약표라면, 단순한 합산 이상의 의미가 있으므로 전체가 ..

데이터를 시각화할 때 그래프의 형태만큼 중요한 것이 Scale(축의 범위)입니다.같은 데이터를 사용하더라도 Y축의 범위를 어떻게 설정하느냐에 따라 변화가 매우 크게 보일 수도 있고, 거의 변화가 없는 것처럼 보일 수도 있습니다.1. Scale이란 무엇인가?Scale은 그래프에서 데이터를 표현하는 축의 범위와 간격을 의미합니다.예를 들어 연평균 기온이 56°F에서 58°F로 상승했다고 가정해보겠습니다.Y축을 0~100°F로 설정하면 2°F의 변화는 매우 작게 보입니다. 반대로 Y축을 56~59°F 정도로 좁히면 동일한 변화가 상당히 큰 상승처럼 보입니다. 즉,데이터는 동일하지만 Scale에 따라 사용자가 받아들이는 변화의 크기는 달라질 수 있습니다. 2. 같은 기후 데이터가 전혀 다르게 보이는 이유아래 이..

플로우맵(Flow Map)은 지도 위에서 사람이나 물자의 이동 경로와 규모를 함께 표현하는 시각화 방법입니다. 단순히 어디에서 어디로 이동했는지만 보여주는 것이 아니라, 선의 방향과 두께를 활용해 이동의 흐름과 규모까지 함께 전달할 수 있습니다. 대표적인 사례가 프랑스의 토목공학자 샤를 조제프 미나르(Charles Joseph Minard)가 제작한 나폴레옹의 1812년 러시아 원정 시각화입니다 1. 선의 두께로 병력 감소를 표현하다미나르의 시각화에서 가장 중요한 요소는 선의 두께입니다. 나폴레옹 군대가 러시아를 향해 진격할 때는 선이 매우 두껍게 시작하지만, 이동이 계속될수록 선이 점차 가늘어집니다. 이는 이동 과정에서 병력이 계속 감소하고 있음을 의미합니다. 또한 진격과 후퇴 경로를 서로 다른 색상..

로즈 다이어그램(Rose Diagram)은 데이터를 원형으로 배치하고, 각 방향으로 뻗은 막대의 길이를 통해 값의 크기를 표현하는 시각화 방법입니다. 일반적인 막대그래프가 데이터를 가로 또는 세로 방향으로 비교한다면, 로즈 다이어그램은 데이터를 원형으로 배치하기 때문에 시간, 방향처럼 반복되는 주기를 가진 데이터를 표현할 때 효과적입니다. 1. 시간대별 활동량을 표현한다면위 시각화에서는 하루 24시간을 원형으로 배치하고 시간대별 활동량을 막대의 길이로 표현했습니다. 막대가 길수록 해당 시간대의 활동량이 많다는 의미입니다. 이를 통해 새벽에는 활동량이 낮고, 오전부터 점차 증가하며 점심과 저녁 시간대에 활동량이 높아지는 패턴을 한눈에 확인할 수 있습니다. 특히 24시간 이후 다시 0시로 돌아가는 것처럼 ..