[독서리뷰]데이터 해석의 진짜 비밀: "데이터 과학자의 가설 사고"

안녕하세요! 오늘은 점점 중요해지고 있는 데이터 리터러시에 대해 이야기해보려고 합니다. 특히 데이터 과학자가 어떤 관점으로 데이터를 바라보고, 어떻게 가설을 세워가며 분석을 진행하는지에 대해 함께 알아보겠습니다.

데이터 리터러시, 이제 선택이 아닌 필수입니다

최근 가트너(Gartner)의 연구에 따르면, 데이터 리터러시 점수가 높은 기업은 그렇지 않은 기업에 비해 기업 가치가 3억 2,000만~5억 3,400만 달러 더 높게 평가됩니다. 또한 의사결정권자의 93%는 데이터 리터러시가 자신들의 업계와 관련이 있다고 생각하며, 82%의 리더가 직원들이 기본적인 데이터 리터러시를 갖추길 기대하고 있습니다.

Fortune Business Insights에 따르면, 글로벌 빅데이터 분석 시장규모는 2021년에 2,400억 달러에서 연평균 10.53% 성장률을 기반으로 2029년에는 약 6,500억 달러 규모까지 크게 증가할 것으로 전망됩니다.

이런 상황에서 데이터 리터러시가 무엇인지, 그리고 데이터 과학자들이 어떤 사고 과정을 거쳐 데이터를 분석하는지 이해하는 것이 점점 중요해지고 있습니다.

데이터 리터러시의 핵심 목표들

데이터 리터러시를 제대로 갖추면 다음과 같은 능력을 기를 수 있습니다:

데이터 이해력 향상 데이터의 특징을 파악하고, 일어난 사건의 배경이나 의미를 이해할 수 있게 됩니다. 여기서 중요한 것은 도메인 지식이 필수라는 점입니다.

현장 파악의 중요성 데이터 발생 현장을 확인하는 일의 중요성을 이해하게 됩니다. 숫자 뒤에 숨겨진 실제 상황을 파악하는 것이죠.

올바른 비교 능력 데이터 비교 대상을 올바르게 설정하고, 숫자를 정확하게 비교할 수 있습니다.

시각화와 커뮤니케이션 적절한 시각화 방법을 선택하고, 다른 사람에게 데이터를 명확하게 설명할 수 있습니다.

비판적 사고 부적절하게 작성된 그래프나 숫자에 속지 않는 능력을 기릅니다.

직장인이 꼭 알아야 할 데이터 리터러시 6가지 힘

현대 직장인들에게 필요한 데이터 역량은 다음과 같습니다:

1. 데이터를 읽는 힘 - 숫자와 그래프를 정확히 해석하는 능력
2. 데이터를 설명하는 힘 - 분석 결과를 다른 사람에게 명확하게 전달하는 능력
3. 데이터를 다루는 힘 - 실제로 데이터를 수집하고 가공하는 기술적 능력
4. 데이터를 분류하는 힘 - 유사한 특성을 가진 데이터들을 그룹화하는 능력
5. 데이터에서 법칙을 찾아내는 힘 - 패턴과 트렌드를 발견하는 통찰력
6. 데이터로 예측하는 힘 - 과거 데이터를 바탕으로 미래를 내다보는 능력

데이터 분석의 기본: 대푯값과 특이값 이해하기

데이터를 다룰 때 반드시 알아야 할 기본 개념들이 있습니다.

대푯값의 3총사

• 평균값(Mean): 모든 데이터를 더해서 개수로 나눈 값
• 중앙값(Median): 데이터를 크기 순으로 늘어놓았을 때 정중앙에 있는 값
• 최빈값(Mode): 가장 자주 나타나는 값

상이값과 이상값의 차이

• 상이값: 다른 데이터와 비교해서 극단적으로 큰 값이나 작은 값
• 이상값: 상이값 중에서도 입력 실수나 측정 실수 등 명확한 원인을 알 수 있는 값

예를 들어, 2월 6일 데이터만 다른 날보다 1,000배 큰 값이 나왔다면 이는 상이값입니다. 하지만 손으로 입력할 때 자릿수를 잘못 입력했을 가능성이 높다면, 이는 이상값으로 분류할 수 있습니다.

결측값에 대한 올바른 이해 사자의 식사량 데이터에서 0kg이 기록된 날이 있다고 해서 반드시 결측값은 아닙니다. 사육 담당자에게 확인해보니 일주일에 한 번 식사량을 조절하기 위해 의도적으로 먹이를 주지 않는 날이었다면, 이 0kg은 의미 있는 데이터입니다.

표면적으로 결측인지 판단하지 말고, 값의 배경에 있는 이유를 조사하는 것이 중요합니다.

K-means법: 데이터 분류의 강력한 도구

K-means 클러스터링 알고리즘은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작합니다.

K-means법의 작동 원리

1. 데이터를 몇 개의 그룹으로 나눌지 정합니다 (K값 설정)
2. 임의의 초깃값을 설정합니다
3. 초깃값과의 거리를 재서 가까운 데이터를 같은 그룹으로 묶습니다
4. 그룹의 중심점을 다시 계산하고, 이 과정을 반복합니다

이 방법은 고객 세분화, 이미지 압축, 추천 시스템 등 다양한 분야에서 활용되고 있습니다.

상관관계와 인과관계: 헷갈리기 쉬운 개념들

데이터 분석에서 가장 주의해야 할 부분 중 하나가 바로 관계성 해석입니다.

상관관계 한쪽 데이터가 크면 다른 한쪽 데이터도 큰 관계성을 보이는 것입니다.

• 양의 상관: 한쪽 값이 클 때 다른 한쪽 값도 큰 관계
• 음의 상관: 한쪽 값이 클 때 다른 한쪽 값은 작은 관계

인과관계 한쪽이 원인이고, 다른 한쪽이 결과인 관계입니다.

허위상관 겉보기에는 상관관계가 있는 듯 보이지만, 실제로는 두 데이터 사이에 인과관계가 없는 경우입니다.

상관계수가 0.7 이상이면 강한 양의 상관, -0.7 이하면 강한 음의 상관으로 해석하지만, 상이값이 있으면 상관계수가 극단적인 값이 될 수 있으므로 주의해야 합니다.

데이터 시각화: 목적에 맞는 그래프 선택하기

각각의 시각화 방법은 고유한 목적을 가지고 있습니다:

막대 그래프

• 수치 데이터의 항목 간 차이를 표현
• 값 비교, 차이 확인, 순위 확인에 적합

꺾은선 그래프

• 시계열 데이터의 시간적 변화를 표현
• 트렌드나 주기성, 변곡점 확인에 적합

산포도

• 수치 데이터의 항목 간 관계성을 표현
• 2개 항목의 상관관계 확인에 적합

원 그래프

• 수치 데이터의 구성을 표현
• 전체 대비 각 항목의 비율 확인에 적합 (2-3개 항목일 때 효과적)

데이터 비교의 4가지 관점

데이터를 의미 있게 해석하려면 다음 4가지 시점에서 비교해야 합니다:

1. 시점 비교: 기준 시점으로부터의 변화율, 성장률
2. 계획 대비: 계획값에 대한 실적 달성 정도
3. 타자 비교: 성질이 같은 것끼리의 차이, 우열 관계
4. 전체 대비: 전체 대비 구성비, 공헌도, 점유율

데이터 과학자의 핵심 역할과 사고 과정

데이터 과학자는 기업이나 부서의 목표를 예측 엔진, 패턴 감지 분석, 최적화 알고리즘 등 데이터 기반 결과물로 전환시킬 수 있는 비즈니스 전문성을 갖추고 있어야 합니다.

데이터 과학자의 주요 업무

• 데이터를 그룹으로 나누는 분류 작업 시 먼저 분류 목적을 확인
• '왜'라는 물음이 직감과 맞는지 생각하면서 데이터 확인
• 가설 없이 분석을 시작하지 않고, 항상 대략적인 가설을 세운 후 분석 착수

실제 비즈니스에서의 데이터 활용 사례

자라(ZARA)의 성공 비결 자라는 데이터 리터러시 능력을 바탕으로 빅데이터를 활용하여 소비자의 니즈를 정확히 파악해 판매량을 늘리고 재고 부담을 줄여 영업이익률 57%를 기록했습니다.

자라의 신제품 런칭은 데이터를 바탕으로 한 토론을 통해 결정됩니다. 수집한 데이터를 바탕으로 디자이너들이 문화와 유행 요소들을 살펴보며 치열하게 토론한 결과로 새로운 디자인을 결정하는 것이죠.

이탈 분석(Churn Analysis) 고객 이탈을 방지하기 위한 분석으로, 과거에 이탈한 고객의 데이터에서 법칙을 찾아내어 앞으로 타사 서비스로 갈아탈 가능성이 높은 고객을 미리 찾아내는 분석입니다.

다이내믹 프라이싱(Dynamic Pricing) 고객 모집 실적 데이터나 이용 실적 데이터를 이용해 이용 고객을 예측하고, 혼잡도 완화와 수요의 최대화를 목적으로 수요와 공급에 따라 가격을 실시간으로 조정하는 시스템입니다.

데이터 과학자의 미래와 전망

BLS는 데이터 과학자 분야의 일자리가 2024년까지 11% 증가할 것으로 내다봤으며, 글래스도어의 '미국의 최고 직업 50종' 보고서에 따르면 채용 기회, 보수, 전반적인 업무 만족도를 기준으로 했을 때 데이터 과학자가 최고의 직업으로 분석됐습니다.

오토ML과 같은 도구의 발전으로 데이터 과학자들은 더욱 협력적이고 전략적인 역할로 변화할 전망입니다. 학문적인 이론 및 기술을 자동화함으로써, 기업이 데이터를 통해 비즈니스 문제를 해결할 수 있도록 솔루션을 '가이드'하는 데 집중할 수 있게 될 것입니다.

마치며: 가설 사고로 무장한 데이터 전문가가 되어보세요

데이터 리터러시는 이제 특정 직군만의 전유물이 아닙니다. 모든 부서에서 중요해진 기본적인 데이터 기술은 곧 성공을 위한 가장 중요한 기술이 될 것입니다.

중요한 것은 단순히 데이터 분석 툴을 다루는 것이 아니라, 목적에 맞게 데이터를 설계하고 올바른 가설을 세워 분석하는 사고 과정입니다. 데이터 뒤에 숨겨진 진짜 이야기를 찾아내는 탐정 같은 자세로 접근한다면, 여러분도 충분히 데이터로 무장한 의사결정자가 될 수 있을 것입니다.

데이터가 넘쳐나는 시대, 가설 사고로 무장한 여러분의 인사이트가 세상을 바꿀 수 있습니다!