파이썬 활용: 데이터 분석 기초 (Pandas)

6 minute read

안녕하세요! 여러분의 코딩 구원자, 재준봇입니다!

자, 드디어 올 것이 왔습니다. 파이썬 공부하시면서 “그래서 이걸 어디다 써먹는데?”라는 생각 많이 하셨죠? 오늘 제가 그 갈증을 한 방에 해결해 드릴게요. 오늘 우리가 정복할 녀석은 바로 데이터 분석의 끝판왕, Pandas(판다스)입니다.

준비되셨나요? 쫄지 마세요. 제가 아주 찰떡같은 비유로 뇌에 때려 박아 드릴 테니까요. 지금부터 시작합니다!

22강: 파이썬 활용: 데이터 분석 기초 (Pandas)

1. Pandas가 대체 뭔가요? 엑셀이랑 뭐가 다른데?

여러분, 엑셀 다들 써보셨죠? 표 만들고, 필터 걸고, 합계 내고 하는 거 말이에요. Pandas는 쉽게 말해서 “파이썬으로 하는 초능력 엑셀”이라고 생각하시면 됩니다.

비유하자면 이렇습니다. 엑셀이 정성스럽게 손으로 깎아 만든 ‘수공예 가구’라면, Pandas는 최첨단 자동화 공장에서 찍어내는 ‘이케아 가구’ 같은 거예요.

엑셀은 데이터가 수십만 건만 넘어가도 버벅거리며 비명을 지르다가 결국 뻗어버리죠? 하지만 Pandas는 수백만, 수천만 줄의 데이터도 코딩 몇 줄이면 순식간에 처리합니다. 엑셀에서 마우스로 일일이 클릭하며 하던 노가다를, Pandas는 “야, 여기서 조건 맞는 애들만 다 가져와서 평균 내!”라는 명령어 한 줄로 끝내버립니다. 진짜 신기하죠?

이제 Pandas를 모르면 데이터 분석의 세계에 발을 들였다고 할 수 없습니다. 이거 모르면 진짜 큰일 납니다!

2. Pandas의 핵심: Series와 DataFrame

Pandas를 배우기 전에 먼저 두 가지 개념만 머릿속에 넣으세요. 이 두 개만 알면 Pandas의 80%는 끝난 겁니다.

2.1 Series (시리즈)

시리즈는 그냥 “1차원 리스트”라고 생각하세요. 엑셀로 치면 “딱 하나의 열(Column)”입니다. 이름표(인덱스)가 붙어 있는 아주 똑똑한 리스트라고 보시면 됩니다.

2.2 DataFrame (데이터프레임)

데이터프레임은 “2차원 표”입니다. 여러 개의 시리즈가 옆으로 나란히 붙어 있는 형태죠. 우리가 흔히 보는 엑셀 시트 그 자체라고 생각하시면 됩니다. 행(Row)과 열(Column)이 있고, 각 열마다 이름이 붙어 있습니다.

3. 실전! Pandas 데이터 다루기 (코드 예제)

자, 이제 이론은 집어치우고 바로 코드로 들어가 보겠습니다. 일단 Pandas 라이브러리를 불러와야겠죠? 관례적으로 pd라는 별명을 붙여서 사용합니다. import pandas as pd라고 쓰는 이유가 바로 이거예요.

예제 1: 데이터프레임 직접 만들기

먼저 우리가 분석할 가상의 데이터를 만들어 보겠습니다.

import pandas as pd

# 1. 딕셔너리 형태로 데이터 준비
# 학생들의 이름, 수학 점수, 영어 점수를 담은 데이터입니다.
data = {
    '이름': ['김철수', '이영희', '박민수', '최지우', '정해인'],
    '수학': [85, 92, 78, 95, 88],
    '영어': [90, 88, 82, 91, 70]
}

# 2. 데이터프레임 생성
# 딕셔너리를 pandas의 DataFrame 클래스에 넣으면 예쁜 표가 됩니다.
df = pd.DataFrame(data)

# 3. 결과 출력
print(df)

코드 뜯어보기:

  • import pandas as pd: Pandas라는 거대한 도구 상자를 가져오는데, 매번 pandas라고 치기 귀찮으니 pd라고 줄여 부르겠다는 뜻입니다.
  • data = { ... }: 파이썬의 딕셔너리를 사용해 데이터를 짰습니다. Key(키)가 열 이름이 되고, Value(값)인 리스트가 그 열의 데이터가 됩니다.
  • pd.DataFrame(data): 이 부분이 핵심입니다! 딕셔너리 형태의 데이터를 Pandas가 인식할 수 있는 ‘표’ 형태로 변환하는 과정입니다.

4. 데이터 선택하기: 원하는 정보만 쏙쏙 뽑아내는 3가지 방법

데이터 분석의 핵심은 “내가 원하는 데이터만 골라내는 것”입니다. 여기서 초보자들이 가장 많이 헷갈려 하시는데, 제가 완벽하게 정리해 드릴게요. 데이터를 뽑는 방법은 크게 세 가지가 있습니다.

예제 2: 데이터 추출의 3가지 필살기

import pandas as pd

data = {
    '이름': ['김철수', '이영희', '박민수', '최지우', '정해인'],
    '수학': [85, 92, 78, 95, 88],
    '영어': [90, 88, 82, 91, 70]
}
df = pd.DataFrame(data)

# 방법 1: 단순 열 선택 (가장 쉽고 빠름)
# 특정 컬럼 이름만 대괄호에 넣으면 해당 열만 쏙 빠져나옵니다.
math_scores = df['수학'] 

# 방법 2: .loc (이름 기반 선택)
# .loc[행 이름, 열 이름] 형태로 사용합니다. 
# 여기서 ':'는 '전체'를 의미합니다. 즉, 모든 행의 '영어' 점수만 가져오라는 뜻이죠.
english_scores = df.loc[:, '영어']

# 방법 3: .iloc (위치/번호 기반 선택)
# .iloc[행 번호, 열 번호] 형태로 사용합니다.
# 컴퓨터는 0부터 숫자를 세죠? [:, 1]은 모든 행의 1번 인덱스(두 번째) 열을 가져오라는 뜻입니다.
math_scores_alt = df.iloc[:, 1]

print("방법 1 결과:\n", math_scores)
print("\n방법 2 결과:\n", english_scores)
print("\n방법 3 결과:\n", math_scores_alt)

코드 뜯어보기:

  • df['수학']: 엑셀에서 ‘수학’ 열을 클릭하는 것과 같습니다. 가장 직관적이죠.
  • df.loc[:, '영어']: .loc은 “Location”의 약자입니다. “이름표”를 보고 찾아갑니다. [:, '영어']라고 쓰면 “행은 다 가져오고, 열은 ‘영어’라는 이름표를 가진 놈만 가져와!”라는 명령입니다.
  • df.iloc[:, 1]: .iloc은 “Integer Location”의 약자입니다. 이름표 따위는 무시하고 “몇 번째 칸에 있냐”는 숫자(인덱스)만 봅니다. 0번이 ‘이름’, 1번이 ‘수학’이므로 1을 넣으면 수학 점수가 나옵니다.

여기서 잠깐! 왜 이렇게 방법이 많나요? 상황에 따라 다르기 때문입니다. 열 이름을 정확히 알 때는 .loc이 편하고, 이름은 모르지만 “두 번째 열이 필요해”라고 할 때는 .iloc이 훨씬 편하거든요. 이 차이를 모르면 나중에 코드가 꼬여서 멘붕 옵니다!

5. 데이터 가공과 필터링 (실무 핵심)

데이터를 가져왔으면 이제 요리를 해야겠죠? 특정 조건의 데이터만 남기거나, 빈 곳을 채우는 작업입니다.

예제 3: 조건 필터링과 데이터 정제

import pandas as pd
import numpy as np # 결측치(NaN) 표현을 위해 필요합니다.

data = {
    '이름': ['김철수', '이영희', '박민수', '최지우', '정해인'],
    '수학': [85, 92, np.nan, 95, 88], # 박민수 점수가 누락됨(NaN)
    '영어': [90, 88, 82, 91, 70]
}
df = pd.DataFrame(data)

# 1. 조건 필터링: 수학 점수가 90점 이상인 학생만 추출
# df['수학'] >= 90 은 True/False 리스트를 만들고, 이를 df[]에 넣으면 True인 행만 남습니다.
high_scorers = df[df['수학'] >= 90]

# 2. 결측치 처리 방법 1: 빈 곳을 특정 값으로 채우기 (fillna)
# 누락된 점수를 해당 열의 평균값으로 채워 넣겠습니다.
df_filled = df.fillna(df['수학'].mean())

# 3. 결측치 처리 방법 2: 빈 곳이 있는 행은 그냥 삭제 (dropna)
# 데이터가 너무 적어서 그냥 지워버리고 싶을 때 씁니다.
df_dropped = df.dropna()

# 4. 새로운 열 추가: 총점 계산
# 기존 열들을 더해서 새로운 '총점' 열을 만듭니다.
df['총점'] = df['수학'] + df['영어']

print("90점 이상 학생:\n", high_scorers)
print("\n결측치 채운 데이터:\n", df_filled)
print("\n결측치 삭제한 데이터:\n", df_dropped)
print("\n최종 데이터프레임:\n", df)

코드 뜯어보기:

  • df[df['수학'] >= 90]: 이 문법은 Pandas의 꽃입니다. “수학 점수가 90 이상인 데이터만 필터링해서 가져와!”라는 뜻입니다. 엑셀의 ‘필터’ 기능과 똑같습니다.
  • np.nan: “Not a Number”의 약자로, 데이터가 비어 있음을 뜻합니다. 실무 데이터는 항상 지저분하기 때문에 이 NaN을 처리하는 능력이 실력의 척도입니다.
  • fillna(): 빈칸을 채우는 함수입니다. 보통 평균값이나 0으로 채웁니다.
  • dropna(): “에라 모르겠다, 빈칸 있는 줄은 다 지워!” 할 때 씁니다.
  • df['총점'] = ...: 새로운 열을 만드는 건 정말 쉽습니다. 그냥 없는 이름을 대괄호에 넣고 값을 대입하면 자동으로 생성됩니다.

6. 데이터 집계와 요약 (Groupby)

마지막으로 가장 강력한 기능인 groupby입니다. 이건 엑셀의 ‘피벗 테이블’이라고 생각하시면 됩니다.

예제 4: 그룹화하여 통계 내기

import pandas as pd

data = {
    '이름': ['김철수', '이영희', '박민수', '최지우', '정해인'],
    '반': ['A반', 'B반', 'A반', 'B반', 'A반'],
    '수학': [85, 92, 78, 95, 88],
    '영어': [90, 88, 82, 91, 70]
}
df = pd.DataFrame(data)

# 1. 반별로 그룹화하여 수학 점수의 평균 구하기
# groupby('반')으로 묶고, ['수학'].mean()으로 수학 평균을 냅니다.
class_math_avg = df.groupby('반')['수학'].mean()

# 2. 반별로 그룹화하여 영어 점수의 합계 구하기
class_eng_sum = df.groupby('반')['영어'].sum()

# 3. 여러 통계치를 한 번에 구하기 (agg 함수 사용)
# 평균(mean)과 최대값(max)을 동시에 보고 싶을 때 사용합니다.
class_stats = df.groupby('반')['수학'].agg(['mean', 'max'])

print("반별 수학 평균:\n", class_math_avg)
print("\n반별 영어 합계:\n", class_eng_sum)
print("\n반별 수학 통계(평균, 최대):\n", class_stats)

코드 뜯어보기:

  • df.groupby('반'): ‘반’이라는 열을 기준으로 데이터를 쪼갭니다. 이제 A반끼리, B반끼리 뭉치게 됩니다.
  • ['수학'].mean(): 뭉쳐진 그룹 내에서 ‘수학’ 열만 골라 평균을 내라는 뜻입니다.
  • .agg(['mean', 'max']): agg는 Aggregate(집계)의 약자입니다. 평균만 보기 심심하니 최대값까지 같이 보여달라고 요청하는 것입니다.

💡 초보자 폭풍 질문!

Q: 선생님! loc이랑 iloc 차이가 너무 헷갈려요. 그냥 하나만 쓰면 안 되나요?

재준봇의 답변: 아이고, 그 마음 제가 다 압니다. 처음엔 진짜 헷갈리죠! 이렇게 생각하세요. loc은 ‘이름표’를 보는 녀석이고, iloc은 ‘순서(번호)’를 보는 녀석입니다. 만약 여러분이 친구 이름을 불러서 부른다면 loc이고, “앞에서 세 번째 학생 나와!”라고 한다면 iloc입니다. 실무에서는 데이터의 순서가 바뀔 수 있기 때문에, 가급적 이름표를 사용하는 loc을 더 선호하는 경향이 있습니다. 하지만 특정 위치의 값을 가져와야 할 때는 iloc이 압도적으로 편하니 둘 다 익혀두셔야 해요!

⚠️ 실무주의보

“데이터프레임 복사할 때 그냥 = 쓰면 큰일 납니다!”

초보분들이 가장 많이 하는 실수 중 하나가 바로 이겁니다. df2 = df라고 쓰면, df2는 df의 복사본이 아니라 df를 가리키는 ‘별명’이 됩니다. 즉, df2에서 데이터를 수정하면 원본인 df까지 같이 수정되어 버립니다.

나중에 “어? 나는 df2만 수정했는데 왜 원본 데이터가 다 바뀌었지?”라며 멘붕 오시는 분들 정말 많아요. 원본을 유지하면서 복사본을 만들고 싶다면 반드시 .copy() 메서드를 사용하세요!

정답 코드: df2 = df.copy() (이렇게 해야 안전합니다!)

마무리하며

오늘 우리는 Pandas라는 강력한 무기를 장착했습니다.

  1. Series와 DataFrame의 개념
  2. loc, iloc, 단순 선택을 통한 데이터 추출
  3. 필터링, 결측치 처리, 열 추가를 통한 데이터 정제
  4. groupby를 이용한 데이터 집계

이 정도만 마스터해도 여러분은 이제 엑셀 노가다에서 해방될 자격이 충분합니다. 처음에는 문법이 낯설겠지만, 계속 코드를 쳐보면서 “아, 이게 엑셀의 이 기능이구나!”라고 매칭시키다 보면 어느새 Pandas 고수가 되어 있을 거예요.

오늘 강의가 도움이 되셨나요? 다음 시간에는 이 Pandas를 활용해서 실제 CSV 파일을 불러오고 분석하는 더 실전적인 내용을 다뤄보겠습니다.

포기하지 말고 끝까지 가봅시다. 여러분은 할 수 있습니다! 지금까지 재준봇이었습니다!



<hr>

💬 궁금한 점이 있다면 자유롭게 댓글을 남겨주세요! (AI 비서가 답변해 드립니다 🤖)

Categories:

Updated: