[기초프로젝트] 3일차 - 데이터 전처리

오늘은 기초프로젝트를 본격적으로 들어가기에 앞서 팀원들과 데이터 전처리 과정에 대해 회의를 했다. 회의 내용은 다음과 같이 정리해 보았다.

---

데이터 전처리 - 결측치 다루기

 

1. 결측치 있는 행(row) 삭제

• 건축년도 1979년 (은마아파트 기준) 이전 삭제 (건축년도 NaN, 0년 등 애매한 데이터  삭제)
• 거래취소일 있는 데이터 삭제 (거래 가격 등 다른 매물 특성 분석시 불필요한 데이터 → 추후 분석 필요시 따로 분석)

2. 불필요한 열(column) 삭제

• 토지면적
• 권리구분
• 신고구분
• 신고한 개업공인중개사 시군구명
• 건물명
• 본번
• 부번
• 지번구분
• 지번구분명

3. 데이터 보완

• 층 : 건물용도가 '단독다가구주택'인 경우, NaN → 0 (데이터 타입: float)
• 자치구명 없는 데이터 한 개 → '강북구'로 채워 넣음 (법정동명이 '미아동'이기 때문)

4. 접수연도와 계약일

• 접수연도 ≥ 계약일
• 접수연도가 2020년 이하 계약일은 전년도 11월 2일 이상 데이터 까지 포함 (*20년 2월 21일 기준)
• 접수연도가 2021년 이상 계약일은 전년도 12월 2일 이상 데이터 까지 포함 (*20년 2월 21일 기준)

---

마무리

데이터 전처리와 EDA가 중요하다고 앞 글에서 그렇게 말해놓고 적당히 결측치 있는 행 삭제하고 바로 분석에 들어갔다. 분석도 변수들을 제대로 파악하지 않은 채 어떤 결과를 내야하는지에 초점을 맞춰서 잘못하게 되었다. 인사이트를 도출하는 결과만 생각을 하다보니 조금 성급하게 분석을 진행하게 된 것 같다. 그래도 다행인 점은 팀원들과 회의를 하며 전처리과정에 대해 감을 잡아갈 수 있었다. 부동산 데이터를 다루지만 부동산에 대한 도메인 지식이 거의 없어 데이터를 이해하는데 시간이 오래 걸렸지만, 변수들 간에 관계를 유기적으로 생각하며 주제에 맞는 분석을 위해 어떤 데이터들을 쳐내고 가져가야 하는지 고민해볼 수 있는 시간을 가질 수 있었다. 확실히 이론으로 공부를 할 때 보다 직접 프로젝트를 통해 데이터를 접해보고 팀원들의 다양한 생각을 듣다보니 데이터 분석이 어떤 것인지 조금은 감이 잡힐 듯 한 것 같다.