오늘은 EDA 진행을 마무리하는 날이었다. 금요일부터 모델링에 들어가게 될 것 같아 기대가 된다.
과정
튜터님의 피드백
- 유의 판매자 식별 모델에 집중 (+ 시각화) => 한 주제에 대한 완성도를 높일 것
- 소비자 또는 판매자에게 메일링 서비스
- 부정 리뷰 정의 => 불만족한 리뷰로 정의 (1~3점)
유의 판매자 기준
- 출고일(approved ~ carrier) : Q3 기준 (6.3일)
- 리뷰 지표 : 불만족 리뷰 비율 vs 평균 리뷰 점수 => 불만족 리뷰 비율 사용으로 기울어짐
- 텍스트 기반 분석 => 모델링 하고 여유 되면 진행
LOWESS 회귀 분석을 통한 리뷰 지표 비교
왜도가 심한 분포의 데이터에 일반 선형분석을 적용하는 것은 적절하지 않다. 이러한 경우, 평균에 대한 가정이 깨지기 쉬워 극단값의 영향을 과도하게 받게 된다. 그래서 일반 선형회귀 대신 LOWESS를 사용하여 변수간의 연관성을 살펴보았다.
LOWESS(Locally Weighted Scatterplot Smoothing)는 데이터의 전반적인 형태를 강요하지 않고, 각 구간에서의 국소적 패턴을 연결해 변수 간 비선형 관계를 시각적으로 파악하는 기법이다.
1) 출고일 - 평균 리뷰점수
2) 출고일 - 불만족 리뷰(1~3점) 비율
우리의 목적은 평균적인 효과 추정보다는 Olist의 유의 판매자를 식별하는 데 있었기 때문에, LOWESS 회귀를 통해 관찰된 비선형 패턴이 비선형인 것이 오히려 이상치(유의 판매자)의 영향을 더 많이 받은 형태인 것 같다는 생각을 하게 되었다.