인사이트

1. 데이터 입력 표준 정책(Data Entry Standard Policy)
데이터 클렌징의 기반인 데이터 입력 표준 정책을 정의합니다. 이후 모든 단계의 기초가 되는 작업으로, 데이터의 일관성, 데이터의 정확성, 데이터 중복 식별 등을 고려하여 결정합니다.

예를 들어 고객이 회원가입을 할 때 어떤 항목의 데이터를 어느 수준까지 요구할 것인지, 기업 차원에서 멤버십 체계를 구축할 때 필요한 항목은 무엇인지 등 의미와 범위, 수준을 논의하는 과정입니다.

2. 불필요한 항목 제거(Removal of Unwanted Observations)
데이터 세트 내 중복 항목에 대해 결합하여 신규 항목을 설정하거나, 사용하지 않는 일부 컬럼을 삭제하는 작업을 진행합니다. 데이터 컬럼과 소스의 유형을 정리하는 작업도 포함합니다.

3. 데이터 구조 확인(Fix Data Structure)

데이터 항목별 구조와 속성을 정합니다. 성별처럼 ‘남자’ ‘여자’ ‘기타’와 같이 3개 값으로 나뉘는 카테고리형 성격을 갖는 항목을 정의하는 작업을 포함하며, 성별이 여성인 경우 성별 항목을 ‘여성’으로 할 것인지, ‘여’ ‘Female’ ‘2’ 등 문자열, 또는 숫자로 할 것인지, 이름의 성과 이름을 개별 컬럼으로 분리 표기 할 것인지 등을 결정하여 데이터의 구조와 속성이 일관성을 갖도록 정리 및 확인합니다

4. 이상값 필터링(Filter-out Outliers)

정의한 값과 실제 데이터 값이 불일치 하는 경우, 정의한 값에 맞춰 필터링 합니다.

예를 들어 연령이 231세로 기입된 회원이 있는지 등을 확인하는 것을 포함해, 생년월일의 표기가 ‘99.10.31’ ‘1999-12-30’ ‘08.05.25’ ‘901209’ 등 다양한 양식으로 섞여 있다면 앞선 단계에서 정의한 정책에 맞춰 이상값에 대해 조치합니다.

5. 결측값 처리(Handling Missing Data)

누락 데이터 또는 잘못 입력된 값을 처리하는 과정입니다. 누락 데이터는 결측값이라 부르기도 하는데 이에 대한 대치·조치 작업을 수행합니다. 예를 들어 국적 정보가 없으면 ‘대한민국’으로 대체하고, 성별 정보가 없으면 ‘기타’로 대체하는 등, 연령대 정보가 비어있는 것을 ‘생년월일’ 정보를 참조하여 대체하는 등의 작업입니다.

6. 검증 및 QA(Validate and QA)
데이터 유효성 검사를 실시하는 단계로, 앞서 정의한 데이터 표준 정책에 맞게 데이터를 검증합니다. 정책 및 단계별 작업에 대한 확인 과정으로, 데이터 유형은 정확한지, 유효한 범위 내 값인지, 중복된 값은 없는지, 필수 값이 비어있는 경우는 없는지 등을 검토하는 것으로 데이터의 정확성, 데이터의 일관성을 확인합니다.