설문조사가 끝나고
엑셀 파일을 열어보니
응답자가 300명이나 됩니다.
그런데 데이터를 정리하다 보니
빈칸이 있는 응답도 있고,
다른 응답자와 유난히
차이가 큰 숫자도 발견됩니다.
이럴 때 가장 먼저 드는 생각은
해당 데이터를 삭제해도
괜찮을지에 대한 고민입니다.
논문 데이터 분석에서는
분석 프로그램을 실행하기 전에
자료의 상태를 파악하는
과정이 중요한데요.
특히 결측치와 이상치를
어떻게 다루느냐에 따라
최종 분석 결과가 달라질 수 있습니다.
우선 결측치가 무엇인지
정확하게 구분해 볼 필요가 있습니다.
결측치는 수집한 데이터에서
관측값이 존재하지 않거나
기록되지 않은 상태를 의미합니다.
예를 들어 설문지의
특정 질문에 응답하지 않았거나,
검사 결과가 누락된 경우가
이에 해당할 수 있습니다.
중요한 것은 빈칸이 생긴
이유를 생각해 보는 일입니다.
단순한 입력 누락인지,
응답자가 의도적으로
답변하지 않은 것인지에 따라
자료의 특성이 달라질 수 있기 때문입니다.
결측치를 발견하면
무조건 해당 응답자를
삭제해야 하는 걸까요?
그렇지는 않습니다.
일부 문항에 응답하지 않았다는
이유만으로 전체 자료를
제외하면 활용 가능한
정보까지 잃을 수 있습니다.
특히 결측이 특정 집단이나
변수와 관련되어 발생했다면
단순 삭제로 인해
결과가 편향될 가능성도 있습니다.
따라서 결측 비율과
발생 양상을 먼저 확인하고,
분석 목적에 맞는 처리 방법을
선택해야 합니다.
결측치 처리 방법에는
여러 가지가 있습니다.
결측이 포함된 사례를
제외하는 완전사례분석부터
다중대체법과 같은
통계적 방법까지 다양합니다.
다중대체법은 관측된 자료의
정보를 활용해 결측값을
여러 번 대체하고,
분석 결과를 결합하는 방식입니다.
다만 어떤 방법이 적절한지는
결측 발생 원인에 관한 가정과
자료의 특성에 따라 달라집니다.
결측값을 단순히 평균으로
채우는 방식은 변동성과
변수 간 관계를 왜곡할 수 있어
주의가 필요합니다.
이번에는 이상치를 살펴보겠습니다.
이상치는 다른 관측값과 비교해
상대적으로 크거나 작은 값,
또는 전반적인 자료의 패턴에서
벗어나는 관측값을 말합니다.
가령 응답 연령이
20세에서 60세 사이인 자료에
250세라는 값이 입력되어 있다면
입력 오류를 의심할 수 있습니다.
그러나 60세라는 값이
다른 응답자보다 높다는 이유만으로
잘못된 자료라고
판단할 수는 없습니다.
이상치는 오류일 수도 있지만
실제로 존재하는
특이한 관측값일 수도 있습니다.
이상치를 확인하는 방법도
자료의 종류에 따라 다릅니다.
상자그림을 활용하면
분포에서 멀리 떨어진 값을
시각적으로 살펴볼 수 있습니다.
표준화 점수나 사분위범위 등을
참고하기도 하는데요.
회귀분석에서는 단순히
개별 값이 큰지 확인하는 것 외에
잔차와 영향력 진단을
추가로 살펴볼 수 있습니다.
대표적으로 Cook's distance와
레버리지 등을 활용할 수 있습니다.
다만 특정 기준을 넘었다는 이유만으로
해당 자료를 자동으로
삭제하는 것은 적절하지 않습니다.
이상치를 발견했다면
우선 원자료와 비교해
입력 오류 여부를 확인해야 합니다.
입력 과정에서 소수점이
잘못 표시되었거나
숫자가 중복 입력되었다면
근거에 따라 수정할 수 있습니다.
반면 실제 조사에서
확인된 값이라면
삭제 여부를 신중하게
검토해야 합니다.
필요에 따라 해당 관측값을
포함한 분석과 제외한 분석을
비교하는 민감도 분석을
진행할 수도 있습니다.
중요한 것은 연구자가
결과를 좋게 만들기 위해
자료를 임의로 수정하지 않는 것입니다.
데이터 정제 과정은
분석 결과를 해석할 때도
중요한 근거가 됩니다.
예를 들어 처음 수집한
자료가 300건이었다면
실제 분석에 사용한 자료가
몇 건인지 명확하게 밝혀야 합니다.
일부 자료를 제외했다면
제외 기준과 이유를
함께 기록하는 것이 좋습니다.
또한 결측치 처리 방법과
이상치 검토 기준도
논문에 설명할 필요가 있습니다.
이러한 정보가 있어야
다른 연구자가 분석 과정을
이해하고 결과의 신뢰성을
평가하는 데 도움이 됩니다.
논문 데이터 분석을 준비할 때는
자료를 정리한 방식까지
체계적으로 관리하는 것이 좋습니다.
원본 데이터는 별도로 보관하고,
수정한 항목과 처리 기준을
기록해 두는 방법이 유용합니다.
특히 여러 사람이 분석에
참여하는 연구라면
변수명과 코딩 기준을
공유하는 과정도 중요합니다.
통계논문월드는 석사·박사
학위논문 연구자를 대상으로
통계분석과 연구 컨설팅을
주요 서비스로 안내하고 있습니다.
결측치나 이상치 처리에
어려움을 겪고 있다면
자료의 특성과 연구설계에 맞는
분석 방향을 검토해 볼 수 있습니다.
논문 데이터 분석에서
가장 위험한 실수는
불편한 데이터를 무조건
제외하는 것입니다.
결측치와 이상치는
분석을 방해하는 숫자가 아니라
자료의 특성을 이해하기 위해
살펴봐야 할 중요한 정보입니다.
어떤 값이 누락되었는지,
왜 다른 값과 차이가 나는지,
처리 과정에서 분석 결과가
달라지는지 확인해야 합니다.
데이터를 수집한 뒤
정제와 전처리 과정에서
판단이 어렵다면
통계논문월드의 전문 컨설팅을 통해
연구에 적합한 데이터 처리와
분석 방법을 상담해 보시기 바랍니다.