머신러닝(Machine Learning)의 절차와 이해 - 데이터 수집

 

데이터 수집 로드맵

 

서론

 

머신러닝(Machine Learning)의 절차와 이해 - 데이터 수집에 대해 글을 작성하겠습니다. 

분석 문제 정의 → 데이터 수집 → 탐색적 데이터 분석(EDA) → 피처 엔지니어링 → 예측 모델 개발 → 서비스 적용

 

데이터 수집은 머신러닝 절차 중 분석 문제 정의 다음의 단계이며, 이 단계에서는 정의한 문제를 해결하기 위한 데이터들을 수집하는 단게입니다. 어떤 데이터를 수집하느냐에 따라 문제 해결을 위한 접근 방식이 달라지며, 이것은 데이터의 유형도 신경써야할 필요가 있습니다.

 

데이터 수집

 

머신러닝 프로젝트에서 두 번째 단계인 '데이터 수집'은 분석의 기반이 되는 데이터를 확보하는 과정입니다. 이 과정은 다음과 같은 4가지 단계로 이루어집니다.

1. 데이터 마트 생성: 데이터 마트는 특정 주제나 부서에 초점을 맞춘 작은 규모의 데이터 웨어하우스를 의미합니다. 이 단계에서는 필요한 데이터를 특정 주제나 목적에 맞게 분류하거나 구성합니다. 이를 통해 필요한 데이터를 효율적으로 관리하고 사용할 수 있습니다.

2. 데이터 정합성 평가: 수집된 데이터의 질을 평가하는 과정입니다. 데이터의 정확성, 일관성, 완전성, 신뢰성 등을 검토하고, 이상치나 결측치, 중복 값 등이 있는지 확인합니다. 이를 통해 데이터의 정합성을 보장하고, 분석의 신뢰성을 높일 수 있습니다.

3. 데이터 취합: 여러 출처에서 수집된 데이터를 하나의 데이터 세트로 합치는 과정입니다. 이 때, 동일한 개체나 사건을 나타내는 데이터가 일관된 방식으로 표현되고 연결되어야 합니다. 이를 통해 통합된 정보를 제공하고, 분석의 효율성을 높일 수 있습니다.

4. 데이터 포맷 통일: 서로 다른 소스에서 수집된 데이터는 종종 다른 형식이나 구조로 저장되어 있습니다. 이 단계에서는 모든 데이터를 일관된 포맷으로 변환하여, 분석이나 처리가 쉽도록 합니다.

 

이렇게 데이터 수집 단계를 통해 필요한 데이터를 효과적으로 확보하고, 그 데이터의 질을 보장하고, 데이터를 적절하게 관리하고 사용할 수 있습니다. 이 단계를 잘 수행하면, 그 이후의 분석 과정에서 좀 더 정확하고 효율적인 결과를 얻을 수 있습니다.

 

예시

 

데이터 수집 단계를 이해하기 쉽게 예를 들어 설명하겠습니다.

 

예를 들어, 고객 만족도를 높이기 위해 고객의 구매 이력, 제품 리뷰, 고객 서비스 이력 등 다양한 데이터를 활용하려는 머신러닝 프로젝트를 진행한다고 가정해봅시다.

1. 데이터 마트 생성: 이 단계에서는 '고객 만족도'라는 특정 주제에 초점을 맞추어 필요한 데이터를 모읍니다. 예를 들어, 고객 ID, 구매 이력, 제품 리뷰, 고객 서비스 이력 등을 포함하는 데이터 마트를 생성할 수 있습니다.

2. 데이터 정합성 평가: 수집된 데이터의 질을 평가합니다. 예를 들어, 고객 ID의 중복, 제품 리뷰의 결측치, 구매 이력의 이상치 등을 확인하고, 이를 수정하거나 제거하여 데이터의 정합성을 보장합니다.

3. 데이터 취합: 여러 출처에서 수집된 데이터를 하나의 데이터 세트로 합칩니다. 예를 들어, 구매 이력 데이터, 제품 리뷰 데이터, 고객 서비스 이력 데이터 등을 고객 ID를 기준으로 합칠 수 있습니다.

4. 데이터 포맷 통일: 서로 다른 형식의 데이터를 일관된 형식으로 변환합니다. 예를 들어, 날짜 데이터가 '년-월-일' 형식으로 저장된 곳도 있고, '월/일/년' 형식으로 저장된 곳도 있다면, 이를 일관된 형식으로 통일합니다.

 

이렇게 데이터 수집 단계를 거친 후에는, 데이터의 질을 보장하고, 필요한 정보를 효율적으로 제공하는 '탐색적 데이터 분석(EDA)', '피처 엔지니어링', '예측 모델 개발', '서비스 적용' 등의 작업을 진행하게 됩니다.

 

결론

 

오늘은 머신러닝(Machine Learning)의 절차와 이해 - 데이터 수집을 알아보았습니다. 결론적으로, 머신러닝 프로젝트에서 '데이터 수집' 단계는 굉장히 중요합니다. 데이터 마트 생성, 데이터 정합성 평가, 데이터 취합, 그리고 데이터 포맷 통일의 4가지 단계를 통해, 분석에 필요한 데이터를 체계적이고 효율적으로 확보하게 됩니다.

 

일상적인 예를 들어보면, 우리가 자주 이용하는 온라인 쇼핑몰이 이러한 과정을 통해 개인화된 상품 추천 서비스를 제공하게 됩니다. 쇼핑몰은 고객의 구매 이력, 상품 리뷰, 검색 이력 등 다양한 데이터를 수집하고, 이 데이터의 정합성을 평가하며, 이를 취합하여 개인화된 상품 추천 모델을 개발하게 됩니다. 또한, 데이터 포맷을 통일함으로써 데이터 분석 과정에서 발생할 수 있는 오류를 미리 방지하게 됩니다.

 

따라서, '데이터 수집' 단계는 우리가 일상에서 경험하는 많은 서비스의 품질을 결정짓는 핵심 요소입니다. 이 단계를 통해 체계적으로 데이터를 수집하고 관리함으로써, 머신러닝을 통한 문제 해결에 효과적으로 접근할 수 있습니다. 이를 바탕으로, 우리는 개개인의 필요에 맞는, 더욱 효율적이고 편리한 서비스를 제공받을 수 있게 됩니다.

 

함께 읽으면 좋은 글 ↓

https://10yp.tistory.com/32

머신러닝(Machine Learning)의 절차와 이해 - 1편

https://10yp.tistory.com/33

머신러닝(Machine Learning)의 절차와 이해 - 2편

https://10yp.tistory.com/34

머신러닝(Machine Learning)의 절차와 이해 - 분석 문제 정의

https://10yp.tistory.com/38

머신러닝(Machine Learning)의 절차와 이해 - 탐색적 데이터 분석(Exploratory Data Analysis, EDA)