머신러닝(Machine Learning) 실전 데이터 전처리

서론 데이터 분석에서 가장 중요한 단계 중 하나는 데이터 전처리입니다. 데이터 전처리는 원시 데이터를 분석에 적합한 형태로 변환하는 과정을 말합니다. 이 과정에서 결측치와 이상치 처리는 필수적인 과정입니다. 결측치는 데이터가 없는 부분을, 이상치는 일반적인 데이터 패턴에서 벗어난 값을 의미합니다. 이 두 가지 문제를 적절하게 처리하지 않으면 데이터 분석의 정확도와 신뢰성이 크게 떨어질 수 있습니다. 본 글에서는 결측치와 이상치 처리에 대한 다양한 방법을 소개하고, 파이썬 코드를 통해 실제로 어떻게 적용하는지를 설명하겠습니다.  1. 결측치 처리 데이터에서 가장 흔히 발생하는 문제는 결측치입니다. 결측치는 데이터가 없는 부분을 의미하며, 이를 처리하는 방법은 여러 가지가 있습니다.  - 평균, 중앙값, 최..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 29.
• textsms

머신러닝(Machine Learning) 실전 탐색적 데이터 분석(EDA)

서론 데이터 분석의 세계에서, 이론과 실습은 중요한 기초를 마련해주지만, 실전에서의 데이터 처리는 그 자체로 별도의 도전이 될 수 있습니다. 데이터는 '실제 세계'의 복잡성을 반영하기 때문에, 이론적인 배경 지식만으로는 충분하지 않을 때가 많습니다. 이런 상황에서는 탐색적 데이터 분석(EDA)이 매우 유용한 도구가 될 수 있습니다. 머신러닝(Machine Learning) 실전 탐색적 데이터 분석(EDA) 글에서는 이전에 배운 EDA의 기본적인 개념과 실습을 바탕으로, 실전에서의 데이터 분석에 직면할 때 어떻게 EDA를 활용할 수 있는지에 대해 알아보겠습니다. 복잡하고 어려운 현실 세계의 데이터에 직면했을 때, 우리는 어떻게 아이디어를 찾아내고, 어떤 방향으로 분석을 진행해야 하는지에 대한 통찰을 얻을 ..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 27.
• textsms

머신러닝(Machine Learning) 후반전 - 성능 평가 실습

머신러닝 후반전 데이터 스플릿(Data Split) → 모델 선택 및 학습 → 모델 검증 및 하이퍼파라미터 튜닝 → 성능 평가 서론 이전 글에서는 데이터 스플릿, 모델 선택 및 학습, 그리고 모델 검증 및 하이퍼파라미터 튜닝에 대해 살펴보았습니다. 이제 마지막 단계인 '성능 평가'에 대해 이야기해보려 합니다. 머신러닝의 과정 속에서 우리는 모델이 학습한 결과가 실제로 유의미한지, 그리고 실제 상황에서 어떤 성능을 발휘할지 평가하는 단계가 필요합니다. 이를 통해 모델이 데이터를 얼마나 잘 이해하고, 새로운 데이터에 대해 얼마나 잘 예측할 수 있는지를 알아보게 됩니다. 머신러닝(Machine Learning) 후반전 - 성능 평가 실습 글에서는 이러한 '성능 평가' 과정을 살펴보고, 실제로 어떻게 수행되는지..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 후반전
• · 2023. 12. 20.
• textsms

머신러닝(Machine Learning) 후반전 - 모델 검증 및 하이퍼파라미터 튜닝

머신러닝 후반전  데이터 스플릿(Data Split) → 모델 선택 및 학습 → 모델 검증 및 하이퍼파라미터 튜닝 → 성능 평가  서론 이전에 머신러닝의 기초적인 부분, 데이터 전처리 및 모델 학습에 대해 상세히 알아보았습니다. 그런데 학습만큼 중요한 것이 바로 '검증'입니다. 그리고 검증 과정에서 나오는 결과를 통해 모델을 더욱 개선하는 것, 이것이 바로 '하이퍼파라미터 튜닝'입니다. 이번 글에서는 바로 그 두 주제, 머신러닝(Machine Learning) 후반전 - 모델 검증 및 하이퍼파라미터 튜닝에 대해 알아보려 합니다. 모델이 잘 학습하고 있는지, 그리고 그 성능을 더욱 향상시킬 수 있는 방법은 무엇인지 함께 살펴보며, 머신러닝을 한층 더 깊게 이해해보려고 합니다. 그럼 그동안 우리가 함께 쌓아..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 후반전
• · 2023. 12. 18.
• textsms

머신러닝(Machine Learning) 후반전 - 모델 선택 및 학습 실습

머신러닝 후반전 데이터 스플릿(Data Split) → 모델 선택 및 학습 → 모델 검증 및 하이퍼파라미터 튜닝 → 성능 평가 서론 머신러닝의 세계는 깊이 있고 복잡합니다. 이를 이해하는 데 필요한 핵심 요소 중 하나는 바로 '모델 선택 및 학습'입니다. 머신러닝의 학습 방법에 따라 지도학습, 비지도학습, 강화학습으로 분류되며, 이들 각각은 다양한 문제 해결에 적합한 도구입니다. 지도학습은 레이블이 붙은 데이터를 통해 모델을 학습시키는 방법으로, 분류와 회귀 문제를 주로 해결합니다. 분류는 레이블이 명확한 클래스로 나눠져 있는 경우에 사용되며, 회귀는 연속적인 수치를 예측하는 경우에 사용됩니다. 한편, 비지도학습은 레이블이 없는 데이터를 통해 숨겨진 패턴이나 구조를 찾아내는 학습 방법입니다. 클러스터링,..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 후반전
• · 2023. 12. 14.
• textsms

머신러닝(Machine Learning) 후반전 - 데이터 스플릿(Data Split) 실습

머신러닝 후반전 데이터 스플릿(Data Split) → 모델 선택 및 학습 → 모델 검증 및 하이퍼파라미터 튜닝 → 성능 평가 서론 머신러닝은 우리가 일상에서 마주하는 다양한 문제를 해결하는 강력한 도구입니다. 추천 시스템에서부터 의료 진단, 자율 주행 자동차에 이르기까지 머신러닝은 다양한 분야에서 활용되고 있습니다. 그러나 이렇게 모델을 만드는 과정에서 중요한 한 단계는 바로 '데이터 스플릿'입니다. 데이터 스플릿은 머신러닝 모델을 학습하고 검증하기 위한 핵심적인 과정으로, 모델의 성능을 평가하고 일반화 능력을 향상시키는 데 큰 역할을 합니다. 머신러닝(Machine Learning) 후반전 - 데이터 스플릿(Data Split) 실습 과정을 통해 모델이 학습 데이터에 과적합되는 것을 방지하고, 동시에..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 후반전
• · 2023. 12. 12.
• textsms

머신러닝(Machine Learning) 전반전 - 데이터 스케일링 실습

머신러닝 전반전 탐색적 데이터 분석(EDA): 데이터 파악 → 데이터 전처리: 결측치, 이상치 수정 → 데이터 인코딩: 데이터 변환 → 데이터 스케일링: 데이터 정규화 서론 데이터 분석과 머신러닝의 세계에서, 원시 데이터를 그대로 사용하는 것은 여러 가지 문제를 야기할 수 있습니다. 각 특성의 스케일이 다르거나, 이상치가 포함되어 있는 경우, 모델의 성능을 저하시킬 수 있습니다. 이런 문제를 해결하기 위해 데이터 전처리 과정에서 데이터 스케일링이 중요한 역할을 합니다. 데이터 스케일링은 다양한 방법이 있지만, 이번 실습에서는 '정규화(Normalization)'에 초점을 맞추어 진행하려 합니다. 정규화는 데이터의 값이 0과 1 사이의 범위에 들어가도록 변환하는 방법으로, 이상치의 영향을 줄이고, 다양한 ..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 8.
• textsms