머신러닝(Machine Learning) 실전 데이터 스케일링

서론 데이터 분석과 머신러닝은 점점 중요해지고 있는 분야입니다. 이들 분야에서 데이터는 가장 핵심적인 요소이며, 이 데이터를 어떻게 처리하고 분석하는지가 결과에 큰 영향을 미칩니다. 이 과정에서 데이터 전처리는 필수적인 단계로, 특히 데이터 스케일링은 모델의 성능을 크게 향상시키는 중요한 요소 중 하나입니다. 데이터 스케일링은 다양한 특성의 스케일 차이를 보정하거나, 이상치의 영향을 줄이는 등의 역할을 합니다. 이는 모델이 공정하게 각 특성을 학습할 수 있도록 돕는다는 점에서 매우 중요합니다. 그리고 이러한 스케일링은 Min-Max Scaling, Standard Scaling, Robust Scaling 등 다양한 방법으로 이루어질 수 있습니다. 이 글에서는 이러한 스케일링 방법들에 대해 설명하고, 각..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2024. 1. 1.
• textsms

머신러닝(Machine Learning) 실전 데이터 인코딩(Data Encoding)

서론 데이터 과학과 머신러닝은 현대 사회에서 점점 중요해지고 있는 분야로, 이들 분야에서 중요한 역할을 하는 것이 바로 데이터 처리입니다. 특히, 범주형 데이터를 적절하게 처리하는 것은 머신러닝 모델의 성능에 큰 영향을 미칩니다. 이런 이유로, 이번 글에서는 실전 데이터 인코딩에 대한 핵심적인 개념과 주요 방법을 살펴보도록 하겠습니다. 본문에서는 레이블 인코딩, 원-핫 인코딩, 순서 인코딩, 이진 인코딩, 해시 인코딩, 타겟 인코딩 등 다양한 인코딩 방법을 파이썬 코드 예제와 함께 자세히 설명하겠습니다. 이전 글들을 참고하신다면 그 이해가 더 쉬우실 겁니다. https://10yp.tistory.com/64 머신러닝(Machine Learning) 데이터 인코딩(Encoding) 기초 서론 머신러닝은 컴..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 29.
• textsms

머신러닝(Machine Learning) 실전 데이터 전처리

서론 데이터 분석에서 가장 중요한 단계 중 하나는 데이터 전처리입니다. 데이터 전처리는 원시 데이터를 분석에 적합한 형태로 변환하는 과정을 말합니다. 이 과정에서 결측치와 이상치 처리는 필수적인 과정입니다. 결측치는 데이터가 없는 부분을, 이상치는 일반적인 데이터 패턴에서 벗어난 값을 의미합니다. 이 두 가지 문제를 적절하게 처리하지 않으면 데이터 분석의 정확도와 신뢰성이 크게 떨어질 수 있습니다. 본 글에서는 결측치와 이상치 처리에 대한 다양한 방법을 소개하고, 파이썬 코드를 통해 실제로 어떻게 적용하는지를 설명하겠습니다.  1. 결측치 처리 데이터에서 가장 흔히 발생하는 문제는 결측치입니다. 결측치는 데이터가 없는 부분을 의미하며, 이를 처리하는 방법은 여러 가지가 있습니다.  - 평균, 중앙값, 최..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 29.
• textsms

머신러닝(Machine Learning) 실전 탐색적 데이터 분석(EDA)

서론 데이터 분석의 세계에서, 이론과 실습은 중요한 기초를 마련해주지만, 실전에서의 데이터 처리는 그 자체로 별도의 도전이 될 수 있습니다. 데이터는 '실제 세계'의 복잡성을 반영하기 때문에, 이론적인 배경 지식만으로는 충분하지 않을 때가 많습니다. 이런 상황에서는 탐색적 데이터 분석(EDA)이 매우 유용한 도구가 될 수 있습니다. 머신러닝(Machine Learning) 실전 탐색적 데이터 분석(EDA) 글에서는 이전에 배운 EDA의 기본적인 개념과 실습을 바탕으로, 실전에서의 데이터 분석에 직면할 때 어떻게 EDA를 활용할 수 있는지에 대해 알아보겠습니다. 복잡하고 어려운 현실 세계의 데이터에 직면했을 때, 우리는 어떻게 아이디어를 찾아내고, 어떤 방향으로 분석을 진행해야 하는지에 대한 통찰을 얻을 ..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 27.
• textsms

머신러닝(Machine Learning) 전반전 - 데이터 스케일링 실습

머신러닝 전반전 탐색적 데이터 분석(EDA): 데이터 파악 → 데이터 전처리: 결측치, 이상치 수정 → 데이터 인코딩: 데이터 변환 → 데이터 스케일링: 데이터 정규화 서론 데이터 분석과 머신러닝의 세계에서, 원시 데이터를 그대로 사용하는 것은 여러 가지 문제를 야기할 수 있습니다. 각 특성의 스케일이 다르거나, 이상치가 포함되어 있는 경우, 모델의 성능을 저하시킬 수 있습니다. 이런 문제를 해결하기 위해 데이터 전처리 과정에서 데이터 스케일링이 중요한 역할을 합니다. 데이터 스케일링은 다양한 방법이 있지만, 이번 실습에서는 '정규화(Normalization)'에 초점을 맞추어 진행하려 합니다. 정규화는 데이터의 값이 0과 1 사이의 범위에 들어가도록 변환하는 방법으로, 이상치의 영향을 줄이고, 다양한 ..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 8.
• textsms

머신러닝(Machine Learning) 전반전 - 인코딩(Encoding) 실습

머신러닝 전반전 탐색적 데이터 분석(EDA): 데이터 파악 → 데이터 전처리: 결측치, 이상치 수정 → 데이터 인코딩: 데이터 변환 → 데이터 스케일링: 데이터 정규화 서론 데이터 과학의 세계에서, 정보를 효과적으로 표현하고 이해하는 것은 매우 중요한 과제입니다. 이러한 과제를 해결하는 방법 중 하나가 바로 '인코딩'입니다. 인코딩은 간단히 말해 데이터를 컴퓨터가 이해할 수 있는 형태로 변환하는 과정입니다. 이는 문자열, 숫자, 날짜 등 다양한 형태의 데이터를 컴퓨터가 처리할 수 있는 형식으로 변환하는 것을 포함합니다. 이 과정은 데이터 분석 및 머신러닝에서 핵심적인 역할을 하며, 모델의 성능을 크게 좌우할 수 있습니다. 이런 중요한 인코딩 중에서도 '원-핫 인코딩'은 특히 주목받는 방법 중 하나입니다...

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 6.
• textsms

머신러닝(Machine Learning) 전반전 - 데이터 전처리 실습

머신러닝 전반전 탐색적 데이터 분석(EDA): 데이터 파악 → 데이터 전처리: 결측치, 이상치 수정 → 데이터 인코딩: 데이터 변환 → 데이터 스케일링: 데이터 정규화 서론 데이터 분석을 위해 탐색적 데이터 분석(EDA)를 수행하면 데이터의 문제가 있을 경우 전처리를 진행합니다. 이는 기존 데이터를 분석 가능한 형태로 변환하는 과정으로, 결측치 처리, 이상치 제거 등의 작업을 포함합니다. 이러한 작업은 데이터의 품질을 향상시키고, 분석의 정확성을 높이는 데 중요한 역할을 합니다. 데이터 전처리는 종종 '데이터 클리닝'이라고도 불리며, 이는 데이터가 불완전하거나, 부정확하거나, 관련 없거나, 오류가 있는 경우 이를 수정하거나 제거하는 과정을 의미합니다. 이 과정은 데이터의 품질을 향상시키고, 데이터 분석의..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 4.
• textsms