머신러닝(Machine Learning) 데이터 스케일링 기초

서론 데이터 과학의 핵심 요소 중 하나는 데이터를 적절하게 처리하고 이해하는 것입니다. 데이터를 가공하는 다양한 방법 중 하나는 바로 '데이터 스케일링'입니다. 이 기술은 데이터의 기존 값을 특정 범위로 변환하여, 모델이 데이터를 보다 효과적으로 해석하게 하는데 중요한 역할을 합니다. 데이터 스케일링은 특히 머신러닝에서 중요한데, 여기서는 대부분의 알고리즘이 입력 특성의 스케일에 민감하게 반응하기 때문입니다. 예를 들어, 하나의 특성이 다른 특성보다 수치적으로 훨씬 더 크다면, 머신러닝 모델은 큰 특성에 더 많은 가중치를 두게 되어, 작은 특성이 모델에 미치는 영향을 제대로 반영하지 못할 수 있습니다. 이러한 문제를 해결하기 위해, 데이터 스케일링은 모든 특성의 스케일을 비슷한 수준으로 맞추어 모델의 성..

• format_list_bulleted 데이터 사이언스/기초
• · 2023. 12. 7.
• textsms

머신러닝(Machine Learning) 전반전 - 인코딩(Encoding) 실습

머신러닝 전반전 탐색적 데이터 분석(EDA): 데이터 파악 → 데이터 전처리: 결측치, 이상치 수정 → 데이터 인코딩: 데이터 변환 → 데이터 스케일링: 데이터 정규화 서론 데이터 과학의 세계에서, 정보를 효과적으로 표현하고 이해하는 것은 매우 중요한 과제입니다. 이러한 과제를 해결하는 방법 중 하나가 바로 '인코딩'입니다. 인코딩은 간단히 말해 데이터를 컴퓨터가 이해할 수 있는 형태로 변환하는 과정입니다. 이는 문자열, 숫자, 날짜 등 다양한 형태의 데이터를 컴퓨터가 처리할 수 있는 형식으로 변환하는 것을 포함합니다. 이 과정은 데이터 분석 및 머신러닝에서 핵심적인 역할을 하며, 모델의 성능을 크게 좌우할 수 있습니다. 이런 중요한 인코딩 중에서도 '원-핫 인코딩'은 특히 주목받는 방법 중 하나입니다...

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 6.
• textsms

머신러닝(Machine Learning) 데이터 인코딩(Encoding) 기초

서론 머신러닝은 컴퓨터가 스스로 학습하여 문제를 해결하는 연구 분야로, 이를 위해선 데이터가 필수적입니다. 이 데이터는 다양한 형태와 형식으로 존재하며, 이를 컴퓨터가 이해할 수 있는 형태로 변환하는 과정이 필요한데, 이를 '데이터 인코딩'이라고 합니다. 데이터 인코딩은 데이터를 컴퓨터가 이해하고 처리할 수 있는 형식으로 변환하는 과정입니다. 이는 머신러닝 모델의 효율성과 정확성을 크게 향상시키는 중요한 단계로서, 머신러닝 알고리즘은 숫자로 표현된 데이터를 처리하는데, 이 때문에 범주형 데이터를 숫자로 변환하는 '범주형 인코딩', 텍스트 데이터를 숫자로 변환하는 '텍스트 인코딩' 같은 다양한 인코딩 방법이 사용됩니다. 데이터 인코딩은 머신러닝 모델의 성능을 결정짓는 핵심 요소 중 하나입니다. 인코딩을 통..

• format_list_bulleted 데이터 사이언스/기초
• · 2023. 12. 5.
• textsms

머신러닝(Machine Learning) 전반전 - 데이터 전처리 실습

머신러닝 전반전 탐색적 데이터 분석(EDA): 데이터 파악 → 데이터 전처리: 결측치, 이상치 수정 → 데이터 인코딩: 데이터 변환 → 데이터 스케일링: 데이터 정규화 서론 데이터 분석을 위해 탐색적 데이터 분석(EDA)를 수행하면 데이터의 문제가 있을 경우 전처리를 진행합니다. 이는 기존 데이터를 분석 가능한 형태로 변환하는 과정으로, 결측치 처리, 이상치 제거 등의 작업을 포함합니다. 이러한 작업은 데이터의 품질을 향상시키고, 분석의 정확성을 높이는 데 중요한 역할을 합니다. 데이터 전처리는 종종 '데이터 클리닝'이라고도 불리며, 이는 데이터가 불완전하거나, 부정확하거나, 관련 없거나, 오류가 있는 경우 이를 수정하거나 제거하는 과정을 의미합니다. 이 과정은 데이터의 품질을 향상시키고, 데이터 분석의..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 4.
• textsms

머신러닝(Machine Learning) 전반전 - 탐색적 데이터 분석(EDA) 실습

머신러닝 전반전 탐색적 데이터 분석(EDA): 데이터 파악 → 데이터 전처리: 결측치, 이상치 수정 → 데이터 인코딩: 데이터 변환 → 데이터 스케일링: 데이터 정규화 서론 탐색적 데이터 분석(Exploratory Data Analysis, EDA)는 데이터 분석의 첫 걸음으로, 복잡한 데이터 세트를 이해하는 데 도움이 되는 방법입니다. 이 방법은 데이터의 주요 특성, 패턴, 예외, 그리고 변수 간의 관계를 밝혀내는 데 중점을 둡니다. 이 과정은 시각화, 통계적 테스트, 그리고 기술 통계량(평균, 중앙값, 표준편차 등)을 통해 이루어집니다. EDA의 주요 목표는 데이터를 '탐색'하는 것입니다. 이는 데이터의 구조와 패턴을 이해하고, 이상치나 에러를 식별하며, 가설을 수립하고, 데이터 분석의 방향을 결정하..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 3.
• textsms

머신러닝Machine Learning 알고리즘 라이브러리 싸이킷런scikit-learn

사이킷런 홈페이지: https://scikit-learn.org/stable/ scikit-learn: machine learning in Python — scikit-learn 1.3.2 documentationModel selection Comparing, validating and choosing parameters and models. Applications: Improved accuracy via parameter tuning Algorithms: grid search, cross validation, metrics, and more...scikit-learn.org 서론 머신러닝 알고리즘은 컴퓨터가 데이터를 통해 학습하고 예측을 수행하게 해주는 방법들을 말합니다. 대표적으로 지도 학습, 비지도..

• format_list_bulleted 데이터 사이언스/기초
• · 2023. 12. 1.
• textsms

[패스트캠퍼스]딥러닝 강의, 모두를 위한 딥러닝 입문: 머신러닝부터 딥러닝까지! 학습 일지

공부를 시작하게 된 계기 빅 데이터의 활용도와 효율성이 저의 업무에서도 중요성을 가지게 될 것이라는 예상을 하였습니다. 과거에는 취업과 30대를 위한 준비를 위해 공부를 해왔지만, 이제는 40대 이후의 삶을 위한 공부를 해보고자 하였습니다.  입문 과정 직장 생활과 병행하여 독학을 하는 것은 쉽지 않았습니다. 유튜브와 다른 강의들을 찾아보며 공부하였지만, 무엇을 공부해야 할지, 어디서부터 시작해야 할지 명확하게 알지 못하였습니다. 이 과정에서 제가 제조업의 데이터 사이언티스트가 되고자 한다는 목표를 세우게 되었고, 머신러닝, 딥러닝, 클러스터링, 분류, 회귀 등, 처음에는 생소했던 개념들에 대해 어느 정도 이해하게 되었습니다.  그동안의 공부의 한계점  그러나 제가 해온 공부는 조금 단편적이었습니다. 전..

• format_list_bulleted 데이터 사이언스
• · 2023. 11. 29.
• textsms