캐글 실전 titanic 생존자 예측

서론 안녕하세요, 이번 글에서는 Google Colab 환경에서 Python을 활용하여 머신러닝 알고리즘을 이용해 타이타닉호의 생존자를 예측하는 과정을 상세하게 설명하려 합니다. 이 과정은 대표적인 머신러닝 프로젝트의 흐름을 그대로 따르며, 데이터 분석부터 모델의 성능 평가까지 일련의 과정을 거치게 됩니다. 우선, 탐색적 데이터 분석(EDA)를 통해 데이터를 깊이 있게 이해하고, 이를 바탕으로 전처리 과정에서 결측치와 이상치를 수정합니다. 이후, 데이터 인코딩으로 데이터를 머신러닝 알고리즘이 이해할 수 있는 형태로 변환하며, 데이터 스케일링을 통해 모든 데이터를 동일한 범위로 정규화합니다. 데이터의 준비가 완료되면, 데이터를 학습용과 테스트용으로 분리하고, 적절한 머신러닝 모델을 선택하여 학습을 진행합니..

• format_list_bulleted 데이터 사이언스/Kaggle
• · 2024. 1. 11.
• textsms

머신러닝(Machine Learning) 실전 성능 평가

서론  머신러닝 모델을 개발하는 과정은 마치 예술가가 작품을 완성하는 과정과 비슷합니다. 데이터 스플릿, 모델 선택 및 학습, 모델 검증 및 하이퍼파라미터 튜닝 등은 모두 머신러닝 모델을 '그리는' 과정이라 할 수 있습니다. 이러한 과정을 거친 후, 우리는 마침내 모델이 '완성'되었다고 말할 수 있습니다. 그러나, 이 모델이 실제로 얼마나 잘 작동하는지, 그리고 어떤 성능을 발휘하는지는 어떻게 알 수 있을까요? 이를 확인하기 위해서는 모델의 '성능 평가'가 필요합니다.  성능 평가는 머신러닝 모델이 데이터를 얼마나 잘 이해하였는지, 그리고 새로운 데이터에 대해 얼마나 정확한 예측을 하는지를 확인하는 과정입니다. 이를 통해 우리는 모델이 가진 한계를 파악하고, 이를 개선하는 방향으로 나아갈 수 있습니다. ..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 후반전
• · 2024. 1. 10.
• textsms

머신러닝(Machine Learning) 실전 모델 검증 및 하이퍼파라미터 튜닝

서론 머신러닝의 여정은 단순히 알고리즘을 실행시키는 것으로 끝나지 않습니다. 이론에서 실제 응용으로 넘어가는 과정에서, 우리는 모델의 학습이라는 기초 위에 검증과 하이퍼파라미터 튜닝이라는 중요한 두 번째 단계를 진행해야 합니다. 이 서론에서는 머신러닝의 심화 단계인 모델 검증과 하이퍼파라미터 튜닝의 중요성과 그 과정을 간략히 개관할 것입니다. 우리는 이미 데이터를 처리하고 모델을 구축하는 기본 단계를 살펴보았습니다. 이제, 이 모델들이 실제 세계의 복잡한 문제들에 어떻게 적용되는지, 그리고 어떻게 성능을 극대화할 수 있는지를 파악할 차례입니다. 모델 검증은 우리가 구축한 모델이 일반화할 수 있는 능력을 평가하는 과정입니다. 즉, 우리는 모델이 단순히 학습 데이터에만 잘 작동하는 것이 아니라, 앞으로 마주..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 후반전
• · 2024. 1. 8.
• textsms

머신러닝(Machine Learning) 실전 모델 선택 및 학습

서론 머신러닝은 지난 수년 동안 데이터 과학 분야에서 가장 강력한 도구 중 하나로 각광받고 있습니다. 이는 머신러닝이 제공하는 능력, 즉 대량의 데이터에서 복잡한 패턴을 찾아내고, 이를 통해 미래의 데이터에 대한 예측을 수행하는 능력 덕분입니다. 이러한 능력은 다양한 분야에서 활용될 수 있으며, 이를 통해 우리는 고객의 행동 예측부터 질병의 조기 진단에 이르기까지 다양한 문제를 해결할 수 있게 되었습니다. 우리가 머신러닝을 통해 이러한 문제를 해결하기 위해서는, 우선 적절한 머신러닝 모델을 선택하고, 이를 학습시키는 과정이 필요합니다. 이때, 다양한 머신러닝 알고리즘 중 어떤 것을 선택하느냐는 주어진 문제의 특성과 데이터의 성격에 따라 달라집니다. 이러한 과정은 머신러닝 분석의 핵심적인 단계입니다. 그러..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 후반전
• · 2024. 1. 3.
• textsms

머신러닝(Machine Learning) 실전 데이터 스플릿

서론 이번에는 머신러닝에서 중요한 단계인 '데이터 스플릿'의 실전 적용에 대해 이야기해보려고 합니다. 이전 글에서는 데이터 스플릿의 개념과 중요성, 그리고 이를 적용하는 기본적인 방법에 대해 알아보았습니다. 이제 이론을 실제 문제에 적용하는 단계로 나아가볼까요? 머신러닝에서 데이터 스플릿은 모델의 성능을 결정짓는 중요한 요소입니다. 모델이 학습 데이터에만 과도하게 적응하여 새로운 데이터에 대한 예측 능력이 떨어지는 과적합을 방지하고, 모델의 일반화 성능을 평가하기 위해 필요한 과정입니다. 이는 모든 머신러닝 프로젝트에서 꼭 필요한 단계로, 실제 문제 해결을 위해선 이론뿐만 아니라 실전에서의 적용 능력도 필요합니다. 이번 글에서는 실제 데이터셋에 데이터 스플릿을 적용해보고, 이를 통해 얻은 결과를 분석해보..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 후반전
• · 2024. 1. 2.
• textsms

머신러닝(Machine Learning) 실전 데이터 스케일링

서론 데이터 분석과 머신러닝은 점점 중요해지고 있는 분야입니다. 이들 분야에서 데이터는 가장 핵심적인 요소이며, 이 데이터를 어떻게 처리하고 분석하는지가 결과에 큰 영향을 미칩니다. 이 과정에서 데이터 전처리는 필수적인 단계로, 특히 데이터 스케일링은 모델의 성능을 크게 향상시키는 중요한 요소 중 하나입니다. 데이터 스케일링은 다양한 특성의 스케일 차이를 보정하거나, 이상치의 영향을 줄이는 등의 역할을 합니다. 이는 모델이 공정하게 각 특성을 학습할 수 있도록 돕는다는 점에서 매우 중요합니다. 그리고 이러한 스케일링은 Min-Max Scaling, Standard Scaling, Robust Scaling 등 다양한 방법으로 이루어질 수 있습니다. 이 글에서는 이러한 스케일링 방법들에 대해 설명하고, 각..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2024. 1. 1.
• textsms

머신러닝(Machine Learning) 실전 데이터 인코딩(Data Encoding)

서론 데이터 과학과 머신러닝은 현대 사회에서 점점 중요해지고 있는 분야로, 이들 분야에서 중요한 역할을 하는 것이 바로 데이터 처리입니다. 특히, 범주형 데이터를 적절하게 처리하는 것은 머신러닝 모델의 성능에 큰 영향을 미칩니다. 이런 이유로, 이번 글에서는 실전 데이터 인코딩에 대한 핵심적인 개념과 주요 방법을 살펴보도록 하겠습니다. 본문에서는 레이블 인코딩, 원-핫 인코딩, 순서 인코딩, 이진 인코딩, 해시 인코딩, 타겟 인코딩 등 다양한 인코딩 방법을 파이썬 코드 예제와 함께 자세히 설명하겠습니다. 이전 글들을 참고하신다면 그 이해가 더 쉬우실 겁니다. https://10yp.tistory.com/64 머신러닝(Machine Learning) 데이터 인코딩(Encoding) 기초 서론 머신러닝은 컴..

• format_list_bulleted 데이터 사이언스/머신러닝 실습 전반전
• · 2023. 12. 29.
• textsms