머신러닝(Machine Learning) 실전 성능 평가

서론

 

머신러닝 모델을 개발하는 과정은 마치 예술가가 작품을 완성하는 과정과 비슷합니다. 데이터 스플릿, 모델 선택 및 학습, 모델 검증 및 하이퍼파라미터 튜닝 등은 모두 머신러닝 모델을 '그리는' 과정이라 할 수 있습니다. 이러한 과정을 거친 후, 우리는 마침내 모델이 '완성'되었다고 말할 수 있습니다. 그러나, 이 모델이 실제로 얼마나 잘 작동하는지, 그리고 어떤 성능을 발휘하는지는 어떻게 알 수 있을까요? 이를 확인하기 위해서는 모델의 '성능 평가'가 필요합니다.

 

성능 평가는 머신러닝 모델이 데이터를 얼마나 잘 이해하였는지, 그리고 새로운 데이터에 대해 얼마나 정확한 예측을 하는지를 확인하는 과정입니다. 이를 통해 우리는 모델이 가진 한계를 파악하고, 이를 개선하는 방향으로 나아갈 수 있습니다. 이번 실전 글에서는 이러한 성능 평가 과정을 자세히 알아보고, 실제로 어떻게 수행되는지에 대해 설명하겠습니다. 우리는 다양한 성능 평가 지표를 통해 모델의 성능을 평가할 것입니다.

 

이 지표들은 각각 모델의 성능을 다른 측면에서 측정하므로, 여러 가지 지표를 함께 사용하여 모델의 전반적인 성능을 평가하는 것이 중요합니다. 이를 통해, 모델이 어떤 면에서는 잘 작동하고 어떤 면에서는 개선이 필요한지를 알아볼 수 있습니다. 이제, 여러분과 함께 모델의 성능을 평가하는 여정을 시작해보겠습니다.

 

성능 지표

 

각 지표에 대한 예시 상황, 성능 평가 목적, 그리고 그 이유에 대해 설명하겠습니다.

 

1. Mean Squared Error(MSE)

 

예시 상황: 주택 가격 예측과 같은 회귀 문제에서 사용됩니다.

성능 평가 목적: 실제 값과 예측 값의 차이를 최소화하려는 목적입니다.

성능 평가 코드: 

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_test, result)
print('MSE: %.4f' % mse)

 

해석: MSE는 실제 값과 예측 값의 차이를 제곱하여 평균한 값으로, 이 값이 작을수록 예측이 정확한 것을 의미합니다. 회귀 문제에서는 이 차이를 최소화하는 것이 중요하므로 MSE를 사용합니다.

 

2. Accuracy

 

예시 상황: 이메일이 스팸인지 아닌지를 분류하는 문제에서 사용됩니다. 성능 평가 목적: 전체 샘플 중 올바르게 분류된 샘플의 비율을 최대화하려는 목적입니다.

성능 평가 코드:

from sklearn.metrics import accuracy_score
accuracy = accuracy_score(y_test, result)
print('Accuracy: %.4f' % accuracy)

 

해석: Accuracy는 모델이 올바르게 분류한 샘플의 비율로, 이 값이 높을수록 모델의 성능이 좋다는 것을 의미합니다. 스팸 메일 분류와 같이 두 클래스 중 어느 것이 더 중요한지 명확하지 않은 경우에는 Accuracy를 사용합니다.

 

3. Precision

 

예시 상황: 스팸 메일 필터링에서 스팸 메일을 정확하게 찾는 것이 중요할 때 사용됩니다.

성능 평가 목적: False Positive, 즉 실제로는 Negative인데 Positive로 잘못 분류한 경우를 최소화하려는 목적입니다.

성능 평가 코드:

from sklearn.metrics import precision_score
precision = precision_score(y_test, result)
print('Precision: %.4f' % precision)

 

해석: Precision은 모델이 True로 예측한 샘플 중 실제로 True인 샘플의 비율로, 이 값이 높을수록 모델의 성능이 좋다는 것을 의미합니다. 스팸 메일 필터링에서는 중요한 메일을 스팸으로 잘못 분류하는 것을 피해야 하므로 Precision을 사용합니다.

 

4. Recall

 

예시 상황: 암 진단과 같이 실제 Positive인 경우를 놓치지 않아야 할 때 사용됩니다.

성능 평가 목적: False Negative, 즉 실제로는 Positive인데 Negative로 잘못 분류한 경우를 최소화하려는 목적입니다.

성능 평가 코드:

from sklearn.metrics import recall_score
recall = recall_score(y_test, result)
print('Recall: %.4f' % recall)

 

해석: Recall은 실제 True인 샘플 중 모델이 True로 예측한 샘플의 비율로, 이 값이 높을수록 모델의 성능이 좋다는 것을 의미합니다. 암 진단과 같이 실제 Positive인 경우를 놓치면 안 되는 상황에서는 Recall을 사용합니다.

 

5. F1-Score

 

예시 상황: Precision과 Recall이 모두 중요한 상황에서 사용됩니다.

성능 평가 목적: Precision과 Recall의 조화평균을 최대화하려는 목적입니다.

성능 평가 코드: 

from sklearn.metrics import f1_score
f1 = f1_score(y_test, result)
print('F1 Score: %.4f' % f1)

 

해석: F1-Score는 Precision과 Recall의 조화평균으로, 이 값이 높을수록 모델의 성능이 좋다는 것을 의미합니다. Precision과 Recall이 모두 중요한 상황에서는 F1-Score를 사용합니다.

 

결론

 

머신러닝 모델의 성능 평가는 모델 개발의 중요한 단계입니다. 우리는 다양한 성능 평가 지표를 통해 모델의 성능을 정량적으로 측정하고, 이를 바탕으로 모델의 성능을 개선할 수 있습니다. Mean Squared Error(MSE), Accuracy, Precision, Recall, 그리고 F1-Score는 모델의 성능을 평가하는 데 널리 사용되는 지표들입니다. 이들 지표는 각각 모델의 성능을 다른 측면에서 측정하여, 모델의 전반적인 성능을 평가할 수 있게 해줍니다. 하지만 이러한 지표들만으로는 모델의 성능을 완벽하게 이해하기 어렵습니다. 때문에 이들 지표를 적절히 조합하고, 문제의 특성과 비즈니스 목표를 고려하여 모델의 성능을 평가해야 합니다.

 

또한, 이러한 지표들은 모델의 성능을 측정하는 도구일 뿐, 모델의 성능을 향상시키는 방법을 제시하지는 않습니다. 모델의 성능을 향상시키기 위해서는 모델의 구조를 조정하거나, 훈련 데이터를 늘리는 등의 방법을 고려해야 합니다. 마지막으로, 머신러닝 모델의 성능 평가는 단순히 '좋은 모델'을 찾는 것 이상의 의미가 있습니다. 이는 우리가 데이터를 이해하고, 이를 바탕으로 의사결정을 내리는 과정에서 중요한 역할을 합니다. 따라서, 성능 평가는 머신러닝 모델 개발의 마지막 단계일 뿐만 아니라, 데이터 과학자의 핵심 역량 중 하나입니다. 이를 통해 우리는 더 정확하고 효과적인 모델을 개발하고, 이를 바탕으로 더 나은 결정을 내릴 수 있을 것입니다.

https://10yp.tistory.com/32

머신러닝(Machine Learning)의 절차와 이해 - 1편

 

https://10yp.tistory.com/33

머신러닝(Machine Learning)의 절차와 이해 - 2편

 

 

https://10yp.tistory.com/90

머신러닝(Machine Learning) 실전 탐색적 데이터 분석(EDA)