p-value가 찬밥 신세가 된 이유?

기계학습(ML) 및 딥러닝(DL) 분야에서 p-value가 잘 사용되지 않는 이유는 여러 가지가 있습니다. 이는 주로 ML/DL의 목표, 방법론, 그리고 통계적 유의성의 해석과 관련이 있습니다.

1. 예측 성능의 중점

• 성능 지향: ML과 DL은 주로 예측의 정확성이나 모델의 성능을 최적화하는 데 중점을 둡니다. 이 분야에서는 모델이 얼마나 잘 예측하는지를 평가하는 것이 중요하며, 이를 위한 주요 지표는 정확도, 정밀도, 재현율, F1 점수, ROC-AUC 등입니다.
• p-value의 한계: p-value는 데이터가 주어진 가설(예: 두 변수 사이에는 관계가 없다)을 얼마나 지지하는지를 나타내는 지표입니다. 그러나 이것은 예측의 정확성이나 모델의 성능과는 직접적인 관련이 없습니다.

2. 대규모 데이터셋

• 데이터 양: ML과 DL은 종종 매우 큰 데이터셋을 사용합니다. 대규모 데이터셋에서는 작은 효과도 통계적으로 유의미해질 수 있으며, 이는 p-value의 해석을 더 복잡하게 만듭니다.
• 통계적 유의성 vs. 실질적 중요성: 대규모 데이터에서는 p-value가 매우 낮게 나올 수 있지만, 이것이 실제로 모델이나 비즈니스에 중요한 의미를 가지는지는 별개의 문제입니다.

3. 모델 복잡성

• 복잡한 모델: 특히 딥러닝 모델은 매개변수가 매우 많고 복잡한 구조를 가집니다. 이러한 복잡한 모델에서 p-value를 계산하고 해석하는 것은 매우 어렵습니다.
• 실험적 접근: ML/DL에서는 종종 실험적 접근을 사용하여 다양한 아키텍처, 매개변수, 학습 방법을 시험해 보고 최적의 결과를 찾습니다. 이 과정에서 통계적 검정보다는 경험적 검증이 더 중요하게 여겨집니다.

4. 모델의 일반화 능력

• 일반화 중요성: ML/DL에서는 모델이 학습 데이터뿐만 아니라 새로운 데이터에 대해서도 잘 작동하는지, 즉 일반화 능력이 어느 정도인지가 중요합니다. p-value는 이러한 일반화 능력과 직접적인 관련이 없습니다.

결론

ML과 DL은 데이터의 패턴을 학습하고 이를 바탕으로 예측하는 데 초점을 맞추며, 이 과정에서 모델의 성능 평가와 최적화가 주요 관심사입니다. 반면, p-value는 특정 가설이 데이터에 의해 얼마나 지지되는지를 나타내는 통계적 지표로, ML/DL의 주된 목표와는 다소 거리가 있습니다. 따라서 ML/DL 분야에서 p-value는 중요한 지표로 사용되지 않습니다. 😲