[220913] 이탈 고객을 예측하는 상황이라면, 정확도, 정밀도, 재현도 중에 대표님께 어떤 지표를 말씀드리면 될까?

📌수업 내용

통계 수업에서 혼동 행렬, 상호작용, 인과 분석을 배웠다.  혼동 행렬 개념을 위주로 복습을 했다. 

• 혼동 행렬 confusion matrix
  • 혼동 행렬을 그려보면 우리의 예측이 어떻게 맞고 틀린 지 할 수 있다.
  • 보통은 우리가 관심이 있는 쪽에 1을 부여한다. 회사 입장에서 이탈하는 고객에 관심이 많다. 힘들게 붙잡은 고객이 이탈하면 안 되니깐!

• 정확도, 정밀도, 재현도, 특이도

여러 지표 중에 이탈 고객을 예측하는 상황이라면 대표님에게 어떤 지표를 강조해서 얘기해야 할까?

• 재현도가 중요하다 → 떠날 사람들을 빨리 찾아서 붙잡아야 하니까! → 정밀도도 중요할 수 있음 (떠날 것으로 예상되는 사람들에게 비용이 큰 프로모션을 할 경우, 정밀도가 높아야 비용을 효율적으로 쓸 수 있다) → 정확도는 대부분은 중요하다고 보기 어려울 듯 (왜냐하면 대부분은 유지 고객일 것이므로)
  • 정확도 : 이탈하는 고객과 이탈하지 않는 고객이 반반이면 정확도 쓸 수 있겠지만, 망해가는 서비스가 아닌 이상 이탈하는 고객이 적다. 대부분 이탈 안 하니 음성을 음성으로 맞추는 것은 크게 의미가 없다.
  • 정밀도 : 이 사람 이탈할 것 같다고 했을 때 얼마나 맞추는지, 일반적으로는 중요하지 않을 수 있다. 이탈하는 고객에게 사은품도 주고 막 이것저것 주면서 돈 많이 쓰고 막 했는데, 이 사람이 가만히 있어도 계속 있을 사람이었다면 정밀도가 중요하다.
  • 재현도 : 제일 중요한 것은 재현도다. 이탈하는 고객을 파악해서 대응을 하는 것이 기 때문이다. 넷플릭스가 재미없어서 이탈하려고 하는데, 넷플릭스가 눈치채고 선생님 취향에 맞는 거 다음 달에 나오니 한 달만 더 보세요. 하는 것처럼

• ROC((Receiver operating characteristic) 곡선을 왜 그리는가? → 항상 왜가 중요
  
  • 문턱을 높이거나 낮추면, 특이도와 재현도가 달라진다.
  • 문턱 값을 변화시키면서 특이도와 재현도의 변화를 곡선으로 표시
  • 가로축: 1-특이도, 세로축: 재현도
  • 문턱 값에 따라서 지표들이 바뀜
  • 문턱을 올리거나 내리면, 어떤 지표는 좋아지는데 다른 지표는 나빠짐
  • 대표적인 예 재현도 VS 특이도
  • 특이도에서 얼마만큼 좋아지면, 재현도에서 얼마나 나빠지는지를 시각화하는 것이 목적이다.
  • 특이도가 많이 좋아지는데, 재현도는 별로 안 나빠진다. → 개꿀이다.
  • 특이도가 많이 좋아지는데, 재현도는 많이 나빠진다. → 얻은 게 없음

💡보고 느낀 것

• 어떤 지표를 이야기하고, 왜?를 잘 설명할 수 있으면 된다. 데이터 분석가는 의사결정자를 잘 설득하면 된다. 어떤 지표가 중요한지 상황에 따라 다르다. 설득력만 있으면 된다. 이것을 생각해낼 수 있으면 좋은 분석가다
• 실무에서 ROC는 두 개의 상충되는 지표가 있을 때 사용해볼 수 있다. 회사의 사업구조를 차트로 그려볼 수 있다.
  • 광고비를 얼마나 쓸지? 재정적인 이유로 광고비를 줄여야 하는데, 어떤 사업 모델은 광고비를 조금만 줄이면 매출은 조금 떨어지고 이익이 엄청 늘어나고, 어떤 사업 모델은 광고비를 조금 줄이면 매출이 엄청 떨어져서 이익이 엄청 떨어진다.
• 처음부터 큰 망원경을 한 번 만드는 것보다 작은 망원경을 한 번 만들고, 큰 망원경을 만드는 것이 더 쉽다.

😄감사한 일

• 실제 비즈니스 환경을 가정한 예시를 들어주셔서 이해가 더 빨리 됐고, 실무에서 어떻게 활용할지 상상해볼 수 있어서 감사했다. 

✨적용할 것

• 회귀분석 아이디어 생각해보고 실습해보기