[220818] 귀무가설을 기각할 것인가? 결정을 유보할 것 인가?

📌수업 내용

통계적 가설 검정 입증 방법,  1종 오류, 2종 오류, A/B테스팅,  독립 표본 T검정, 분산분석을 배웠다. 특히 통계적 가설 검정에 대해 잘 이해할 수 있었다. 

통계적 가설 검정 입증 방법

1. (1) 귀무 가설을 수립한다.
   • 귀무가설(null hypothesis) : 기각하고자 하는 가설
     • pg.ttest(df.rating, N) → 귀무가설 : df.rating의 모평균이 N이다.
       • 신뢰구간은 귀무가설과 무관해서 똑같이 나온다. (N이 달라도 같다)
       • p-value는 N에 따라 다르다. p-value로 이걸 깔 수 있는지 여부를 검증하기 때문이다.
       • N은 디폴트값은 0이다.
   • 대립 가설(alternative hypothesis) : 주장하고자 하는 가설 ※우리는 귀무가설만 수립한다.
2. (2) 유의 수준을 설정한다.
   • 유의 수준(significance level) : 100% - 신뢰 수준 (신뢰 수준 95%이면 유의 수준은 5%)
   • 확률이 높다 낮다의 기준을 정한다. 유의수준보다 낮으면 확률이 희박하다.
   • 그것보다 높으면 못 깐다.
3. (3) p-값을 계산한다.
   • p-값 : 귀무가설이 참일 때 검정 통계량 이상이 나올 확률
4. (4) p값과 유의 수준을 비교한다.

• 내가 정한 유의 수준과 비교할 값은 p-값이다.
  • 유의 수준은 내 마음의 기준이다. (보통 0.05로 잡음)
  • p값은 데이터를 가지고 계산해서 나온 값이다.
• p-값이 유의 수준보다 작으면, 확률이 희박한 것으로 귀무가설을 기각한다.
• ex. [귀무가설 : rating 평균] = 3.0 → (p-값 =0.000009)<유의 수준(0.05) → 귀무가설 기각 → 흔히 통계적으로 유의하다라고 표현 현실적으로 유의미한 것은 아님
• ex. [귀무가설 : rating 평균] = 2.8 → (p-값 = 0.28)>유의수 준(0.05) → 결론을 유보한다. → 결론을 내릴 필요가 있을 경우 데이터를 더 모은다, 단 반복해서 가설검정을 할 경우 유의 수준을 조정한다

💡보고 느낀 것

• 경력 초기에 있는 사람은 불안하다. 100% 한다고 하면 아무것도 할 수 없다. 인생이라는 것이 100%라는 게 없다. 100% 하려면 아무것도 할 수 없다. 틀리면 그때 가서 어떻게 하면 된다.
• 10년 뒤에 모두가 데이터 분석가로 일하진 않을 거다. 하지만 지금 하는 게 도움이 될 거다.
• 통계하면서 주의해야 할 것 → 신뢰성이라는 단어를 쓰지 말자. 이 단어는 통계에서 없다.
• p-value에 대한 미국 통계학 회의 서명 (읽어볼 만함) : https://www.tandfonline.com/doi/full/10.1080/00031305.2016.1154108

The ASA Statement on p-Values: Context, Process, and Purpose

😄감사한 일

• 혼자 통계를 공부할 때 몇 번이고, 곱씹어보고 자료를 찾아보면서 이해하려고 했던 통계 검정 부분을 배웠다. 공부 한 경험이 있기도 하고, 강사님이 너무 적절한 예시를 잘 들어주셔서 이해해 많이 도움되었다. 이해가 쉬운 예시를 들어주셔서 정말 감사했다. 나도 나중에 강의를 하게 된다면, 예시라던지 현실에 적용한 사례들을 많이 준비해서 설명해야겠다. 
• 강의를 들으면서 질문을 많이 했는데, 내가 통계적으로 고민했던 것들이 중요하지만 사소한 일일 지도 모른다는 것을 느꼈다. 포트폴리오를 위한 분석을 하면서 통계적으로 질문이 나올까 봐 고민하고 준비했던 것들에 대해 많이 여쭈어 봤는데 생각보다 큰 문제없이 그냥 하면 된다라는 답변을 들었다. 이렇게 현직 경험이 있으신 강사님께 내가 한 고민을 여쭈어보고 답을 들을 수 있는 시간이 있어서 정말 감사하다.

✨적용할 것

• 포트폴리오로 만든 로스트 아크 분석을 통계적으로 검증해보기!