Why is a 0-1 loss function intractable?

https://stats.stackexchange.com/questions/365444/why-is-a-0-1-loss-function-intractable

Why is a 0-1 loss function intractable?

 

이 글을 읽기 전, 당신이 백지에 zero-one loss function을 적을 수 있는지 점검하라!

 

 

 

결론을 말하자면, zero-one loss function이 (1) discontinous & (2) non-convex 함수이기 때문이다!

 

zero-one loss를 쓰게 될 경우, 우리는 이것을 최소화하기 위해 exponential한 가능한 결과들을 살펴봐야 한다!! 왜냐?

각각의 (x, y) input pair에 대해서, 우리의 zero-one loss는 0 아님 1의 값을 리턴할 것이다.

그러면, n개의 input에 대해 zero-one loss는 $2^n$ 만큼의 가능한 조합을 내뱉을 것이다.

 

여기에 한술 더 떠서, zero-one loss의 값은 당신이 weight 값을 어떻게 조정해야 loss가 1이 아니라 0으로 줄어들지에 대한 정보를 주지 못한다.

 

그래서

1. zero-one loss를 봐도 weight를 어떻게 수정해야 할지 모른다.

2. weight를 어떻게 수정해야 할지 모르니 가능한 조합 전부를 봐야 한다.

3. 결국 n개 input에 대해 $2^n$개의 가능한 조합을 봐야 한다.

4. 뇌-절