Olá pessoal, e bem vindos de volta a esta aula, "Deep
Learning in Python, Part One. "Nesta palestra,
vamos discutir:" Quando o sigmóide e
o softmax são equivalentes? "Vamos trabalhar um pouco da
matemática para mostrar a equivalência
do sigmóide e do softmax.
Primeiro, vamos escrever a equação para o softmax.
Sabemos que a probabilidade de que Y seja igual a um dado
X é a exponencial de W1 transpor X dividido
pela exponencial de W1 transpor X mais a exponencial de W0 transpor X.
A probabilidade de Y ser igual a zero dado X é apenas um menos isso.
Então, vamos dividir a primeira equação por
exponencial de W1 transpor X na parte superior e inferior.
Tente você mesmo e veja o que você recebe.
Eu quero que vocês pausem este vídeo e vejam se conseguem
encontrar a resposta antes de eu ir para o próximo slide.
Agora, isso é da mesma forma que o sigmóide.
Então o que isso quer dizer?
Isso significa que ter dois pesos é realmente redundante quando há apenas duas classes.
Do ponto de vista do design de software, é mais
seguro usar sempre o softmax, pois ele pode lidar
não apenas com o caso sigmóide, em que K é igual
a 2, mas qualquer valor de K.