Hola chicos, y bienvenidos a Deep Learning en Python, primera parte.
Hice esta conferencia como una conferencia extra unos meses después de comenzar este curso porque me di cuenta de
que algunas personas estaban tomando este curso y
no se dieron cuenta de lo aplicables que eran las cosas que aprendieron.
Entonces, para comenzar, sé lo que muchos de ustedes tienen, ya que
su objetivo final es comprender la
última y más grande red neuronal y las arquitecturas de aprendizaje profundo.
Me vienen a la mente redes neuronales convolucionales y redes neuronales recurrentes como LSTM.
Y podría preguntar 'bueno, todo lo
que aprendí en esta clase fue cómo tomar derivados'.
Entonces, ¿cómo me enseña eso sobre las redes neuronales convolucionales y LSTM?
Bueno, me alegra que preguntes.
En las siguientes diapositivas, voy a hablar sobre algunos desarrollos de aprendizaje
profundo más nuevos y populares y
cómo las habilidades que aprendes en esta clase te ayudarán.
Primero, volvamos a la regresión logística.
Recuerde que hay dos funciones
para estos tipos supervisados ​​de problemas de aprendizaje automático, predicción y entrenamiento.
Para una regresión logística, la salida es y es igual a la no linealidad de W veces X.
Entonces, así es como haces la predicción.
Para el entrenamiento, ¿qué hacemos?
Usted toma la derivada de
J, la función de causa con respecto a W y mueve W en esa dirección.
Entonces, W se actualiza como Eta multiplicado por el gradiente de J.
Tenga en cuenta que J es el mismo para todos estos problemas.
Es la función de entropía cruzada para
la clasificación y es el error al cuadrado para la regresión.
Ahora veamos las redes neuronales, que es lo que aprenderá en este curso.
¿Cómo hacemos predicciones?
Es lo mismo con solo un paso extra.
En realidad, solo parece dos regresiones logísticas seguidas.
¿Cómo nos entrenamos?
Lo mismo que antes.
Toma la derivada y avanza en esa dirección.
Tenga en cuenta que podemos hacer que nuestra red sea arbitrariamente profunda para que pueda
tener W1, W2, W3, y así sucesivamente.
Verás cómo podemos incorporar cualquier cantidad de pesos en esta clase.
Entonces, ¿qué pasa con las redes neuronales convolucionales?
Bueno, para hacer eso primero necesitas saber sobre
la convolución, que no es realmente una cuestión de aprendizaje automático,
es más una cuestión de procesamiento de señales.
Sin embargo, sí paso por algunos ejemplos en mi curso de redes neuronales convolucionales.
Entonces, ¿cómo haces la predicción?
Bueno, eso es lo mismo que antes, excepto que en lugar de
W2 multiplicado por X, tenemos W2
* X, donde la estrella significa convolución.
Al igual que con nuestras redes neuronales
regulares, puede tener cualquier cantidad de capas convolucionales
y capas de multiplicación regulares. ¿Cómo lo entrenamos?
Exactamente lo mismo que antes.
Tomas la derivada y te mueves en esa dirección.
Deberías ver un patrón ahora, con suerte.
¿Qué hay de las redes neuronales recurrentes?
Del mismo modo que presentamos una cosa
nueva con las redes neuronales convolucionales, presentaremos una cosa nueva que es el tiempo.
En particular, dividiremos los dos cálculos para que veas
que el primer cálculo depende de su último valor.
Concepto bastante simple.
Y si adivinaste que la forma en que entrenamos
esto es tomando la derivada de la función de costo y yendo
en esa dirección, estarías en lo correcto.
Lo último que veremos es autoencoders.
'Auto' en este caso significa auto.
Entonces, esto es solo una red neuronal donde la variable
objetivo es la variable de entrada en lugar de alguna otra variable objetivo.
Este es un concepto aún más fácil que CNN y
RNN porque puedes hacer esto usando solo el conocimiento que aprendes en este curso,
solo que en lugar de llamar al tren
XY, llamas al tren XX.
Pero el hecho de que estos sean realmente simples no significa que no sean asombrosos.
Un gran avance en el aprendizaje profundo fue
que aprendimos que podía juntar un montón de
autoencoders, poner una capa de regresión logística al
final y obtener mejores predicciones que solo una red neuronal profunda.
Y puedes hacer todo eso usando solo el conocimiento que aprendes en este curso.
¿Cuál es la moraleja de esta historia?
Es que saber cómo tomar la derivada de
la función de costo es absolutamente crítico para el aprendizaje profundo.
Es que las cosas que aprendes en este
curso son fundamentales para las cosas que aprenderás más adelante.
¿Eso significa que estarás listo para escribir tu propia CNN o RNN hoy?
Probablemente no. Pero como han visto todo
lo que necesitan es la adición de solo un paso más simple.
Así que al dominar el material en este curso, estás haciendo todas
estas otras cosas que podrían parecer fuera de tu alcance hoy a solo un paso de distancia.