这些是三个，写入并提供疏忽和28 * 28像素的非常低的分辨率
但是你的头脑没有问题，认为它是三个，并希望你花点时间欣赏
你的思维如何顺利，轻松地做到这一点
我的意思是这个，这也可以将它们识别为三号
尽管为每个像素指定的值在不同图像之间存在很大差异
当你看到这三个时，你眼中的光敏细胞会起作用
与那些看到这三个时的工作有很大不同。
但是你拥有的智能视觉皮层中有些东西
这解释了对同一个想法的介绍，这是第三个，但同时将其他图像识别为与第三个不同的其他想法
但是，如果我告诉你，他会坐下来给我输入一个程序，其输入将是一个28像素×28像素的网格
像这样，它的输出是0到10之间的数字，可以预测这个数字是多少
然后，任务以一种令人震惊的方式从非常微不足道的事物转变为困难的事物
如果你不住在石器时代，我想
我几乎不需要提醒你现在和未来与神经网络科学和机器学习的密切关系
但我真正想要做的是向您展示神经网络是什么？
假设没有先前的背景，并帮助你想象你不是作为共鸣术语而是用数学语言
我希望你从这里出来，你感受到这个结构本身
催化剂并且感觉您知道您从神经网络的引用中读到或听到的内容
该视频将专门用于神经网络的结构。接下来将讨论和说明神经网络的学习本身。
我们要做的是建立一个神经网络来识别手写数字
这是一个典型的例子
为了呈现这个主题，我很乐意在目前的情况下坚持下去，因为在这两个视频的结尾我想指出一些
您可以从大多数地方学习的好资源以及可以下载执行此操作并运行它的代码的地方
在您的计算机上
近年来有许多不同形式的神经网络
在寻找这些形式时存在某种突变
但是在这两个介绍性视频中，您和我将只看一个非常简化的格式而无需复杂的添加
这有点必要
了解哪种最强和最新的形式
相信我，我们仍然有很多复杂性试图用我们的思想来理解它
但即使是这种简单的形式，网络也可以学习识别手写数字
拥有能够满足这一要求的计算机是一件非常酷的事情
与此同时，您将看到它如何不辜负我们对它的一些希望
顾名思义，神经网络受到大脑的启发，但让我们明确这一点
什么神经元和它们的逻辑是什么相关？
现在，当我说神经元时，我想让你想到的是一些数字
不。特别是在0和1之间，它真的不是更多
例如，网格以一束单元开始，这些单元响应每个输入图像28 * 28像素
这是
共有784个神经元，每个神经元的数字代表每个像素响应的灰度值
从黑色像素的0到白色像素的1
神经元内部的这个数字称为激活，你现在可以在脑海中想象出这个数字
当由显着值激活时，每个单元是否亮起
因此，这784个神经元构成了网络的第一层
现在，给定最后一层，它有十个神经元，每个神经元指示许多数字
如前所述，这些细胞的激活是0到1之间的数字
表示网络认为呈现给它的图像代表这个特定数字的程度
中间还有两层称为隐藏层
目前这只是一个很大的问号
那么，如果有一个很大的问号，上帝如何真正认识到这些数字？
在这个网络中，我选择了两个隐藏层，每个16个神经元，我承认这种任意选择
说实话，我根据我想在一瞬间刺激结构的距离选择了两层
至于16？在训练期间，这只是一个很好的数字适合屏幕：D
申请时，这里有足够的空间体验特定的结构
在网络以下列方式工作的情况下，激活一个层导致确定如何激活下一层
当然，网络的核心是信息处理机制，它准确地表示它是如何形成的
激活一个层会激活下一层
这应该与某些生物神经元的激活方式有些接近
激活一些其他细胞
现在的网络
我在这里评论过的已经过培训，可以找出数字并让我告诉你我的意思
这意味着如果您将所有784个单元格的给定值作为输入提供它们，则它是根据值
这些值确定图像中每个像素的亮度
这种激活模式导致下一层激活的特定增长
这反过来导致下一层中的另一个特定模式
这最终给出了外层的图案
最亮的单元格用于选择您认为代表您输入的图像的正确数量的网格
在进入数学背后，一层如何影响下一层或如何训练网络
让我们解释一下为什么期望这样的类结构行动聪明才有意义
我们在这里期待什么？这些中产阶级可以做的最好期望是什么？
好吧，当你和我知道这些数字时，我们将一些部分放在一起。例如，9在顶部有一个环，在右边底部有一条线
8还有一个顶部循环，但它与底部的另一个循环配对
4基本上分为三行，如图所示
在理想的世界中，我们可能希望每一层都是倒数第二层
回应其中一个组件
希望你随时用9或8之类的回路喂它
有一些特定的神经元
哪个被激活接近一个，我不是指像素的特定情节希望
上面任何常见的环形图案都能够以与识别环相同的方式激活神经元
通过这种方式，通过观察最后一层的第三层的激活来识别哪个子组件组合以任何数量响应
当然，路上有一些障碍
那么你如何识别这些子组件，甚至了解哪些子组件是真的，我还没有谈到如何
一层影响另一层，但Garni在这一刻
识别循环也可以分成几个小问题
一种明智的方法是首先识别构成它的不同小边缘
同样，你可能会在1,4或7中看到一条长线
它只是一个长边，或者你可能会认为它是几个小多边的特定模式
所以我们希望可能是网络第二层中的每个神经元
回应各种小的相关边缘
也许当以这样的方式喂食时它会激活所有神经元
与大约八到十个特定的小边缘相关联
这反过来照亮了与上环和长垂直线相关的神经元
他们做与9号相关的细胞
是否是网络实际上做了什么是另一个问题..
一旦我们看到我们如何训练网络，我会回到他身边
但这是一种希望有这种结构化层次的目标
此外，您可以想象可识别的边缘和模式在其他图像识别任务中如何有用
与图像识别不同，您可以做很多智能事物，可以分为抽象层
例如，语音分析包括采用原始声音并选择组合形成特定课程的独特声音
它结合起来形成结合形成短语和更抽象和其他想法的单词
回过头来看看这些是如何运作的，想象一下自己现在的设计
一层中某些神经元的激活究竟是如何影响下一层神经元的激活的
目标是找到一种可以确定像素边缘的机制
将边缘转换为图案和图案为数字，并专注于一个例子
让我们说我们希望有一个特别的
在第二层中的神经元中确定图像是否在该区域中具有边缘
问题是网络应该有什么交易
为了保持足够的表现力以保持理想的模式，你需要做什么？
或任何其他像素图案或图案，用于定义构成循环或其他对象的不同边
那么，我们要做的是为我们的神经元和第一层神经元之间的每个链接分配一个权重
这些权重只是数字
然后从第一层获取所有这些激活，并根据这些组计算总数
我认为将这些群体视为在他们自己的小型网络中组织起来是有用的
我将使用绿色像素来指示正权重，使用红色像素来指示负权重
这个像素的亮度是权重值的松散描述
现在，如果我们将所有权重与几乎所有值为零的像素相关联
除了我们关心的这个领域的一些正重量
然后我们取总重量
所有像素值都只是要添加到我们关心的区域中的像素值的数量
如果你想知道这里是否有边缘，你应该有一些负重量
链接到周围的像素
然后，当中间的这些像素是明亮的时，总数更大，但是周围的像素更暗
以这种方式计算总重量时，您可以获得任何数字
但对于这个网络，我们想要的是激活的值介于0和1之间
我们常用的是提供这个重量的功能
此函数将此数字（无论其值）转换为0到1之间的值
已经做到这一点的常见功能称为sigmoid，也称为逻辑曲线
基本上，负值中的任何高输入都会达到零，其正值的任何高输入都会以一个值结束
它仅在零点附近以直接的方式增加
因此，这里的神经元激活基本上是对总重量的正偏差的测量
但是当重量大于0时，你可能不想点亮神经元
也许你只想在体重大于10时活跃
你想让它有点偏向于不活跃
你只会在总重量上加一个负数，比如-10
在进入sigmoid函数之前
这个额外的数字称为偏差
因此，权重会告诉您神经细胞在第二层中采用的像素模式，偏差告诉您
重量需要的值才能使神经元变得活跃
而这一切只适用于一个细胞
该层中的每个其他神经元将与第一层中的所有784个神经元绑定
这784个链接中的每一个都有自己的相关权重
此外，每个人都有一个偏差..你在sigmoid函数中被粉碎之前加到重量上的数字
如果我想的话，这太过分了
这些隐藏层有784 * 16重量和16个壁板
而这一切只是从第一层到第二层的连接
其他层之间的链接也具有权重和偏差
考虑到所有这一切，这个网络拥有
13,000重量和壁板
触及13,000个点并且这些点上的路线不同将导致网络表现不同
所以当我们谈论学习时
这意味着让您的计算机找到所有这些多个数字的有效模式，前提是这实际上已完成
解决了呈现给他的问题
想象自己坐着并手工计算所有这些重量和偏差是可怕的和有趣的..
您可以更改和更改数字，以便第二个图层选择边，第三个选择样式等。
我发现这个比较令人满意，而不是将网格想象成一个大黑盒子
因为当网络运行不好时
如果您预测了这些模式和权重的含义，那么您就有了一个起点
试试如何改变结构以改进它
或者当网络正常运行并且运行时，但不是出于您期望的原因
深入研究权重和偏差意味着挑战您的假设并提供所有可能的解决方案的好方法
顺便说一下，我认为这里的功能有点难写，对吧？
因此，让我向您展示更轻松地编写这些链接的方法
如果您选择阅读有关神经网络的更多信息
将单个列中的所有激活组织为矢量
然后将所有权重组织为矩阵，其中矩阵的每一行
对应于下一层中一层与特定神经元之间的连接
这意味着从第一层和这些权重中获取激活权重的总和
对应于我们在左侧看到的矩阵的一个元素
顺便说一下，很多机器学习都与线性代数有关
因此，对于想要对矩阵乘法进行良好可视化的人，您可以看一下您在线性代数中提供的这个系列
特别是第三章
回到我们谈论的地方，而不是分别为每个值添加偏见
我们将所有偏差组织为矢量，并将此矢量添加到两个矩阵的先前乘积中
然后作为最后一步
我们把sigmoid放在这边
这应该规定您将sigmoid应用于结果向量中的每个元素
所以一旦你把这个权重矩阵和这些向量写成符号
您可以在一个简单的小表达式中将一个层的每个过渡关联到另一个层
这使得代码命令更简单，更快，因为许多库改进了矩阵的格式
你还记得当我们说神经元只是数字的东西吗？
当然，他们持有的数字取决于他们提供的图片
因此，将每个神经元视为一个函数可能更准确
前一层中所有神经元的输出显示为0到1之间的数字
实际上，整个网络也是一种功能
以784为输入，输出10位数作为输出
这有点复杂
因此，它有13,000个实验室，其形式是由某些模式形成的重量和偏差
其中包括重复大量乘法矩阵，然后压缩sigmoid函数中的数字
但它最终只是一个功能，并且不知何故令人放心，它看起来很复杂
我的意思是，如果它更简单，我们不希望克服识别数字的挑战吗？
但是你如何学习这个网络？我们如何仅根据他们拥有的数据知道适当的权重和偏差？
这是我将在下一个视频中向您展示的内容，我们将更深入地了解这些网络在实际中正在做什么
现在是时候说订阅频道等等，以保持在新视频之上
但是大多数人实际上并没有收到来自YouTube的通知，对吧？
也许我应该说订阅，以便YouTube神经网络可以相信你想要看到来自这个频道的视频
无论如何要保持准备更多
非常感谢大家在Patron上支持这些视频
今年夏天在一系列可能性方面取得进展有点慢
但是我会在这个项目之后再次回到它，所以你可以检查那里的更新
为了完成这里，我在这里为Lisha Li
她在深度学习的理论方面获得了博士学位，目前正在一家名为Amplify partners的投资公司工作
谁为此视频提供了一些资金
所以我认为我们应该在这里快速提到的是这个sigmoid函数，因为据我所知，我习惯于将数字压缩为数字
受到活跃或不活跃的真实神经元的刺激
不，但现代神经网络不再使用它们了。 - 是的
Relu看起来更容易，Relu是Really代表整流线性单元的首字母缩写
是的，它是一种函数类型，它只占用a的最大值，并且是最不活跃的
正如您在视频中解释的那样，它也受到启发
部分来自生物学
如果神经元通过某个阈值，它们是否被激活
如果它通过，它就会变为活动状态
如果它没有通过，它将变为非活动状态
使用sigmoid使得训练非常困难，而Relu更容易训练
谢谢丽莎
在背景中，Amplify Partners正处于投资技术专家的初期阶段，以建立新一代的公司
AI应用程序如果你或你认识的人有一天想要创办公司
或者，如果您比现在更早工作，公司将很乐意听取您的意见
她甚至为这个视频3blue1brown@amplifypartners.com创建了一个特定的电子邮件
所以随时通过它与他们沟通