好
神经网络呢
它有两种方式
所以我们可以得到不同的方程
一个所谓异步方式
我们也称为串行
这个串行呢
每次只能有一个动作
比如说现在只能
第i个神经元动作
第i个神经元动作什么意思呢
就是说如果第i个神经元
满足兴奋条件
那就b1是吧
如果说不满足兴奋条件
那就是0
其他的
不管它是否满足兴奋
条件不满足
通通不能变
保持原来的
所以反映在数学表达式上
就这样
你看
这个
这是第i个神经元
这个输入减去阈值是吧
然后经过一个f
就是说我们-1或者1或者0 1
它可能是1也可能是0
就看它是否
这个括号里面是大于零还是小于零
小于零
它可以变
当然也包括不变
也包括不变
但是机会给它了
而下面一个呢
就是j不等于i
就是除了第i个神经元以外
k+1时刻和k时刻完全一样
不容许变
我不管它是否满足兴奋
还是这个不满足
通通不能变
等到下一个时刻
不是这个i了
是另外一个了是吧
你可以再变
但是另外一个
比如说第i+1个
那其他的都不能变
包括i也不能变
反正每次只有一个在变
这叫异步方式
或者说我们叫串行方式
当然这里面有技巧
比如说我们要大家发言
一个一个的发言
但是谁呢
谁发言
当然我们可以是什么
A组发言
你第一个
他第二
他三个
但是最好的还是什么
就是说随机的
但是发过言的就不再发言了
下一次也不一定
就是刚才第一个发言的
就还是第一个
这样有助于系统
这个寻找结束点
寻找结束点
第二个方式呢
就是我们称为同步方式
我们也称为并行方式
大家要变一起变
这个当然如果不满足条件
或者条件并没有什么变化
那还保持原来不变
也就是说所有的神经元
它都是遵循这个表达式
只要满足兴奋条件就是1
抑制条件就是0
一致的
那么我们可以把它写成这个表达式
离散Hopfield神经网络
它怎么工作呢
我们先不要谈它怎么设计
先考察它怎么工作
比如说我给一个离散Hopfield神经网络
初始条件
也有的
那么这个时候大家因为有反馈
某个神经元的输出
就要影响了其他神经元的输入
是不是
就像那个一缸泥鳅
大家见过泥鳅吧
有个动一下
哗全部动起来
因为一个动了影响了别的泥鳅
大家互相动
这个Hopfield神经网络很像
很像
因为有反馈
有反馈
那么这个时候
神经网络有一个初态
一个初态
我们现在不考虑初态什么意思
然后不管是异步也好
同步也好
反正引起神经网络的状态的变化
反过来又影响它的这个初始状态
因为初态吗
再返回来就变掉了吧
又形成一个新的初态了吧
再经过运算又反过来
又变成了吧
不断地在变
不断在变
大家说变到什么时候呢
这个泥鳅什么时候才能安定下来呢
它总不会老在那动的
最后他变了什么样
这个稳态
这个状态返回去
然后输出来的还是这个值
还是这个值
再返回去
得到的还是这个值
从我们看这个输出来讲
好像不再变了
大家说网络停止了
没有停止啊
反馈继续在进行
就像我们两个人推
一开始你推我推你
推到最后静止了
好像都不推了
实际上还在推
只不过说达到了一种平衡
这就是所谓的稳态
这稳态
大家说王老师你给我说这个什么意思呢
这个初态也好
稳态也好
有什么价值呢
这是最重要的价值
我举个例子
你走到大街上了
一看
唉
这好像这个人这么脸熟啊
这就是初态
我一看
大家看到这个怎么脸熟啊
这就是初态
我后来想
这个不断地想
这个人是谁呢
好像在哪里见过吗
不断地想想想想想
越来越清晰
原来是同桌的你
是不是啊
最后就定格到小学
你和我一个班的时候
那个样子
这就是稳态
为什么呢
因为你看你同学小学时候同学
印象啊
样子啊
已经存储在你的脑子里面
现在看到他了那不一样了
是不是啊
但是呢
会自动的搜索
搜索搜索
搜索到存储记忆当中
那个样子
同样的
这就是我们所说的联想记忆了
你看这个初态和稳态
大家意思懂了吧
那么在我们科学上
比如说求极值
刚开始的时候这个初态啊
它肯定不一定是极值
当然是是
更好
就像我们那个小学同学一样
十几年
十几年过去了
一点都没变化
那当然不可能是吧
那不可能
或者变化很小
那好办
但是一般来讲都是有变化
或者说给出的初态
一般来讲不是最优状态
它通过系统不断运行运行
最后到了一个稳态
这个稳态就是最小值
最优值
所以呢Hopfield神经网络
它不像刚才那个前面介绍BP神经网络是吧
它是通过这个初态演变到最后的稳态
而这个稳态就是我们问题的解
问题解
这个所以稳态呢
就是我们的记忆样本
初态呢就是我们当前
就是部分信息是吧
我一看到你
当然还有自联想
这个异联想是吧
像刚才我们就是所谓自联想