这是一个关于微电子的小组
我们正在寻找- 所有
通过我们的数字化基础
社会，我们非常有资格
小组讨论这个Carver Mead
电子行业有远见的 丹
锤子strum谁做谁运行程序
DARPA内部关于新技术的内容
和道格伯杰这个微软的家伙
如果 你有新的 话，你想和你谈谈
您想要投入数据的技术
首先是一些 家务管理
请你的手机静音不要转
它因为你需要你的手机而关闭
提问，所以 如果我抬头看
人们往下看摆弄他们的
我知道你不是 在做电子邮件
你和我一起发送你的问题
明白， 所以让我们开始吧，我
史蒂夫修剪 汉堡我是最近的DARPA
微电子项目经理
技术办公室， 所以我来到DARPA
来自我负责的Xilinx
将 新技术 引入
可编程逻辑那么一点点
熟悉 新技术， 还
非常熟悉技术扩展
因为 受益 FPGA是一个相当
位我开始我开始了 我的职业生涯 作为
我是 加州理工学院 的研究生
与Carver Mead和Ivan一起学习
萨瑟兰和夏天的实习生
Lyn Conway我有幸拥有
住我的整个职业生涯摩尔定律
什么技术扩展是伟大的
给了我们但是给它给了我们更多
晶体管，他们更便宜
他们的动力越来越快，他们就越多
正如我所说， 它 变得 可靠
好几次我都 喜欢做设计
工程师，因为每两年一次
工艺工程师让我看起来像一个
天才
也许他们需要得到 为工作
我自己也许不是这样，我们正在寻找
也许这是摩尔定律的结束
然后那种技术
缩放正在减慢我们的速度
要去做，但那不是唯一的
趋势真的 很有趣有
在那里是我们的环境
计算， 如果我们在20 年前 在这里
谈论 计算我们会
谈到桌面计算
个人 电脑10年前我们
现在 谈到移动计算 我们
谈到边缘和云如果
计算正在以不同的方式完成
地点
也许计算机应该是
不同的第二个 主要趋势是什么
在做
这是计算机的工作量
他们发明了他们在做弹道
轨迹很多很好的数学他们是
使用多年非常成功
我们开始做的数据库操作
计算把漂亮的图片放在上面
屏幕，现在我们正在看
想要做机器的电脑
智力学习推理 制作
我们要 问我们的机器的 决定
做一些新的事，也许我们应该做的
有新 的机器要 问
它确实在数字化之前起作用
信号处理GPU作为那种
工作改变了处理器的种类
改为现在我们要去 看看
我们来看看神经形态处理器
不同种类的计算
技术是下一步
实际上它需要做 什么
下一步这就是我们的 小组
我们将讨论它需要做些什么
做它，DARPA应该 做它做什么
DARPA 从中脱颖而出的角色
计算的下一次革命
技术等开始回答这些问题
问题我要打电话给Carver
Mead Carver Mead是Cal Cal Tech
戈登和贝蒂摩尔
荣誉退休教授意味着他有
是时候和我们谈谈，所以我们真的
要利用 这个 优势 ，他是
做过第一次研究的人
用他写的半导体缩放
凯特琳康威的教科书
几代设计师学会做
VLSI系统设计并写了这本书
神经形态计算这已经带领 到
几代人现在更新更快更快
人工智能 碳棉花 我
我是不是来到 了神经网络
被召回然后 从消费
十五年来做数字VLSI设计
和教授学生如何做到这一点，
在 这个过程中出现了这个概念
最佳设计你如何制作一个
在硅芯片上的优化设计 和
什么归结为有一个
要尽量减少成本矢量
硅的一些意义和成本
芯片他们三个 就是这个区域
很明显，这就是力量
然后采取或每个结果的能量
它真的可以计算多少
每次都完成
如果你认为 硅作为媒介
那么 你 可以做 一些明显的 事情
说一个就是力量和
区域是密切相关的， 因为如果
你要发送远远的信息
离开你必须充电更长的电线
比如果你可以使用这些信息
本地和充电更长的电线
需要更多的能量， 所以能量和能量
区域是相关的，也需要
这个电线 充电时间更长
时间是相关的所以任何时候你 有一个
你发送很多的建筑
信息一直 很长
这是 非常低效的 猜测是什么
我们无处不在的单身的定义
它就是指令流计算机
这也可以 ，我们 可以 做 的更好，并
在做得更好的过程中我们能 做到
有用的计算很容易帮助
想出一些你可以做的事情
很多东西，但它是有用的
任何人对我来说这些问题都成了
追求是否有存在证明
对于计算方式不同的东西
比我们在硅介质上做的那样
没多久就 意识到了
动物的大脑甚至很简单
动物精心设置
非常令人生畏的计算
非常低的功率 ， 例如普通的
苍蝇一直在做一组任务
那是
与...相同的一般水平
自动驾驶汽车面临着 它
它是在一个非常小的磨坊里做的
包所以有一些事情正在发生
那里不仅 照常营业
那么你开始 内心 紧张
动物系统和第一件事
变得明显的是神经元
哪种恢复元素
通常在神经系统中
那些 日子里成千上万的投入
我们不知道如何处理
一千除了选择一个地方最多
就像记忆做得那么好
时间在该地区有一个运动
叫
神经网络及其所处的位置
那些日子是计算机程序
模仿 某人的模特
以为大脑可能正在做
而且已经 持续 了很长一段时间
就像你昨天听到的那样，没有得到
非常支持它然后在
80年代早期的反向 传播算法
基本上发明了这个概念
你有计算机
然后投射到下一架飞机
然后投射到下一个飞机和
那些 飞机上的计算元素
被称为隐藏单位 ，然后你
在这里得到一些结果，你可以
与真相相比， 会有
错误， 你只是传播那些
错误回到他们来自哪里
如 加权由
他们来的计算要素
通过，最终 开始
工作，但它解决了玩具问题但是
那里还不够 我们
我们听到的是经历了另一个 冬天
没有人关心的AI部分
神经网络， 因为他们做不到
任何真实但有一些
坚持不懈的人， 他们 只是
保持它，结果 发现有
在极少数技术方面的东西
我们没有达到 最低 水平
对，它需要更多的规模
计算和更多的数据规模
真相数据，我们知道答案 和
然后可以传播错误
它比任何人都有更大的规模
在过去的五年左右的 年想像中的那么
它开始能够解决问题
人们真正想要做了 和
你们现在都知道现在的情况
叫做深度学习就是这样
同样的东西有一些重要的调整
现在是一个大问题，它正在解决
伟大的大伟大的大问题
公司和他们赚大钱
这样做就可以了
我们的 景观很长一段时间
但是让我提醒你 ，它雇用了
基本上第一次观察你
将做出关于神经系统和
这一切， 现在我跟 人
他们现在 有点意见 了
我们发现了一个紧张的秘密
系统和我们正在做 它 这么做 了
好吧不是那么 快有 很多
其他秘密已经计算好了
神经系统 加以考虑
并了解它是否或
没有映射到硅片让我给
你只是我们所有的漂浮物 的 几个例子
恢复我们经历的逻辑
我们要通过一个与非门或一个或
门或解码器或其他东西然后
我们放大了一个轨道或轨道的结果
其他当然是 非常小的
模拟的计算量是 前
恢复它所做的只是拿到过
阈值或低于阈值
模拟放大器然后它得到
砸碎针对一个导轨或其他
神经系统确实有很大不同
事情
它在它的输入之间
基本计算元素吧
通常有一千或几个
一千个输入变成了一 点点
向下传播的模拟信号
树枝被称为这棵树
他们不会成长而他们不会成长
消失但是当它们合并在一起时
它们变大了所以现在你开始了
当整个底部的东西 增长
足够大它会激发神经， 如果
神经元 是获得了很多的 那些
事情有一个精致的增益控制
系统能翻下的增益 ， 以便
它仍然不会更快地发射
将输出转换为数字位
好吧， 这不是 因为
随之而来的神经代码被编码
在相对时间
不同投入的到来 和你
可以想象，如果你有一千
输入，你有不同的模拟
到达时间，如果你可以解码
模拟时间让他们来的时候
在一起 你可以挑选出任意
你正在 尝试 的东西的子集
任何级别的输入 ，这就是为什么
神经系统有六个数量级
动态范围，你可以在哪里
当你开车的时候可以采取行动
黑暗的道路上到了几个
你老鼠的光子就是现在的东西
我们不知道怎么做得好
那样做 ，我不知道我这样做
它发生在十五二十二年前的今天
并 未能很好，我们没有足够 的
我们今天有二 十年的技术
以前，这比我困难得多
思想，并没有改变
我们应该这样做，我不知道
这只是其中一个例子
我会给你的东西是有用的
只是关于每个人的一个
做到这 一点很清楚神经系统
具有完全相同的限制
我们在沟通方面做到了
做本地计算很便宜
沟通，这是非常昂贵 的
做长途 所以它做的是什么
采取视觉系统作为一个例子它
需要的一点点区域
照片 传感器和 照片后面
传感器它提供了一些模拟计算
非常简单的东西有一些
那里的神经元平均会发生什么
周围 有一些神经元
这需要时间衍生物
一些简单的东西， 但到时候了
输出去
数字数字的幅度和
及时模拟视神经
他们已经 通过 处理 了
几个相当复杂的水平
自适应解码这是我们的事情
可能现在做今天做出更好
成像系统，事实上还有一些
在苏黎世做过20人的人
让这样的人工作
这是DARPA应该更深入的东西
进入那就是我会停在那里
我可以坚持几个小时
有些人有一些问答，你可以添加一些
更多的故事，如果你 现在 需要 的 旁边
下一个小组成员是丹锤scrum Dan
它是一种高性能计算
他从2012年开始担任DARPA项目经理
到了16，他在那里运行了上升计划
并考虑其中一些替代方案
计算模型现在是波特兰州
我们将让让他谈谈
有点历史和一点点
现在和一点点未来的感谢
你首先要感谢我
MTO 邀请我 ，这是一个伟大的
很高兴与所有这些
我和我的杰出同事
在Mead Conway上切了很多口
几年 前 我也很惊讶
我骑了一个指数我
整个职业生涯我认为我们都非常
有幸能够做到这一点
我想今天做的是 种回暖
有点 什么 地方 有卡弗
再次开始做更多的神经形态
计算，因为你们大多数人都知道我的意思
我将主要关注的是什么
再
如果你看一下传统的深层
事实证明 ， 学习模型
他们正在解决一些奇妙的问题
但他们也有很多缺点
他们不处理时间非常好 ，他们
实际上并不是连续实时的
学习他们一批离线学习
模式， 所以你没有终身学习
因为 Ava的计划很有希望看一看
他们使用大量 的 培训数据
没有办法真正转移
我 想，学习另一个网络
最重要的是，他们并没有高涨
在 数据本身 所以为了 结构
讨论现有的缺点
纽约大学的深度学习模型Gary Marcus
说深度学习系统
学习各组之间的相关性
平坦或非平坦的特征
分层次结构
固有地直接 没有代表
在这些系统中 ，他们就是这样
被迫使用各种代理和
近似， 他们实际上并没有
得到它 非常好 ， 去年 约翰
兰斯伯里 是办公室主任和我 -
哦，我们谈过一个非常好的演讲
关于AI 的 三波是第一波
使用手工制作的系统，所以这就是
专家系统基于规则的系统
我们会 记得很多
几年前第二波是统计数据
学习，这就是我们 现在和现在的位置
这些网络正在完成一些
真的很神奇的东西，以确保该
下一波来自 想法 我两个O.
视角是上下文适应和
解释，这是我的论点是
你真的要明白了
数据结构很高
该组件的顺序关系
能够做到这一点第三波 好 了，
我建议 我们需要继续
更全面 地看待 新皮质
一个潜在的计算模型
我们正在做 什么我们知道什么
neocortex很好我会经历 一个
特征 数 它不是一个
穷尽的清单，你挑选任何
他们可能是神经科学家
不同意的一半
那我说的好吗 的问题
从根本 上说问题是我们做的
足够了解新皮质 能够
收集特色并开始
尽管如此
特点和算法 和我
认为答案是肯定的
所以皮质大约是平方英尺
它 在人类中大约是六个
毫米厚，它由一个
二维模块阵列
被称为列
[音乐]
它是层流的，所以每列有六个
被定制 为不同的层
某些计算和
沟通 他们 既兴奋又兴奋
抑制功能和它的大量
他们大约有一百万左右
人脑中常见的列
数百到数千列
较低的哺乳动物大致均匀
哺乳动物 的所有区域和所有区域
在有机体内，对于所有人或者
哺乳动物，所以它是最接近自然的
通用计算
架构也没有做到
渐变学习它做的更多
称原型学习在哪里
拍摄快照，这允许它
学得 很快， 并允许转移
学习 和其他事情最终
发生皮质连接和
激活是非常稀疏的沟通
也是稀疏的神经元 不做内部
产品的所有输入 都是尖峰
到达时他们会在内部进行更新
状态，他们继续前进， 这是
与线性 代数有很大不同
用于传统学习
我们今天使用的模型树枝状
树木的表现要复杂得多
计算比内在产品或
典型向量矩阵内 的 产品
直观的 树有计算
子单元中的一些是活跃的
组件经常做各种
门槛和
巧合检测好的皮质
连通性有一定的统计性
当地 远程的属性
如果你想知道连接
皮质建筑的一些东西
它 出版了一本好书
大约20年前， 布莱顿卑尔根
射击称为皮层统计和
神经元连通性和 几何学
他们经历并重新分析了鼠标
皮质和他们得出的结论是
皮质连接是双峰的
有很多本地连接和
然后有一些随机的非本地的
连接
我和我的研究小组 正在 研究
这种连接模式因为我们
相信他们会说点什么
关于 皮质可以做什么的 基础
表示你有本地区域
做各种相关的记忆并得到
局部解释变量
他们看到的却是更高的
然后将这些区域相关联
彼此创造等级
种交涉等多项
研究人员正在开发中
基于 神经科学的 算法
皮质 你们大部分都可能在哪里
Jeff Hawkins 是 Numenta的成员
他们正在发展越来越多
复杂的模型， 实际上
开始出现一些真正的结果
正在他们的模型，有竞争力的我
我认为这个小组是一个关键问题
涉及必要的硬件
加速这些 模型
硬件开发的可能性不大
对于传统的机器学习来说
要做好这些模型，但方式
我的其他东西也太不同了
通常使用的低精度
只需几位精度
但 有一个根本 区别
硅与硅之间
神经模型就是这样
生物学有很多低
带宽连接有很多
dis相关 硅有
少量高带宽
连接，这是一个基础
神经形态VLSI中的错配
Carver和他的团队开发了
加州理工学院的一个概念
发达是所谓的
地址事件表示是一个
多路复用的方法
虚拟连接到小数字
金属连接
另一个问题涉及计算
自己的皮质结构
显着递归等
递归模型基本上都 可以
非线性能源服务这些成为
什么叫做吸引子模型
计算就变成的处理
并行约束满足度
非线性能量空间 ，有一个
很多猜测是 皮质如何
电路可以用CD 做那种
计算所以我不喜欢减少
正在进行的工作的重要性
就在 算法过去的20年
当然对于深模型，但我
想记住它是重要的，
购物车 Carberry也提到了这 一点
摩尔定律已经 起到了巨大的作用
我们有机器学习 的成功
电脑现在已经 上千次了
更快，有更多的千倍
记忆力比他们在90年代所做的 那样
我们还没有解决根本问题
智力问题，我们没有
已经有一千块甲板 了
知道英特尔可以辩论多少扩展
它确实可能只是一般意义上的
是摩尔定律 慢慢来的
结束所以问题是我们如何
从这里开始，我认为
重要的是我们需要 施展
我们需要看一下广泛的网络
各种 表征和
计算和帮助我们接近很多
这些问题和
官方情报因此摩尔定律
一般都不善良
非常规计算，因为我们只是
等两年， 速度提高了 2 倍
所以没有理由担心更多
然而，我 是非传统的架构
喜欢和我的学生们开玩笑 说 ，
非传统计算现在已经存在
摆脱了摩尔定律的束缚
所以机器学习 皮质模型3d
VLSI异步计算电阻
Ram计算和记忆混合模拟
数字电路碳纳米管
量子退火耦合振子
kermy ons
我认为半导体的未来
工业工程是令人兴奋的
敞开 所以我们的第三个小组成员是被
道格 汉堡和道格 是 他的职业生涯
计算机体系结构赢得了ACM
他在2008年获得威尔克斯奖
创立并领导微软弹射器
项目，如果你不知道那 是 什么
这 就是放置FPGA和数据中心
。要么 是这样做的， 要么 就是这样做的
实现最大 的 回报
工业研究人员可以获得和
这是从 研究 中提升的
进入产品开发，所以他现在
微软技术研究员和意志
和我们谈谈 一个 非常不同的 观点
非常规计算继续谢谢
史蒂夫非常感谢
非常邀请，这是一个伟大的
这里与同事，我会希望
有一天会见， 我读过几篇
他们的书， 所以它 真的只是
太棒了， 所以我是技术人员
和Asura的硬件部门
我们的云和边缘计算和给定
我们花的资本我们非常想
关于路线图非常努力 ，我的意思是
云产业正在消费
而且 只有数百亿美元和
很快将 成千上万的
基础设施等一年的美元
我们做对了 这件事真的很重要
就像一个行业，我们那样
基础设施是计算公用事业
尽可能高效， 所以我想
我从一些 战术开始
点然后考虑一些路径
转发会希望有帮助
政府和DARPA 如此排名 第一
至少我的观点是， 摩尔定律
在2015年结束，所以这是一个很好的整数
给你50年，但我没有
选择它， 因为它是 50
这个行业意识到了这一年
将无法 留 在为期两年的
节奏我的意思是摩尔定律是关于 a的
率和可预测的比率
这就是他们所说的那一点
好吧，我们明年 不会 做
对于那个下一个 节点， 所以我们仍然看到
缩放，但它减弱和减慢
下降，收益不太可预测
但 可预测的恒定速率有
停止了所以摩尔定律 已经完成了
缩放正在放慢，而且确实如此
有基础技术
这是一个四阶段的衰退
首先我们看到频率增益上限和
那是十年 前 ，然后
电力效率停止改善
速度快 ， 所以我们失去了速度 和我们
失去了力量他们仍然获益但是
他们是 历史小得多
每个节点然后获得一个节点
我们现在面临的是成本，所以当你
当您转移到新技术节点时
并且晶体管没有得到任何
如果你想要一个新功能更便宜
在硅你必须要
在固定的成本一样东西 ，这是一个
位置我们从来没有在之前 的
计算行业现在有很多
辩论发生了什么事，但我
你知道这是喋喋不休的
关闭， 所以看 的是 很仔细
因为改变了经济学
行业，然后是最后一个
密度你也许可以 将 更多
因为它们较小 但可能
不是更快 或 更强大
有效，这意味着它们 必须 是
他们可能会昏暗或黑暗
不是更便宜，这意味着你支付更多
因为密度增加你知道
我们是否了解更多
昂贵的晶体管和更高的密度
有待观察
这是一个市场，但 它的频率功率
按照这个顺序 ，我们没有看到成本密度
地平线上任何CMOS救援服
所以我的意思是有很多研究正在进行中
在伟大的工作，但我们需要我们需要
转移到 新的东西，这是 一个
商业 焦点的重点领域
增长，也许这是一个战术
因为 我是行业观点
面板上的工业人士
现在的商业发展是如此之大，
遗产的负担越来越大
如果你只看微软，那就更大了
你知道我们主要是一家x86公司
虽然我们 投资了很多 东西
但这是遗产 而是遗产
每年 都呈指数级 增长
在传统的基础，我们有 条款
因为我们的云正在翻倍
一年又一年，以至于它正在变得越来越好
越来越难以搬到新的地方
新的范例仍然可以完成但是
有点像与 传统 故事 竞争
新事物需要 更大
比例有趣等等
离开的难度越来越大
传统它比 10年难得多
或20 年前 ，但 仁和 一般 每
人们谈论了很多
加速器，我们确实工作
数据中心的专业化
通用计算仍然存在
非常重要 的 ，只是因为
你需要做的资本投资和
管理大量的复杂性
系统中的不同架构
等级， 所以我们需要新的
比较好的一般范例
对于一件事而言，这不仅仅是好处
适用 于 广泛 的
事物深度学习的原因之一
已经起飞 ，因为 它似乎是
非常一般，你知道它游行
通过很多 传统领域
喜欢视觉， 言语和翻译
语义你知道搜索和
替换那些自定义的算法
有 一种稳定水平在每个领域 我
意味着他们是不同的深度学习
架构，但它是一样的
潜在的范式是铸造一个
梯度下降和和 的 许多层
计算所以我们需要这样就是我
想想为什么你看到这么多
投资，因为没有太多
在那里，看起来普通的 FPGA
或不同的模式，但有
一般这就是我们 投资的 原因
他们 有 很多 编程
挑战和正在 取得很大进展
在那里，所以我想我会结束
五
我认为 是好地方的 路径
投资向前发展 ，你知道是什么
我们还需要这么好吗？
需要更高效的CMOS架构
如果你带一个通用处理器
而卡弗也提到了这一点
效率不是百分之十，不是一个
有效率百分比，你知道一半
如果你看一下效率的百分之三
能量的进入量
执行数学运算与
执行 能量的能量
说明， 所以你知道它的因素
300关，所以我们可以做得更好，但我们需要
保持可编程性
艰难的挑战，我们有一件事
投资我称之为结构的 东西
计算正在建设更大
结构和软件以及映射它们
低于硅而不是做
一切都在时间的 一种 指令
结构化数据流 的 我的意思是有巴赫
在他的图灵讲座中谈到了这一点
我绕过冯 诺依曼 卷
脖子抱歉我认为这将是 一个大的
投资领域一秒钟
转向新的计算范例，以便
三个是明显的三个是生物学
神经网络 和量子量子
我们似乎还有出路
不明白 算法 有多 好
将是商业神经 网络
那些 有很多商业广告的人
成功但我觉得 有限
其他小组成员的原因
已经描述过，我想更多
重要的是我们正走向一个
计算墙，所以我们所做的就是
挑选了所有低调的水果
允许我们向上移动 那三个或者
大小 四五 订单
效率 但 真的有三个
你知道你可以做的事情
提高线性代数效率
你去了一个新的流程节点
做过或 越来越 接近 完成
你可以把更多的 精力 和您 的
芯片进入数学和新的
出来的加速器有一个
数学中有很大一部分
不是2x离开那里我不认为数字
三你 可以降低精度
经营者，我们知道你了
现在大约3/4位 然后做得很漂亮
那么我想我们就是这样
肯定得 需要移动到
新的东西和生物
灵感是 唯一存在的证据
我们有什么东西在 那里
六个订单的 效率要高得多
大小
但它 完全不同
我们都说过的原则和我们
不知道如何利用这些
数字化还是你知道硅
模拟系统最后三个非常
然后快速投资uncor你
在 计算之外知道
内存存储网络那些伟大
发生在那里的事情DNA存储
光网络等非排球
非易失性存储器电阻存储器
原子记忆所以认为还有一个
很多事情发生在那里，会有
继续来自一个系统
透视 这 是我认为 有时候
被低估的变化 史蒂夫说
关于云和边缘， 你知道什么
在微软内部我们真的有
说服自己我们正在建设什么
是 亚马逊和亚马逊 的行星计算机
你知道其他云公司
建立他们知道大型数据
以世界各地的 数据中心为中心
与 大规模的海洋底下
网络和数十亿设备
附在他们身上，这不仅仅是
营销炒作我的意思是当你拥有所有
这些传感器 进入中心 枢纽
你可以做 大规模的 分析和
然后推出控制它是一个非常
不同的范式比那种
你知道我有一个标准的客户端服务器
客户端与服务器通话，它在一个
巨大的规模，以便有
那里出现了一些新的东西
有点骑马， 我们并不完全
了解虽然我们更确定
卖它然后排名第五是
安全作为第一原则，我没有
我想我必须在这里说人
明白有多重要
我做
一个非常有趣， 这是我的
最后一点 我不喜欢谈论自己
预订太多，但一个非常有趣
微软宣布这一点的事情
这一年被称为阿舍尔的恐惧
真的，当我看到它转移了我的
思考和提供的是 什么
一个物联网微控制器，我们采取了
来自Xbox的安全块
表现出 非常非常安全的免疫力
物理攻击把它放在 与 它情侣
微控制器，你可以创建一个
用a信任连接到我们的云
强大的信任和发送能力
向上向下
日期和补丁以及它的作用
确保 终点并带来终点
在安全保护伞下等等
真的，那是端到端的安全性
分布式系统现在我不是
说它很 完美，但它就是一个例子
之类 的事情， 我们需要 做 的
确保非常大的非常分散
系统 和信任的根源
这不仅仅是机器上的一个点
我会停在那里， 但我相信 我们会有
一个很好的讨论， 谢谢你
提醒发送给我们您的问题
并作为主持人获得第一个
问题所以我想做的 是
我们开始听到很多关于
神经形态计算那个和那个
模特，我不想，我 不想要
这完全是关于那个，但我做到了
我想再探讨一下这个问题
我想我已经听过一点 了
有区别
我想要神经形态和神经 网络
把它弄出来，把我真正想要的东西弄清楚
的 地方 ， 我真的很想去是其中
来自它的效率就是它
从这个网络 表示是我们
从类比做它是从它
基于脉冲的信号和 港口我
道德 说道 ，你会好好开始
硅和神经是常见的
系统，如果您使用较低的精度
代表让我只是备份一个
如果 你训练一个神经网络，一 点点
识别事物以给出结果
如果是大数据，它就没用了
只是，如果你把所有 的查找表
你 见过和记忆的东西
他们并回答你的答案
他们选择什么是你给它
一件新事物， 如果全部都会失败
他们都会失败的新事物
这一切的必然结果是它疯了
如果这是你在做什么怎么办 ，你想
会推广到事物的东西
这有点像你正在寻找的
这意味着它的使用是疯狂的
如果依赖于64位表示
最后一点
它永远不会一概而论所以这就是为什么在
你想要存储的基本水平
较低的网络部分
精确， 因为你
适得其反的是使用更高的产品
精度很高，精度也是如此
像广场 或 更多的东西
确切地说 它 需要 的能量
相同的技术， 否则就是这样
为什么人们这样做是正确的
很明显我们已经知道很久了
在70年代指出并没有人
因为a而受到了一丝关注
我们没有做那个有效的 女孩 和B.
没有人关心权力，因为什么
你把你的电脑插在墙上了
因此它需要更多的力量
这是其中之一
它和它共同的东西
与现在有很大关系
比这更好
我们是早期的人们想要得到的
人们把电压降低了
LSI技术和它们一共挂了 五个
伏特的方式 更长，它有
可靠性问题主要有它
能源问题 它只是消散的方式
比你想要的方式更像是
电压的平方因此神经系统
工作在约100毫伏
并且这有帮助所以 有 一些
我们刚到那里的数量级
然后是我 提到的另一个
已经就是那个和 你谈过 的事情
如果你建立一个分层的话
系统你可以找到 在 其中的方式
想法空间或表示空间
事情或多或少是局部的
你可以结合你的短程
与计算中的通信
智能方式的东西， 是 有
做计算也在做
在当地进行沟通，我们开始了
因为那是 在视网膜上工作
最明显的例子和 我们
你知道什么是你得到的输入
皮质更难说
什么， 虽然 我现在 更多的雪
35 年前 这样做 并不 多
知道那里 现在好多了
你很高兴 听到你这么做
再次
但是在中国的建筑
表示空间可能 不是
皮质完全不同于它
在视网膜中，我认为有
在那里做的精彩工作
利用地方和
表示空间列
Dan谈到了所以那里有
三件事，还有更多，但是
那会给你一些订单
是的，我会接受一些订单
对于 一个大小并且与之一起运行
小时候让 我加上Linda
传递给丹， 说得好我们需要
新的工艺技术应该
你看一些 小说
技术还是我可以建立这个
出了好老的CMOS而且让它
工艺工程师让我看起来像一个
天才再次，那将 成为其中的一部分
过渡阶段， 但就像我一样
试图传达 的 是 ，
计算模型非常不同
他们制造这些产品的精度很低
吸引模型，有时最
这些模型实际上适合模拟
计算范式比数字更好
当你进入 那个 空间的时候
问题是你一定需要吗？
CMOS 还有其他技术
我认为这可能会起作用
什么 会发生，你知道它不是
就像机器学习一样
深刻的模型，现在我们要做
这种突然转向生物学
这是生物学启发的模型
成为一个进化论
特征将是
在这里和那里合并
最终我们会看到不匹配
随着硬件开始增长
这将开始发展，这将
他们是一个持续不断的过程
接下来我不 知道我是否会长寿
足以 看到 这一切，但肯定
在接下来的10到20年里，我
应该说所有这些评论
关于神经计算假设它是
要学习在各个层面有很多
做计算的问题
模拟域 来自事实
人们没有做适应性
在浮动过程中学习
是一个非常好的本地方式来做自适应
学习完美兼容
我们已经多年的技术
他们 的人数 有限
步数是多少电子
代表全面的
在最小的事情我们可以做到这一点
仍然给我们超过五位
史蒂夫我能跳 在 这里 的一个跳跃
一个评论所以我想我有一些
对此我的 看法非常强烈
如果这是有争议的，请道歉
良好的生物学生物学和神经科学
计算在这里和数字深处
学习就在这里，让你知道
是耶可能会有一点点
以较低的精度移动， 但他们是
真的 与我有 根本的不同
认为理解这一点很重要
只需 在数字中列出一些东西
您评估所有的深度网络
神经元引用 所有的非 引号神经元
每次调用生物学的时间都是如此
从根本 上说非常稀疏
该 你知道 的卡弗说，
在稀疏的尖峰模型中的时间
模型编码了大量的
信息和问题是我们
一直无法 弄清楚 如何
建立你知道稀疏尖峰时间的基础
可以学习和我们学习的系统
数字深度学习系统和
学习没有大量的 标签 数据和
数字深度网络令人难以置信
脆弱你可以改变一些 像素和
欺骗他们说出你想要的任何东西
他们这样我的意思是他们只是他们
只是完全不同，所以我们必须这样做
切换或找到其他东西
我们讨论的原因但我们必须这样做
了解模型以及我们能做什么
从生物模型中提取出来的
是我们可以提取它的原语
给了我们你知道的紧急行为
无人监督的训练和令人难以置信的
稀疏的激活和令人难以置信的
密集编码， 所以你知道 我们 之前
了解我认为的模型
我的意思是建立不成熟的东西
我们可以建立一些东西 ，工作
好吧， 但我们不会，我们应该
实验，但 我们不会去
这件事我们真的要 需要等
我真的很喜欢为 人们揣测
根据你的意思，可能排队的是什么
制造系统，但我们必须
了解他们
所以它从项目中 挖掘了一个 教训
脑波 你说 你正在跑步或者
这是你知道的或者是怎么做的
我们 的脑波系统是
微软的内部深度学习
每次使用数字命中的系统
神经元每次你知道它就是它
状态随机梯度下降 列车
你知道我们模型是我们使用 非常
低精度数据类型来挤压
从效率的硅 ，这就是
我们怎么能够如此高涨
在云端和我们的表现
合作伙伴处于边缘，但你是
听到一些沮丧， 因为 我明白了
坐六个数量级
在那里，我想要它，我不知道如何
到那里 的权利 ， 所以 我们只是我们
只是压缩精度，但是
你知道我们会得到另外4倍或者
5倍如果我们幸运10倍，然后可能20倍
更好的硅，可能30
利用一些稀疏的迹象你
知道我最疯狂的 梦想可能会得到
100x，但还有 一千
万万坐在上面
表是 对的，所以我们有
了解我们 正在做的 模型
在这条道路上的一些投资，但它是
这很难，所以需要很长时间
这 就是你们在这里 告诉我们的原因
如何 获取 对不起 以及我会说
因为我 在游戏中就有了
得到了大量的了解
真实的神经系统使用
已经发展起来的技术
与此同时 ，还有更多
生物学家之间的团队合作
那些试图 找出工程师
神经系统模型确定的是什么
你在说， 我 不存在
认为是 早期的人 之一
在大学里建立一个组织
这是他们绝对关注的焦点
试着让那些人去思考
在一起
数字的东西了， 就是这样的
我认为，现在成为世界潮流
那 会付出我无法给你的回报
任何一种安排，我很抱歉
好吧好吧，如果我们有几个订单
生物学之间的数量级
系统 和我们的电子系统
我们应该谈论 生物学吗？
计算机并停止 使它们脱离
看起来很棒， 那些家伙正在谈论
顺便在另一个房间，但丹 我
觉得你真的很喜欢这 一个我已经
其实有很多 人问我
有关当我在DARPA我有一个
相当经常的人进来
想要这样做我无法想象
在任何地方使用活组织
你知道它带来的生产方式 带来的
我的电脑这个词的新含义
为了维持生活而死于自然
组织作为正在进行的产品的一部分
这是在外地，所以不，我是我
老实说非常悲观
我想所有这些
一切都需要保持这一点
生物学活着，我想我们可以做到
硅片很好用
技术绝对的 生活场所
在云中我们有死网站 是的我
不 希望这是第一次
我听说过一个染成羊毛的数码
男人说他们想要 紧张的事情
系统 第 一次这么多年来 我
读你的书
所以我要从我们这里拿出一个
来自我们的观众，只是一种投掷
这就在这里
那么什么提供了更大的东西
潜在的新形态 硬件或
我们应该在哪里使用morphic软件
我想，正好 寻找 这个答案
它将以神经形态开始
软件，我们将探索
算法希望我们甚至可以管理
找到他们在哪里工作的应用程序 和
我们可以使用数字硬件
我们今天有的或微小的变化
在或使用例如FPGA
我认为 随着时间的推移非常强大
因为我们获得的经验与
算法和应用程序然后
我们将开始迁移到完全自定义
硬件， 但它 不会发生
我认为硬件必须推迟
我参加一个会议的 时间有点长
在欧洲
我和我的员工跑了，我们
有一些人 来自 人类
大脑项目涉及其中之一
Steve Furber 你们中的一些人可能都知道
是它 是 手臂的创始人 之一
现在在曼彻斯特大学史蒂夫
站起来告诉你美国人你走了
在你理解之前建立硅片
你知道的那些算法就在那里
我认为这 是 真理 的预兆
这并不是说你 不继续
实验我认为 有很多
协同作用可能的，但我认为在
开始它将 是软件是的
谢谢，我们使用Microsoft平台
这样做的其中一个很幸福
你在神经 系统中发现的东西是
对 计算机人来说 是违反直觉的
因为计算一直都是
基于逻辑意识
推理和动物的数量
专注于意识的大脑
逻辑推理是微不足道的
分数我使用神经冰山
对此有一点隐喻
你知道你的大脑的小小提示
做，然后有所有这些东西
下来，它越来越密集
传感器和更接近传感器
你昨天听到的执行器否认了
你知道才刚刚 AI会议
像你的手一样操纵
毫不费力地，真的很难
看起来很像机器人技术中的问题
轻松的眼睛 有一个巨大 的量
在肌肉和 实际处理
机关和在那些神经
连接他们，这就是为什么我们可以
毫不费力地拿起东西拿起来
一个鸡蛋没有打破它 并设置它
小心翼翼地把它弄碎了
那种不是那种东西 的 东西
我们建立系统但是如果你想的话
关于自主面临的挑战
系统很多 都是关于那个和
所以也许其中一个杀手级应用程序会
做可以 实际挑选的 手
亚马逊Fulfillment上的这个东西
中心就像我们听到的那样完成了
人们现在因为你无法得到
机器这样做而不打破这个
什么神经模型，我想谈谈
关于 我们其他一些人的一点点
谈到同步逻辑绝热你
知道应该是很好的低 功耗 是
随机概率的概率
计算是这些替代方案
他们是免费的，你说我们应该
如果 ， 同时重建所有这些
我们必须 优先考虑如何修复
档案
我想我在开幕式中暗示了这一点
评论规模和普遍性
因为这个是非常重要的
已经投资的金额
制造和CMOS 和硅它是如此之高
那个带隙就是能量差距吧
这是一个非常艰难的攀登墙
因为你在与 某些东西 竞争
令人伤心 的数千亿或许可能
即使在 t我也不知道是什么
总投资已经超过了
过去的 50 年 或CMOS30年但
它一直很高，所以我们应该这样
投资所有这些东西和
它们中的 一些 可以同步逻辑可以
可以在现有系统中发挥作用
绝热超级有趣但但是
酒吧很高，所以它会真的
很难得到 很多这些东西
过了驼峰，让那个杀手
易问题 就变得很重要 ，你
相信 那个神经网络模型
已经实现了， 我认为
Hardin中的神经网络模型
培训的硬件已经达到它
大规模的 商业要求 你
只是互联网搜索是我们的杀手级应用
现在在肯特使用深入学习的东西
我们离不开 它和
越来越推论所以我想我
认为它在那里 我不知道 你 在哪里
知道所有 的分析师报告了
这种指数增长 和 需求
在接下来的六年里， 我的 那些周期
不知道我们是否会看到这条曲线
那是TDD， 这是非常重要的
如果我们看到曲线，我希望我们能够提问
可以满足曲线是啊是啊
是定义
我们甚至在谈论权利吗？
问题我的意思是 我们谈论计算
但是 你知道我们正确的沟通
都知道什么是计算 它是一个
很多数据 我们走了一小段路
我们如何寻找改变
我们数字通信的基础
哪里是这个飞跃的地方
转发有让我带 一个简短的 回答
然后推迟我，我们已经看到了巨大的
在大型网络中的进展
在过去的五年里， 我的意思是我们走了
从毫秒到微秒
政权，还有很长的路要走
直到你达到真正的光速
雷顿在 船上 看到 了我的原因
推动这种结构 性行为
我们一直在推动的计算概念是
正是因为 那样你才能 摆出来
东西， 以保持地方，但
你需要不同的计算基板
在它下面支持那么是啊
是的，你需要地方，这是令人难以置信的
重要我 想，但我 想我们知道
如何获得大量的 局部性
宏观尺度和微观尺度不是没有
完美，但 有些事情 我们可以做
但是一般的计算模型
这些新范例有 很多
更难的问题我 不认为我们知道如何
解决但我 会写 一个
这并不是说 我们不 想要很多
在那里工作更多，因为我们正在利用
已完成的工作II会
预测， 随着深度 学习的东西
变得更好，更明白了
现在推动真正了解什么是
继续前进 ，我们会这样做
开始理解像 我 这样的事情
提到的地方和代表
我们将开始理解空间权利
关于那是什么，你可以
想象一下， 你 知道你的系统
先从 视网膜，因为这是一种方式
汇总数据和
把它提升到一个代表级别
然后汇总并推动 它
我们一直 在做，对于 像 30
几年了，他们现在 非常好
在那里做前几个
这是一个很好的起点
因为你可以用 它来看真实
实时的东西， 它没有
最好不要 在数据中
正确的中心， 因为你会成为
随便驾驶它，你可以
然后想象那可以开始
涟漪到你的皮层就是这样
它确实在真实的系统和
范式不会 立即 改变 一切
马上它是 一个转变， 但它是
有很多的相似性 ，从而有
我的意思是事实
有一个皮质有一些东西
一般用途绝对是的， 所以
你了解更多关于 那个的 知识
它们是 你可以建立的部分
现在像视网膜一样的硬件
那些花了20年的人
系统，以实现真正可行的实时
事件驱动你现在知道是的
具有合理的等级特征即将到来
但它现在存在，所以现在这是一个地方
人们可以开始做 下一个
东西的水平，但在改善
表示理解我认为
会让我们远离随机
梯度下降这是 所有的
现在的深度学习基于也许
我们会调和这两个， 但它是一个小组
我们应该采取强硬立场，所以我
在那里猜测我们不会去
对那个时候我们是正确的，但我
我不想问这个问题
我们召集小组讨论什么
DARPA应该在这个领域做到这一点
哪个是杠杆 我 在哪里
从那以后 我会要求Dan 开始
你有DARPA经验，所以你
知道最近的达尔普尔专家
什么 DARPA做是的我想要 斧头
作为我想做的最后一条评论
gopanna 之前，但它导致了什么
无论如何 我 会说 ，那就是 我
想想有时 人们会忘记 这一点
信息理论可以真正发挥作用
因为你正在交易一个重要的角色
大量的计算 和通信 的 和
我认为皮质已经找到了最佳状态
交易
这就是为什么 我们应该这样做的另一个原因
向他们学习如此全面的概念
我认为是沟通的计算
非常重要，但这不是什么
这 很容易 让 你搂着
就像DARPA应该做的那样 我认为
应该 有更多的探索
这些类型的 模型，我们已经谈过
关于我认为DARPA是有特权的
有很大的应用程序 的位置
他们可以继续工作并且非常棒
在 处置组，可以开始
看看其中一些 这些
问题所以 我认为这就是我的意思
在我的发言结尾处说 是
有 很多 型号出来
他们 中的 大多数 可能 都没用
但我们 不知道 ，我们必须 这样 做
做 一些 初步的探索
空间，我 不认为 有
够了 ，这就是我的另一点
关于传统计算的问题
从摩尔定律中解放出来现在我们已经很多了
更有动力去 看待这些
更多这些替代 模型和这些
更不寻常的实施， 使
会是这样的法案，这将是我的
建议我认为我们有一个
我们需要弄清楚我们的共识
可以从生物学 中汲取计算机
模特而 不必 吃整个
事我没想，我不 想要
建造成千上万的活组织
连接并 尝试部署它
什么都会 有超级超级
有帮助，但我认为一些工作 和
新的架构让你知道
由DARPA和多形性支持
计算等程序，以便
继续把重点放在什么 是 新新
有一些 计算的类
普遍性仍然是真的
那 仍然是非常重要的
问题 ，我认为第三个是全部
所有其他计算组件
继续在那里推动激进的跳跃
在内存 网络 存储安全性
你知道那里有 这么多
候选人，它将采取
投资让他们投入生产
规模
所以那些将是我的 三个桶
我问其中一个问题
问题是你知道的例子
他们的解决方案谈到了 使用
机器学习作为他的工具的 一部分
发展，我认为有一个
很多这些模型实际上可能是
可用和 很多 软件但是
开发软件的人是
不是要被他们显然期待
如果他们有截止日期 ， 除了 我
认为这 是我们 的另一个方向
还没有真正仔细研究过是什么
是所有的 功能
这些模型对我 有意义
认为这比我们要多得多
意识到要好， 我要感谢
你 是连接器的面板
局比较短 ， 和你一样
观众 还停留在
很少有额外的时间来探索
主题我显然没有得到 所有的
问题我们 仍然有小组成员在这里
我们欢迎你们来参加
与 我们交谈，我们很，但我们要
结束本届会议
谢谢大家谢谢你
[掌声]