如果还不够糟糕,则摩尔定律在晶体管密度和成本方面的改进正在放缓。同时,设计芯片的成本以及用于蚀刻芯片的工厂的成本也在上升。为了保持IT创新的飞跃,在这些方面的任何节省都将受到欢迎。
目前,芯片设计研究的有希望的前沿之一是使用机器学习技术来实际帮助完成设计过程中的某些任务。我们将在3月10日在圣何塞举行的下一个AI平台活动上与Cadence Design Systems的工程总监Elias Fallon进行讨论。我们希望在那里看到您。)在芯片设计中使用机器学习也是Google研究小组资深研究员Jeff Dean的主题之一。在本周于旧金山举行的2020年国际固态电路会议上的演讲中,他曾帮助发明了超大规模技术的许多关键技术。
事实证明,Google对计算引擎的兴趣超过了过去,它是世界上CPU和GPU的大型消费者之一,并且还是从边缘到数据中心的TPU的设计者,他们既可以进行机器学习推理又可以进行数据学习。训练。因此,这不仅是搜索引擎巨头和公共云竞争者的学术活动-特别是如果它打算继续推进其TPU路线图,并且是否决定像竞争对手Amazon Web Services一样开始设计自己的定制Arm服务器芯片,或者为手机和其他消费类设备定制Arm芯片。
出于某种偶然性,Google为在大量不同类型的计算引擎上运行机器学习模型而进行的某些工作正在反馈给其为使IP的某些布局和路由自动化而进行的工作ASIC上的模块。(当一个想法像这样分形时真是太好了。)
虽然Google在2018年5月展示的TPUv3系统的Pod可以将1,024个张量处理器(它们的内核数量增加一倍,并且据我们所知大约有15%的时钟速度提升)啮合在一起,以提供106 petaflops的总量使用Google自己的-非常聪明的bfloat16数据格式,具有16位半精度乘法性能(具有32位累加)。这些TPUv3芯片都使用32×32环形网格交叉耦合,因此它们可以共享数据,并且每个TPUv3内核都有自己的HBM2存储器组。这个TPUv3 Pod是巨大的计算聚合,可以进行机器学习训练或推理,但是不一定像Google所需要的那么大。(我们将在单独的故事中讨论Dean对AI硬件和模型的未来的评论。)
可以说,谷歌采用混合CPU和GPU的混合架构(也许有一天还有其他加速器)进行套期保值,以加强学习工作量,因此,迪恩(Dean)和他的谷歌同行参与了这项研究。在ASIC设计上。