主页
FPGA培训
关于平台
企业孵化
峰会大赛
展厅预约
FPGA知识库
联系我们
登录 注册
首页 > RISC-V的新闻动态 > RISC-V强攻AI芯片市场
RISC-V强攻AI芯片市场
来源: 2021-09-22 14:42

越来越多的大大小小的供应商正在努力为人工智能工作负载制造处理器。人工智能和机器学习是自动化和分析的关键推动因素,它们在跨越本地数据中心、公共和私有云以及不断增长的边缘空间的高度分布式 IT 环境中发挥着越来越重要的作用。


人工智能芯片市场继续由大型老牌玩家主导。在上个月的一份报告中,市场研究公司 Omdia 表示,几年前将机器学习作为其增长计划核心的英伟达,在 2020 年仍然是最大的供应商,在 40 亿美元的全球收入中占有 80.6% 的份额,其中32亿美元。Omdia 预计,到 2026 年,数据中心和云中 AI 芯片的全球收入将达到 376 亿美元。


31.png


这样的市场增长肯定会吸引芯片制造商。英特尔于 2019 年以 20 亿美元的价格收购了人工智能芯片制造商 Habana Labs,尽管三年前收购了 Nervana Systems,但仍希望加快其努力。今年 4 月,英特尔表示,它计划在其数据中心安装近十个基于 Habana 的系统机架。


其他人也继续构建 AI 处理器或为他们的芯片注入 AI 功能,包括Google 的 Tensor Processor Unit (TPU)、AMD、IBM、Xilinx 的 Edge AI Platform和Amazon及其用于机器学习的 AWS Inferentia AI 推理芯片。


也就是说,越来越多的小型初创芯片制造商希望在市场上为自己开辟空间,专注于从性能到成本效率再到灵活性的各个领域。包括Graphcore、Ampere、Blaize、Cerebras、Groq和SambaNova。


Esperanto也属于该领域的玩家之一,该公司成立于 2014 年,自那时以来已通过三轮融资筹集了 1.24 亿美元,最后一轮融资是在 4 月份获得的 6100 万美元。Esperanto 于 2020 年 12 月发布了 ET-SoC-1,这是一款基于开放式 RISC-V 架构的 7 纳米机器学习处理器。这家芯片制造商表示,该芯片将在一个小封装中容纳近 1,100 个定制内核,重点是通过利用能源效率来提高性能。


在最近的 Hot Chips 33 虚拟活动中,Esperanto 创始人兼执行主席 Dave Ditzel 公布了他所谓的片上超级计算机的详细信息,它可以用作主处理器或加速器,旨在适应现有的数据中心需要在风冷环境中提高电源效率。


该芯片由台积电制造,拥有 2400 万个晶体管,主要设计用于机器学习推理工作负载。


“超大规模数据中心的机器学习推荐工作负载具有一些最苛刻的性能和内存要求,”Ditzel 在他的演讲中说。“它们主要在 x86 服务器上运行。对额外性能的需求正在迅速增长,与其简单地构建更多的数据中心和购买更多的服务器,客户更希望有一种方法来提高他们已经安装的服务器的推理性能。”


这些系统通常有一个 PCIe 卡插槽,功率预算在 75 到 120 瓦之间。Ditzel 表示,该需求实质上是为Esperanto机器学习芯片设置参数。该公司需要构建一个基于 PCI3 的加速卡,该卡最多使用 6 个供应商的芯片,功耗不超过 120 瓦。


在那之后,卡的性能需要“大大高于 x86 主机 CPU 的性能”,计算速率为 100 到 1,000 TOPS,他说。此外,虽然可以使用 8 位整数进行大量推理,但该卡还必须能够支持 16 位和 32 位浮点数据类型。它还应该有至少 100 GB 的存储空间和 100 MB 的片上内存。


“计算与非常大的、访问量很少的数据混合在一起是具有挑战性的,因为片外存储器的延迟非常大,这可能会导致处理停滞,”Ditzel 说。“最后,由于机器学习工作负载发展迅速,固定功能的硬件很快就会过时,因此强烈建议使用更通用的可编程解决方案。”


Esperanto 开发的是一种芯片,其中包含 1,088 个节能的 ET-Minion 有序内核,每个内核都带有一个矢量张量单元,以及四个 ET-Maxion 无序内核。ET-SoC-1 提供超过 1.6 亿字节的片上 SRAM、用于具有低功耗 LPDDR4x DRAM 和 eMMC 闪存的大型外部存储器的接口以及与 PCIe x8 Gen4 和其他 I/O 接口的兼容性。


32.png


最重要的是,该芯片可以驱动 100 到 200 TOPS 的峰值速率并以低于 20 瓦的功率运行,这意味着其中 6 个芯片将低于 120 瓦的功率预算。Ditzel 说,这来自Esperanto在芯片设计中的路线。

“其他一些解决方案使用一个巨大的热芯片,用尽了加速卡的整个功率预算,”他说。“Esperanto 的方法是使用多个仍符合功率预算的低功率芯片。实际上可以放在单芯片封装上的引脚数量有限,因此单芯片解决方案无法扩展以获得内存带宽,并且通常最终会得到昂贵的内存解决方案。Esperanto 的方法将处理和 I/O 分布在多个芯片上。随着更多芯片的加入,性能提高、内存容量增加、内存带宽增加,低功耗和低成本的 DRAM 解决方案成为实用的解决方案。”


33.png


单芯片解决方案还倾向于推动导致高功率和低效率的最高工作频率。Esperanto 认为晶体管(尤其是 7nm FinFET)在低电压下运行时能效更高,从而降低了运行功率。Ditzel 说,Esperanto工程师必须围绕电路进行创新并修改 RISC-V 内核,以创建不超过 6 个芯片且功耗不超过 120 瓦的高性能加速器。


他们关闭了关闭以将工作频率降低到 1GHz。它们还可以将工作电压降低至少两倍,但很难在低电压下进行稳健的操作。


“我们必须对电路和架构进行一些更改,”他说。“在千兆赫级和低电压下运行需要设计每个流水线级的门极少。... Esperanto必须对 L1 缓存和寄存器文件进行电路和架构更改。即使有这些变化,仍然存在超过 50 倍的差距,弥补这种差异的唯一方法是降低动态开关电容、动态开关容量、每个晶体管和导线的容量以及这些开关的频率。为了减少这些,你必须有一个非常简单的架构,逻辑门很少。这就是 RISC-V 是基本指令集的绝佳解决方案的地方,因为它可以用任何商业上可行的指令集中最少的逻辑门来实现。我们还必须非常仔细地设计我们的矢量张量单元。”


Ditzel 展示了说明 Esperanto 芯片功率效率的图表,测量了不同工作电压下每秒每瓦的推断数。


34.png


由于 ET-Minion Tensor 内核在最低电压和 8.5 瓦下运行,Esperanto 能够在远低于 120 瓦限制的情况下将 6 个芯片安装到加速卡中,比单个 118 瓦芯片解决方案提高 2.5 倍的性能功率效率比 275 瓦点高 20 倍。



Ditzel 还展示了性能比较。对于基准测试,Esperanto使用了 MLPerf 深度学习推荐模型,将该芯片与英特尔的八路 Xeon Platinum 8380H 服务器处理器以及 Nvidia 的 A10 和 T4 GPU 进行了较量。他说,如下所示,Esperanto 芯片的性能是英特尔处理器的 59 倍,是每瓦性能的 123 倍,并且优于两个英伟达 GPU。据 Ditzel 称,类似的结果来自使用 ResNet-50 推理基准。


35.png


在物理设计中,Esperanto 将八个 ET-Minion 内核组合在一起称为 Neighborhood,这使该公司能够通过架构改进来节省电力,例如使八个内核共享一个大型指令缓存,而不是每个内核都拥有自己的指令缓存。每个八核 Neighborhood 形成一个 32 核的 Minion Shire,它们通过每个 Shire 上的片上网状互连进行连接。



Ditzel 谈到了如何在系统中使用 ET-SoC-1,包括那些支持开放计算项目 (OCP) Glacier Point V2 设计的系统,该卡提供 6,558 个 RISC-V 内核、高达 192 GB 的 RAM 和高达822 GB/s 的 DRAM 带宽。Ditzel 将其推断为雪橇和机架,并表示一个 OCP 数据中心可以容纳数百万个Esperanto核心。


36.png


公司支持C++、PyTorch以及Caffe2、MXNet等机器学习框架。Ditzel 说Esperanto最近在其实验室和准备测试中收到了硅。最早定于今年晚些时候进行。


1.https://www.caymancompass.com/2021/09/20/opportunity-in-semiconductors/
2.https://www.tomshardware.com/news/raja-koduri-explains-why-intels-outsourcing-gpu-manufacturing-to-tsmc
3.https://www.nextplatform.com/2021/09/20/where-chinas-long-road-to-datacenter-compute-independence-leads/
4.https://asia.nikkei.com/Business/Materials/Japan-fights-for-lead-in-advanced-chip-and-EV-materials


声明:文章转载自半导体行业观察,内容来自「The Next Platform,本文内容及配图的版权归版权所有人所有,内容仅代表作者个人观点,不代表本网站观点或证实其内容的真实性。对于本网刊载的各类评论非本网评论员评论,仅代表评论者个人观点,并不代表本网证实或赞成其描述。如其他媒体、网站或个人转载使用,需保留本网注明的“稿件来源”,并自负法律责任。本文转载仅为更好的传播行业信息,若有内容图片侵权或者其他问题,请及时通过邮件联系我们,以便做侵删处理。