未来AI计算硬件设计：多模块构建可解释性驱动的创新方向

近日，陈奕然教授在接受ACM专访后，分享了他对于新型计算架构、AI计算能效、电子设计自动化、NSF AI边缘计算中心和ACM设计自动化分部以及未来技术趋势的看法。

ACM：自从您进入记忆和存储系统领域以来，该领域的发展最让您惊讶的一点是什么?

陈怡然：我认为，在过去的15-20年里，记忆和存储系统领域发生的最令人兴奋的事情，是计算和存储之间的界限变得模糊。

现代计算范式的新近革命始于处理大数据的需要，这引发了对大容量存储设备的日益增长的需求。计算单元和存储设备之间的有限带宽所带来的瓶颈很快就出现了（通常被称为「冯·诺伊曼瓶颈」）。使内存和存储系统更「智能」已经成为缓解系统对内存带宽的依赖和加快数据处理的流行解决方案，比如近内存计算和内存计算。

这是一个很好的例子，说明了目标应用程序的转变（即从科学计算到以数据为中心的计算）如何改变了计算机架构的设计理念。这种理念的改变激发了各种新的计算产品，如智能固态硬盘(SSD)、动态随机访问内存(DRAM)和数据处理单元(DPU)，以及许多新兴的内存技术，如3D Xpoint内存(Intel和Micron)。

它也导致了一些新的非冯·诺伊曼架构的出现，比如基于交叉杆的点积引擎，它通过直接将计算映射到计算硬件的拓扑结构来执行向量矩阵乘法。

ACM：您最近被引用最多的一篇论文是“Learning Structured Sparsity in Deep Neural Networks”，它阐述了提高深度神经网络效率的重要性。为什么提高深度神经网络的效率很重要？在这一领域有哪些有前景的研究方向?

陈怡然：众所周知，现代深度神经网络（DNNs）的高（推理）精度伴随着较高的计算成本，这是神经网络的深度和宽度的增加所导致的。然而，我们也知道，神经网络的连接权值对神经网络的精度并没有同等的影响。当连接权值接近于零时，连接很可能就可以被修剪（即权值设置为零），而不会以任何方式对神经网络的准确性产生显著的影响。我们在NeurIPS 2016上发表的这篇论文表明，学习非零权结构化存储在内存中的稀疏神经网络可以保持良好的数据局部性，降低缓存失误率。因此，神经网络的计算效率大大提高。所提出的技术，即结构化稀疏学习（通常称为结构化剪接）及其变体已被广泛应用于现代高效DNN模型设计，并得到许多人工智能(AI)计算芯片的支持，如英特尔Nervana和NVIDIA安培。

提高DNN的效率至关重要，因为它在很大程度上阻碍了大型DNN模型的扩展，也阻碍了大型模型在计算、存储资源和电力预算有限的系统上的部署，例如Edge和物联网设备。该领域的最新研究趋势是算法和硬件层面创新的结合，例如，基于新兴纳米设备设计人工智能加速器，用于加速新的或未开发的人工智能模型，如贝叶斯模型、类量子模型、神经符号模型等。

ACM：最近有消息宣布，您将指导美国国家科学基金委的下一代网络与边缘计算人工智能研究院的雅典娜项目（Athena）

Athena项目历时5年，耗资2000万美元，包括杜克大学、麻省理工学院、普林斯顿大学、耶鲁大学、密歇根大学、威斯康辛大学和北卡罗来纳农业技术州立大学在内的几家机构将参与其中。Athena项目的目标是什么？

陈怡然：我们对Athena项目的成立感到非常兴奋，它是由美国国家科学基金委和美国国土安全部赞助的边缘计算人工智能旗舰研究所。Athena的目标是通过提供前所未有的性能和支持以前不可能实现的服务，同时通过先进的人工智能技术控制复杂性和成本，从而改变未来移动网络系统的设计、运营和服务。

Athena的研究活动分为四个核心领域：边缘计算系统、计算机系统、网络系统以及服务和应用。我们开发的人工智能技术也将为未来移动网络的功能、异构性、可扩展性和可信赖性提供理论和技术基础。

Athena作为社区的连接点，将促进新兴技术的生态系统，培养多样化的具有道德和公平价值观的新一代技术领袖。我们预计，Athena的成功将重塑移动网络行业的未来，创造新的商业模式和创业机会，并改变未来的移动网络研究和工业应用。

ACM：设计自动化领域最令人兴奋的趋势是什么？作为美国计算机学会设计自动化特别兴趣小组（SIGDA）的主席，您认为该组织在这个领域扮演着什么样的角色？

陈怡然：在过去十年中，设计自动化最令人兴奋的趋势是在电子设计自动化（EDA）工具中广泛采用机器学习技术。由于芯片设计质量在很大程度上取决于芯片设计师的经验，因此开发智能的EDA工具是很自然的思路，它可以直接学习如何从先前已有的设计中延承半导体芯片的设计方法，而无需再经历一遍传统的笨重模型。各种机器学习模型已嵌入到最新的EDA流程中，以加速计算的试验路由和布局、功率估计、时序分析、参数调整、信号完整性等。机器学习算法也已经在芯片的硬件模块中实现，以监测和预测芯片的运行时功耗。例如我们的APOLLO框架（获得MICRO 2021 最佳论文奖）。

作为最大的EDA专业协会之一，SIGDA致力于提升全球EDA专业人士和学生的技能和知识。SIGDA每年赞助和组织30多个国际和地区会议，编辑和支持多种期刊和通讯，并主办十几场教育和技术活动，包括研讨会、教程、网络研讨会、竞赛、研究论坛和大学演示。通过与我们的行业伙伴合作，SIGDA还为年轻学生、教师和专业人士提供旅行津贴，以支持他们参加会议。我们也颁发一些奖项给社区中的杰出研究人员和志愿者。

ACM：在未来几年里，您所在领域的研究途径会特别具有影响力的一个例子是什么？

陈怡然：我相信，一个通用的和可解释的AI计算硬件设计流程，将是EDA和计算系统研究的下一个革命性技术。

在过去的十年中，人们提出各种硬件设计来加速人工智能模型的计算。然而，设计者总是在设计的通用性和效率之间挣扎，因为为了适应不断变化的模型的独特结构，需要进行许多硬件定制。另一方面，可解释性一直是确保AI模型的鲁棒性和推广模型设计的一个长期挑战。

未来的AI计算硬件设计可能由各种可解释的硬件模块组成，这些模块对应它们各自的算法。AI计算硬件的性能由一个通用的设计流程来保证。一种可能的解决方案是使用神经符号化方法构建一个可组合的AI模型，并实现与符号化算法模块相对应的硬件模块。然后，可以使用扩展的AutoML流自动化目标AI计算硬件的设计，从而在保证通用性和可解释性的情况下实现所需的性能。