人工智能研究
由主办 idtechex.
人工智能研究
发布2021年4月15日 经过

机器学习时速度

在高速网络设备中插入轻量级优化代码已启用A.kaust.-LED协作,以提高机器学习的速度,并使并行化计算系统五倍。
这种“网络集聚合”技术,与研究人员和系统架构师开发英特尔微软华盛顿大学,可以使用易于可用的可编程网络硬件提供戏剧性的速度改进。
人工智能(AI)的基本好处使其成为“理解”并与世界互动的权力是机器学习步骤,其中模型使用大型标记的训练数据训练。培训AI培训的数据越多,模型可能在暴露于新输入时执行越好。最近的AI应用突发主要是由于更好的机器学习和使用较大的模型和更多样化的数据集。然而,执行机器学习计算是一种极大的税务任务,越来越依赖于运行学习的大型计算机阵列算法在平行下。
“如何以大规模培训深度学习模型是一个非常具有挑战性的问题,”从KAURT研究团队中说Marco Canini。“AI型号可以由数十亿个参数组成,我们可以使用数百个处理器,该处理器需要正常工作。在这种系统中,增量模型更新期间处理器之间的通信变为主要的性能瓶颈。”
该团队在赤脚网络开发的新网络技术中发现了一种潜在的解决方案,英特尔划分。
“我们使用赤脚网络的新可编程Dataplane网络硬件来卸载分布式机器学习培训期间执行的一部分工作,”解释了Amedeo Sapio,这是一个在英特尔加入赤脚网络团队的Kaust校友。“使用这种新的可编程网络硬件,而不是仅仅是网络,移动数据意味着我们可以沿网络路径执行计算。”
团队SwitchML平台的关键创新是允许网络硬件在机器学习过程的型号更新阶段期间在每个同步步骤中执行数据聚合任务。此卸载部分的计算负载不仅,它也显着降低了数据传输量。
“虽然可编程交换机数据平面可以非常快速地进行操作,但它可以做的操作是有限的,”Canini说。“所以我们的解决方案必须简单,硬件足够简单,而且足够灵活,以解决有限的车载内存容量等挑战。SwitchML通过共同设计通信网络和分布式训练算法来解决这一挑战,实现最高5.5的加速度与最先进的方法相比。“
来源和顶级图像:kaust
更多Idtechex期刊