世界上最大的芯片刚刚获得了机器学习风味的重大升级

摘要 全球最大芯片制造商CerebrasSystems宣布其CS-2系统现在支持PyTorch和TensorFlow,这将使研究人员能够快速轻松地训练具有数十亿参数的模型。

全球最大芯片制造商CerebrasSystems宣布其CS-2系统现在支持PyTorch和TensorFlow,这将使研究人员能够快速轻松地训练具有数十亿参数的模型。

该公司的CS-2是世界上最快的AI系统,由其Wafer-ScaleEngine2(WSE-2)CPU提供支持。随着Cerebras软件平台(CSoft)1.2版的发布,CS-2现在支持额外的机器学习框架,这将为开发人员在他们想要运行的模型类型方面提供更多选择。

CerebrasSystems的AI框架高级总监EmadBarsoum在新闻稿中提供了关于CSoft现在如何使开发人员能够表达用TensorFlow或PyTorch编写的模型的进一步见解,他说:

“从一开始,我们的目标就是无缝支持客户想要编写的任何机器学习框架。我们的客户使用TensorFlow和PyTorch编写代码,而我们的软件堆栈CSoft可以让您在框架中快速轻松地表达模型你的选择。通过这样做,我们的客户可以访问CerebrasCS-2中的850,000个AI优化内核和40GB的片上内存。”

CSoft1.2版现在使开发人员能够在PyTorch或TensorFlow的开源框架中编写他们的模型,并在CerebrasCS-2上运行它们,而无需进行任何修改。同时,为GPU或CPU编写的AI模型可以在CS-2上的CSoft中运行,无需任何更改。

借助CS-2和CSoft的强大功能,开发人员可以从BERT等小型模型无缝扩展到GPT-3等现有最大模型。

使用GPU训练大型模型具有挑战性且耗时,而在新数据集上从头开始训练通常需要数周甚至10兆瓦的功率才能在大型旧设备集群上运行。此外,随着集群规模的增长,功率、成本和复杂性呈指数增长。

CerebrasSystems构建了CS-2来应对这些挑战,其AI系统甚至可以在几分钟内建立最大的模型。由于开发人员使用CS-2设置、配置和训练模型所花费的时间更少,因此他们能够在更短的时间内探索更多想法。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。