867bb的新网站是多少-亚马逊推出Inferentia芯片 提升AWS推理计算效益

867bb的新网站是多少-亚马逊推出Inferentia芯片 提升AWS推理计算效益

867bb的新网站是多少,在 re:invent 大会上,aws 不仅宣布了 sagemaker studio 机器学习集成开发环境,还推出了 inferentia 芯片。去年首次宣布的该芯片,能够加速机器学习的推理计算。在 inferentia 芯片的加持下,研究者可较之前预先训练过的模型带来更明显的提速、且更具成本效益。

(图自:aws)

aws 首席执行官 andy jassy 指出:许多企业都在模型训练的定制芯片上投入了大量精力,尽管常规 cpu 上已经能够较好地执行推理运算,但定制芯片的效率明显更高。

与 ec4 上的常规 g4 实例相比,inferentia 能够让 aws 带来更低的延时、三倍的吞吐量、且降低 40% 单次的成本。

(截图 via aws)

新的 inf1 实例,可实现高达 2000 tops 的特性、与 tensorflow、pytorch 和 mxnet 集成、且支持可在框架之间迁移的 onnx 模型格式。

目前其仅可在 ec2 计算服务中使用,但 aws 将很快为其引入对 sagemaker 机器学习和其它容器服务的支持。