分布式人工智能研究机构Gradient推出Echo-2分布式强化学习平台
在架构设计上,Echo-2实现了学习器与执行器的彻底分离,使得拥有300亿参数的模型后训练成本由4500美元降至大约425美元,同时,在相同的预算下,其研究处理量提升了十倍。Echo-2采用存储与计算分离的结构,利用异步强化学习技术进行大规模样本计算,并借助不稳定的GPU实例及Parallax架构的异构GPU进行分布式处理。此外,Echo-2还引入了有限延迟机制、实例容错调度以及自研的Lattica通信协议,在确保模型精度的同时,大幅提高了训练效率。
同步推出强化学习服务平台“Logits”
与Echo-2一同发布的还有强化学习服务平台“Logits”。Gradient宣布,该平台旨在促进人工智能研究从资本密集型向效率导向型转变。目前,“Logits”已向全球学生和研究人员开放预约。作为一家专注于大规模模型分布式训练、服务与部署基础设施构建的人工智能研究机构,Gradient此次的发布进一步确立了其在高效计算领域的技术地位。
佳佳币资讯站