36氪获悉,近日,PPIO派欧云正式发布了下一代分布式推理加速技术产品派欧算力云推理加速引擎。据官方介绍,该技术产品通过一系列自研推理加速算法,使大语言模型(LLM)推理性能提升10倍。同时,PPIO积极在硬件层构建分布式算力基础设施,将综合推理成本降低90%以上。
来源:36氪
36氪获悉,近日,PPIO派欧云正式发布了下一代分布式推理加速技术产品派欧算力云推理加速引擎。据官方介绍,该技术产品通过一系列自研推理加速算法,使大语言模型(LLM)推理性能提升10倍。同时,PPIO积极在硬件层构建分布式算力基础设施,将综合推理成本降低90%以上。
来源:36氪