新的LLM极限压缩方法将AI部署成本降低8倍

时讯 编辑:
导读 1 36氪获悉,Yandex Research、IST Austria(奥地利科学技术研究所)、Neural Magic和KAUST开发并开源了两种大型语言模型(LLM)压缩方...
1

36氪获悉,Yandex Research、IST Austria(奥地利科学技术研究所)、Neural Magic和KAUST开发并开源了两种大型语言模型(LLM)压缩方法,AQLM和PV-Tuning,将模型大小减少多达8倍,同时保留95%的响应质量。据介绍,新方法将设备成本降低最多8倍,大幅降低AI部署的进入门槛。

来源:36氪

标签:
免责声明:本文由用户上传,如有侵权请联系删除!