36氪获悉,Yandex Research、IST Austria(奥地利科学技术研究所)、Neural Magic和KAUST开发并开源了两种大型语言模型(LLM)压缩方法,AQLM和PV-Tuning,将模型大小减少多达8倍,同时保留95%的响应质量。据介绍,新方法将设备成本降低最多8倍,大幅降低AI部署的进入门槛。
来源:36氪
36氪获悉,Yandex Research、IST Austria(奥地利科学技术研究所)、Neural Magic和KAUST开发并开源了两种大型语言模型(LLM)压缩方法,AQLM和PV-Tuning,将模型大小减少多达8倍,同时保留95%的响应质量。据介绍,新方法将设备成本降低最多8倍,大幅降低AI部署的进入门槛。
来源:36氪