Pruna

大模型好用是好用，但部署成本高。Pruna 就是来解决这个问题的——它不是替代模型，而是对已有模型做优化。通过量化（降低精度减少显存占用）、剪枝（去掉冗余参数）、编译（优化计算图）等一系列压缩技术，把模型的推理速度提上去、体积减下来。支持 LLM、视觉 Transformer 等多种模型类型。对要做模型部署的团队来说，Pruna 可以省掉不少 GPU 费用。