DeepConf on vLLM（源码指导版）
2025-05-22
DeepConf on vLLM（源码指导版）
宝子们，这几天被Meta的这篇「Deep think with confidence」刷屏了，老兵仔细读了下论文，确实是工程学上的一大创新，不需要额外训练，不需要微调参数，也不需要时间换空间，只通过置信度confidence减少无关token的生成和资源消耗，并且大幅度提高推理准确率，值得宝子们去玩玩！
原作者已开源DeepConf的源码指导版（见图一），宝子们可以在vLLM上自行尝试玩玩，就修改几十行代码，取得这样的效果，确实牛！
#大模型 #大模型教学 #大模型学习
#大模型推理 #meta #vLLM
#深度思考 #大模型应用
