发布时间：2024-10-24 文章来源：人民邮电报

 

　　九、大模型高效推理技术

 

　　该发明技术提出的高效推理技术，底层模型层基于飞桨框架，在推理架构方向，结合主流的Prefix Caching、Lookahead等方向持续创新，并将各项技术高效结合，大幅提升模型吞吐和性能。在大模型压缩方面，采用大模型无损量化技术，通过激活自适应分段平滑与权重联动重排等方法，在业内率先实现了对百亿千亿级大模型的高效无损压缩。该发明支持多种大模型压缩和推理加速手段，目前已应用于百度智能云千帆大模型平台等核心业务，减少模型推理的资源消耗，节省大模型部署成本超50%，提升模型性能，模型吞吐提升3倍—5倍。

 

　　十、用户数据反馈驱动的检索生成系统

 

　　该发明技术提出的检索生成系统，能够结合用户行为反馈信号，实现快速自我强化。通过满意度建模和强化学习直接对齐用户偏好，并利用用户反馈触发系统快速反思，解决了传统数据应用时专家反馈效率低和用户偏好建模难的问题。基于该框架的检索生成系统已覆盖18%的搜索流量，广泛应用于文字、视频、图片等搜索场景。