生成式推荐引擎升级,快手在线参数服务器性能与时延深度优化实践|AICon上海

当前,以 Agent 为核心的新一轮技术浪潮正在席卷产业。那么,世界模型的下一个突破在哪?Agent 从 Demo 到工程化还差什么?研发体系不重构,还能撑多久?

6 月 26 日-6 月 27 日,AICon全球人工智能开发与应用大会将在上海举办。本次大会将围绕以上问题,邀请来自腾讯、阿里、快手、华为、飞猪等 50+头部企业的技术负责人、高校与科研机构的一线专家,分享 Agent 在真实生产环境中的落地经验与前瞻思考。深入探讨 Agent 从原型到量产的工程挑战、数据与记忆的基础设施底座、安全可信的落地保障,以及大模型推理优化、智算架构升级等关键命题。

快手科技社区科学部推荐架构高级专家贾荣来已确认出席 “人工智能前沿技术探索” 专题,并发表题为《生成式推荐引擎升级,快手在线参数服务器性能与时延深度优化实践》的主题分享。

在当今大数据与人工智能飞速发展的时代,在线 ParameterServer(参数服务器)作为模型推理的核心组件,承担着海量模型参数的存储、更新与同步重任。随着模型规模的持续扩张以及在线请求量的爆炸式增长,传统在线 ParameterServer 逐渐暴露出性能短板。一方面,传统存储引擎在面对高频次的参数读写请求时,存在着数据访问延迟高、并发处理能力不足的问题;另一方面,基于 TCP/IP 协议的网络通信架构,网络带宽利用率低、传输延迟大的问题愈发凸显,成为了在线 ParameterServer 性能提升的又一关键瓶颈。

针对上述挑战,快手科技的项目团队从存储引擎与网络通信两个核心维度入手,进行了全方位的技术革新。首先是存储引擎的重构,他们通过引入 SIMD 并行计算、内存预取等、按 ttl 分层的精确过期和强制回收方案等技术手段,将存储引擎的极限吞吐提升了 50% 以上;其次,他们通过引入 RDMA 重构了整个通信链路,更是将极限吞吐提升了 270%,同时时延降低到了原来的 1/3。

贾荣来,毕业于哈尔滨工业大学,曾就职于腾讯、百度,主要工作方向包括广告系统、模型训练、分布式存储,当前在快手负责分布式存储相关的工作。他在本次会议的详细演讲内容如下:

演讲提纲:

  1. 大模型时代面临的挑战

  2. 存储引擎的性能突破

  3. RDMA 重构通信链路

  4. 总结与展望

听众收益:

  • 掌握参数服务器存储与网络双维度优化实战方法,解决高并发、高时延工程痛点

  • 借鉴 RDMA 与存储重构落地经验,实现大模型在线服务吞吐与时延的量化提升

除此之外,本次大会还策划了端侧 AI、物理与数字空间智能化、世界模型与多模态智能突破、Agent 架构与工程化实践、Agent 安全与可信治理、企业级研发体系重构、AI 原生数据工程、AI 时代的个人提效与组织变革等 14 个专题论坛,届时将有来自不同行业、不同领域、不同企业的 50+资深专家在现场带来前沿技术洞察和一线实践经验。

更多详情可扫码或联系票务经理 13269078023 进行咨询。

生成式推荐引擎升级,快手在线参数服务器性能与时延深度优化实践|AICon上海