12月20日SGLang AI金融π对活动在杭州收官，聚焦大模型推理效率与Agent应用。SGLang已原生支持昇腾作为后端，DeepSeek、Qwen、GLM等模型可在不调整参数的情况下直接运行。

针对高并发、长上下文场景，SGLang引入HiCache体系，将KV cache扩展到CPU和远端存储，由Cache Controller自动管理KV卸载填装，结合流水线化异步预取，降低显存占用。针对混合模型，通过Mamba Radix Tree实现前缀统一管理，Elastic Memory Pool弹性调度KV Cache与Mamba State。

针对强化学习权重频繁更新问题，Mooncake基于Transfer Engine采用异步预读和pipeline并行设计，Kimi K2万亿参数模型权重更新准备时间压缩至20秒，63B模型冷启动从85秒降至9秒。针对rollout长尾请求问题，SGLang通过Server化+全异步执行、oversample与partial rollout机制优化。

这些优化已可在昇腾平台上直接运行，进入实际推理流程。