首页
热点
百科
娱乐
科技
资讯
药品
美容
登录
标签
KVCache
大模型推理新突破:分布式推理技术探索与实践
我们还有个担心,在大规模使用 P-D 分离的情况下,传输流量是否会将整个网络环境打爆,流控机制是否足够好,能否使得 Prefill-Decode之间,距离尽可能的短,让 Prefill-Decode 更靠近…
推理
技术
QCon
KVCache
模型
fjmyhfvclm
5天前
10
0