知识库 / 服务与编排
GitHub
← 返回知识地图

LAYER 06 / SERVING & ORCHESTRATION

服务与编排

连接模型与真实请求,让能力稳定地交付。

调度 · 路由 · API · 1 篇笔记
01

模型服务、调度、路由与 API

多个请求怎样共享模型实例,并在延迟、吞吐和隔离之间权衡。

12 分钟阅读

输入关键词,探索整个知识库

↑ ↓ 选择 ↵ 打开36 篇笔记,一次搜索