SGLang 能帮你完成什么工作
选一项工作查看准备材料、执行建议和交付检查。
01部署多模态模型服务
- 准备材料
- 受支持模型
- 运行设备
- 推理配置
- 怎样开始
- 根据应用需要选择语言或多模态模型，并配置模型文件与运行环境。
- 启动 SGLang 服务，把客户端请求指向对应推理接口。
- 用实际文本或多模态样例试调用，检查结果和服务日志再扩大使用。
- 交付目标
- 模型服务
- 推理结果
- 人工检查
- 核对模型与硬件组合，使用代表性输入检查输出。
SGLang 是什么
运行语言、视觉语言和扩散模型推理，并为应用提供模型服务。
费用与使用条件
正式使用前，查看官方当前账号、功能、导出和输入资料要求，核对结果是否适合你的任务。
