Text Generation Inference 能帮你完成什么工作
选一项工作查看准备材料、执行建议和交付检查。
01部署文本生成接口
- 准备材料
- 受支持语言模型
- 服务运行环境
- 怎样开始
- 选定文本生成模型,并按部署说明配置模型标识、设备与启动参数。
- 启动 Text Generation Inference 服务,确认模型完成加载。
- 向接口提交测试提示词,检查生成内容与服务状态后再连接业务应用。
- 交付目标
- 文本生成服务
- 请求响应
- 人工检查
- 核对维护状态、模型兼容性与返回结果。
Text Generation Inference 是什么
使用 Rust、Python 与 gRPC 服务组件部署文本生成推理;项目当前处于维护模式。
费用与使用条件
正式使用前,查看官方当前账号、功能、导出和输入资料要求,核对结果是否适合你的任务。

