AI 服务概览
AIBuds AI 框架为 AI 对话、AI 录音、流式语音识别、文本转语音、AI 总结、AI 文本翻译、同声传译、对话翻译、图像生成和 AI 问答服务提供统一入口。
每项 AI 服务均由已注册且遵循 AIConnectSDK 的服务商 SDK 提供。App 使用所包含的服务商 SDK 初始化 AIBudsAISDK,选择 AIServiceVendor,再调用 AIBudsAISDK 提供的具体服务 API。
功能概览
选择 AI 服务商
注册 AI 服务商 SDK,并选择 AIBuds AI 服务使用的服务商
AI 录音
运行包含实时转写和最终报告的 AI 音频录制会话
流式语音识别
通过选定的 AI 服务商转写音频数据或音频文件
文本转语音
通过所选 AI 服务商将文本合成为本地音频文件
AI 总结
通过所选 AI 服务商生成或取消增量文本总结
AI 文本翻译
通过所选 AI 服务商增量翻译文本
同声传译
运行语音同声传译会话并接收增量源语言与目标语言结果
对话翻译
使用同声传译构建交替按键说话的翻译轮次
AI 对话
响应设备发起的 AI 语音对话请求,并处理对话内容、意图、语音和会话事件
图像生成
根据提示词生成图像,并按需使用 AI 服务商提供的数量限制和风格
AI 问答
发送文本问题并处理流式回答更新
集成流程
- 安装 App 所需的 AI 框架和服务商 SDK。
- 初始化
AIBudsAISDK时注册服务商 SDK 实现。 - 设备连接后,将其 AI 设备信息提供给 AI 框架。
- 使用
setAIServiceVendor选择.starBurst或.mltcloud。 - 服务商鉴权模式由 App 发起时,完成对应鉴权。
- 启动所需 AI 服务并处理其回调或会话事件。
AI 服务商
公开 SDK 当前定义两个可选服务商:
| 服务商枚举 | AI 服务商 |
|---|---|
.starBurst | 星芒 AI(字节跳动) |
.mltcloud | 骆方案 AI(美乐创) |
.none 表示未选择服务商。它是默认值,不能用于 AI 服务。
服务商注册与选择是独立操作。注册使服务商实现可供框架使用;选择决定后续 AI 服务请求由哪个已注册服务商处理。
服务可用性
已安装的服务商可能没有实现全部服务,支持的语言也可能不同。请使用 AIBudsAISDK 提供的服务商元数据(包括 allSupportedLanguages),并处理具体操作返回的服务不支持错误。
前提条件
- 使用 AI 服务前初始化基础 AIBuds SDK 和
AIBudsAISDK。 - 连接受支持设备并配置其 AI 设备信息。
- 选择已注册的 AI 服务商。
- 服务商要求时完成鉴权。
- 云端服务使用期间保持网络连接。
有关服务商初始化、选择和鉴权检查,请参阅选择 AI 服务商。