AI サービス概要
AIBuds AI フレームワークは、AI チャット、音声録音、ストリーミング音声認識、テキスト読み上げ、要約、テキスト翻訳、同時通訳、対話翻訳、画像生成、AI 質問応答の共通エントリーポイントを提供します。
各 AI サービスは、AIConnectSDK に準拠して登録されたサービスプロバイダー SDK によって提供されます。アプリに組み込んだプロバイダー SDK を使って AIBudsAISDK を初期化し、AIServiceVendor を選択してから、AIBudsAISDK が公開する各サービスの API を呼び出します。
機能概要
AI サービスプロバイダーを選択
AI プロバイダー SDK を登録し、AIBuds AI サービスで使用するプロバイダーを選択する
AI 録音
リアルタイム文字起こしと最終レポートを伴う AI 録音セッションを実行する
ストリーミング音声認識
選択中の AI プロバイダーで音声データまたは音声ファイルを文字起こしする
音声合成
選択中の AI プロバイダーを使用してテキストからローカル音声ファイルを生成する
AI 要約
選択中の AI プロバイダーでテキスト要約を逐次生成し、必要に応じてキャンセルする
AI テキスト翻訳
選択中の AI サービスプロバイダーを使用してテキストを逐次翻訳する
同時通訳
原文と訳文を逐次受け取る音声同時通訳セッションを実行する
対話翻訳
同時通訳を利用して、交互に話すプッシュ・トゥ・トーク形式の翻訳を実装する
AI 対話
デバイスから開始される AI 音声対話セッションを実行し、対話、インテント、音声、イベントのコールバックを処理する
画像生成
プロバイダーが対応する生成数の上限やスタイルを任意で指定して画像を生成する
AI 問答
テキストで質問を送り、ストリーミングで届く回答を処理する
導入手順
- アプリで必要となる AI フレームワークとサービスプロバイダー SDK をインストールします。
AIBudsAISDKの初期化時に、プロバイダー SDK の実装を登録します。- デバイス接続後、その AI デバイス情報を AI フレームワークに渡します。
setAIServiceVendorで.starBurstまたは.mltcloudを選択します。- 認証をアプリから開始する方式のプロバイダーでは、認証を完了します。
- 必要な AI サービスを開始し、コールバックまたはセッションイベントを処理します。
AI サービスプロバイダー
公開 SDK では、現在次の 2 つのサービスプロバイダーを選択できます。
| 列挙型のケース | サービスプロバイダー |
|---|---|
.starBurst | StarBurst AI（ByteDance 提供） |
.mltcloud | MltCloud AI（Meilc 提供） |
.none はプロバイダーが未選択であることを示す既定値であり、AI サービスプロバイダーとしては使用できません。
プロバイダーの登録と選択は別の操作です。登録によってプロバイダー実装をフレームワークから利用できるようになり、選択によって以降の AI サービス要求を処理する登録済みプロバイダーが決まります。
サービスの対応状況
インストールしたプロバイダーがすべてのサービスを実装しているとは限らず、対応言語もプロバイダーごとに異なります。allSupportedLanguages など、AIBudsAISDK が公開するプロバイダーのメタデータを確認し、各操作から返される未対応サービスのエラーを適切に処理してください。
前提条件
- AI サービスを使用する前に、AIBuds SDK 本体と
AIBudsAISDKを初期化します。 - 対応デバイスを接続し、その AI デバイス情報を設定します。
- 登録済みの AI サービスプロバイダーを選択します。
- プロバイダーが認証を必要とする場合は、認証を完了します。
- クラウドを利用するサービスでは、ネットワーク接続を維持します。
プロバイダーの初期化、選択、認証状態の確認については、AI サービスプロバイダーを選択するを参照してください。