メインコンテンツまでスキップ

音声アシスタント概要

オンデバイス音声アシスタントは、対応するウェイクアップとコマンド処理をウェアラブルデバイス上で実行します。アプリは OnDeviceVoiceAssistantAPI を通じて、デバイスの対応機能と現在のモードを確認し、対応するモードへの切り替えを要求できます。

機能概要​

AI を活用して実装

AI で実装

AI でこのワークフローを実装

公式の「AIBuds オンデバイス音声アシスタントの管理」スキルを使い、アプリに合わせて実装します。

https://docs-aibuds.github.io/ja/skills/manage-aibuds-on-device-voice-assistant を読み、その指示に従ってください。このスキルで「AIBuds オンデバイス音声アシスタントの管理」をこの iOS プロジェクトに実装し、検証してください。
公式スキルを見る

対応機能とモード​

OnDeviceVoiceAssistantCapability は、デバイスが対応する機能を示します。

対応機能利用できる動作
.noneオンデバイス音声コマンドには対応していません。
.keywordWakeup「Hi Buds」などのキーワードによるウェイクアップのみ。
.common再生、曲送り、音量調整などの一般的なコマンド。

OnDeviceVoiceAssistantMode は、現在有効な動作を示します。

モード動作
.unknown現在のモードを取得できません。設定値として使用しないでください。
.disabledオンデバイス音声アシスタントは無効です。
.basicウェイクアップと基本的な音声コマンド。
.advanced基本動作に加えて、通話状態に応じた音声操作を利用できます。

提示できるモードは対応機能によって決まります。現在の Demo では、.keywordWakeup に disabled と basic、.common に disabled、basic、advanced を表示します。

導入手順​

Animated workflow

音声アシスタントの導入フロー

SDK を組み込み、認証状態とデバイスの対応機能を確認して、利用可能なアシスタントモードだけを表示します。

ホストアプリ

SDK を初期化

ホストアプリに AIBuds SDK 本体をインストールして初期化します。

ホストアプリ

連携モジュールを追加

サービス認証が必要な場合は AIBudsVoiceAssistant を追加します。

サービス

認証を完了

音声アシスタントサービスに必要な認証フローを完了します。

デバイス

デバイスを接続

接続中のデバイスが OnDeviceVoiceAssistantAPI に準拠していることを確認します。

デバイス → アプリ

対応機能とモードを取得

対応する動作と、現在有効なアシスタントモードを確認します。

ホストアプリ → デバイス

対応モードを適用

有効なモードだけを提示して選択内容を適用し、完了または変更コールバックから UI を更新します。

アプリに表示するモードは Capability に基づいて決定し、.unknown は設定しないでください。

前提条件​

  • デバイスが接続済みで、使用可能な状態になっていること。
  • 必要なサービス認証が完了していること。
  • デバイスが OnDeviceVoiceAssistantAPI に準拠し、.none 以外の Capability を持つこと。