Обзор AI-сервисов

Фреймворк AIBuds AI предоставляет единую точку доступа к AI-диалогам, аудиозаписи, потоковому распознаванию речи, синтезу речи, созданию сводок, переводу текста, синхронному и диалоговому переводу, генерации изображений и AI-вопросам.

Каждый AI-сервис предоставляется зарегистрированным SDK поставщика, соответствующим AIConnectSDK. Приложение инициализирует AIBudsAISDK подключёнными SDK поставщиков, выбирает AIServiceVendor, а затем вызывает API нужного сервиса через AIBudsAISDK.

Возможности

📄️Выбор поставщика AI-сервисов

Регистрация SDK поставщиков и выбор поставщика для AI-сервисов AIBuds

📄️AI-аудиозапись

AI-аудиозапись с распознаванием речи в реальном времени и итоговым отчётом

📄️Потоковое распознавание речи

Распознавание аудиоданных или аудиофайла через выбранного поставщика AI-сервисов

📄️Синтез речи

Синтез текста в локальный аудиофайл через выбранного поставщика AI-сервисов

📄️AI-сводка

Потоковое создание и отмена текстовой сводки через выбранного поставщика AI-сервисов

📄️AI-перевод текста

Потоковый перевод текста через выбранного поставщика AI-сервисов

📄️Синхронный перевод

Сессия устного перевода с потоковыми результатами исходной и целевой речи

📄️Диалоговый перевод

Поочерёдный перевод реплик в режиме push-to-talk на основе синхронного перевода

📄️AI-диалог

Голосовой AI-диалог по запросу устройства с обработкой данных, намерений, аудио и событий

📄️Генерация изображений

Генерация изображений по запросу с учётом необязательных лимитов и стилей поставщика

📄️AI-вопросы

Отправка текстового вопроса и обработка потоковых обновлений ответа

Порядок интеграции

1. Установите AI-фреймворк и SDK поставщиков, необходимые приложению.
2. Зарегистрируйте реализации SDK поставщиков при инициализации AIBudsAISDK.
3. После подключения устройства передайте его AI-данные во фреймворк.
4. Выберите .starBurst или .mltcloud через setAIServiceVendor.
5. Если авторизацию поставщика инициирует приложение, завершите её.
6. Запустите нужный AI-сервис и обрабатывайте его callbacks или события сессии.

Поставщики AI-сервисов

Публичный SDK сейчас поддерживает двух выбираемых поставщиков:

Значение enum	Поставщик AI-сервисов
.starBurst	StarBurst AI от ByteDance
.mltcloud	MltCloud AI от Meilc

.none означает, что поставщик не выбран. Это значение по умолчанию не является рабочим поставщиком AI-сервисов.

Регистрация и выбор поставщика — разные операции. Регистрация делает реализацию доступной фреймворку, а выбор определяет, какой зарегистрированный поставщик будет обрабатывать последующие запросы AI-сервисов.

Доступность сервисов

Установленный поставщик может реализовывать не все сервисы и поддерживать иной набор языков. Используйте метаданные поставщика из AIBudsAISDK, включая allSupportedLanguages, и обрабатывайте ошибки неподдерживаемых сервисов, возвращаемые отдельными операциями.

Предварительные условия

• До использования AI-сервисов инициализируйте базовый AIBuds SDK и AIBudsAISDK.
• Подключите поддерживаемое устройство и настройте его AI-данные.
• Выберите зарегистрированного поставщика AI-сервисов.
• Если поставщик требует авторизацию, завершите её.
• Для облачных сервисов обеспечьте сетевое подключение.

Инициализация, выбор и проверка авторизации поставщика описаны в разделе «Выбор поставщика AI-сервисов».