Пользователям ИИ-помощника ГигаЧат стала доступна обновлённая нейросеть GigaChat Audio – большая языковая модель, которая способна обрабатывать аудиофайлы и голосовые сообщения без предварительного преобразования речи в текст. Искусственный интеллект научился понимать интонацию пользователя и получил расширенные возможности по обработке звуковой информации.
Антон Фролов, старший вице-президент, руководитель блока «Развитие генеративного ИИ» Сбербанка:
«Голос — самый естественный способ общения с технологией, но и самый требовательный: любая ошибка в распознавании или неверно считанная эмоция сразу разрушает доверие к ассистенту. Поэтому мы считаем аудио точкой роста для рынка ИИ-помощников. Запуская эти модели в открытый доступ, мы даём мощный инструмент разработчикам и учёным. От синхронного голосового перевода до сервисов для людей с нарушениями речи — спектр применений у голосовых технологий очень широкий. А мультиязычность и возможность легкого обучения другим языкам открывает для них и международные перспективы».
Теперь ГигаЧат распознает, с позитивной или негативной эмоцией обращается к нему пользователь — по интонации, характеристикам голоса и нюансам произношения. Это позволяет ему реагировать уместнее: например, мягче отвечать раздражённому пользователю или поддержать настроение, если человек делится хорошей новостью.
Модель может обрабатывать записи длиной до трех часов и ориентироваться внутри них: можно спросить, в какой момент разговора обсуждали конкретный вопрос, попросить пересказать отдельный отрезок или получить саммари всей записи со ссылками на таймкоды. Нейросеть также способна различать в записи спикеров. Эти возможности будут полезны для разбора совещаний и звонков, навигации по записям, протоколирования.
ИИ-помощник теперь сможет запомнить важные факты для пользователя прямо из голосового диалога и опираться на них в следующих сессиях. При повторном обращении ГигаЧат будет учитывать ранее озвученные пожелания, например, составляет маршрут путешествия с учётом интересов пользователя. Пользователь полностью контролирует функцию: зафиксированные факты можно посмотреть, отредактировать или отключить память в настройках профиля в любой момент.