Вы можете использовать модель Gemini TTS (gemini-3.8-flash-tts или gemini-3.8-flash-lite-tts), чтобы синтезировать естественную, выразительную речь (аудио) из текста. При использовании Firebase AI Logic вы можете отправлять этот запрос непосредственно из мобильного или веб-приложения, например Apple (Swift), Android (Kotlin/Java), Web (JavaScript), Flutter (Dart) или Unity.
Генерация речи из текста (TTS) управляема. Это значит, что вы предоставляете точный текст для синтеза речи и задаете параметры ее воспроизведения, такие как эмоции, темп, голоса говорящих и неречевые звуки, например смех или вздохи, используя структурированные метаданные и встроенные голосовые теги. Синтез речи – это процесс, обратный расшифровке (преобразованию речи в текст).
С помощью этой функции вы можете создавать такие функции, как:
- Интерактивный сторителлинг и аудиокниги. Озвучивайте длинные истории или ролевые игры, в которых персонажи говорят разными голосами, реагируют друг на друга, перебивая, и меняют эмоциональную подачу (например, шепчут в напряженные моменты или смеются над шутками).
- Голосовые агенты и помощники с низкой задержкой. Потоковая передача синтезированной речи сразу после получения текста от LLM с сохранением единого голоса на протяжении всего разговора.
- Чтение многоязычного контента и обучение языкам. Читайте вслух статьи, рецепты или учебные материалы на более чем 130 языках и региональных акцентах или легко переключайтесь между языками в рамках одного разговора.
В этом руководстве рассказывается, как генерировать речь одного или нескольких говорящих, передавать аудиоответы в потоковом режиме, управлять голосом с помощью SpeechMetadata и встроенных тегов, а также выбирать голоса из библиотеки или создавать собственные.
Перейти к коду для одного динамика Перейти к коду для нескольких динамиков Перейти к коду для потоковой передачи
Сравнение TTS и Live API
Модели преобразования текста в речь (TTS) и модели Live API – это модели генерации речи с низкой задержкой, которые можно настроить для разных голосов и языков. Однако они служат для разных целей.
Синтез речи – это однонаправленное взаимодействие по принципу "запрос – ответ" (текст на входе, аудио на выходе). Она подходит для ситуаций, когда требуется точное воспроизведение предоставленного текста с точным контролем над стилем и звуком, например для озвучивания подкастов, аудиокниг или чтения статей вслух.
Live API поддерживает двунаправленную потоковую передачу для голосовых разговоров в реальном времени (голосовой ввод и вывод). Она отлично подходит для динамических разговоров, в которых модель сама решает, какой ответ дать. Обратите внимание, что последние модели Live API также поддерживают видео и изображения.
Подготовка
|
Нажмите на название своего поставщика Gemini API, чтобы посмотреть контент и код, относящиеся к нему. |
Если вы ещё этого не сделали, ознакомьтесь с руководством по началу работы. В нем рассказывается, как настроить проект Firebase, подключить приложение к Firebase, добавить SDK, инициализировать бэкенд-службу для выбранного поставщика Gemini API и создать экземпляр GenerativeModel.
Для тестирования и доработки запросов рекомендуем использовать Google AI Studio.
Модели, поддерживающие эту функцию
gemini-3.8-flash-ttsgemini-3.8-flash-lite-tts
Сравнение моделей TTS
Обе модели Gemini 3.x TTS имеют одинаковую схему запроса и формат подсказки. Однако между ними есть различия, которые могут повлиять на ваш выбор.
| Функция или рабочая нагрузка | gemini-3.8-flash-tts |
gemini-3.8-flash-lite-tts |
|---|---|---|
| Основная сильная сторона | Студийное качество звука, передача нюансов речи и поддержка множества диалектов. | Высокая пропускная способность, низкая задержка и экономичность |
| Примеры использования | Аудиокниги, студийная озвучка, сложные диалоги с несколькими говорящими, частые теги вокальных всплесков, сложное произношение, региональные диалекты. | Массовое производство, каскады голосовых агентов в реальном времени, функции чтения вслух в интерфейсе, повседневная речь одного говорящего. |
| Поддерживаемые языки | 132 языка | 103 языка |
Генерируйте речь из текста
Вы можете генерировать речь из текста, озвученного одним или двумя голосами, в виде полного WAV-файла (generateContent) или необработанного аудиопотока PCM с низкой задержкой (generateContentStream).
Генерировать речь с одним говорящим
|
Прежде чем использовать этот пример, выполните инструкции из раздела Подготовка, чтобы настроить проект и приложение. В этом разделе также нужно нажать кнопку для выбранного поставщика Gemini API, чтобы на странице показывался контент, относящийся к нему. |
Вот как сгенерировать аудио с одним говорящим:
В файле
GenerationConfigзадайте дляresponseModalitiesзначениеAUDIOи настройтеSpeechConfigследующим образом:(Обязательный.) Название или идентификатор голоса. Это может быть встроенный голос, например
Kore, идентификатор голоса из расширенной библиотеки голосов или идентификатор собственного голосаvoice_.../voicekey_....Необязательный параметр. Код языка по стандарту BCP 47. Если этот параметр не указан, модель автоматически определяет язык.
Создайте
TextPartсо следующими параметрами:(Обязательно) Дословная расшифровка того, что нужно сказать.
Необязательно. Элемент
SpeechMetadataс описаниемstyle(например,"cheerful and friendly").
Позвоните по номеру
generateContent. По умолчанию унарные запросы возвращают полный аудиофайл WAV (audio/wav) (16-битный линейный PCM, 24 кГц, моно, со стандартным 44-байтовым заголовком RIFF) во встроенных частях данных ответа.
Swift
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Set `responseModalities` to include `.audio`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
let config = GenerationConfig(
responseModalities: [.audio],
speechConfig: SpeechConfig(voiceName: "Kore", languageCode: "en-US")
)
// Create a `GenerativeModel` instance with a model that supports speech generation.
let model = ai.generativeModel(
modelName: "gemini-3.8-flash-tts",
generationConfig: config
)
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
let prompt = TextPart(
"Have a wonderful day!",
speechMetadata: SpeechMetadata(style: "cheerful and friendly")
)
// Call `generateContent` to generate the speech output.
let response = try await model.generateContent(prompt)
// Extract the WAV audio data and handle it for downstream use. For example:
for part in response.inlineDataParts {
let wavData = part.data // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
let mimeType = part.mimeType // for example: "audio/wav"
print("Received audio data with MIME type: \(mimeType)")
// Play the WAV audio data using your own playback helper (for example, with `AVAudioPlayer(data: wavData)`).
playAudio(data: wavData)
}
Kotlin
Для Kotlin методы в этом SDK являются функциями приостановки и должны вызываться из области сопрограммы.
// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
val config = generationConfig {
responseModalities = listOf(ResponseModality.AUDIO)
speechConfig = SpeechConfig(
voice = Voice("Kore"),
languageCode = "en-US"
)
}
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
.generativeModel(
modelName = "gemini-3.8-flash-tts",
generationConfig = config
)
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
val prompt = content {
text(
text = "Have a wonderful day!",
speechMetadata = SpeechMetadata(style = "cheerful and friendly")
)
}
// Call `generateContent` to generate the speech output.
val response = model.generateContent(prompt)
// Extract the WAV audio data and handle it for downstream use. For example:
val part = response.candidates.firstOrNull()?.content?.parts?.firstOrNull()
if (part is InlineDataPart) {
val wavData = part.inlineData // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
// Pass the audio data to your audio player or playback helper (which you'll need to implement).
playAudio(wavData)
}
Java
В Java методы потоковой передачи в этом SDK возвращают типPublisher из библиотеки Reactive Streams.
// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
GenerationConfig config = new GenerationConfig.Builder()
.setResponseModalities(Collections.singletonList(ResponseModality.AUDIO))
.setSpeechConfig(new SpeechConfig(new Voice("Kore"), "en-US"))
.build();
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash-tts", config);
// Use the GenerativeModelFutures Java compatibility layer.
GenerativeModelFutures model = GenerativeModelFutures.from(ai);
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
Content content = new Content.Builder()
.addText("Have a wonderful day!", new SpeechMetadata(null, "cheerful and friendly"))
.build();
Executor executor = Executors.newSingleThreadExecutor();
// Call `generateContent` to generate the speech output.
// Extract the WAV audio data and handle it for downstream use.
ListenableFuture<GenerateContentResponse> response = model.generateContent(content);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
@Override
public void onSuccess(GenerateContentResponse result) {
Part part = result.getCandidates().get(0).getContent().getParts().get(0);
if (part instanceof InlineDataPart) {
byte[] wavData = ((InlineDataPart) part).getInlineData(); // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
// Pass the audio data to your audio player or playback helper (which you'll need to implement).
playAudio(wavData);
}
}
@Override
public void onFailure(Throwable t) {
t.printStackTrace();
}
}, executor);
Web
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";
// TODO(developer): Replace with your app's Firebase configuration
const firebaseConfig = { /* ... */ };
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
const generationConfig = {
responseModalities: [ResponseModality.AUDIO],
speechConfig: {
voiceConfig: { prebuiltVoiceConfig: { voiceName: "Kore" } },
languageCode: "en-US"
}
};
// Create a `GenerativeModel` instance with a model that supports speech generation.
const model = getGenerativeModel(ai, {
model: "gemini-3.8-flash-tts",
generationConfig
});
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
const prompt = [
{
type: "text",
text: "Have a wonderful day!",
speechMetadata: { style: "cheerful and friendly" }
}
];
// Call `generateContent` to generate the speech output.
const result = await model.generateContent(prompt);
const inlineDataParts = result.response.inlineDataParts();
// Extract the WAV audio data and handle it for downstream use. For example:
if (inlineDataParts?.[0]) {
const wavBase64 = inlineDataParts[0].inlineData.data; // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
// Decode base64 to ArrayBuffer
const wavBuffer = Uint8Array.from(atob(wavBase64), c => c.charCodeAt(0)).buffer;
// The response is a complete WAV file, so the Web Audio API can decode and play it directly.
const audioCtx = new AudioContext();
const audioBuffer = await audioCtx.decodeAudioData(wavBuffer);
const source = audioCtx.createBufferSource();
source.buffer = audioBuffer;
source.connect(audioCtx.destination);
source.start();
}
Dart
import 'package:firebase_ai/firebase_ai.dart';
// Set `responseModalities` to include `audio`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
final config = GenerationConfig(
responseModalities: [ResponseModalities.audio],
speechConfig: SpeechConfig(voiceName: 'Kore', languageCode: 'en-US'),
);
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
final model = FirebaseAI.googleAI().generativeModel(
model: 'gemini-3.8-flash-tts',
generationConfig: config,
);
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
final prompt = Content.multi([
TextPart(
'Have a wonderful day!',
speechMetadata: SpeechMetadata(style: 'cheerful and friendly'),
),
]);
// Call `generateContent` to generate the speech output.
final response = await model.generateContent([prompt]);
// Extract the WAV audio data and handle it for downstream use. For example:
final part = response.candidates.first.content.parts.first;
if (part is InlineDataPart && part.mimeType.startsWith('audio/')) {
final Uint8List wavData = part.bytes; // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
// Play the WAV audio data using your preferred audio player or helper (which you'll need to implement).
await playAudio(wavData);
}
Unity
using Firebase.AI;
// Initialize the Gemini Developer API backend service.
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());
// Set `responseModalities` to include `Audio`.
// Configure a `SpeechConfig` with your chosen voice name and language code.
var config = new GenerationConfig(
responseModalities: new System.Collections.Generic.List<ResponseModality> { ResponseModality.Audio },
speechConfig: SpeechConfig.UsePrebuiltVoice("Kore", "en-US")
);
// Create a `GenerativeModel` instance with a model that supports speech generation.
var model = ai.GetGenerativeModel(
modelName: "gemini-3.8-flash-tts",
generationConfig: config
);
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
var prompt = new ModelContent(
new ModelContent.TextPart(
"Have a wonderful day!",
new SpeechMetadata(speaker: null, style: "cheerful and friendly")
)
);
// Call `GenerateContentAsync` to generate the speech output.
var response = await model.GenerateContentAsync(prompt);
// Extract the WAV audio data and handle it for downstream use. For example:
if (response.Candidates.Count > 0) {
foreach (var part in response.Candidates[0].Content.Parts) {
if (part is ModelContent.InlineDataPart inlineData) {
byte[] wavData = inlineData.Data; // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
// Pass the audio data to your audio player or playback helper (which you'll need to implement).
PlayAudio(wavData);
}
}
}
Генерируйте речь с несколькими говорящими
|
Прежде чем использовать этот пример, выполните инструкции из раздела Подготовка, чтобы настроить проект и приложение. В этом разделе также нужно нажать кнопку для выбранного поставщика Gemini API, чтобы на странице показывался контент, относящийся к нему. |
Вы можете сгенерировать естественный диалог двух собеседников в одном запросе, назначив каждому из них отдельный голос и передав каждую реплику в отдельном объекте TextPart:
Создай
MultiSpeakerVoiceConfig, в котором сопоставь имена двух спикеров (например,"Joe"и"Jane") с ихSpeakerVoiceConfigголосами.В
GenerationConfigзадайте дляresponseModalitiesзначениеAUDIOи передайтеMultiSpeakerVoiceConfig(и необязательный параметрlanguageCode) вSpeechConfig.Укажите массив или список объектов
TextPart, по одному объектуTextPartна каждую реплику. На каждом устройствеTextPartзадайте для параметраSpeechMetadataследующие значения:- Обязательное свойство. Значение
speaker, которое совпадает с одним из имен докладчиков, указанных в свойствеMultiSpeakerVoiceConfig. - (Необязательно.) Описание
style(например,"cheerful and friendly").
- Обязательное свойство. Значение
Позвоните по номеру
generateContent. Модель синтезирует весь разговор и возвращает полный аудиофайл WAV (audio/wav).
Swift
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
let multiSpeechConfig = SpeechConfig(
multiSpeakerVoiceConfig: MultiSpeakerVoiceConfig(
speakerVoiceConfigs: [
SpeakerVoiceConfig(speaker: "Joe", voiceName: "Puck"),
SpeakerVoiceConfig(speaker: "Jane", voiceName: "Kore")
]
),
languageCode: "en-US"
)
// Set `responseModalities` to include `.audio`.
let config = GenerationConfig(
responseModalities: [.audio],
speechConfig: multiSpeechConfig
)
// Create a `GenerativeModel` instance with a model that supports speech generation.
let model = ai.generativeModel(
modelName: "gemini-3.8-flash-tts",
generationConfig: config
)
// Provide one `TextPart` per dialogue turn, specifying the speaker and optional style in `SpeechMetadata`.
let prompt: [any PartsRepresentable] = [
TextPart(
"How's it going today, Jane?",
speechMetadata: SpeechMetadata(speaker: "Joe", style: "cheerful and friendly")
),
TextPart(
"Not too bad, how about you?",
speechMetadata: SpeechMetadata(speaker: "Jane", style: "calm and relaxed")
)
]
// Call `generateContent` to generate the multi-speaker speech output.
let response = try await model.generateContent(prompt)
// Extract the WAV audio data and handle it for downstream use. For example:
for part in response.inlineDataParts {
let wavData = part.data // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
let mimeType = part.mimeType // for example: "audio/wav"
print("Received audio data with MIME type: \(mimeType)")
// Play the WAV audio data using your own playback helper (for example, with `AVAudioPlayer(data: wavData)`).
playAudio(data: wavData)
}
Kotlin
Для Kotlin методы в этом SDK являются функциями приостановки и должны вызываться из области сопрограммы.
// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
val multiSpeechConfig = SpeechConfig(
multiSpeakerVoiceConfig = MultiSpeakerVoiceConfig(
speakerVoiceConfigs = listOf(
SpeakerVoiceConfig(speaker = "Joe", voice = Voice("Puck")),
SpeakerVoiceConfig(speaker = "Jane", voice = Voice("Kore"))
)
),
languageCode = "en-US"
)
// Set `responseModalities` to include `AUDIO`.
val config = generationConfig {
responseModalities = listOf(ResponseModality.AUDIO)
speechConfig = multiSpeechConfig
}
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
.generativeModel(
modelName = "gemini-3.8-flash-tts",
generationConfig = config
)
// Provide one text part per dialogue turn, specifying the speaker and optional style in `SpeechMetadata`.
val prompt = content {
text(
text = "How's it going today, Jane?",
speechMetadata = SpeechMetadata(speaker = "Joe", style = "cheerful and friendly")
)
text(
text = "Not too bad, how about you?",
speechMetadata = SpeechMetadata(speaker = "Jane", style = "calm and relaxed")
)
}
// Call `generateContent` to generate the multi-speaker speech output.
val response = model.generateContent(prompt)
// Extract the WAV audio data and handle it for downstream use. For example:
val part = response.candidates.firstOrNull()?.content?.parts?.firstOrNull()
if (part is InlineDataPart) {
val wavData = part.inlineData // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
// Pass the audio data to your audio player or playback helper (which you'll need to implement).
playAudio(wavData)
}
Java
В Java методы потоковой передачи в этом SDK возвращают типPublisher из библиотеки Reactive Streams.
// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
MultiSpeakerVoiceConfig multiSpeakerVoiceConfig = new MultiSpeakerVoiceConfig(
Arrays.asList(
new SpeakerVoiceConfig("Joe", new Voice("Puck")),
new SpeakerVoiceConfig("Jane", new Voice("Kore"))
)
);
SpeechConfig multiSpeechConfig = new SpeechConfig(multiSpeakerVoiceConfig, "en-US");
// Set `responseModalities` to include `AUDIO`.
GenerationConfig config = new GenerationConfig.Builder()
.setResponseModalities(Collections.singletonList(ResponseModality.AUDIO))
.setSpeechConfig(multiSpeechConfig)
.build();
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash-tts", config);
// Use the `GenerativeModelFutures` Java compatibility layer.
GenerativeModelFutures model = GenerativeModelFutures.from(ai);
// Provide one text part per dialogue turn, specifying the speaker and optional style in `SpeechMetadata`.
Content content = new Content.Builder()
.addText(
"How's it going today, Jane?",
new SpeechMetadata("Joe", "cheerful and friendly"))
.addText(
"Not too bad, how about you?",
new SpeechMetadata("Jane", "calm and relaxed"))
.build();
Executor executor = Executors.newSingleThreadExecutor();
// Call `generateContent` to generate the multi-speaker speech output.
// Extract the WAV audio data and handle it for downstream use.
ListenableFuture<GenerateContentResponse> response = model.generateContent(content);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
@Override
public void onSuccess(GenerateContentResponse result) {
Part part = result.getCandidates().get(0).getContent().getParts().get(0);
if (part instanceof InlineDataPart) {
byte[] wavData = ((InlineDataPart) part).getInlineData(); // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
// Pass the audio data to your audio player or playback helper (which you'll need to implement).
playAudio(wavData);
}
}
@Override
public void onFailure(Throwable t) {
t.printStackTrace();
}
}, executor);
Web
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";
// TODO(developer): Replace with your app's Firebase configuration
const firebaseConfig = { /* ... */ };
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
const generationConfig = {
responseModalities: [ResponseModality.AUDIO],
speechConfig: {
multiSpeakerVoiceConfig: {
speakerVoiceConfigs: [
{ speaker: "Joe", voiceConfig: { prebuiltVoiceConfig: { voiceName: "Puck" } } },
{ speaker: "Jane", voiceConfig: { prebuiltVoiceConfig: { voiceName: "Kore" } } }
]
},
languageCode: "en-US"
}
};
// Create a `GenerativeModel` instance with a model that supports speech generation.
const model = getGenerativeModel(ai, {
model: "gemini-3.8-flash-tts",
generationConfig
});
// Provide one `TextPart` per dialogue turn, specifying the speaker and optional style in `speechMetadata`.
const prompt = [
{
type: "text",
text: "How's it going today, Jane?",
speechMetadata: { speaker: "Joe", style: "cheerful and friendly" }
},
{
type: "text",
text: "Not too bad, how about you?",
speechMetadata: { speaker: "Jane", style: "calm and relaxed" }
}
];
// Call `generateContent` to generate the multi-speaker speech output.
const result = await model.generateContent(prompt);
const inlineDataParts = result.response.inlineDataParts();
// Extract the WAV audio data and handle it for downstream use. For example:
if (inlineDataParts?.[0]) {
const wavBase64 = inlineDataParts[0].inlineData.data; // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
// Decode base64 to ArrayBuffer
const wavBuffer = Uint8Array.from(atob(wavBase64), c => c.charCodeAt(0)).buffer;
// The response is a complete WAV file, so the Web Audio API can decode and play it directly.
const audioCtx = new AudioContext();
const audioBuffer = await audioCtx.decodeAudioData(wavBuffer);
const source = audioCtx.createBufferSource();
source.buffer = audioBuffer;
source.connect(audioCtx.destination);
source.start();
}
Dart
import 'package:firebase_ai/firebase_ai.dart';
// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
final multiSpeechConfig = SpeechConfig.multiSpeaker(
multiSpeakerVoiceConfig: MultiSpeakerVoiceConfig(
speakerVoiceConfigs: [
SpeakerVoiceConfig(speaker: 'Joe', voiceName: 'Puck'),
SpeakerVoiceConfig(speaker: 'Jane', voiceName: 'Kore'),
],
),
languageCode: 'en-US',
);
// Set `responseModalities` to include `audio`.
final config = GenerationConfig(
responseModalities: [ResponseModalities.audio],
speechConfig: multiSpeechConfig,
);
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
final model = FirebaseAI.googleAI().generativeModel(
model: 'gemini-3.8-flash-tts',
generationConfig: config,
);
// Provide one `TextPart` per dialogue turn, specifying the speaker and optional style in `SpeechMetadata`.
final prompt = Content.multi([
TextPart(
"How's it going today, Jane?",
speechMetadata: SpeechMetadata(speaker: 'Joe', style: 'cheerful and friendly'),
),
TextPart(
'Not too bad, how about you?',
speechMetadata: SpeechMetadata(speaker: 'Jane', style: 'calm and relaxed'),
),
]);
// Call `generateContent` to generate the multi-speaker speech output.
final response = await model.generateContent([prompt]);
// Extract the WAV audio data and handle it for downstream use. For example:
final part = response.candidates.first.content.parts.first;
if (part is InlineDataPart && part.mimeType.startsWith('audio/')) {
final Uint8List wavData = part.bytes; // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
// Play the WAV audio data using your preferred audio player or helper (which you'll need to implement).
await playAudio(wavData);
}
Unity
using Firebase.AI;
// Initialize the Gemini Developer API backend service.
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());
// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
var multiSpeakerVoiceConfig = new MultiSpeakerVoiceConfig(
new System.Collections.Generic.List<SpeakerVoiceConfig> {
SpeakerVoiceConfig.UsePrebuiltVoice("Joe", "Puck"),
SpeakerVoiceConfig.UsePrebuiltVoice("Jane", "Kore")
}
);
var multiSpeechConfig = SpeechConfig.UseMultiSpeakerVoice(multiSpeakerVoiceConfig, "en-US");
// Set `responseModalities` to include `Audio`.
var config = new GenerationConfig(
responseModalities: new System.Collections.Generic.List<ResponseModality> { ResponseModality.Audio },
speechConfig: multiSpeechConfig
);
// Create a `GenerativeModel` instance with a model that supports speech generation.
var model = ai.GetGenerativeModel(
modelName: "gemini-3.8-flash-tts",
generationConfig: config
);
// Provide one `TextPart` per dialogue turn, specifying the speaker and optional style in `SpeechMetadata`.
var prompt = new ModelContent(
new ModelContent.TextPart(
"How's it going today, Jane?",
new SpeechMetadata(speaker: "Joe", style: "cheerful and friendly")
),
new ModelContent.TextPart(
"Not too bad, how about you?",
new SpeechMetadata(speaker: "Jane", style: "calm and relaxed")
)
);
// Call `GenerateContentAsync` to generate the multi-speaker speech output.
var response = await model.GenerateContentAsync(prompt);
// Extract the WAV audio data and handle it for downstream use. For example:
if (response.Candidates.Count > 0) {
foreach (var part in response.Candidates[0].Content.Parts) {
if (part is ModelContent.InlineDataPart inlineData) {
byte[] wavData = inlineData.Data; // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
// Pass the audio data to your audio player or playback helper (which you'll need to implement).
PlayAudio(wavData);
}
}
}
Включить потоковую передачу ответов
|
Прежде чем использовать этот пример, выполните инструкции из раздела Подготовка, чтобы настроить проект и приложение. В этом разделе также нужно нажать кнопку для выбранного поставщика Gemini API, чтобы на странице показывался контент, относящийся к нему. |
Чтобы сократить время до первого аудио (TTFA) и обеспечить воспроизведение в реальном времени, вы можете транслировать аудиоответ по мере его создания, а не ждать, пока будет готов весь клип. Потоковая передача работает как с одним, так и с несколькими динамиками.
Чтобы транслировать речь, вызовите generateContentStream вместо generateContent.
В отличие от унарных запросов, которые возвращают файл WAV, потоковые запросы возвращают необработанные 16-битные фрагменты PCM без заголовка с прямым порядком байтов (audio/l16, 24 кГц, моно), поэтому вы можете добавлять каждый фрагмент непосредственно в буфер вывода аудио.
Swift
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Set `responseModalities` to include `.audio`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
let config = GenerationConfig(
responseModalities: [.audio],
speechConfig: SpeechConfig(voiceName: "Kore")
)
// Create a `GenerativeModel` instance with a model that supports speech generation.
let model = ai.generativeModel(
modelName: "gemini-3.8-flash-tts",
generationConfig: config
)
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
let prompt = TextPart(
"Tell me a story about a brave knight.",
speechMetadata: SpeechMetadata(style: "warm, engaging audiobook narrator")
)
// Call `generateContentStream` to stream the speech output as it is generated.
let responseStream = try model.generateContentStream(prompt)
// Extract the raw PCM audio chunks and queue them for playback:
for try await chunk in responseStream {
for part in chunk.inlineDataParts {
let pcmChunk = part.data // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)
// Append the audio chunk to your audio queue/buffer for playback (using a helper you implement).
appendAudioChunk(pcmChunk)
}
}
Kotlin
Для Kotlin методы в этом SDK являются функциями приостановки и должны вызываться из области сопрограммы.
// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
val config = generationConfig {
responseModalities = listOf(ResponseModality.AUDIO)
speechConfig = SpeechConfig(voice = Voice("Kore"))
}
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
.generativeModel(
modelName = "gemini-3.8-flash-tts",
generationConfig = config
)
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
val prompt = content {
text(
text = "Tell me a story about a brave knight.",
speechMetadata = SpeechMetadata(style = "warm, engaging audiobook narrator")
)
}
// Call `generateContentStream` to stream the speech output as it is generated.
// Extract the raw PCM audio chunks and queue them for playback.
model.generateContentStream(prompt).collect { chunk ->
val part = chunk.candidates.firstOrNull()?.content?.parts?.firstOrNull()
if (part is InlineDataPart) {
val pcmChunk = part.inlineData // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)
// Append the audio chunk to your audio queue/buffer for playback (using a helper you implement).
appendAudioChunk(pcmChunk)
}
}
Java
В Java методы потоковой передачи в этом SDK возвращают типPublisher из библиотеки Reactive Streams.
// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
GenerationConfig config = new GenerationConfig.Builder()
.setResponseModalities(Collections.singletonList(ResponseModality.AUDIO))
.setSpeechConfig(new SpeechConfig(new Voice("Kore")))
.build();
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash-tts", config);
// Use the `GenerativeModelFutures` Java compatibility layer.
GenerativeModelFutures model = GenerativeModelFutures.from(ai);
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
Content content = new Content.Builder()
.addText(
"Tell me a story about a brave knight.",
new SpeechMetadata(null, "warm, engaging audiobook narrator"))
.build();
// Call `generateContentStream` to stream the speech output as it is generated.
Publisher<GenerateContentResponse> streamingResponse =
model.generateContentStream(content);
// Extract the raw PCM audio chunks and queue them for playback.
streamingResponse.subscribe(new Subscriber<GenerateContentResponse>() {
@Override
public void onSubscribe(Subscription s) {
s.request(Long.MAX_VALUE);
}
@Override
public void onNext(GenerateContentResponse chunk) {
Part part = chunk.getCandidates().get(0).getContent().getParts().get(0);
if (part instanceof InlineDataPart) {
byte[] pcmChunk = ((InlineDataPart) part).getInlineData(); // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)
// Append the audio chunk to your audio queue/buffer for playback (using a helper you implement).
appendAudioChunk(pcmChunk);
}
}
@Override
public void onComplete() {
// Audio stream complete.
}
@Override
public void onError(Throwable t) {
t.printStackTrace();
}
});
Web
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";
// TODO(developer): Replace with your app's Firebase configuration
const firebaseConfig = { /* ... */ };
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
const generationConfig = {
responseModalities: [ResponseModality.AUDIO],
speechConfig: {
voiceConfig: { prebuiltVoiceConfig: { voiceName: "Kore" } }
}
};
// Create a `GenerativeModel` instance with a model that supports speech generation.
const model = getGenerativeModel(ai, {
model: "gemini-3.8-flash-tts",
generationConfig
});
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
const prompt = [
{
type: "text",
text: "Tell me a story about a brave knight.",
speechMetadata: { style: "warm, engaging audiobook narrator" }
}
];
// Call `generateContentStream` to stream the speech output as it is generated.
const result = await model.generateContentStream(prompt);
// Extract the raw PCM audio chunks and queue them for playback:
const playbackQueue = [];
for await (const chunk of result.stream) {
const inlineDataParts = chunk.inlineDataParts();
if (inlineDataParts?.[0]) {
const pcmBase64 = inlineDataParts[0].inlineData.data; // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)
const pcmBuffer = Uint8Array.from(atob(pcmBase64), c => c.charCodeAt(0)).buffer;
// Append the audio chunk to your audio queue/buffer for playback.
// In a real app, start playing chunks as they arrive (rather than waiting for
// the whole stream to finish) to get the low-latency benefit of streaming.
playbackQueue.push(pcmBuffer);
}
}
// To play back an array of PCM buffers in sequence, pass them to your playback helper (which you'll need to write).
processPlaybackQueue(playbackQueue);
Dart
import 'package:firebase_ai/firebase_ai.dart';
// Set `responseModalities` to include `audio`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
final config = GenerationConfig(
responseModalities: [ResponseModalities.audio],
speechConfig: SpeechConfig(voiceName: 'Kore'),
);
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
final model = FirebaseAI.googleAI().generativeModel(
model: 'gemini-3.8-flash-tts',
generationConfig: config,
);
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
final prompt = Content.multi([
TextPart(
'Tell me a story about a brave knight.',
speechMetadata: SpeechMetadata(style: 'warm, engaging audiobook narrator'),
),
]);
// Call `generateContentStream` to stream the speech output as it is generated.
final responseStream = model.generateContentStream([prompt]);
// Extract the raw PCM audio chunks and queue them for playback:
await for (final chunk in responseStream) {
final part = chunk.candidates.first.content.parts.first;
if (part is InlineDataPart && part.mimeType.startsWith('audio/')) {
final Uint8List pcmChunk = part.bytes; // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)
// Append the audio chunk to your audio queue/buffer for playback (using a helper you implement).
appendAudioChunk(pcmChunk);
}
}
Unity
using System.Collections.Generic;
using System.Linq;
using Firebase.AI;
// Initialize the Gemini Developer API backend service.
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());
// Set `ResponseModalities` to include `Audio`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
var config = new GenerationConfig(
responseModalities: new List<ResponseModality> { ResponseModality.Audio },
speechConfig: SpeechConfig.UsePrebuiltVoice("Kore")
);
// Create a `GenerativeModel` instance with a model that supports speech generation.
var model = ai.GetGenerativeModel(
modelName: "gemini-3.8-flash-tts",
generationConfig: config
);
// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
var prompt = new ModelContent(
new ModelContent.TextPart(
"Tell me a story about a brave knight.",
new SpeechMetadata(speaker: null, style: "warm, engaging audiobook narrator")
)
);
// Call `GenerateContentStreamAsync` to stream the speech output as it is generated.
var responseStream = model.GenerateContentStreamAsync(prompt);
// Extract the raw PCM audio chunks and queue them for playback:
await foreach (var response in responseStream)
{
var audioParts = response.Candidates.FirstOrDefault().Content.Parts
.OfType<ModelContent.InlineDataPart>();
foreach (var part in audioParts)
{
byte[] pcmChunk = part.Data; // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)
// Append the audio chunk to your audio queue/buffer for playback (using a helper you implement).
AppendAudioChunk(pcmChunk);
}
}
Как управлять речевым выводом с помощью метаданных и встроенных тегов
Модели Gemini 3.x TTS обрабатывают text внутри каждого TextPart строго как дословную расшифровку, которую нужно озвучить. Не добавляйте в текстовую строку инструкции, например "Say cheerfully:", иначе модель может прочитать их вслух.
Вы можете управлять вокалом, используя следующие техники:
Теги style на уровне реплики и встроенные теги голоса
Разделите инструкции по производительности по области действия между SpeechMetadata и встроенными тегами с угловыми скобками (<...>).
| Область действия | Где разместить | Что регулирует | Примеры |
|---|---|---|---|
|
На уровне поворота (поддерживается на протяжении всего поворота) |
SpeechMetadata.style
|
эмоции, личность, тон, интонация, высота голоса и общая скорость речи; |
"cheerful and friendly","whispered, nervous","speaking rapidly","out of breath","sarcastic"
|
|
Точечные (привязаны к определенному моменту в предложении) |
Встроенный в текст на языке "TextPart" с использованием <...>
|
неречевые звуки, издаваемые человеком, например вздохи, паузы или кратковременные изменения в речи; |
"Wait... <short pause> did you hear that? <gasp> Someone's at the door."
|
Темп, паузы, высота тона и акценты
Знаки препинания и многоточия. Используйте запятые, тире (
--) и многоточия (...), чтобы речь звучала естественно и в ней были паузы.Явные теги паузы. Вставьте
<short pause>или<long pause>в то место, где должна быть пауза.Hold on, let me think... <short pause> Alright, I've got it.Скорость речи и высота тона. Задайте
styleвSpeechMetadata, чтобы управлять скоростью, высотой тона или интонацией (например,"speaking rapidly and excitedly","speaking slowly"или"monotone and flat"). Если эмоция или темп меняются в середине монолога, разделите скрипт на отдельные репликиTextPart, каждая со своимstyle.Выделение слов. Выделяйте отдельные слова в расшифровке заглавными буквами, чтобы подчеркнуть их:
It was a VERY long day <sigh> ... nobody listens anymore.
Вокальные всплески и неречевые звуки
Вставляйте неречевые звуки, издаваемые человеком, в текст, используя угловые скобки (<...>), в том месте, где должен быть звук. Используйте человеческие звуки,
а не звуковые эффекты. Рекомендуемые теги:
<argh> |
<exhales> |
<heavy breath> |
<scream> |
<snort> |
<breath> |
<gasp> |
<hiss> |
<short pause> |
<sob> |
<cackle> |
<giggle> |
<laugh> /<laughter> |
<shout> |
<throat-clearing> |
<cheer> |
<groan> |
<long pause> |
<shriek> |
<tsk> |
<chuckle> /<chuckles> |
<growl> |
<moan> |
<sigh> /<sighs> |
<whimper> |
<cough> |
<grr> |
<pant> |
<sneeze> |
<whispers> /<whispering> |
<cry> |
<grunt> |
<pff> /<phew> |
<snicker> |
<yawn> |
Реплики-подтверждения и наложение речи
В диалоге с несколькими участниками вы можете заключить краткие реакции слушателя в вертикальные черты (|reaction|) внутри расшифровки активного говорящего. Второй участник может вставить реплику, не дожидаясь своей очереди:
Короткие реплики слушателя.
- Ход 1 (
speaker: "Joe")."So the launch is Thursday |oh hmm| Are we actually ready?" - Ход 2 (
speaker: "Jane"):"Ready enough |oh really?| The last blocker cleared this morning."
- Ход 1 (
Перекрывающаяся речь. Вы можете использовать несколько сегментов с вертикальной чертой, чтобы имитировать одновременную речь (лучше всего работает с
gemini-3.8-flash-tts), например:- Ход 1 (
speaker: "Joe")."Let's surprise him on three |ok| ready?" - Ход 2 (
speaker: "Jane"):"one. two. three. |happy| happy |birthday| birthday!"
- Ход 1 (
Рекомендации по обеспечению согласованности
Сначала протестируйте запрос без поля
style, а затем добавьте краткиеstyleуточнения. Большинство запросов звучат естественно и без поляstyle. Добавляйте короткую фразуstyle(например,"casual, friendly"или"reflective and awe-inspired"), только когда нужно скорректировать подачу. Используйте одну и ту же фразу в разных репликах, чтобы добиться единообразия.Пишите расшифровки естественным языком. Включайте в текст разговорные сокращения и естественные запинки (например,
"Oh, uh, yeah I think... hm, that's interesting").Избегайте устаревших блоков
[Audio Profile]и метаинструкций. Длинные абзацы с описанием персонажа, блоки[Director's Notes]и метаинструкции, такие как"maintain identical timbre", увеличивают отклонение голоса. Вместо этого выберите подходящий голос из расширенной библиотеки голосов или создайте постоянный голос персонажа с помощью Voice Design.Не пытайтесь переопределить неизменяемые характеристики голоса в
style. Не используйтеSpeechMetadata.style, чтобы изменить возраст, пол или постоянный акцент голоса. Вместо этого выберите или создайте голос с нужными характеристиками.
Поддерживаемые голоса
Модели Gemini 3.x TTS поддерживают три способа указания голоса:
Все голоса многоязычные, то есть вы можете использовать один и тот же голос для генерации речи на любом из поддерживаемых языков, сохраняя при этом индивидуальность говорящего. Например, если вы выберете голос Kore и отправите запросы на испанском, вьетнамском и хинди, ответы на всех этих языках будут озвучены голосом Kore. 30 основных встроенных голосов – это многоязычные голоса общего назначения, а голоса из расширенной библиотеки и пользовательские голоса привязаны к основному языку или региональному акценту. Это значит, что они могут говорить и на других языках, но на основном звучат наиболее естественно.
Основные готовые голоса
Модели Gemini TTS поддерживают 30 основных встроенных голосов (например, Kore, Puck, Zephyr, Charon и Fenrir), каждый из которых имеет свои особенности. Передайте название голоса в SpeechConfig (как показано в примерах с одним и несколькими голосами выше).
Заданные голоса из расширенной библиотеки голосов
Помимо 30 встроенных голосов, в расширенной библиотеке голосов доступно более 2000 тщательно подобранных готовых голосов, охватывающих различные языки, региональные акценты, возрастные диапазоны, персонажи и варианты использования (например, аудиокниги, агенты службы поддержки и дикторы новостей).
Вот как использовать любой голос из расширенной библиотеки в своем приложении:
Чтобы выбрать голос, выполните одно из следующих действий:
Чтобы получить голос
id, используйте Google AI Studio или Agent Studio.Отправьте запрос к методу
listVoices API (ListVoicesсtype=prebuiltи необязательным запросомsearch), чтобы получитьidголоса. Подробную информацию можно найти в документации по Gemini Developer API или Agent Platform Gemini API (formerly Vertex AI).
Передайте строку
idголоса из библиотеки в качестве названия голоса вSpeechConfig(как показано в примере с одним диктором выше).
Собственные голоса: дизайн и репликация голоса
Модели Gemini 3.x TTS также поддерживают пользовательские голоса, созданные одним из следующих способов:
Voice Design (предварительная версия). Генерируйте уникальные голоса на основе описания возраста, тембра, акцента и личности говорящего на естественном языке. При этом вам не нужно предоставлять образец аудио. Возвращает сохраненный идентификатор голоса (
voice_...).Репликация голоса (предварительная версия). Воспроизведение голоса, тона и темпа речи говорящего на основе эталонной записи и записи устного согласия. Возвращает идентификатор голоса, хранящийся в проекте (
voice_...), или ключ репликации голоса без сохранения состояния, управляемый приложением (voicekey_...).
Как использовать собственный голос в приложении "Firebase AI Logic"
Создание пользовательских голосов и управление ими – это административная операция, которая выполняется на стороне сервера, поэтому в клиентских SDK Firebase AI Logic нет прямого доступа к конечным точкам управления голосами (CreateVoice, ListVoices, DeleteVoice).
Чтобы использовать собственный голос, выполните следующие действия:
Создайте собственный голос одним из следующих способов:
Чтобы получить идентификатор
voice_<id>илиvoicekey_<id>, используйте Google AI Studio или Agent Studio.Используйте Voices API, чтобы получить идентификатор
voice_<id>илиvoicekey_<id>. Дополнительную информацию можно найти в документации выбранного поставщика Gemini API:Gemini Developer API: Генерация речи
Agent Platform Gemini API (formerly Vertex AI): Голосовой дизайн и Репликация голоса
Передайте строку
voice_<id>илиvoicekey_<id>в качестве названия голоса вSpeechConfig(аналогично тому, как показано в примере с одним диктором выше на этой странице).
При использовании пользовательских голосов учитывайте следующие требования:
Местоположение (Agent Platform Gemini API (formerly Vertex AI)). Пользовательские голоса (
voice_...иvoicekey_...) поддерживаются только в местоположенииglobal(которое является местоположением по умолчанию при работе с Firebase AI Logic).Запросы с одним говорящим.
MultiSpeakerVoiceConfigподдерживает только основные встроенные голоса. Чтобы использовать собственные или реплицированные голоса в диалоге с несколькими персонажами, синтезируйте реплики каждого персонажа в отдельном запросе для одного говорящего.Хранение и срок действия. Срок действия сохраненных пользовательских голосов (
voice_...) истекает, если они не используются в течение года (каждый запрос на синтез сбрасывает таймер хранения). Срок действия ключей репликации голоса без сохранения состояния (voicekey_...) истекает через семь дней после создания.
Поддерживаемые языки
Модели Gemini 3.x TTS автоматически определяют язык введенного текста, в том числе когда в запросе происходит переключение между языками в диалоге с несколькими участниками.
- Gemini 3.8 Flash TTS (
gemini-3.8-flash-tts): поддерживает 132 языка. - Gemini 3.8 Flash‑Lite TTS (
gemini-3.8-flash-lite-tts): поддерживает 103 языка.
(Необязательно) Явно задайте код языка
Если вы хотите явно ограничить синтез речи определенным регионом, вы можете передать BCP-47 languageCode в SpeechConfig:
Форматы аудиовыхода
Формат аудио, возвращаемый по умолчанию в InlineDataPart, зависит от того, какой запрос вы делаете – унарный или потоковый.
| Метод запроса | MIME-тип, возвращаемый по умолчанию | Сведения о параметре "Формат аудио" |
|---|---|---|
|
Unary ( generateContent)
|
audio/wav
|
Полный WAV-файл (16-битный линейный PCM, 24 кГц, моно, прямой порядок байтов) со стандартным 44-байтным заголовком RIFF.
Может воспроизводиться напрямую стандартными аудиопроигрывателями платформы (например, |
|
Потоковая передача ( generateContentStream)
|
audio/l16
|
Необработанные 16-битные фрагменты PCM без заголовков с прямым порядком байтов, 24 кГц, моно.
Разработан для очередей буфера с низкой задержкой и объединения без заголовков файлов для каждого фрагмента. |
Ограничения и требования
При использовании моделей Gemini 3.x TTS учитывайте следующие ограничения и требования:
Только текстовый ввод, только аудиовывод. Модели TTS принимают только текстовый ввод (
TextPart), и для них требуется, чтобы параметрresponseModalitiesбыл задан какAUDIO.Только дословный синтез. Модели дословно воспроизводят предоставленную расшифровку и не генерируют текстовые ответы.
Ограничения на количество токенов. Максимальное количество входных токенов – 8192, а выходных – 16 384 на запрос.
Ограничение на количество говорящих. Для
MultiSpeakerVoiceConfigтребуется два говорящих. Поддерживаются только основные встроенные голоса. Каждый объектTextPartв запросе с несколькими дикторами должен содержать объектSpeechMetadata.speaker, соответствующий одному из настроенных дикторов.Неподдерживаемые параметры и методы:
- SDK Firebase AI Logic пока не поддерживают настройку
responseFormatвGenerationConfigдля переопределения формата вывода аудио по умолчанию. - Значения
systemInstruction,temperature,topP,topK,candidateCount,presencePenaltyиfrequencyPenaltyне поддерживаются и приводят к ошибке400 INVALID_ARGUMENT. - Вызов
countTokensне поддерживается для моделей TTS (количество токенов возвращается вusageMetadataв ответе).
- SDK Firebase AI Logic пока не поддерживают настройку
Местоположение (Agent Platform Gemini API (formerly Vertex AI)). Для пользовательских голосов (
voice_...иvoicekey_...) требуется местоположение по умолчаниюglobal(которое используется при работе с Firebase AI Logic).
Замена gemini-3.1-flash-tts-preview
В gemini-3.8-flash-tts и gemini-3.8-flash-lite-tts используется одна и та же структура запроса. Изучите таблицу сравнения моделей, чтобы выбрать оптимальную замену для вашей рабочей нагрузки, и обновите код следующим образом:
| Площадь |
gemini-3.1-flash-tts-preview (устаревшее)
|
gemini-3.8-flash-tts и gemini-3.8-flash-lite-tts
|
|---|---|---|
| Стиль и направление подачи |
Встроен в текст запроса. Пример:"Say cheerfully: ...",[Audio Profile],[Director's Notes]
|
Передано в SpeechMetadata(style: "...") для каждого TextPart
Текст |
| Диалог с несколькими участниками |
Одна текстовая строка со встроенными префиксами "Speaker: ..."
|
Один элемент TextPart на каждую реплику в диалоге, с элементом SpeechMetadata(speaker: "...", style: "...") в каждом элементе TextPart.
|
| Встроенные теги для голосовых команд |
Квадратные скобки. Примеры:[sigh] или [laughs]
|
Угловые скобки. Примеры:<sigh>,
<laugh> или
<short pause>.
Записывайте речевые ошибки, например |
Формат аудио по умолчанию (generateContent)
|
Необработанный 16-битный PCM без заголовка (audio/pcm, 24 кГц, моно)
|
Полный WAV-файл (audio/wav, 16-битный PCM, 24 кГц, моно, с 44-байтным заголовком RIFF).
Потоковая передача ( |
| Системные инструкции, температура, top-P, top-K | Проигнорировано. |
Отклонено с ошибкой 400 INVALID_ARGUMENT. Удалите эти параметры из конфигурации модели.
|
Контрольный список для переноса
Перейдите на последнюю версию Firebase AI Logic SDK и измените название модели на
gemini-3.8-flash-ttsилиgemini-3.8-flash-lite-tts.Перенесите инструкции по стилю в
SpeechMetadata.style. Удалите префиксы"Say cheerfully:", блоки[Audio Profile],[Scene]и[Director's Notes]из строк запросов, чтобы модель не читала их вслух. Вместо этого передайте краткое описание стиля вSpeechMetadata.style.Разделяйте скрипты с несколькими говорящими на отдельные реплики
TextPart. Заменяйте текстовые блоки"Joe: ... \n Jane: ..."массивом или списком объектовTextPart, где каждая реплика задаетSpeechMetadata.speaker.Преобразовать теги
[...]в теги<...>. Заменить теги аудио в квадратных скобках (например,[whispers],[sighs],[laughs]) на теги вокала в угловых скобках (например,<whispers>,<sigh>,<laugh>,<short pause>).Обновите унарное воспроизведение аудио. Поскольку
generateContentтеперь возвращает полный WAV-файл (с 44-байтовым заголовком RIFF), а не необработанный PCM без заголовка, удалите весь код, который вручную добавляет заголовок WAV к унарным ответам. Если вы передаете необработанные выборки PCM в низкоуровневый буферный API, напримерAudioTrackв Android илиAudioClipв Unity, пропустите 44-байтовый заголовок.Удалите неподдерживаемые параметры конфигурации. Удалите
temperature,topP,topK,candidateCount,presencePenalty,frequencyPenaltyиsystemInstructionиз конфигурации TTSGenerativeModel.
Что ещё ты умеешь делать?
-
Начните подготовку к публикации рабочей версии (см. контрольный список):
- Принудительно примените Firebase App Check как можно раньше, чтобы защитить Gemini API от злоупотреблений со стороны неавторизованных клиентов.
- Используйте Firebase Remote Config или шаблоны запросов на сервере, чтобы по запросу менять конфигурации ИИ-функций (например, название модели), не выпуская новую версию приложения.
Попробуйте другие возможности
- Создавать многоэтапные диалоги (чаты).
- Генерировать текст на основе текстовых запросов.
- Генерировать структурированные выходные данные (например, JSON) на основе текстовых и мультимодальных запросов.
- Генерировать и редактировать изображения на основе текстовых и мультимодальных запросов.
- Передавать входные и выходные данные в потоковом режиме (включая аудио) с помощью Gemini Live API.
-
Используйте инструменты, такие как вызов функций и заземление с помощью
Google Search илиGoogle Maps , чтобы подключить модель Gemini к другим частям приложения, а также внешним системам и информации.
Как управлять генерацией контента
- Узнайте, как составлять запросы, в том числе ознакомьтесь с рекомендациями, стратегиями и примерами.
- Настройте параметры модели, например максимальное количество выходных токенов, вероятность повторения выходных токенов и т. д.
- Используйте настройки безопасности, чтобы снизить вероятность получения ответов, которые могут считаться вредоносными.
Подробнее о поддерживаемых моделях
Узнайте, какие модели доступны для разных сценариев использования, а также ознакомьтесь с их квотами и ценами.Оставьте отзыв о работе с Firebase AI Logic