Синтез речи (TTS) с помощью Gemini API


Вы можете использовать модель Gemini TTS (gemini-3.8-flash-tts или gemini-3.8-flash-lite-tts), чтобы синтезировать естественную, выразительную речь (аудио) из текста. При использовании Firebase AI Logic вы можете отправлять этот запрос непосредственно из мобильного или веб-приложения, например Apple (Swift), Android (Kotlin/Java), Web (JavaScript), Flutter (Dart) или Unity.

Генерация речи из текста (TTS) управляема. Это значит, что вы предоставляете точный текст для синтеза речи и задаете параметры ее воспроизведения, такие как эмоции, темп, голоса говорящих и неречевые звуки, например смех или вздохи, используя структурированные метаданные и встроенные голосовые теги. Синтез речи – это процесс, обратный расшифровке (преобразованию речи в текст).

С помощью этой функции вы можете создавать такие функции, как:

  • Интерактивный сторителлинг и аудиокниги. Озвучивайте длинные истории или ролевые игры, в которых персонажи говорят разными голосами, реагируют друг на друга, перебивая, и меняют эмоциональную подачу (например, шепчут в напряженные моменты или смеются над шутками).
  • Голосовые агенты и помощники с низкой задержкой. Потоковая передача синтезированной речи сразу после получения текста от LLM с сохранением единого голоса на протяжении всего разговора.
  • Чтение многоязычного контента и обучение языкам. Читайте вслух статьи, рецепты или учебные материалы на более чем 130 языках и региональных акцентах или легко переключайтесь между языками в рамках одного разговора.

В этом руководстве рассказывается, как генерировать речь одного или нескольких говорящих, передавать аудиоответы в потоковом режиме, управлять голосом с помощью SpeechMetadata и встроенных тегов, а также выбирать голоса из библиотеки или создавать собственные.

Перейти к коду для одного динамика Перейти к коду для нескольких динамиков Перейти к коду для потоковой передачи

Сравнение TTS и Live API

Модели преобразования текста в речь (TTS) и модели Live API – это модели генерации речи с низкой задержкой, которые можно настроить для разных голосов и языков. Однако они служат для разных целей.

  • Синтез речи – это однонаправленное взаимодействие по принципу "запрос – ответ" (текст на входе, аудио на выходе). Она подходит для ситуаций, когда требуется точное воспроизведение предоставленного текста с точным контролем над стилем и звуком, например для озвучивания подкастов, аудиокниг или чтения статей вслух.

  • Live API поддерживает двунаправленную потоковую передачу для голосовых разговоров в реальном времени (голосовой ввод и вывод). Она отлично подходит для динамических разговоров, в которых модель сама решает, какой ответ дать. Обратите внимание, что последние модели Live API также поддерживают видео и изображения.

Подготовка

Нажмите на название своего поставщика Gemini API, чтобы посмотреть контент и код, относящиеся к нему.

Если вы ещё этого не сделали, ознакомьтесь с руководством по началу работы. В нем рассказывается, как настроить проект Firebase, подключить приложение к Firebase, добавить SDK, инициализировать бэкенд-службу для выбранного поставщика Gemini API и создать экземпляр GenerativeModel.

Для тестирования и доработки запросов рекомендуем использовать Google AI Studio.

Модели, поддерживающие эту функцию

  • gemini-3.8-flash-tts
  • gemini-3.8-flash-lite-tts
Сравнение моделей TTS

Обе модели Gemini 3.x TTS имеют одинаковую схему запроса и формат подсказки. Однако между ними есть различия, которые могут повлиять на ваш выбор.

Функция или рабочая нагрузка gemini-3.8-flash-tts gemini-3.8-flash-lite-tts
Основная сильная сторона Студийное качество звука, передача нюансов речи и поддержка множества диалектов. Высокая пропускная способность, низкая задержка и экономичность
Примеры использования Аудиокниги, студийная озвучка, сложные диалоги с несколькими говорящими, частые теги вокальных всплесков, сложное произношение, региональные диалекты. Массовое производство, каскады голосовых агентов в реальном времени, функции чтения вслух в интерфейсе, повседневная речь одного говорящего.
Поддерживаемые языки 132 языка 103 языка

Генерируйте речь из текста

Вы можете генерировать речь из текста, озвученного одним или двумя голосами, в виде полного WAV-файла (generateContent) или необработанного аудиопотока PCM с низкой задержкой (generateContentStream).

Генерировать речь с одним говорящим

Прежде чем использовать этот пример, выполните инструкции из раздела Подготовка, чтобы настроить проект и приложение.
В этом разделе также нужно нажать кнопку для выбранного поставщика Gemini API, чтобы на странице показывался контент, относящийся к нему.

Вот как сгенерировать аудио с одним говорящим:

  1. В файле GenerationConfig задайте для responseModalities значение AUDIO и настройте SpeechConfig следующим образом:

  2. Создайте TextPart со следующими параметрами:

    • (Обязательно) Дословная расшифровка того, что нужно сказать.

    • Необязательно. Элемент SpeechMetadata с описанием style (например, "cheerful and friendly").

  3. Позвоните по номеру generateContent. По умолчанию унарные запросы возвращают полный аудиофайл WAV (audio/wav) (16-битный линейный PCM, 24 кГц, моно, со стандартным 44-байтовым заголовком RIFF) во встроенных частях данных ответа.

Swift


import FirebaseAILogic

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())

// Set `responseModalities` to include `.audio`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
let config = GenerationConfig(
  responseModalities: [.audio],
  speechConfig: SpeechConfig(voiceName: "Kore", languageCode: "en-US")
)

// Create a `GenerativeModel` instance with a model that supports speech generation.
let model = ai.generativeModel(
  modelName: "gemini-3.8-flash-tts",
  generationConfig: config
)

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
let prompt = TextPart(
  "Have a wonderful day!",
  speechMetadata: SpeechMetadata(style: "cheerful and friendly")
)

// Call `generateContent` to generate the speech output.
let response = try await model.generateContent(prompt)

// Extract the WAV audio data and handle it for downstream use. For example:
for part in response.inlineDataParts {
  let wavData = part.data       // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
  let mimeType = part.mimeType  // for example: "audio/wav"
  print("Received audio data with MIME type: \(mimeType)")

  // Play the WAV audio data using your own playback helper (for example, with `AVAudioPlayer(data: wavData)`).
  playAudio(data: wavData)
}

Kotlin

Для Kotlin методы в этом SDK являются функциями приостановки и должны вызываться из области сопрограммы.

// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
val config = generationConfig {
    responseModalities = listOf(ResponseModality.AUDIO)
    speechConfig = SpeechConfig(
        voice = Voice("Kore"),
        languageCode = "en-US"
    )
}

// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-3.8-flash-tts",
        generationConfig = config
    )

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
val prompt = content {
    text(
        text = "Have a wonderful day!",
        speechMetadata = SpeechMetadata(style = "cheerful and friendly")
    )
}

// Call `generateContent` to generate the speech output.
val response = model.generateContent(prompt)

// Extract the WAV audio data and handle it for downstream use. For example:
val part = response.candidates.firstOrNull()?.content?.parts?.firstOrNull()
if (part is InlineDataPart) {
    val wavData = part.inlineData  // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)

    // Pass the audio data to your audio player or playback helper (which you'll need to implement).
    playAudio(wavData)
}

Java

В Java методы потоковой передачи в этом SDK возвращают тип Publisher из библиотеки Reactive Streams.

// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
GenerationConfig config = new GenerationConfig.Builder()
    .setResponseModalities(Collections.singletonList(ResponseModality.AUDIO))
    .setSpeechConfig(new SpeechConfig(new Voice("Kore"), "en-US"))
    .build();

// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
        .generativeModel("gemini-3.8-flash-tts", config);

// Use the GenerativeModelFutures Java compatibility layer.
GenerativeModelFutures model = GenerativeModelFutures.from(ai);

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
Content content = new Content.Builder()
    .addText("Have a wonderful day!", new SpeechMetadata(null, "cheerful and friendly"))
    .build();
Executor executor = Executors.newSingleThreadExecutor();

// Call `generateContent` to generate the speech output.
// Extract the WAV audio data and handle it for downstream use.
ListenableFuture<GenerateContentResponse> response = model.generateContent(content);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
    @Override
    public void onSuccess(GenerateContentResponse result) {
        Part part = result.getCandidates().get(0).getContent().getParts().get(0);
        if (part instanceof InlineDataPart) {
            byte[] wavData = ((InlineDataPart) part).getInlineData();  // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)

            // Pass the audio data to your audio player or playback helper (which you'll need to implement).
            playAudio(wavData);
        }
    }

    @Override
    public void onFailure(Throwable t) {
        t.printStackTrace();
    }
}, executor);

Web


import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";

// TODO(developer): Replace with your app's Firebase configuration
const firebaseConfig = { /* ... */ };
const firebaseApp = initializeApp(firebaseConfig);

// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
const generationConfig = {
  responseModalities: [ResponseModality.AUDIO],
  speechConfig: {
    voiceConfig: { prebuiltVoiceConfig: { voiceName: "Kore" } },
    languageCode: "en-US"
  }
};

// Create a `GenerativeModel` instance with a model that supports speech generation.
const model = getGenerativeModel(ai, {
  model: "gemini-3.8-flash-tts",
  generationConfig
});

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
const prompt = [
  {
    type: "text",
    text: "Have a wonderful day!",
    speechMetadata: { style: "cheerful and friendly" }
  }
];

// Call `generateContent` to generate the speech output.
const result = await model.generateContent(prompt);
const inlineDataParts = result.response.inlineDataParts();

// Extract the WAV audio data and handle it for downstream use. For example:
if (inlineDataParts?.[0]) {
  const wavBase64 = inlineDataParts[0].inlineData.data;  // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
  // Decode base64 to ArrayBuffer
  const wavBuffer = Uint8Array.from(atob(wavBase64), c => c.charCodeAt(0)).buffer;

  // The response is a complete WAV file, so the Web Audio API can decode and play it directly.
  const audioCtx = new AudioContext();
  const audioBuffer = await audioCtx.decodeAudioData(wavBuffer);
  const source = audioCtx.createBufferSource();
  source.buffer = audioBuffer;
  source.connect(audioCtx.destination);
  source.start();
}

Dart


import 'package:firebase_ai/firebase_ai.dart';

// Set `responseModalities` to include `audio`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
final config = GenerationConfig(
  responseModalities: [ResponseModalities.audio],
  speechConfig: SpeechConfig(voiceName: 'Kore', languageCode: 'en-US'),
);

// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
final model = FirebaseAI.googleAI().generativeModel(
  model: 'gemini-3.8-flash-tts',
  generationConfig: config,
);

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
final prompt = Content.multi([
  TextPart(
    'Have a wonderful day!',
    speechMetadata: SpeechMetadata(style: 'cheerful and friendly'),
  ),
]);

// Call `generateContent` to generate the speech output.
final response = await model.generateContent([prompt]);

// Extract the WAV audio data and handle it for downstream use. For example:
final part = response.candidates.first.content.parts.first;
if (part is InlineDataPart && part.mimeType.startsWith('audio/')) {
  final Uint8List wavData = part.bytes;  // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)

  // Play the WAV audio data using your preferred audio player or helper (which you'll need to implement).
  await playAudio(wavData);
}

Unity


using Firebase.AI;

// Initialize the Gemini Developer API backend service.
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());

// Set `responseModalities` to include `Audio`.
// Configure a `SpeechConfig` with your chosen voice name and language code.
var config = new GenerationConfig(
  responseModalities: new System.Collections.Generic.List<ResponseModality> { ResponseModality.Audio },
  speechConfig: SpeechConfig.UsePrebuiltVoice("Kore", "en-US")
);

// Create a `GenerativeModel` instance with a model that supports speech generation.
var model = ai.GetGenerativeModel(
  modelName: "gemini-3.8-flash-tts",
  generationConfig: config
);

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
var prompt = new ModelContent(
  new ModelContent.TextPart(
    "Have a wonderful day!",
    new SpeechMetadata(speaker: null, style: "cheerful and friendly")
  )
);

// Call `GenerateContentAsync` to generate the speech output.
var response = await model.GenerateContentAsync(prompt);

// Extract the WAV audio data and handle it for downstream use. For example:
if (response.Candidates.Count > 0) {
  foreach (var part in response.Candidates[0].Content.Parts) {
    if (part is ModelContent.InlineDataPart inlineData) {
      byte[] wavData = inlineData.Data;  // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)

      // Pass the audio data to your audio player or playback helper (which you'll need to implement).
      PlayAudio(wavData);
    }
  }
}

Генерируйте речь с несколькими говорящими

Прежде чем использовать этот пример, выполните инструкции из раздела Подготовка, чтобы настроить проект и приложение.
В этом разделе также нужно нажать кнопку для выбранного поставщика Gemini API, чтобы на странице показывался контент, относящийся к нему.

Вы можете сгенерировать естественный диалог двух собеседников в одном запросе, назначив каждому из них отдельный голос и передав каждую реплику в отдельном объекте TextPart:

  1. Создай MultiSpeakerVoiceConfig, в котором сопоставь имена двух спикеров (например, "Joe" и "Jane") с их SpeakerVoiceConfigголосами.

  2. В GenerationConfig задайте для responseModalities значение AUDIO и передайте MultiSpeakerVoiceConfig (и необязательный параметр languageCode) в SpeechConfig.

  3. Укажите массив или список объектов TextPart, по одному объекту TextPart на каждую реплику. На каждом устройстве TextPart задайте для параметра SpeechMetadata следующие значения:

    • Обязательное свойство. Значение speaker, которое совпадает с одним из имен докладчиков, указанных в свойстве MultiSpeakerVoiceConfig.
    • (Необязательно.) Описание style (например, "cheerful and friendly").
  4. Позвоните по номеру generateContent. Модель синтезирует весь разговор и возвращает полный аудиофайл WAV (audio/wav).

Swift


import FirebaseAILogic

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())

// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
let multiSpeechConfig = SpeechConfig(
  multiSpeakerVoiceConfig: MultiSpeakerVoiceConfig(
    speakerVoiceConfigs: [
      SpeakerVoiceConfig(speaker: "Joe", voiceName: "Puck"),
      SpeakerVoiceConfig(speaker: "Jane", voiceName: "Kore")
    ]
  ),
  languageCode: "en-US"
)

// Set `responseModalities` to include `.audio`.
let config = GenerationConfig(
  responseModalities: [.audio],
  speechConfig: multiSpeechConfig
)

// Create a `GenerativeModel` instance with a model that supports speech generation.
let model = ai.generativeModel(
  modelName: "gemini-3.8-flash-tts",
  generationConfig: config
)

// Provide one `TextPart` per dialogue turn, specifying the speaker and optional style in `SpeechMetadata`.
let prompt: [any PartsRepresentable] = [
  TextPart(
    "How's it going today, Jane?",
    speechMetadata: SpeechMetadata(speaker: "Joe", style: "cheerful and friendly")
  ),
  TextPart(
    "Not too bad, how about you?",
    speechMetadata: SpeechMetadata(speaker: "Jane", style: "calm and relaxed")
  )
]

// Call `generateContent` to generate the multi-speaker speech output.
let response = try await model.generateContent(prompt)

// Extract the WAV audio data and handle it for downstream use. For example:
for part in response.inlineDataParts {
  let wavData = part.data       // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
  let mimeType = part.mimeType  // for example: "audio/wav"
  print("Received audio data with MIME type: \(mimeType)")

  // Play the WAV audio data using your own playback helper (for example, with `AVAudioPlayer(data: wavData)`).
  playAudio(data: wavData)
}

Kotlin

Для Kotlin методы в этом SDK являются функциями приостановки и должны вызываться из области сопрограммы.

// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
val multiSpeechConfig = SpeechConfig(
    multiSpeakerVoiceConfig = MultiSpeakerVoiceConfig(
        speakerVoiceConfigs = listOf(
            SpeakerVoiceConfig(speaker = "Joe", voice = Voice("Puck")),
            SpeakerVoiceConfig(speaker = "Jane", voice = Voice("Kore"))
        )
    ),
    languageCode = "en-US"
)

// Set `responseModalities` to include `AUDIO`.
val config = generationConfig {
    responseModalities = listOf(ResponseModality.AUDIO)
    speechConfig = multiSpeechConfig
}

// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-3.8-flash-tts",
        generationConfig = config
    )

// Provide one text part per dialogue turn, specifying the speaker and optional style in `SpeechMetadata`.
val prompt = content {
    text(
        text = "How's it going today, Jane?",
        speechMetadata = SpeechMetadata(speaker = "Joe", style = "cheerful and friendly")
    )
    text(
        text = "Not too bad, how about you?",
        speechMetadata = SpeechMetadata(speaker = "Jane", style = "calm and relaxed")
    )
}

// Call `generateContent` to generate the multi-speaker speech output.
val response = model.generateContent(prompt)

// Extract the WAV audio data and handle it for downstream use. For example:
val part = response.candidates.firstOrNull()?.content?.parts?.firstOrNull()
if (part is InlineDataPart) {
    val wavData = part.inlineData  // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)

    // Pass the audio data to your audio player or playback helper (which you'll need to implement).
    playAudio(wavData)
}

Java

В Java методы потоковой передачи в этом SDK возвращают тип Publisher из библиотеки Reactive Streams.

// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
MultiSpeakerVoiceConfig multiSpeakerVoiceConfig = new MultiSpeakerVoiceConfig(
    Arrays.asList(
        new SpeakerVoiceConfig("Joe", new Voice("Puck")),
        new SpeakerVoiceConfig("Jane", new Voice("Kore"))
    )
);

SpeechConfig multiSpeechConfig = new SpeechConfig(multiSpeakerVoiceConfig, "en-US");

// Set `responseModalities` to include `AUDIO`.
GenerationConfig config = new GenerationConfig.Builder()
    .setResponseModalities(Collections.singletonList(ResponseModality.AUDIO))
    .setSpeechConfig(multiSpeechConfig)
    .build();

// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
        .generativeModel("gemini-3.8-flash-tts", config);

// Use the `GenerativeModelFutures` Java compatibility layer.
GenerativeModelFutures model = GenerativeModelFutures.from(ai);

// Provide one text part per dialogue turn, specifying the speaker and optional style in `SpeechMetadata`.
Content content = new Content.Builder()
    .addText(
        "How's it going today, Jane?",
        new SpeechMetadata("Joe", "cheerful and friendly"))
    .addText(
        "Not too bad, how about you?",
        new SpeechMetadata("Jane", "calm and relaxed"))
    .build();
Executor executor = Executors.newSingleThreadExecutor();

// Call `generateContent` to generate the multi-speaker speech output.
// Extract the WAV audio data and handle it for downstream use.
ListenableFuture<GenerateContentResponse> response = model.generateContent(content);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
    @Override
    public void onSuccess(GenerateContentResponse result) {
        Part part = result.getCandidates().get(0).getContent().getParts().get(0);
        if (part instanceof InlineDataPart) {
            byte[] wavData = ((InlineDataPart) part).getInlineData();  // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)

            // Pass the audio data to your audio player or playback helper (which you'll need to implement).
            playAudio(wavData);
        }
    }

    @Override
    public void onFailure(Throwable t) {
        t.printStackTrace();
    }
}, executor);

Web


import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";

// TODO(developer): Replace with your app's Firebase configuration
const firebaseConfig = { /* ... */ };
const firebaseApp = initializeApp(firebaseConfig);

// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
const generationConfig = {
  responseModalities: [ResponseModality.AUDIO],
  speechConfig: {
    multiSpeakerVoiceConfig: {
      speakerVoiceConfigs: [
        { speaker: "Joe", voiceConfig: { prebuiltVoiceConfig: { voiceName: "Puck" } } },
        { speaker: "Jane", voiceConfig: { prebuiltVoiceConfig: { voiceName: "Kore" } } }
      ]
    },
    languageCode: "en-US"
  }
};

// Create a `GenerativeModel` instance with a model that supports speech generation.
const model = getGenerativeModel(ai, {
  model: "gemini-3.8-flash-tts",
  generationConfig
});

// Provide one `TextPart` per dialogue turn, specifying the speaker and optional style in `speechMetadata`.
const prompt = [
  {
    type: "text",
    text: "How's it going today, Jane?",
    speechMetadata: { speaker: "Joe", style: "cheerful and friendly" }
  },
  {
    type: "text",
    text: "Not too bad, how about you?",
    speechMetadata: { speaker: "Jane", style: "calm and relaxed" }
  }
];

// Call `generateContent` to generate the multi-speaker speech output.
const result = await model.generateContent(prompt);
const inlineDataParts = result.response.inlineDataParts();

// Extract the WAV audio data and handle it for downstream use. For example:
if (inlineDataParts?.[0]) {
  const wavBase64 = inlineDataParts[0].inlineData.data;  // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)
  // Decode base64 to ArrayBuffer
  const wavBuffer = Uint8Array.from(atob(wavBase64), c => c.charCodeAt(0)).buffer;

  // The response is a complete WAV file, so the Web Audio API can decode and play it directly.
  const audioCtx = new AudioContext();
  const audioBuffer = await audioCtx.decodeAudioData(wavBuffer);
  const source = audioCtx.createBufferSource();
  source.buffer = audioBuffer;
  source.connect(audioCtx.destination);
  source.start();
}

Dart


import 'package:firebase_ai/firebase_ai.dart';

// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
final multiSpeechConfig = SpeechConfig.multiSpeaker(
  multiSpeakerVoiceConfig: MultiSpeakerVoiceConfig(
    speakerVoiceConfigs: [
      SpeakerVoiceConfig(speaker: 'Joe', voiceName: 'Puck'),
      SpeakerVoiceConfig(speaker: 'Jane', voiceName: 'Kore'),
    ],
  ),
  languageCode: 'en-US',
);

// Set `responseModalities` to include `audio`.
final config = GenerationConfig(
  responseModalities: [ResponseModalities.audio],
  speechConfig: multiSpeechConfig,
);

// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
final model = FirebaseAI.googleAI().generativeModel(
  model: 'gemini-3.8-flash-tts',
  generationConfig: config,
);

// Provide one `TextPart` per dialogue turn, specifying the speaker and optional style in `SpeechMetadata`.
final prompt = Content.multi([
  TextPart(
    "How's it going today, Jane?",
    speechMetadata: SpeechMetadata(speaker: 'Joe', style: 'cheerful and friendly'),
  ),
  TextPart(
    'Not too bad, how about you?',
    speechMetadata: SpeechMetadata(speaker: 'Jane', style: 'calm and relaxed'),
  ),
]);

// Call `generateContent` to generate the multi-speaker speech output.
final response = await model.generateContent([prompt]);

// Extract the WAV audio data and handle it for downstream use. For example:
final part = response.candidates.first.content.parts.first;
if (part is InlineDataPart && part.mimeType.startsWith('audio/')) {
  final Uint8List wavData = part.bytes;  // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)

  // Play the WAV audio data using your preferred audio player or helper (which you'll need to implement).
  await playAudio(wavData);
}

Unity


using Firebase.AI;

// Initialize the Gemini Developer API backend service.
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());

// Configure a `SpeechConfig` for multiple speakers, assigning a voice to each speaker.
var multiSpeakerVoiceConfig = new MultiSpeakerVoiceConfig(
  new System.Collections.Generic.List<SpeakerVoiceConfig> {
    SpeakerVoiceConfig.UsePrebuiltVoice("Joe", "Puck"),
    SpeakerVoiceConfig.UsePrebuiltVoice("Jane", "Kore")
  }
);

var multiSpeechConfig = SpeechConfig.UseMultiSpeakerVoice(multiSpeakerVoiceConfig, "en-US");

// Set `responseModalities` to include `Audio`.
var config = new GenerationConfig(
  responseModalities: new System.Collections.Generic.List<ResponseModality> { ResponseModality.Audio },
  speechConfig: multiSpeechConfig
);

// Create a `GenerativeModel` instance with a model that supports speech generation.
var model = ai.GetGenerativeModel(
  modelName: "gemini-3.8-flash-tts",
  generationConfig: config
);

// Provide one `TextPart` per dialogue turn, specifying the speaker and optional style in `SpeechMetadata`.
var prompt = new ModelContent(
  new ModelContent.TextPart(
    "How's it going today, Jane?",
    new SpeechMetadata(speaker: "Joe", style: "cheerful and friendly")
  ),
  new ModelContent.TextPart(
    "Not too bad, how about you?",
    new SpeechMetadata(speaker: "Jane", style: "calm and relaxed")
  )
);

// Call `GenerateContentAsync` to generate the multi-speaker speech output.
var response = await model.GenerateContentAsync(prompt);

// Extract the WAV audio data and handle it for downstream use. For example:
if (response.Candidates.Count > 0) {
  foreach (var part in response.Candidates[0].Content.Parts) {
    if (part is ModelContent.InlineDataPart inlineData) {
      byte[] wavData = inlineData.Data;  // WAV audio bytes (24kHz, 1 channel, 16-bit PCM)

      // Pass the audio data to your audio player or playback helper (which you'll need to implement).
      PlayAudio(wavData);
    }
  }
}

Включить потоковую передачу ответов

Прежде чем использовать этот пример, выполните инструкции из раздела Подготовка, чтобы настроить проект и приложение.
В этом разделе также нужно нажать кнопку для выбранного поставщика Gemini API, чтобы на странице показывался контент, относящийся к нему.

Чтобы сократить время до первого аудио (TTFA) и обеспечить воспроизведение в реальном времени, вы можете транслировать аудиоответ по мере его создания, а не ждать, пока будет готов весь клип. Потоковая передача работает как с одним, так и с несколькими динамиками.

Чтобы транслировать речь, вызовите generateContentStream вместо generateContent. В отличие от унарных запросов, которые возвращают файл WAV, потоковые запросы возвращают необработанные 16-битные фрагменты PCM без заголовка с прямым порядком байтов (audio/l16, 24 кГц, моно), поэтому вы можете добавлять каждый фрагмент непосредственно в буфер вывода аудио.

Swift


import FirebaseAILogic

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())

// Set `responseModalities` to include `.audio`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
let config = GenerationConfig(
  responseModalities: [.audio],
  speechConfig: SpeechConfig(voiceName: "Kore")
)

// Create a `GenerativeModel` instance with a model that supports speech generation.
let model = ai.generativeModel(
  modelName: "gemini-3.8-flash-tts",
  generationConfig: config
)

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
let prompt = TextPart(
  "Tell me a story about a brave knight.",
  speechMetadata: SpeechMetadata(style: "warm, engaging audiobook narrator")
)

// Call `generateContentStream` to stream the speech output as it is generated.
let responseStream = try model.generateContentStream(prompt)

// Extract the raw PCM audio chunks and queue them for playback:
for try await chunk in responseStream {
  for part in chunk.inlineDataParts {
    let pcmChunk = part.data  // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)

    // Append the audio chunk to your audio queue/buffer for playback (using a helper you implement).
    appendAudioChunk(pcmChunk)
  }
}

Kotlin

Для Kotlin методы в этом SDK являются функциями приостановки и должны вызываться из области сопрограммы.

// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
val config = generationConfig {
    responseModalities = listOf(ResponseModality.AUDIO)
    speechConfig = SpeechConfig(voice = Voice("Kore"))
}

// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-3.8-flash-tts",
        generationConfig = config
    )

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
val prompt = content {
    text(
        text = "Tell me a story about a brave knight.",
        speechMetadata = SpeechMetadata(style = "warm, engaging audiobook narrator")
    )
}

// Call `generateContentStream` to stream the speech output as it is generated.
// Extract the raw PCM audio chunks and queue them for playback.
model.generateContentStream(prompt).collect { chunk ->
    val part = chunk.candidates.firstOrNull()?.content?.parts?.firstOrNull()
    if (part is InlineDataPart) {
        val pcmChunk = part.inlineData  // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)

        // Append the audio chunk to your audio queue/buffer for playback (using a helper you implement).
        appendAudioChunk(pcmChunk)
    }
}

Java

В Java методы потоковой передачи в этом SDK возвращают тип Publisher из библиотеки Reactive Streams.

// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
GenerationConfig config = new GenerationConfig.Builder()
    .setResponseModalities(Collections.singletonList(ResponseModality.AUDIO))
    .setSpeechConfig(new SpeechConfig(new Voice("Kore")))
    .build();

// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
        .generativeModel("gemini-3.8-flash-tts", config);

// Use the `GenerativeModelFutures` Java compatibility layer.
GenerativeModelFutures model = GenerativeModelFutures.from(ai);

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
Content content = new Content.Builder()
    .addText(
        "Tell me a story about a brave knight.",
        new SpeechMetadata(null, "warm, engaging audiobook narrator"))
    .build();

// Call `generateContentStream` to stream the speech output as it is generated.
Publisher<GenerateContentResponse> streamingResponse =
    model.generateContentStream(content);

// Extract the raw PCM audio chunks and queue them for playback.
streamingResponse.subscribe(new Subscriber<GenerateContentResponse>() {
  @Override
  public void onSubscribe(Subscription s) {
      s.request(Long.MAX_VALUE);
  }

  @Override
  public void onNext(GenerateContentResponse chunk) {
      Part part = chunk.getCandidates().get(0).getContent().getParts().get(0);
      if (part instanceof InlineDataPart) {
          byte[] pcmChunk = ((InlineDataPart) part).getInlineData();  // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)

          // Append the audio chunk to your audio queue/buffer for playback (using a helper you implement).
          appendAudioChunk(pcmChunk);
      }
  }

  @Override
  public void onComplete() {
      // Audio stream complete.
  }

  @Override
  public void onError(Throwable t) {
      t.printStackTrace();
  }
});

Web


import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";

// TODO(developer): Replace with your app's Firebase configuration
const firebaseConfig = { /* ... */ };
const firebaseApp = initializeApp(firebaseConfig);

// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Set `responseModalities` to include `AUDIO`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
const generationConfig = {
  responseModalities: [ResponseModality.AUDIO],
  speechConfig: {
    voiceConfig: { prebuiltVoiceConfig: { voiceName: "Kore" } }
  }
};

// Create a `GenerativeModel` instance with a model that supports speech generation.
const model = getGenerativeModel(ai, {
  model: "gemini-3.8-flash-tts",
  generationConfig
});

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
const prompt = [
  {
    type: "text",
    text: "Tell me a story about a brave knight.",
    speechMetadata: { style: "warm, engaging audiobook narrator" }
  }
];

// Call `generateContentStream` to stream the speech output as it is generated.
const result = await model.generateContentStream(prompt);

// Extract the raw PCM audio chunks and queue them for playback:
const playbackQueue = [];
for await (const chunk of result.stream) {
  const inlineDataParts = chunk.inlineDataParts();
  if (inlineDataParts?.[0]) {
    const pcmBase64 = inlineDataParts[0].inlineData.data;  // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)
    const pcmBuffer = Uint8Array.from(atob(pcmBase64), c => c.charCodeAt(0)).buffer;

    // Append the audio chunk to your audio queue/buffer for playback.
    // In a real app, start playing chunks as they arrive (rather than waiting for
    // the whole stream to finish) to get the low-latency benefit of streaming.
    playbackQueue.push(pcmBuffer);
  }
}

// To play back an array of PCM buffers in sequence, pass them to your playback helper (which you'll need to write).
processPlaybackQueue(playbackQueue);

Dart


import 'package:firebase_ai/firebase_ai.dart';

// Set `responseModalities` to include `audio`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
final config = GenerationConfig(
  responseModalities: [ResponseModalities.audio],
  speechConfig: SpeechConfig(voiceName: 'Kore'),
);

// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports speech generation.
final model = FirebaseAI.googleAI().generativeModel(
  model: 'gemini-3.8-flash-tts',
  generationConfig: config,
);

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
final prompt = Content.multi([
  TextPart(
    'Tell me a story about a brave knight.',
    speechMetadata: SpeechMetadata(style: 'warm, engaging audiobook narrator'),
  ),
]);

// Call `generateContentStream` to stream the speech output as it is generated.
final responseStream = model.generateContentStream([prompt]);

// Extract the raw PCM audio chunks and queue them for playback:
await for (final chunk in responseStream) {
  final part = chunk.candidates.first.content.parts.first;
  if (part is InlineDataPart && part.mimeType.startsWith('audio/')) {
    final Uint8List pcmChunk = part.bytes;  // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)

    // Append the audio chunk to your audio queue/buffer for playback (using a helper you implement).
    appendAudioChunk(pcmChunk);
  }
}

Unity


using System.Collections.Generic;
using System.Linq;
using Firebase.AI;

// Initialize the Gemini Developer API backend service.
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());

// Set `ResponseModalities` to include `Audio`.
// Configure a `SpeechConfig` with your chosen voice name (and optionally a language code).
var config = new GenerationConfig(
    responseModalities: new List<ResponseModality> { ResponseModality.Audio },
    speechConfig: SpeechConfig.UsePrebuiltVoice("Kore")
);

// Create a `GenerativeModel` instance with a model that supports speech generation.
var model = ai.GetGenerativeModel(
    modelName: "gemini-3.8-flash-tts",
    generationConfig: config
);

// Provide the verbatim text to synthesize as speech.
// Optionally provide turn-level style metadata.
var prompt = new ModelContent(
    new ModelContent.TextPart(
        "Tell me a story about a brave knight.",
        new SpeechMetadata(speaker: null, style: "warm, engaging audiobook narrator")
    )
);

// Call `GenerateContentStreamAsync` to stream the speech output as it is generated.
var responseStream = model.GenerateContentStreamAsync(prompt);

// Extract the raw PCM audio chunks and queue them for playback:
await foreach (var response in responseStream)
{
    var audioParts = response.Candidates.FirstOrDefault().Content.Parts
                            .OfType<ModelContent.InlineDataPart>();

    foreach (var part in audioParts)
    {
        byte[] pcmChunk = part.Data; // Headerless raw PCM bytes (24kHz, 1 channel, 16-bit)

        // Append the audio chunk to your audio queue/buffer for playback (using a helper you implement).
        AppendAudioChunk(pcmChunk);
    }
}



Как управлять речевым выводом с помощью метаданных и встроенных тегов

Модели Gemini 3.x TTS обрабатывают text внутри каждого TextPart строго как дословную расшифровку, которую нужно озвучить. Не добавляйте в текстовую строку инструкции, например "Say cheerfully:", иначе модель может прочитать их вслух.

Вы можете управлять вокалом, используя следующие техники:

Теги style на уровне реплики и встроенные теги голоса

Разделите инструкции по производительности по области действия между SpeechMetadata и встроенными тегами с угловыми скобками (<...>).

Область действия Где разместить Что регулирует Примеры
На уровне поворота
(поддерживается на протяжении всего поворота)
SpeechMetadata.style эмоции, личность, тон, интонация, высота голоса и общая скорость речи; "cheerful and friendly",
"whispered, nervous",
"speaking rapidly",
"out of breath",
"sarcastic"
Точечные
(привязаны к определенному моменту в предложении)
Встроенный в текст на языке "TextPart" с использованием <...> неречевые звуки, издаваемые человеком, например вздохи, паузы или кратковременные изменения в речи; "Wait... <short pause> did you hear that? <gasp> Someone's at the door."

Темп, паузы, высота тона и акценты

  • Знаки препинания и многоточия. Используйте запятые, тире (--) и многоточия (...), чтобы речь звучала естественно и в ней были паузы.

  • Явные теги паузы. Вставьте <short pause> или <long pause> в то место, где должна быть пауза.

    Hold on, let me think... <short pause> Alright, I've got it.
    
  • Скорость речи и высота тона. Задайте style в SpeechMetadata, чтобы управлять скоростью, высотой тона или интонацией (например, "speaking rapidly and excitedly", "speaking slowly" или "monotone and flat"). Если эмоция или темп меняются в середине монолога, разделите скрипт на отдельные реплики TextPart, каждая со своим style.

  • Выделение слов. Выделяйте отдельные слова в расшифровке заглавными буквами, чтобы подчеркнуть их:

    It was a VERY long day <sigh> ... nobody listens anymore.
    

Вокальные всплески и неречевые звуки

Вставляйте неречевые звуки, издаваемые человеком, в текст, используя угловые скобки (<...>), в том месте, где должен быть звук. Используйте человеческие звуки, а не звуковые эффекты. Рекомендуемые теги:

<argh> <exhales> <heavy breath> <scream> <snort>
<breath> <gasp> <hiss> <short pause> <sob>
<cackle> <giggle> <laugh> /
<laughter>
<shout> <throat-clearing>
<cheer> <groan> <long pause> <shriek> <tsk>
<chuckle> /
<chuckles>
<growl> <moan> <sigh> /
<sighs>
<whimper>
<cough> <grr> <pant> <sneeze> <whispers> /
<whispering>
<cry> <grunt> <pff> /
<phew>
<snicker> <yawn>

Реплики-подтверждения и наложение речи

В диалоге с несколькими участниками вы можете заключить краткие реакции слушателя в вертикальные черты (|reaction|) внутри расшифровки активного говорящего. Второй участник может вставить реплику, не дожидаясь своей очереди:

  • Короткие реплики слушателя.

    • Ход 1 (speaker: "Joe"). "So the launch is Thursday |oh hmm| Are we actually ready?"
    • Ход 2 (speaker: "Jane"): "Ready enough |oh really?| The last blocker cleared this morning."
  • Перекрывающаяся речь. Вы можете использовать несколько сегментов с вертикальной чертой, чтобы имитировать одновременную речь (лучше всего работает с gemini-3.8-flash-tts), например:

    • Ход 1 (speaker: "Joe"). "Let's surprise him on three |ok| ready?"
    • Ход 2 (speaker: "Jane"): "one. two. three. |happy| happy |birthday| birthday!"

Рекомендации по обеспечению согласованности

  • Сначала протестируйте запрос без поля style, а затем добавьте краткие style уточнения. Большинство запросов звучат естественно и без поля style. Добавляйте короткую фразу style (например, "casual, friendly" или "reflective and awe-inspired"), только когда нужно скорректировать подачу. Используйте одну и ту же фразу в разных репликах, чтобы добиться единообразия.

  • Пишите расшифровки естественным языком. Включайте в текст разговорные сокращения и естественные запинки (например, "Oh, uh, yeah I think... hm, that's interesting").

  • Избегайте устаревших блоков [Audio Profile] и метаинструкций. Длинные абзацы с описанием персонажа, блоки [Director's Notes] и метаинструкции, такие как "maintain identical timbre", увеличивают отклонение голоса. Вместо этого выберите подходящий голос из расширенной библиотеки голосов или создайте постоянный голос персонажа с помощью Voice Design.

  • Не пытайтесь переопределить неизменяемые характеристики голоса в style. Не используйте SpeechMetadata.style, чтобы изменить возраст, пол или постоянный акцент голоса. Вместо этого выберите или создайте голос с нужными характеристиками.



Поддерживаемые голоса

Модели Gemini 3.x TTS поддерживают три способа указания голоса:

Все голоса многоязычные, то есть вы можете использовать один и тот же голос для генерации речи на любом из поддерживаемых языков, сохраняя при этом индивидуальность говорящего. Например, если вы выберете голос Kore и отправите запросы на испанском, вьетнамском и хинди, ответы на всех этих языках будут озвучены голосом Kore. 30 основных встроенных голосов – это многоязычные голоса общего назначения, а голоса из расширенной библиотеки и пользовательские голоса привязаны к основному языку или региональному акценту. Это значит, что они могут говорить и на других языках, но на основном звучат наиболее естественно.

Основные готовые голоса

Модели Gemini TTS поддерживают 30 основных встроенных голосов (например, Kore, Puck, Zephyr, Charon и Fenrir), каждый из которых имеет свои особенности. Передайте название голоса в SpeechConfig (как показано в примерах с одним и несколькими голосами выше).

Заданные голоса из расширенной библиотеки голосов

Помимо 30 встроенных голосов, в расширенной библиотеке голосов доступно более 2000 тщательно подобранных готовых голосов, охватывающих различные языки, региональные акценты, возрастные диапазоны, персонажи и варианты использования (например, аудиокниги, агенты службы поддержки и дикторы новостей).

Вот как использовать любой голос из расширенной библиотеки в своем приложении:

  1. Чтобы выбрать голос, выполните одно из следующих действий:

  2. Передайте строку id голоса из библиотеки в качестве названия голоса в SpeechConfig (как показано в примере с одним диктором выше).

Собственные голоса: дизайн и репликация голоса

Модели Gemini 3.x TTS также поддерживают пользовательские голоса, созданные одним из следующих способов:

  • Voice Design (предварительная версия). Генерируйте уникальные голоса на основе описания возраста, тембра, акцента и личности говорящего на естественном языке. При этом вам не нужно предоставлять образец аудио. Возвращает сохраненный идентификатор голоса (voice_...).

  • Репликация голоса (предварительная версия). Воспроизведение голоса, тона и темпа речи говорящего на основе эталонной записи и записи устного согласия. Возвращает идентификатор голоса, хранящийся в проекте (voice_...), или ключ репликации голоса без сохранения состояния, управляемый приложением (voicekey_...).

Как использовать собственный голос в приложении "Firebase AI Logic"

Создание пользовательских голосов и управление ими – это административная операция, которая выполняется на стороне сервера, поэтому в клиентских SDK Firebase AI Logic нет прямого доступа к конечным точкам управления голосами (CreateVoice, ListVoices, DeleteVoice).

Чтобы использовать собственный голос, выполните следующие действия:

  1. Создайте собственный голос одним из следующих способов:

  2. Передайте строку voice_<id> или voicekey_<id> в качестве названия голоса в SpeechConfig (аналогично тому, как показано в примере с одним диктором выше на этой странице).

При использовании пользовательских голосов учитывайте следующие требования:

  • Местоположение (Agent Platform Gemini API (formerly Vertex AI)). Пользовательские голоса (voice_... и voicekey_...) поддерживаются только в местоположении global (которое является местоположением по умолчанию при работе с Firebase AI Logic).

  • Запросы с одним говорящим. MultiSpeakerVoiceConfig поддерживает только основные встроенные голоса. Чтобы использовать собственные или реплицированные голоса в диалоге с несколькими персонажами, синтезируйте реплики каждого персонажа в отдельном запросе для одного говорящего.

  • Хранение и срок действия. Срок действия сохраненных пользовательских голосов (voice_...) истекает, если они не используются в течение года (каждый запрос на синтез сбрасывает таймер хранения). Срок действия ключей репликации голоса без сохранения состояния (voicekey_...) истекает через семь дней после создания.

Поддерживаемые языки

Модели Gemini 3.x TTS автоматически определяют язык введенного текста, в том числе когда в запросе происходит переключение между языками в диалоге с несколькими участниками.

  • Gemini 3.8 Flash TTS (gemini-3.8-flash-tts): поддерживает 132 языка.
  • Gemini 3.8 Flash‑Lite TTS (gemini-3.8-flash-lite-tts): поддерживает 103 языка.

(Необязательно) Явно задайте код языка

Если вы хотите явно ограничить синтез речи определенным регионом, вы можете передать BCP-47 languageCode в SpeechConfig:



Форматы аудиовыхода

Формат аудио, возвращаемый по умолчанию в InlineDataPart, зависит от того, какой запрос вы делаете – унарный или потоковый.

Метод запроса MIME-тип, возвращаемый по умолчанию Сведения о параметре "Формат аудио"
Unary
(generateContent)
audio/wav Полный WAV-файл (16-битный линейный PCM, 24 кГц, моно, прямой порядок байтов) со стандартным 44-байтным заголовком RIFF.

Может воспроизводиться напрямую стандартными аудиопроигрывателями платформы (например, AVAudioPlayer на платформах Apple, Web Audio decodeAudioData или проигрывателями на основе файлов).

Потоковая передача
(generateContentStream)
audio/l16 Необработанные 16-битные фрагменты PCM без заголовков с прямым порядком байтов, 24 кГц, моно.

Разработан для очередей буфера с низкой задержкой и объединения без заголовков файлов для каждого фрагмента.



Ограничения и требования

При использовании моделей Gemini 3.x TTS учитывайте следующие ограничения и требования:

  • Только текстовый ввод, только аудиовывод. Модели TTS принимают только текстовый ввод (TextPart), и для них требуется, чтобы параметр responseModalities был задан как AUDIO.

  • Только дословный синтез. Модели дословно воспроизводят предоставленную расшифровку и не генерируют текстовые ответы.

  • Ограничения на количество токенов. Максимальное количество входных токенов – 8192, а выходных – 16 384 на запрос.

  • Ограничение на количество говорящих. Для MultiSpeakerVoiceConfig требуется два говорящих. Поддерживаются только основные встроенные голоса. Каждый объект TextPart в запросе с несколькими дикторами должен содержать объект SpeechMetadata.speaker, соответствующий одному из настроенных дикторов.

  • Неподдерживаемые параметры и методы:

    • SDK Firebase AI Logic пока не поддерживают настройку responseFormat в GenerationConfig для переопределения формата вывода аудио по умолчанию.
    • Значения systemInstruction, temperature, topP, topK, candidateCount, presencePenalty и frequencyPenalty не поддерживаются и приводят к ошибке 400 INVALID_ARGUMENT.
    • Вызов countTokens не поддерживается для моделей TTS (количество токенов возвращается в usageMetadata в ответе).
  • Местоположение (Agent Platform Gemini API (formerly Vertex AI)). Для пользовательских голосов (voice_... и voicekey_...) требуется местоположение по умолчанию global (которое используется при работе с Firebase AI Logic).



Замена gemini-3.1-flash-tts-preview

В gemini-3.8-flash-tts и gemini-3.8-flash-lite-tts используется одна и та же структура запроса. Изучите таблицу сравнения моделей, чтобы выбрать оптимальную замену для вашей рабочей нагрузки, и обновите код следующим образом:

Площадь gemini-3.1-flash-tts-preview (устаревшее) gemini-3.8-flash-tts и
gemini-3.8-flash-lite-tts
Стиль и направление подачи Встроен в текст запроса. Пример:
"Say cheerfully: ...",
[Audio Profile],
[Director's Notes]
Передано в SpeechMetadata(style: "...") для каждого TextPart

Текст TextPart должен строго соответствовать дословной расшифровке речи.

Диалог с несколькими участниками Одна текстовая строка со встроенными префиксами "Speaker: ..." Один элемент TextPart на каждую реплику в диалоге, с элементом SpeechMetadata(speaker: "...", style: "...") в каждом элементе TextPart.
Встроенные теги для голосовых команд Квадратные скобки. Примеры:
[sigh] или [laughs]
Угловые скобки. Примеры:
<sigh>, <laugh> или <short pause>.

Записывайте речевые ошибки, например "uhm", прямо в тексте.

Формат аудио по умолчанию (generateContent) Необработанный 16-битный PCM без заголовка (audio/pcm, 24 кГц, моно) Полный WAV-файл (audio/wav, 16-битный PCM, 24 кГц, моно, с 44-байтным заголовком RIFF).

Потоковая передача (generateContentStream) по-прежнему выполняется в формате 16-битного PCM без заголовка (audio/l16).

Системные инструкции, температура, top-P, top-K Проигнорировано. Отклонено с ошибкой 400 INVALID_ARGUMENT. Удалите эти параметры из конфигурации модели.

Контрольный список для переноса

  • Перейдите на последнюю версию Firebase AI Logic SDK и измените название модели на gemini-3.8-flash-tts или gemini-3.8-flash-lite-tts.

  • Перенесите инструкции по стилю в SpeechMetadata.style. Удалите префиксы "Say cheerfully:", блоки [Audio Profile], [Scene] и [Director's Notes] из строк запросов, чтобы модель не читала их вслух. Вместо этого передайте краткое описание стиля в SpeechMetadata.style.

  • Разделяйте скрипты с несколькими говорящими на отдельные реплики TextPart. Заменяйте текстовые блоки "Joe: ... \n Jane: ..." массивом или списком объектов TextPart, где каждая реплика задает SpeechMetadata.speaker.

  • Преобразовать теги [...] в теги <...>. Заменить теги аудио в квадратных скобках (например, [whispers], [sighs], [laughs]) на теги вокала в угловых скобках (например, <whispers>, <sigh>, <laugh>, <short pause>).

  • Обновите унарное воспроизведение аудио. Поскольку generateContent теперь возвращает полный WAV-файл (с 44-байтовым заголовком RIFF), а не необработанный PCM без заголовка, удалите весь код, который вручную добавляет заголовок WAV к унарным ответам. Если вы передаете необработанные выборки PCM в низкоуровневый буферный API, например AudioTrack в Android или AudioClip в Unity, пропустите 44-байтовый заголовок.

  • Удалите неподдерживаемые параметры конфигурации. Удалите temperature, topP, topK, candidateCount, presencePenalty, frequencyPenalty и systemInstruction из конфигурации TTS GenerativeModel.



Что ещё ты умеешь делать?

Попробуйте другие возможности

Как управлять генерацией контента

Вы также можете экспериментировать с запросами и конфигурациями моделей и даже получить сгенерированный фрагмент кода с помощью Google AI Studio.

Подробнее о поддерживаемых моделях

Узнайте, какие модели доступны для разных сценариев использования, а также ознакомьтесь с их квотами и ценами.


Оставьте отзыв о работе с Firebase AI Logic