Функции, доступные при использовании Gemini API через фреймворк Foundation Models от Apple


Примеры на этой странице предполагают, что вы выполнили инструкции из статьи Начало работы: доступ к Gemini API через фреймворк Foundation Models от Apple.


В этом руководстве рассказывается, как отправлять запросы разных типов в Gemini API через фреймворк Foundation Models от Apple с помощью Firebase AI Logic SDK для платформ Apple.

На этой странице приведены примеры отправки следующих типов запросов:



Сгенерировать текст

Модели Gemini поддерживают следующие возможности генерации текста:

Модели, поддерживающие эту функцию

  • gemini-4-hydrogen
  • gemini-4-argon
  • gemini-4-carbon
  • gemini-3.8-flash
  • gemini-3.5-flash-lite (и более старая версия gemini-3.1-flash-lite)

Более старые модели Gemini 3.x Flash общего назначения поддерживают эту функцию, но мы не рекомендуем их использовать, поскольку они скоро будут отключены и/или запросы к ним будут автоматически перенаправляться к более новым моделям.

Генерировать текст на основе текстового запроса

Нажмите на название своего поставщика Gemini API, чтобы посмотреть контент и код, относящиеся к нему.

Вы можете попросить модель Gemini сгенерировать текст, используя только текстовый запрос.

import FoundationModels
import FirebaseCore
import FirebaseAILogic

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Initialize a `geminiLanguageModel` with a Gemini model that supports your use case.
let model = ai.geminiLanguageModel(name: "gemini-4-hydrogen")

// Provide a prompt that contains text.
let prompt = "Write a story about a magic backpack."

// Create a session by injecting the model into Apple's `LanguageModelSession`.
// For a single-turn interaction, create a new session each time you call the model.
let session = LanguageModelSession(model: model)

// Generate a text response to the prompt.
let response = try await session.respond(to: prompt)
print(response.content)

Включить потоковую передачу ответов

Чтобы ускорить взаимодействие, не ждите, пока модель сгенерирует весь результат, а используйте потоковую передачу для обработки частичных результатов. Чтобы получить ответ в виде потока, используйте streamResponse(to:) вместо respond(to:).

// imports
// initialization of Gemini API backend service and a `geminiLanguageModel`

// Provide a prompt that contains text.
let prompt = "Write a story about a magic backpack."

// Create a session by injecting the model into Apple's `LanguageModelSession`.
// For a single-turn interaction, create a new session each time you call the model.
let session = LanguageModelSession(model: model)

// Generate a text response to the prompt.
// To stream the response, use `streamResponse(to:)` instead of `respond(to:)`
let stream = session.streamResponse(to: "Write a story about a magic backpack.")
var response = ""
for try await snapshot in stream {
  // The snapshot contains *all* content generated so far.
  response = snapshot.content
}

Как генерировать текст в ходе многоэтапного сеанса (чата)

Нажмите на название своего поставщика Gemini API, чтобы посмотреть контент и код, относящиеся к нему.

import FoundationModels
import FirebaseCore
import FirebaseAILogic

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Initialize a `geminiLanguageModel` with a Gemini model that supports your use case.
let model = ai.geminiLanguageModel(name: "gemini-4-hydrogen")

// Create a session by injecting the model into Apple's `LanguageModelSession`.
// The session maintains state between each request.
let session = LanguageModelSession(model: model)

// Generate a text response to an initial prompt.
let response = try await session.respond(to: "Hello! I'd like to learn more about Albert Einstein.")
print(response.content)  // Example response from model: "What would you like to know?"

// Continue using the existing session. Each prompt and response is added to the transcript.
let response2 = try await session.respond(to: "When was he born?")
print(response2.content)  // Example response from model: "March 14, 1879"

Генерировать текст на основе мультимодальных входных данных (например, изображений).

Нажмите на название своего поставщика Gemini API, чтобы посмотреть контент и код, относящиеся к нему.

Вы можете попросить модель Gemini сгенерировать текст, используя текстовый запрос и файл, например изображение или PDF.

import FoundationModels
import FirebaseCore
import FirebaseAILogic

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Initialize a `geminiLanguageModel` with a Gemini model that supports your use case.
let model = ai.geminiLanguageModel(name: "gemini-4-hydrogen")

// Create a session by injecting the model into Apple's `LanguageModelSession`.
// For a single-turn interaction, create a new session each time you call the model.
let session = LanguageModelSession(model: model)

let cgImage: CGImage = // ... fetch CGImage from your datasource.
let response = try await session.respond {
  "What are the dominant colors of this image, in order?"
  Attachment(cgImage)
}
print(response.content)

Включить потоковую передачу ответов

Чтобы ускорить взаимодействие, не ждите, пока модель сгенерирует весь результат, а используйте потоковую передачу для обработки частичных результатов. Чтобы получить ответ в виде потока, используйте streamResponse вместо respond.

// imports
// initialization of Gemini API backend service and a `geminiLanguageModel`

// Create a session by injecting the model into Apple's `LanguageModelSession`.
// For a single-turn interaction, create a new session each time you call the model.
let session = LanguageModelSession(model: model)

let cgImage: CGImage = // ... fetch CGImage from your datasource.
let stream = session.streamResponse {
  "What are the dominant colors of this image, in order?"
  Attachment(cgImage)
}

var response = ""
for try await snapshot in stream {
  // The snapshot contains *all* content generated so far.
  response = snapshot.content
}
print(response)



Генерировать изображения (с помощью моделей Nano Banana)

Нажмите на название своего поставщика Gemini API, чтобы посмотреть контент и код, относящиеся к нему.

Модели, поддерживающие эту функцию

  • gemini-nano-banana-2.1 (Nano Banana 2.1)
  • gemini-3.1-flash-image (Nano Banana 2)
  • gemini-3.1-flash-lite-image (Nano Banana 2 Lite)
  • gemini-3-pro-image (Nano Banana Pro)

Вы можете попросить модель Gemini Nano Banana создать изображение, используя только текстовый запрос.

В примере ниже показано, как сгенерировать только изображение, но модели Nano Banana могут генерировать и изображения, и текст.

import FoundationModels
import FirebaseCore
import FirebaseAILogic

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Initialize a `geminiLanguageModel` with a Gemini model that supports image output.
let model = ai.geminiLanguageModel(name: "gemini-nano-banana-2.1"
    options:
      GeminiGenerationOptions(responseModalities: .image)
)

let session = LanguageModelSession(model: model)
let response = try await session.respond(
          to: "Generate an image of the Eiffel tower with fireworks in the background."
        )

var generatedImage: CIImage?
// Find the image in the transcriptEntries.
for entry in response.transcriptEntries {
  if case let .response(response) = entry {
    for segment in response.segments {
      if case let .attachment(attachment) = segment,
          case let .image(image) = attachment.content {
        generatedImage = image.ciImage
      }
    }
  }
}



Генерировать структурированные выходные данные в формате JSON

Нажмите на название своего поставщика Gemini API, чтобы посмотреть контент и код, относящиеся к нему.

Модели, поддерживающие эту функцию

  • gemini-4-hydrogen
  • gemini-4-argon
  • gemini-4-carbon
  • gemini-3.8-flash
  • gemini-3.5-flash-lite (и более старая версия gemini-3.1-flash-lite)
  • gemini-3-pro-image (Nano Banana Pro)

Более старые модели Gemini 3.x Flash общего назначения поддерживают эту функцию, но мы не рекомендуем их использовать, поскольку они скоро будут отключены и/или запросы к ним будут автоматически перенаправляться к более новым моделям.

По умолчанию модели Gemini возвращают ответы в виде неструктурированного текста. Однако в некоторых случаях требуется структурированный текст, например JSON. Например, если вы используете ответ для других задач, требующих установленной схемы данных.

Вы можете настроить модель так, чтобы она форматировала ответ в соответствии с предоставленной вами схемой JSON. Подробные сведения, рекомендации и примеры использования для создания структурированных выходных данных JSON можно найти в общем руководстве Генерирование структурированных выходных данных.

import FoundationModels
import FirebaseCore
import FirebaseAILogic

@Generable(description: "Basic profile information about a cat")
struct CatProfile {
  var name: String
  @Guide(description: "The age of the cat", .range(0 ... 20))
  var age: Int
  @Guide(description: "A one sentence profile about the cat's personality")
  var profile: String
}

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Initialize a `geminiLanguageModel` with a Gemini model that supports your use case.
let model = ai.geminiLanguageModel(name: "GEMINI_MODEL_NAME")
let session = LanguageModelSession(model: model)

let response = try await session.respond(
  to: "Generate a cute rescue cat profile with an Elvish theme",
  generating: CatProfile.self
)
let cat = response.content


Оставить отзыв о доступе к Gemini API через фреймворк Foundation Models от Apple