Créer des expériences hybrides dans les applications Apple avec des modèles hébergés sur l'appareil et dans le cloud

Vous pouvez créer des applications et des fonctionnalités Apple optimisées par l'IA avec l'inférence hybride à l'aide de Firebase AI Logic. L'inférence hybride permet d'exécuter l'inférence à l'aide de modèles sur l'appareil (en particulier le framework Foundation Models d'Apple) lorsqu'ils sont disponibles, et de basculer de manière fluide vers des modèles Google hébergés dans le cloud dans le cas contraire (et inversement).

Cette page explique comment faire vos premiers pas avec le SDK client. Une fois cette configuration standard terminée, découvrez les options de configuration et fonctionnalités supplémentaires.

Notez que l'inférence sur l'appareil via Firebase AI Logic est compatible avec les applications Apple utilisant le SDK Firebase AI Logic v12.13.0 ou version ultérieure et s'exécutant sur des appareils sur lesquels Apple Intelligence est activé. Il est régi par les exigences d'utilisation acceptable pour le framework des modèles de fondation d'Apple.

 Accéder aux exemples de code

Cas d'utilisation et fonctionnalités compatibles

En fonction des cas d'utilisation de votre application, vous pouvez profiter de plusieurs avantages des expériences sur l'appareil ou hybrides :

  • Avantages de l'utilisation d'un modèle sur l'appareil pour l'inférence :

    • Confidentialité renforcée
    • Contexte local
    • Inférence sans frais
    • Fonctionnalités hors connexion
  • Avantages d'une approche hybride :

    • Offrir une expérience similaire dans l'application, quel que soit l'appareil de l'utilisateur final
    • Améliorer la disponibilité des fonctionnalités d'IA générative, indépendamment de la connectivité Internet, des limites de quota ou des capacités de l'appareil

Fonctionnalités d'inférence sur l'appareil compatibles

L'inférence sur l'appareil n'est compatible qu'avec la génération de texte, en particulier les fonctionnalités suivantes :

Assurez-vous de consulter la liste des fonctionnalités non encore compatibles avec l'inférence hybride ou sur l'appareil au bas de cette page.

API et appareils compatibles

Les sections suivantes décrivent les API compatibles, ainsi que les appareils compatibles (et leurs modèles sur l'appareil).

API compatibles pour l'inférence dans le cloud ou sur l'appareil

Appareils Apple compatibles et leurs modèles sur l'appareil

Pour l'inférence sur l'appareil (qui utilise le framework Foundation Models d'Apple), vous trouverez une liste des appareils sur lesquels Apple Intelligence est activé dans la documentation d'Apple.

Commencer

Ces étapes de démarrage décrivent la configuration générale requise pour toute requête de prompt compatible que vous souhaitez envoyer.

Étape 1 : Configurez un projet Firebase et associez votre application à Firebase

  1. Connectez-vous à la console Firebase, puis sélectionnez votre projet Firebase.

  2. Dans la console Firebase, accédez à Services d'IA > Logique d'IA.

  3. Cliquez sur Commencer pour lancer un workflow guidé qui vous aide à configurer les API requises et les ressources de votre projet.

  4. Si vous y êtes invité, suivez les instructions à l'écran pour enregistrer votre application et ajouter votre configuration Firebase à votre application.

  5. Lorsque vous êtes invité à choisir un "fournisseur d'API Gemini", nous vous recommandons de sélectionner l'API Gemini Developer, qui vous permet de commencer rapidement et sans frais.

    Vous pourrez toujours configurer Agent Platform Gemini API (formerly Vertex AI) (et l'exigence de facturation associée) ultérieurement.

  6. Poursuivez le workflow pour configurer les API requises et les services associés pour Firebase AI Logic.

    Cette étape du workflow applique automatiquement Firebase App Check pour AI Logic, un service essentiel pour protéger Gemini API lorsqu'il est accessible directement depuis votre application. Pour commencer (voir les étapes plus loin dans ce guide), vous devrez configurer le fournisseur de débogage App Check pour le développement local lorsque App Check est appliqué.

  7. Passez à l'étape suivante de ce guide pour ajouter les SDK requis à votre application.

Étape 2 : Ajouter les SDK nécessaires

Utilisez Swift Package Manager (SPM) pour installer et gérer les dépendances Xcode. La compatibilité hybride n'est disponible que lorsque vous utilisez SPM.

La bibliothèque Firebase AI Logic permet d'accéder aux API pour interagir avec les modèles génératifs. La bibliothèque est incluse dans le SDK Firebase pour les plates-formes Apple (firebase-ios-sdk).

Si vous utilisez déjà Firebase, assurez-vous que votre package Firebase est de version 12.13.0 ou ultérieure.

  1. Dans Xcode, à partir de votre projet d'application ouvert, accédez à File > Add Package Dependencies (Fichier > Ajouter des dépendances de package).

  2. Lorsque vous y êtes invité, ajoutez le dépôt du SDK des plates-formes Firebase pour Apple :

    https://github.com/firebase/firebase-ios-sdk
    
  3. Sélectionnez la dernière version du SDK.

  4. Sélectionnez les bibliothèques FirebaseAILogic et FirebaseAppCheck.

Une fois que vous avez terminé, Xcode commence automatiquement à résoudre et à télécharger vos dépendances en arrière-plan.

Étape 3 : Configurer le fournisseur de débogage App Check pour le développement local

Dans le cadre du workflow de configuration guidée de AI Logic dans la console, Firebase App Check est automatiquement appliqué pour protéger Gemini API. Pour le développement local, vous devez configurer le fournisseur de débogage App Check afin de contourner l'attestation tout en maintenant l'application de App Check.

Voici comment utiliser le fournisseur de débogage lorsque vous exécutez votre application de manière interactive dans un simulateur (par exemple, lors du développement local) :

  1. Dans votre projet Xcode, importez FirebaseAppCheck et initialisez App Check avec la fabrique de fournisseurs de débogage avant de configurer Firebase.

    import SwiftUI
    import FirebaseCore
    import FirebaseAppCheck
    
    @main
    struct YourApp: App {
      init() {
        let providerFactory = AppCheckDebugProviderFactory()
        AppCheck.setAppCheckProviderFactory(providerFactory)
        FirebaseApp.configure()
      }
    
      var body: some Scene {
        WindowGroup {
          NavigationView {
            ContentView()
          }
        }
      }
    }
    
  2. Obtenez votre jeton de débogage :

    1. Lancez votre application dans le simulateur ou sur votre appareil de test.

    2. Ouvrez la console Xcode et recherchez le jeton de débogage App Check. Exemple :

      <Warning> [AppCheckCore][I-GAC004001] App Check debug token: '123a4567-b89c-12d3-e456-789012345678'.
      
    3. Copiez le jeton (par exemple, 123a4567-b89c-12d3-e456-789012345678).

  3. Enregistrez votre jeton de débogage avec App Check :

    1. Dans la console Firebase, accédez à l'onglet Sécurité > App Check > Applications.

    2. Recherchez votre application, cliquez sur le menu à développer (), puis sélectionnez Gérer les jetons de débogage.

    3. Suivez les instructions à l'écran pour enregistrer votre jeton de débogage.

Pour en savoir plus sur le fournisseur de débogage (y compris sur la façon d'obtenir un nouveau jeton de débogage), consultez la documentation officielle de App Check.

Étape 4 : Initialiser le service et créer une instance de session de modèle

Cliquez sur votre fournisseur Gemini API pour afficher le contenu et le code spécifiques au fournisseur sur cette page.

Configurez les éléments suivants avant d'envoyer une requête de prompt au modèle.

  1. Initialisez le service pour le fournisseur Gemini API de votre choix.

  2. Créez une instance GenerativeModelSession avec un HybridModel.

  3. Définissez les modèles primary et secondary en fonction de vos préférences. Vous pouvez définir l'ordre des tentatives d'inférence :

    • Tenter d'abord l'inférence sur l'appareil, mais autoriser le remplacement par le cloud : définissez primary sur un modèle "système" et secondary sur un modèle cloud.

    • Essayer d'abord l'inférence dans le cloud, mais autoriser le remplacement sur l'appareil : définissez primary sur un modèle cloud et secondary sur un modèle "système".

    Notez que le SDK n'accepte la définition que d'un seul model, ce qui signifie que le SDK ne tentera que l'inférence sur l'appareil ou dans le cloud. Toutefois, pour une expérience hybride, vous devez créer un HybridModel et définir les modèles primary et secondary.

    Pour en savoir plus sur le comportement des "modes d'inférence" (l'ordre des tentatives d'inférence), consultez Options de configuration.

L'exemple suivant montre comment tenter d'abord l'inférence sur l'appareil, mais autoriser le recours au modèle hébergé dans le cloud :

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())

// Initialize a cloud model that supports your use case.
let cloudModel = ai.geminiModel(name: "GEMINI_MODEL_NAME")
// Initialize an on-device model that supports your use case.
let systemModel = FirebaseAI.SystemLanguageModel.default

// Create a Hybrid Model.
// Provide your preferred model as `primary` and your fallback model as `secondary`.
// In this example, attempt to use on-device model; otherwise, fall back to cloud.
let hybridModel = HybridModel(
  primary: systemModel,
  secondary: cloudModel
)

// Create a GenerativeModelSession with the HybridModel created earlier.
let session = firebaseAI.generativeModelSession(
  model: hybridModel,
)

Étape 5 : Envoyer une requête de prompt à un modèle

Cette section vous explique comment :

Générer du texte à partir d'une entrée textuelle

Avant d'essayer cet exemple, assurez-vous d'avoir suivi les étapes de la section Premiers pas de ce guide.

Pour générer du texte à partir d'une requête contenant du texte, utilisez respond(to:) comme suit :

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To generate text output, call `respond(to:)` with the text input
let response = try await session.respond(to: prompt)
print(response.content)

Diffuser en streaming du texte généré à partir d'une entrée textuelle

Avant d'essayer cet exemple, assurez-vous d'avoir suivi les étapes de la section Premiers pas de ce guide.

Vous pouvez accélérer les interactions en n'attendant pas le résultat complet de la génération du modèle, mais en utilisant le streaming pour gérer les résultats partiels. Pour diffuser en continu du texte généré à partir d'un prompt contenant du texte, utilisez streamResponse(to:) comme suit :

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To stream generated text output, call `streamResponse(to:)` with the text input
let stream = session.streamResponse(to: prompt)
for try await snapshot in stream {
  print(snapshot.content)
}

Qu'est-ce que tu sais faire d'autre ?

Vous pouvez utiliser différentes options et fonctionnalités de configuration supplémentaires pour vos expériences hybrides :

Fonctionnalités pas encore compatibles

Comme il s'agit d'une version expérimentale, toutes les fonctionnalités des modèles hébergés dans le cloud ou du SDK Firebase AI Logic ne sont pas disponibles pour l'inférence hybride ou sur l'appareil.

Fonctionnalités non encore compatibles avec les implémentations hybrides

Les fonctionnalités suivantes ne peuvent pas être utilisées avec les implémentations hybrides (ni sur l'appareil, ni via le remplacement dans le cloud) :

  • Gemini Live API : le streaming bidirectionnel en temps réel n'est pas accepté.

  • Modèles de prompts côté serveur : les modèles de prompts côté serveur gérés ne sont pas compatibles.

  • Compter les jetons : ne vous fiez pas au nombre de jetons, car il diffère entre les modèles hébergés dans le cloud et les modèles sur l'appareil. Il n'existe donc pas de solution de remplacement intuitive.

Fonctionnalités non encore compatibles avec l'inférence sur l'appareil

Les fonctionnalités suivantes ne sont pas encore compatibles avec l'inférence sur l'appareil, mais elles sont disponibles pour les modèles hébergés dans le cloud.

  • Générer des contenus multimédias, comme des images, des contenus audio ou des vidéos

  • Générer du texte à partir d'entrées multimodales d'images, de contenus audio, de vidéos et de documents (PDF)

  • Envoi de requêtes dépassant 4 096 jetons (soit environ 3 000 mots en anglais)

  • Fournir au modèle sur l'appareil des outils intégrés pour l'aider à générer sa réponse (comme l'exécution de code, le contexte d'URL, l'ancrage avec Google Search et l'ancrage avec Google Maps). Toutefois, vous pouvez fournir vos propres outils à l'aide de l'appel de fonction.

  • La surveillance de l'IA dans la console Firebase n'affiche aucune donnée pour l'inférence sur l'appareil (y compris les journaux sur l'appareil). Toutefois, toute inférence utilisant un modèle hébergé dans le cloud peut être surveillée comme n'importe quelle autre inférence via Firebase AI Logic.

Autres limites

En plus de ce qui précède, l'inférence sur l'appareil présente les limites suivantes :


Envoyer des commentaires sur votre expérience avec Firebase AI Logic