Tworzenie hybrydowych funkcji w aplikacjach Apple za pomocą modeli na urządzeniu i hostowanych w chmurze

Możesz tworzyć aplikacje i funkcje Apple oparte na AI z wnioskowaniem hybrydowym za pomocą Firebase AI Logic. Wnioskowanie hybrydowe umożliwia przeprowadzanie wnioskowania przy użyciu modeli na urządzeniu (w szczególności platformy Foundation Models firmy Apple), gdy są one dostępne, a w przeciwnym razie płynne przełączanie się na modele Google hostowane w chmurze (i odwrotnie).

Na tej stronie dowiesz się, jak zacząć korzystać z pakietu SDK klienta. Po zakończeniu standardowej konfiguracji zapoznaj się z dodatkowymi opcjami i możliwościami konfiguracji.

Pamiętaj, że wnioskowanie na urządzeniu za pomocą Firebase AI Logic jest obsługiwane w przypadku aplikacji na urządzenia Apple, które korzystają z pakietu SDK Firebase AI Logic w wersji 12.13.0 lub nowszej i działają na urządzeniach z włączoną funkcją Apple Intelligence. Podlega on wymaganiom dotyczącym dopuszczalnego użytkowania platformy Foundation Models firmy Apple.

Przejdź do przykładowych kodów

Przypadki użycia i obsługiwane funkcje

W zależności od przypadków użycia aplikacji możesz korzystać z kilku zalet funkcji na urządzeniu lub funkcji hybrydowych:

  • Zalety korzystania z modelu na urządzeniu do wnioskowania:

    • Zwiększona prywatność
    • Kontekst lokalny
    • Bezpłatne wnioskowanie
    • Funkcje offline
  • Zalety podejścia hybrydowego:

    • zapewnić podobne wrażenia użytkownika aplikacji niezależnie od urządzenia, z którego korzysta;
    • poprawić dostępność funkcji opartych na generatywnej AI niezależnie od połączenia z internetem, limitów czy możliwości urządzenia;

Obsługiwane możliwości wnioskowania na urządzeniu

Wnioskowanie na urządzeniu obsługuje tylko generowanie tekstu, a konkretnie te funkcje:

Zapoznaj się z listą funkcji, które nie są jeszcze obsługiwane w przypadku wnioskowania hybrydowego lub na urządzeniu, u dołu tej strony.

Obsługiwane interfejsy API i urządzenia

W sekcjach poniżej znajdziesz opis obsługiwanych interfejsów API oraz obsługiwanych urządzeń (i modeli na urządzeniu).

Obsługiwane interfejsy API do wnioskowania w chmurze i na urządzeniu

Obsługiwane urządzenia Apple i ich modele na urządzeniu

W przypadku wnioskowania na urządzeniu (które korzysta z platformy Foundation Models firmy Apple) listę urządzeń z włączoną funkcją Apple Intelligence znajdziesz w dokumentacji Apple.

Rozpocznij

Te kroki opisują ogólną konfigurację wymaganą w przypadku każdej obsługiwanej prośby o prompt, którą chcesz wysłać.

Krok 1. Skonfiguruj projekt w Firebase i połącz z nim aplikację

  1. Zaloguj się w konsoli Firebase i wybierz projekt w Firebase.

  2. W konsoli Firebase otwórz Usługi AI > AI Logic.

  3. Kliknij Rozpocznij, aby uruchomić proces, który pomoże Ci skonfigurować wymagane interfejsy API i zasoby w projekcie.

  4. Jeśli pojawi się taka prośba, postępuj zgodnie z instrukcjami wyświetlanymi na ekranie, aby zarejestrować aplikację i dodać do niej konfigurację Firebase.

  5. Gdy pojawi się prośba o wybranie „dostawcy interfejsu Gemini API”, zalecamy wybranie Gemini Developer API, który umożliwia szybkie rozpoczęcie pracy bez opłat.

    W każdej chwili możesz skonfigurować Agent Platform Gemini API (formerly Vertex AI) (i wymagane informacje rozliczeniowe).

  6. Kontynuuj proces, aby skonfigurować wymagane interfejsy API i powiązane usługi dla: Firebase AI Logic.

    Ten etap przepływu pracy automatycznie egzekwuje Firebase App Check dla AI Logic, czyli krytycznej usługi, która pomaga chronić Gemini API, gdy jest on bezpośrednio dostępny z Twojej aplikacji. Na początku (patrz kroki w dalszej części tego przewodnika) musisz skonfigurować dostawcę debugowania App Check na potrzeby lokalnego programowania, gdy App Check jest egzekwowany.

  7. Przejdź do następnego kroku w tym przewodniku, aby dodać do aplikacji wymagane pakiety SDK.

Krok 2. Dodaj wymagane pakiety SDK.

Do instalowania zależności Xcode i zarządzania nimi używaj menedżera pakietów Swift (SPM). Obsługa hybrydowa jest dostępna tylko w przypadku korzystania z SPM.

Biblioteka Firebase AI Logic zapewnia dostęp do interfejsów API umożliwiających interakcję z modelami generatywnymi. Biblioteka jest częścią pakietu SDK Firebase na platformy Apple (firebase-ios-sdk).

Jeśli korzystasz już z Firebase, upewnij się, że pakiet Firebase jest w wersji 12.13.0 lub nowszej.

  1. W Xcode, gdy projekt aplikacji jest otwarty, kliknij File > Add Package Dependencies (Plik > Dodaj zależności pakietu).

  2. Gdy pojawi się prośba, dodaj repozytorium pakietu SDK Firebase na platformy Apple:

    https://github.com/firebase/firebase-ios-sdk
    
  3. Wybierz najnowszą wersję pakietu SDK.

  4. Wybierz biblioteki FirebaseAILogic i FirebaseAppCheck.

Gdy skończysz, Xcode automatycznie zacznie przetwarzać i pobierać zależności w tle.

Krok 3. Skonfiguruj dostawcę debugowania App Check na potrzeby programowania lokalnego

W ramach procesu konfiguracji z przewodnikiem dla AI Logic w konsoli Firebase App Check jest automatycznie egzekwowana, aby chronić Gemini API. W przypadku programowania lokalnego musisz skonfigurować App Check dostawcę debugowania, aby pomijać atestację, zachowując jednocześnie wymuszanie App Check.

Aby używać dostawcy debugowania podczas interaktywnego uruchamiania aplikacji w symulatorze (np. podczas lokalnego programowania):

  1. W projekcie Xcode zaimportuj FirebaseAppCheck i zainicjuj App Check za pomocą fabryki dostawcy debugowania, zanim skonfigurujesz Firebase.

    import SwiftUI
    import FirebaseCore
    import FirebaseAppCheck
    
    @main
    struct YourApp: App {
      init() {
        let providerFactory = AppCheckDebugProviderFactory()
        AppCheck.setAppCheckProviderFactory(providerFactory)
        FirebaseApp.configure()
      }
    
      var body: some Scene {
        WindowGroup {
          NavigationView {
            ContentView()
          }
        }
      }
    }
    
  2. Uzyskaj token debugowania:

    1. Uruchom aplikację w symulatorze lub na urządzeniu testowym.

    2. Otwórz konsolę Xcode i poszukaj tokena debugowania App Check. Na przykład:

      <Warning> [AppCheckCore][I-GAC004001] App Check debug token: '123a4567-b89c-12d3-e456-789012345678'.
      
    3. Skopiuj token (na przykład 123a4567-b89c-12d3-e456-789012345678).

  3. Zarejestruj token debugowania w App Check:

    1. W konsoli Firebase otwórz kartę Zabezpieczenia > Sprawdzanie aplikacji > Aplikacje.

    2. Znajdź aplikację, kliknij rozszerzone menu (), a następnie wybierz Zarządzaj tokenami debugowania.

    3. Postępuj zgodnie z instrukcjami wyświetlanymi na ekranie, aby zarejestrować token debugowania.

Szczegółowe informacje o dostawcy debugowania (w tym o tym, jak uzyskać nowy token debugowania) znajdziesz w oficjalnej dokumentacji App Check.

Krok 4. Zainicjuj usługę i utwórz instancję sesji modelu.

Kliknij dostawcę Gemini API, aby wyświetlić na tej stronie treści i kod dotyczące tego dostawcy.

Zanim wyślesz do modelu żądanie prompta, skonfiguruj te elementy.

  1. Zainicjuj usługę dla wybranego dostawcy Gemini API.

  2. Utwórz instancję GenerativeModelSession z HybridModel.

  3. Ustaw modele primary i secondary zgodnie ze swoimi preferencjami. Możesz ustawić kolejność prób wnioskowania:

    • Najpierw spróbuj przeprowadzić wnioskowanie na urządzeniu, ale zezwól na przełączenie na chmurę: ustaw primary na model „systemowy”, a secondary na model w chmurze.

    • Najpierw spróbuj przeprowadzić wnioskowanie w chmurze, ale zezwól na przełączenie na urządzenie: ustaw primary na model w chmurze, a secondary na model „systemowy”.

    Pamiętaj, że pakiet SDK obsługuje ustawienie tylko 1 model, co oznacza, że pakiet SDK będzie próbował przeprowadzić wnioskowanie tylko na urządzeniu lub w chmurze. Jeśli jednak chcesz korzystać z hybrydowego modelu, musisz utworzyć HybridModel i ustawić modele primary i secondary.

    Więcej informacji o zachowaniu „trybów wnioskowania” (kolejności prób wnioskowania) znajdziesz w sekcji Opcje konfiguracji.

Poniższy przykład pokazuje, jak najpierw spróbować wnioskowania na urządzeniu, ale zezwolić na powrót do modelu hostowanego w chmurze:

// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())

// Initialize a cloud model that supports your use case.
let cloudModel = ai.geminiModel(name: "GEMINI_MODEL_NAME")
// Initialize an on-device model that supports your use case.
let systemModel = FirebaseAI.SystemLanguageModel.default

// Create a Hybrid Model.
// Provide your preferred model as `primary` and your fallback model as `secondary`.
// In this example, attempt to use on-device model; otherwise, fall back to cloud.
let hybridModel = HybridModel(
  primary: systemModel,
  secondary: cloudModel
)

// Create a GenerativeModelSession with the HybridModel created earlier.
let session = firebaseAI.generativeModelSession(
  model: hybridModel,
)

Krok 5. Wyślij prompta do modelu

W tej sekcji dowiesz się, jak:

Generowanie tekstu na podstawie danych wejściowych zawierających tylko tekst

Zanim wypróbujesz ten przykład, zapoznaj się z sekcją Pierwsze kroki w tym przewodniku.

Aby wygenerować tekst z prompta zawierającego tekst, użyj respond(to:) w ten sposób:

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To generate text output, call `respond(to:)` with the text input
let response = try await session.respond(to: prompt)
print(response.content)

Przesyłanie strumieniowe wygenerowanego tekstu reklamy na podstawie danych wejściowych zawierających tylko tekst

Zanim wypróbujesz ten przykład, zapoznaj się z sekcją Pierwsze kroki w tym przewodniku.

Możesz przyspieszyć interakcje, nie czekając na cały wynik wygenerowany przez model, i zamiast tego używać strumieniowania do obsługi wyników częściowych. Aby wygenerować strumieniowo tekst na podstawie prompta zawierającego tekst, użyj streamResponse(to:) w ten sposób:

// Imports + initialization of Gemini API backend service + creation of model session

// Provide a prompt that contains text
let prompt = "Write a story about a magic backpack."

// To stream generated text output, call `streamResponse(to:)` with the text input
let stream = session.streamResponse(to: prompt)
for try await snapshot in stream {
  print(snapshot.content)
}

Co jeszcze możesz zrobić?

W przypadku środowisk hybrydowych możesz korzystać z różnych dodatkowych opcji i funkcji konfiguracji:

Funkcje, które nie są jeszcze obsługiwane

W ramach wersji eksperymentalnej nie wszystkie funkcje modeli hostowanych w chmurze ani pakietu SDK Firebase AI Logic są dostępne do wnioskowania hybrydowego lub na urządzeniu.

Funkcje, które nie są jeszcze obsługiwane w przypadku implementacji hybrydowych

W przypadku implementacji hybrydowych nie można używać tych funkcji (ani na urządzeniu, ani w ramach kreacji zastępczej w chmurze):

  • Gemini Live API: dwukierunkowe strumieniowanie w czasie rzeczywistym nie jest obsługiwane.

  • Szablony promptów serwera: zarządzane szablony promptów serwera nie są obsługiwane.

  • Zliczanie tokenów: nie należy polegać na zliczaniu tokenów, ponieważ liczba będzie się różnić w przypadku modeli hostowanych w chmurze i modeli na urządzeniu, więc nie ma intuicyjnego rozwiązania zastępczego.

Funkcje, które nie są jeszcze obsługiwane w przypadku wnioskowania na urządzeniu

Wnioskowanie na urządzeniu nie obsługuje jeszcze tych funkcji, ale są one dostępne w przypadku modeli hostowanych w chmurze.

  • generowanie multimediów, takich jak obrazy, dźwięk czy filmy;

  • generowanie tekstu na podstawie multimodalnych danych wejściowych w postaci obrazów, dźwięku, filmów i dokumentów (PDF);

  • Wysyłanie żądań, które przekraczają 4096 tokenów (lub około 3000 słów w języku angielskim)

  • Udostępnianie modelowi na urządzeniu wbudowanych narzędzi, które pomogą mu wygenerować odpowiedź (np. wykonywanie kodu, kontekst adresu URL, Grounding z Google Search i Grounding z Google Maps). Obsługiwane jest jednak udostępnianie własnych narzędzi za pomocą wywoływania funkcji.

  • Monitorowanie wykorzystania AI w konsoli Firebase nie pokazuje żadnych danych dotyczących wnioskowania na urządzeniu (w tym dzienników urządzenia). Jednak każde wnioskowanie, które korzysta z modelu hostowanego w chmurze, można monitorować tak samo jak inne wnioskowania za pomocą Firebase AI Logic.

Dodatkowe ograniczenia

Oprócz powyższych ograniczeń wnioskowanie na urządzeniu ma te ograniczenia:


Prześlij opinię o korzystaniu z usługi Firebase AI Logic