Tworzenie hybrydowych funkcji w aplikacjach na Androida za pomocą modeli na urządzeniu i hostowanych w chmurze


Za pomocą Firebase AI Logic możesz tworzyć aplikacje i funkcje na Androida oparte na AI, które korzystają z wnioskowania hybrydowego. Wnioskowanie hybrydowe umożliwia przeprowadzanie wnioskowania za pomocą modeli na urządzeniu, gdy są one dostępne, i płynne przełączanie się na modele hostowane w chmurze w przeciwnym razie (i odwrotnie).

Na tej stronie dowiesz się, jak zacząć korzystać z pakietu SDK klienta, oraz poznasz dodatkowe opcje konfiguracji i funkcje, takie jak temperatura.

Pamiętaj, że wnioskowanie na urządzeniu za pomocą Firebase AI Logic jest obsługiwane w przypadku aplikacji na Androida działających na określonych urządzeniach i podlega warunkom ML Kit, a także warunkom dotyczącym aspektów Gen AI w ML Kit.

Zalecane przypadki użycia i obsługiwane funkcje

Zalecane przypadki użycia

  • Korzystanie z modelu na urządzeniu do wnioskowania zapewnia:

    • większą prywatność,
    • kontekst lokalny,
    • wnioskowanie bezpłatne,
    • funkcje offline.

  • Korzystanie z funkcji hybrydowych zapewnia:

    • docieranie do większej liczby odbiorców dzięki uwzględnianiu dostępności modelu na urządzeniu i połączenia z internetem.

Obsługiwane funkcje i możliwości wnioskowania na urządzeniu

Wnioskowanie na urządzeniu obsługuje tylko generowanie tekstu w ramach jednej tury (nie czatu) z wyjściem strumieniowym lub niestrumieniowym. Obsługuje te funkcje generowania tekstu:

Zapoznaj się z listą funkcji, które nie są jeszcze dostępne w przypadku wnioskowania na urządzeniu, na dole tej strony.

Zanim zaczniesz

Pamiętaj o tych kwestiach:

Obsługiwane urządzenia z Androidem i ich modele na urządzeniu

W przypadku wnioskowania na urządzeniu (które korzysta z Prompt API z ML Kit) listę obsługiwanych urządzeń i ich modeli na urządzeniu znajdziesz w dokumentacji ML Kit.

Rozpocznij

Te instrukcje dotyczące pierwszych kroków opisują wymaganą konfigurację ogólną dla każdego obsługiwanego żądania prompta, które chcesz wysłać.

Krok 1. Skonfiguruj projekt w Firebase i połącz aplikację z Firebase

  1. Zaloguj się w konsoli Firebase, i wybierz projekt w Firebase.

  2. W konsoli Firebase otwórz Usługi AI > AI Logic.

  3. Kliknij Rozpocznij , aby uruchomić proces z przewodnikiem, który pomoże Ci skonfigurować wymagane interfejsy API i zasoby w projekcie.

  4. Skonfiguruj projekt tak, aby korzystał z dostawcy „Gemini API”.

    Zalecamy rozpoczęcie korzystania z Gemini Developer API. W każdej chwili możesz zawsze skonfigurować Vertex AI Gemini API (i jego wymaganie dotyczące płatności).

    W przypadku Gemini Developer API, konsola włączy wymagane interfejsy API i utworzy klucz Gemini API w Twoim projekcie.
    Nie dodawaj tego klucza interfejsu API Gemini do bazy kodu aplikacji. Więcej informacji

  5. Jeśli w procesie w konsoli pojawi się prośba, wykonaj instrukcje wyświetlane na ekranie, aby zarejestrować aplikację i połączyć ją z Firebase.

  6. Aby dodać pakiet SDK do aplikacji, przejdź do następnego kroku w tym przewodniku.

Krok 2. Dodaj wymagane pakiety SDK

Zestaw SDK Firebase AI Logic na Androida (firebase-ai) wraz z zestawem SDK Firebase AI Logic On-Device (firebase-ai-ondevice) zapewniają dostęp do interfejsów API do interakcji z modelami generatywnymi.

W pliku Gradle modułu (na poziomie aplikacji) (np. <project>/<app-module>/build.gradle.kts) dodaj zależności bibliotek Firebase AI Logic na Androida:

Kotlin 

dependencies {
  // ... other androidx dependencies

  // Add the dependencies for the Firebase AI Logic libraries
  // Note that the on-device SDK is not yet included in the Firebase Android BoM
  implementation("com.google.firebase:firebase-ai:17.12.0")
  implementation("com.google.firebase:firebase-ai-ondevice:16.0.0-beta02")
}

Java

W przypadku Javy musisz dodać 2 dodatkowe biblioteki.

dependencies {
  // ... other androidx dependencies

  // Add the dependencies for the Firebase AI Logic libraries
  // Note that the on-device SDK is not yet included in the Firebase Android BoM
  implementation("com.google.firebase:firebase-ai:17.12.0")
  implementation("com.google.firebase:firebase-ai-ondevice:16.0.0-beta02")

  // Required for one-shot operations (to use `ListenableFuture` from Guava Android)
  implementation("com.google.guava:guava:31.0.1-android")

  // Required for streaming operations (to use `Publisher` from Reactive Streams)
  implementation("org.reactivestreams:reactive-streams:1.0.4")
}

Krok 3. Sprawdź, czy model na urządzeniu jest dostępny

Za pomocą FirebaseAIOnDevice, sprawdź, czy model na urządzeniu jest dostępny, i pobierz go, jeśli nie jest dostępny.

Po pobraniu AICore będzie automatycznie aktualizować model. Więcej informacji o AICore i zarządzaniu pobieraniem modelu na urządzeniu znajdziesz w uwagach po fragmencie kodu.

Kotlin 

val status = FirebaseAIOnDevice.checkStatus()
when (status) {
  OnDeviceModelStatus.UNAVAILABLE -> {
    Log.w(TAG, "On-device model is unavailable")
  }

  OnDeviceModelStatus.DOWNLOADABLE -> {
    FirebaseAIOnDevice.download().collect { status ->
      when (status) {
        is DownloadStatus.DownloadStarted ->
          Log.w(TAG, "Starting download - ${status.bytesToDownload}")

        is DownloadStatus.DownloadInProgress ->
          Log.w(TAG, "Download in progress ${status.totalBytesDownloaded} bytes downloaded")

        is DownloadStatus.DownloadCompleted ->
          Log.w(TAG, "On-device model download complete")

        is DownloadStatus.DownloadFailed ->
          Log.e(TAG, "Download failed ${status}")
      }
    }
  }
  OnDeviceModelStatus.DOWNLOADING -> {
    Log.w(TAG, "On-device model is being downloaded")
  }

  OnDeviceModelStatus.AVAILABLE -> {
    Log.w(TAG, "On-device model is available")
  }
}

Java 

Checking for and downloading the model is not yet available for Java.

However, all other APIs and interactions in this guide are available for Java.

Pamiętaj o tych kwestiach dotyczących pobierania modelu na urządzeniu:

  • Czas pobierania modelu na urządzeniu zależy od wielu czynników, w tym od sieci.

  • Jeśli Twój kod używa modelu na urządzeniu do wnioskowania podstawowego lub rezerwowego, upewnij się, że model został pobrany na wczesnym etapie cyklu życia aplikacji, aby był dostępny, zanim użytkownicy końcowi napotkają kod w aplikacji.

  • Jeśli model na urządzeniu nie jest dostępny , gdy wysyłane jest żądanie wnioskowania na urządzeniu, pakiet SDK nie spowoduje automatycznie pobrania modelu na urządzeniu. Pakiet SDK przełączy się na model hostowany w chmurze lub zgłosi wyjątek (szczegóły dotyczące działania trybów wnioskowania).

  • AICore (usługa systemowa Androida) zarządza pobieraniem modelu i jego wersji, aktualizowaniem modelu itp. Pamiętaj, że na urządzeniu będzie pobrany tylko 1 model. Jeśli inna aplikacja na urządzeniu wcześniej pobrała model na urządzeniu, to sprawdzenie zwróci informację, że model jest dostępny.

Optymalizacja czasu oczekiwania

Aby zoptymalizować pierwsze wywołanie wnioskowania, możesz użyć w aplikacji funkcji warmup(). Spowoduje to wczytanie modelu na urządzeniu do pamięci i zainicjowanie komponentów środowiska wykonawczego.

Krok 4. Zainicjuj usługę i utwórz instancję modelu

Kliknij dostawcę Gemini API, aby wyświetlić na tej stronie treści i kod specyficzne dla dostawcy.

Zanim wyślesz do modelu żądanie prompta, skonfiguruj te elementy:

  1. Zainicjuj usługę dla wybranego dostawcy interfejsu API.

  2. Utwórz instancję GenerativeModel i ustaw mode na jedną z tych wartości. Opisy są bardzo ogólne, ale szczegóły dotyczące działania tych trybów znajdziesz w artykule Ustawianie trybu wnioskowania.

    • PREFER_ON_DEVICE: próba użycia modelu na urządzeniu; w przeciwnym razie przełącz się na model hostowany w chmurze.

    • ONLY_ON_DEVICE: próba użycia modelu na urządzeniu; w przeciwnym razie zgłoś wyjątek.

    • PREFER_IN_CLOUD: próba użycia modelu hostowanego w chmurze; w przeciwnym razie przełącz się na model na urządzeniu.

    • ONLY_IN_CLOUD: próba użycia modelu hostowanego w chmurze; w przeciwnym razie zgłoś wyjątek.

Kotlin 

// Using this SDK to access on-device inference is an Experimental release and requires opt-in
@OptIn(PublicPreviewAPI::class)

// ...

// Initialize the Gemini Developer API backend service
// Create a GenerativeModel instance with a model that supports your use case
// Set the inference mode (like PREFER_ON_DEVICE to use the on-device model if available)
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "MODEL_NAME",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE)
    )

Java 

// Initialize the Gemini Developer API backend service
// Create a GenerativeModel instance with a model that supports your use case
// Set the inference mode (like PREFER_ON_DEVICE to use the on-device model if available)
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
    .generativeModel(
        "MODEL_NAME",
        new OnDeviceConfig(InferenceMode.PREFER_ON_DEVICE)
    );

// Use the GenerativeModelFutures Java compatibility layer which offers
// support for ListenableFuture and Publisher APIs
GenerativeModelFutures model = GenerativeModelFutures.from(ai);

Krok 5. Wyślij do modelu żądanie prompta

W tej sekcji dowiesz się, jak wysyłać różne typy danych wejściowych, aby generować różne typy danych wyjściowych, w tym:

Generowanie tekstu na podstawie danych wejściowych zawierających tylko tekst

Zanim wypróbujesz ten przykład, upewnij się, że masz za sobą sekcję Pierwsze kroki w tym przewodniku.

Za pomocą generateContent() możesz generować tekst na podstawie prompta zawierającego tekst:

Kotlin 

// Imports + initialization of Gemini API backend service + creation of model instance

// Provide a prompt that contains text
val prompt = "Write a story about a magic backpack."

// To generate text output, call generateContent with the text input
val response = model.generateContent(prompt)
print(response.text)

Java 

// Imports + initialization of Gemini API backend service + creation of model instance

// Provide a prompt that contains text
Content prompt = new Content.Builder()
    .addText("Write a story about a magic backpack.")
    .build();

// To generate text output, call generateContent with the text input
ListenableFuture<GenerateContentResponse> response = model.generateContent(prompt);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
    @Override
    public void onSuccess(GenerateContentResponse result) {
        String resultText = result.getText();
        System.out.println(resultText);
    }

    @Override
    public void onFailure(Throwable t) {
        t.printStackTrace();
    }
}, executor);

Pamiętaj, że Firebase AI Logic obsługuje też przesyłanie strumieniowe odpowiedzi tekstowych za pomocą generateContentStream (zamiast generateContent).

Generowanie tekstu na podstawie danych wejściowych zawierających tekst i obraz (multimodalnych)

Zanim wypróbujesz ten przykład, upewnij się, że masz za sobą sekcję Pierwsze kroki w tym przewodniku.

Za pomocą generateContent() możesz generować tekst na podstawie prompta zawierającego tekst i maksymalnie 1 plik obrazu (tylko Bitmap) – podając mimeType każdego pliku wejściowego i sam plik.

Kotlin 

// Imports + initialization of Gemini API backend service + creation of model instance

// Loads an image from the app/res/drawable/ directory
val bitmap: Bitmap = BitmapFactory.decodeResource(resources, R.drawable.sparky)

// Provide a prompt that includes the image specified above and text
val prompt = content {
  image(bitmap)
  text("What developer tool is this mascot from?")
}

// To generate text output, call generateContent with the prompt
val response = model.generateContent(prompt)
print(response.text)

Java 

// Imports + initialization of Gemini API backend service + creation of model instance

Bitmap bitmap = BitmapFactory.decodeResource(getResources(), R.drawable.sparky);

// Provide a prompt that includes the image specified above and text
Content content = new Content.Builder()
        .addImage(bitmap)
        .addText("What developer tool is this mascot from?")
        .build();

// To generate text output, call generateContent with the prompt
ListenableFuture<GenerateContentResponse> response = model.generateContent(content);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
    @Override
    public void onSuccess(GenerateContentResponse result) {
        String resultText = result.getText();
        System.out.println(resultText);
    }

    @Override
    public void onFailure(Throwable t) {
        t.printStackTrace();
    }
}, executor);

Pamiętaj, że Firebase AI Logic obsługuje też przesyłanie strumieniowe odpowiedzi tekstowych za pomocą generateContentStream (zamiast generateContent).

Co jeszcze możesz zrobić?

W przypadku rozwiązań hybrydowych możesz używać różnych dodatkowych opcji konfiguracji i funkcji:

Funkcje, które nie są jeszcze dostępne w przypadku wnioskowania na urządzeniu

W wersji eksperymentalnej nie wszystkie funkcje modeli w chmurze są dostępne w przypadku wnioskowania na urządzeniu.

Funkcje wymienione w tej sekcji nie są jeszcze dostępne w przypadku wnioskowania na urządzeniu. Jeśli chcesz używać którejś z tych funkcji, zalecamy używanie trybu wnioskowania ONLY_IN_CLOUD, aby zapewnić większą spójność.

  • Generowanie danych wyjściowych o ustrukturyzowanej postaci (np. JSON lub wyliczenia)

  • Generowanie tekstu na podstawie typów plików obrazów innych niż Bitmap (obraz wczytany do pamięci)

  • Generowanie tekstu na podstawie więcej niż 1 pliku obrazu

  • Generowanie tekstu na podstawie danych wejściowych audio, wideo i dokumentów (np. plików PDF)

  • Generowanie obrazów za pomocą modeli Gemini lub Imagen

  • Udostępnianie plików za pomocą adresów URL w żądaniach multimodalnych. Pliki musisz udostępniać jako dane wbudowane w modelach na urządzeniu.

  • Wysyłanie żądań przekraczających 4000 tokenów (czyli około 3000 słów w języku angielskim).

  • Czat wieloetapowy

  • Udostępnianie modelowi narzędzi, które pomogą mu generować odpowiedzi (takich jak wywoływanie funkcji, wykonywanie kodu, kontekst adresu URL i Grounding z Google Search)

Monitorowanie wykorzystania AI w konsoli Firebase nie pokazuje żadnych danych dotyczących wnioskowania na urządzeniu (w tym dzienników urządzenia). Można jednak monitorować każde wnioskowanie, które korzysta z modelu hostowanego w chmurze, tak samo jak inne wnioskowanie za pomocą Firebase AI Logic.

Dodatkowe ograniczenia

Oprócz powyższych ograniczeń wnioskowaniena urządzeniu ma te ograniczenia (więcej informacji znajdziesz w dokumentacji ML Kit):

  • Użytkownik końcowy aplikacji musi używać urządzenia obsługującego wnioskowanie na urządzeniu.

  • Aplikacja może przeprowadzać wnioskowanie na urządzeniu tylko wtedy, gdy działa na pierwszym planie.

  • Wnioskowanie na urządzeniu zostało zweryfikowane tylko w języku angielskim i koreańskim.

  • Maksymalny limit tokenów dla całego żądania wnioskowania na urządzeniu wynosi 4000 tokenów. Jeśli Twoje żądania mogą przekroczyć ten limit, skonfiguruj tryb wnioskowania, który może używać modelu hostowanego w chmurze.

  • Zalecamy unikanie przypadków użycia wnioskowania na urządzeniu, które wymagają długich danych wyjściowych (ponad 256 tokenów).

  • AICore (usługa systemowa Androida, która zarządza modelami na urządzeniu) egzekwuje limit wnioskowania na aplikację. Zbyt duża liczba żądań interfejsu API w krótkim czasie spowoduje odpowiedź ErrorCode.BUSY. Jeśli otrzymujesz ten błąd, rozważ użycie wzrastającego czasu do ponowienia, aby ponowić próbę wysłania żądania. Jeśli aplikacja przekroczy limit długotrwały (np. dzienny), może też zostać zwrócony kod ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED.


Prześlij opinię o korzystaniu z Firebase AI Logic