डिवाइस पर मौजूद और क्लाउड पर होस्ट किए गए मॉडल की मदद से, Android ऐप्लिकेशन में हाइब्रिड अनुभव बनाना


Firebase AI Logic का इस्तेमाल करके, एआई की मदद से काम करने वाले Android ऐप्लिकेशन और सुविधाएं बनाई जा सकती हैं. इसके लिए, हाइब्रिड इन्फ़रेंस का इस्तेमाल किया जाता है. हाइब्रिड इन्फ़रेंस की मदद से, डिवाइस पर मौजूद मॉडल का इस्तेमाल करके इन्फ़रेंस चलाया जा सकता है. अगर डिवाइस पर मॉडल उपलब्ध नहीं है, तो क्लाउड पर होस्ट किए गए मॉडल का इस्तेमाल किया जा सकता है. इसके उलट भी किया जा सकता है.

इस पेज पर, क्लाइंट एसडीके का इस्तेमाल शुरू करने का तरीका बताया गया है. साथ ही, इसमें कॉन्फ़िगरेशन के अतिरिक्त विकल्प और सुविधाएं दिखाई गई हैं. जैसे, तापमान.

ध्यान दें कि Firebase AI Logic के ज़रिए डिवाइस पर अनुमान लगाने की सुविधा, चुनिंदा डिवाइसों पर काम करने वाले Android ऐप्लिकेशन के लिए उपलब्ध है. साथ ही, यह ML Kit की शर्तों और ML Kit के Gen AI से जुड़े पहलुओं की शर्तों के तहत आती है.

इस्तेमाल के सुझाए गए उदाहरण और उपलब्ध सुविधाएं

इस्तेमाल के सुझाए गए उदाहरण

  • इन्फ़रेंस के लिए, डिवाइस पर मौजूद मॉडल का इस्तेमाल करने से ये फ़ायदे मिलते हैं:

    • बेहतर निजता
    • लोकल कॉन्टेक्स्ट
    • बिना किसी शुल्क के अनुमान लगाना
    • ऑफ़लाइन मोड में काम करने की सुविधा

  • हाइब्रिड फ़ंक्शनैलिटी वाले ऑफ़र इस्तेमाल करने पर:

    • डिवाइस पर मॉडल की उपलब्धता और इंटरनेट कनेक्टिविटी के हिसाब से, ज़्यादा से ज़्यादा ऑडियंस तक पहुंचें

डिवाइस पर मौजूद डेटा का इस्तेमाल करके अनुमान लगाने की सुविधा के लिए, इस्तेमाल की जा सकने वाली क्षमताएं और सुविधाएं

डिवाइस पर मौजूद मॉडल से अनुमान लगाने की सुविधा, सिर्फ़ एक बार में टेक्स्ट जनरेट करने (चैट नहीं) की सुविधा देती है. इसमें स्ट्रीमिंग या बिना स्ट्रीमिंग वाला आउटपुट मिलता है. यह टेक्स्ट जनरेट करने की इन सुविधाओं के साथ काम करता है:

इस पेज पर सबसे नीचे दी गई, डिवाइस पर अनुमान लगाने की सुविधा के लिए, फ़िलहाल उपलब्ध नहीं कराई गई सुविधाओं की सूची ज़रूर देखें.

शुरू करने से पहले

इन बातों का ध्यान रखें:

इसके साथ काम करने वाले Android डिवाइस और उनके ऑन-डिवाइस मॉडल

डिवाइस पर मौजूद डेटा का इस्तेमाल करके अनुमान लगाने की सुविधा (जो ML Kit के Prompt API का इस्तेमाल करती है) के लिए, ML Kit के दस्तावेज़ में सुविधा के साथ काम करने वाले डिवाइसों और उनके ऑन-डिवाइस मॉडल की सूची देखी जा सकती है.

शुरू करें

'शुरू करें' सेक्शन में दिए गए इन चरणों में, किसी भी ऐसे प्रॉम्प्ट अनुरोध के लिए ज़रूरी सामान्य सेटअप के बारे में बताया गया है जिसे आपको भेजना है.

पहला चरण: Firebase प्रोजेक्ट सेट अप करना और अपने ऐप्लिकेशन को Firebase से कनेक्ट करना

  1. Firebase कंसोल में साइन इन करें. इसके बाद, अपना Firebase प्रोजेक्ट चुनें.

  2. Firebase कंसोल में, Firebase AI Logic पेज पर जाएं.

  3. शुरू करें पर क्लिक करके, निर्देशों के साथ वर्कफ़्लो लॉन्च करें. इससे आपको अपने प्रोजेक्ट के लिए ज़रूरी एपीआई और संसाधन सेट अप करने में मदद मिलेगी.

  4. "Gemini API" सेवा देने वाली कंपनी का इस्तेमाल करने के लिए, अपना प्रोजेक्ट सेट अप करें.

    हमारा सुझाव है कि आप Gemini Developer API का इस्तेमाल शुरू करें. आपके पास किसी भी समय Vertex AI Gemini API सेट अप करने का विकल्प होता है. साथ ही, बिलिंग से जुड़ी ज़रूरी शर्तें भी पूरी की जा सकती हैं.

    Gemini Developer API के लिए, कंसोल ज़रूरी एपीआई चालू करेगा और आपके प्रोजेक्ट में Gemini एपीआई पासकोड बनाएगा.
    इस Gemini एपीआई कुंजी को अपने ऐप्लिकेशन के कोडबेस में न जोड़ें. ज़्यादा जानें.

  5. अगर कंसोल के वर्कफ़्लो में आपसे कहा जाता है, तो स्क्रीन पर दिए गए निर्देशों का पालन करके, अपने ऐप्लिकेशन को रजिस्टर करें और उसे Firebase से कनेक्ट करें.

  6. अपने ऐप्लिकेशन में एसडीके टूल जोड़ने के लिए, इस गाइड में दिए गए अगले चरण पर जाएं.

दूसरा चरण: ज़रूरी एसडीके जोड़ना

Firebase AI Logic Android के लिए SDK टूल (firebase-ai) और Firebase AI Logic On-Device SDK टूल (firebase-ai-ondevice) की मदद से, जनरेटिव मॉडल के साथ इंटरैक्ट करने के लिए एपीआई ऐक्सेस किए जा सकते हैं.

अपनी मॉड्यूल (ऐप्लिकेशन-लेवल) की Gradle फ़ाइल (जैसे, <project>/<app-module>/build.gradle.kts) में, Android के लिए Firebase AI Logic लाइब्रेरी की डिपेंडेंसी जोड़ें:

Kotlin 

dependencies {
  // ... other androidx dependencies

  // Add the dependencies for the Firebase AI Logic libraries
  // Note that the on-device SDK is not yet included in the Firebase Android BoM
  implementation("com.google.firebase:firebase-ai:17.10.0")
  implementation("com.google.firebase:firebase-ai-ondevice:16.0.0-beta01")
}

Java

Java के लिए, आपको दो और लाइब्रेरी जोड़नी होंगी.

dependencies {
  // ... other androidx dependencies

  // Add the dependencies for the Firebase AI Logic libraries
  // Note that the on-device SDK is not yet included in the Firebase Android BoM
  implementation("com.google.firebase:firebase-ai:17.10.0")
  implementation("com.google.firebase:firebase-ai-ondevice:16.0.0-beta01")

  // Required for one-shot operations (to use `ListenableFuture` from Guava Android)
  implementation("com.google.guava:guava:31.0.1-android")

  // Required for streaming operations (to use `Publisher` from Reactive Streams)
  implementation("org.reactivestreams:reactive-streams:1.0.4")
}

तीसरा चरण: देखें कि डिवाइस पर मौजूद मॉडल उपलब्ध है या नहीं

FirebaseAIOnDevice का इस्तेमाल करके, यह देखें कि डिवाइस पर मॉडल उपलब्ध है या नहीं. अगर उपलब्ध नहीं है, तो मॉडल डाउनलोड करें.

डाउनलोड होने के बाद, AICore मॉडल को अपने-आप अपडेट करता रहेगा. AICore और डिवाइस पर मॉडल डाउनलोड करने की सुविधा को मैनेज करने के बारे में ज़्यादा जानने के लिए, स्निपेट के बाद दिए गए नोट देखें.

Kotlin 

val status = FirebaseAIOnDevice.checkStatus()
when (status) {
  OnDeviceModelStatus.UNAVAILABLE -> {
    Log.w(TAG, "On-device model is unavailable")
  }

  OnDeviceModelStatus.DOWNLOADABLE -> {
    FirebaseAIOnDevice.download().collect { status ->
      when (status) {
        is DownloadStatus.DownloadStarted ->
          Log.w(TAG, "Starting download - ${status.bytesToDownload}")

        is DownloadStatus.DownloadInProgress ->
          Log.w(TAG, "Download in progress ${status.totalBytesDownloaded} bytes downloaded")

        is DownloadStatus.DownloadCompleted ->
          Log.w(TAG, "On-device model download complete")

        is DownloadStatus.DownloadFailed ->
          Log.e(TAG, "Download failed ${status}")
      }
    }
  }
  OnDeviceModelStatus.DOWNLOADING -> {
    Log.w(TAG, "On-device model is being downloaded")
  }

  OnDeviceModelStatus.AVAILABLE -> {
    Log.w(TAG, "On-device model is available")
  }
}

Java 

Checking for and downloading the model is not yet available for Java.

However, all other APIs and interactions in this guide are available for Java.

डिवाइस पर मॉडल डाउनलोड करने के बारे में यहां दी गई बातों का ध्यान रखें:

  • डिवाइस पर मौजूद मॉडल को डाउनलोड करने में लगने वाला समय कई बातों पर निर्भर करता है. जैसे, आपका नेटवर्क.

  • अगर आपका कोड, मुख्य या फ़ॉलबैक अनुमान के लिए डिवाइस पर मौजूद मॉडल का इस्तेमाल करता है, तो पक्का करें कि मॉडल को आपके ऐप्लिकेशन के लाइफ़साइकल की शुरुआत में ही डाउनलोड कर लिया गया हो. इससे, डिवाइस पर मौजूद मॉडल, आपके ऐप्लिकेशन में कोड का सामना करने से पहले ही उपलब्ध हो जाएगा.

  • अगर डिवाइस पर अनुमान लगाने के लिए अनुरोध किए जाने पर, डिवाइस पर मौजूद मॉडल उपलब्ध नहीं है, तो SDK, डिवाइस पर मौजूद मॉडल को अपने-आप डाउनलोड करने की प्रोसेस को ट्रिगर नहीं करेगा. एसडीके, क्लाउड पर होस्ट किए गए मॉडल पर वापस आ जाएगा या एक अपवाद देगा. इनफ़्रेंस मोड के व्यवहार के बारे में ज़्यादा जानकारी देखें.

  • AICore (Android सिस्टम सेवा) यह मैनेज करता है कि आपके लिए कौनसा मॉडल और वर्शन डाउनलोड किया गया है. साथ ही, यह मॉडल को अपडेट रखता है. ध्यान दें कि डिवाइस पर सिर्फ़ एक मॉडल डाउनलोड किया जाएगा. इसलिए, अगर डिवाइस पर मौजूद किसी दूसरे ऐप्लिकेशन ने पहले ही डिवाइस पर मौजूद मॉडल को डाउनलोड कर लिया है, तो इस जांच में यह पता चलेगा कि मॉडल उपलब्ध है.

लेटेंसी ऑप्टिमाइज़ेशन

पहले इन्फ़रेंस कॉल के लिए ऑप्टिमाइज़ करने के लिए, आपका ऐप्लिकेशन warmup() को कॉल कर सकता है. इससे डिवाइस पर मौजूद मॉडल को मेमोरी में लोड किया जाता है और रनटाइम कॉम्पोनेंट को शुरू किया जाता है.

चौथा चरण: सेवा को शुरू करना और मॉडल इंस्टेंस बनाना

इस पेज पर, Gemini API उपलब्ध कराने वाली कंपनी के हिसाब से कॉन्टेंट और कोड देखने के लिए, Gemini API उपलब्ध कराने वाली कंपनी पर क्लिक करें.

मॉडल को प्रॉम्प्ट का अनुरोध भेजने से पहले, इन्हें सेट अप करें.

  1. एपीआई की सेवा देने वाली कंपनी के लिए, सेवा शुरू करें.

  2. GenerativeModel इंस्टेंस बनाएं और mode को इनमें से किसी एक पर सेट करें. यहां दी गई जानकारी बहुत सामान्य है. हालांकि, इन्फ़रेंस मोड सेट करना में जाकर, इन मोड के काम करने के तरीके के बारे में ज़्यादा जानकारी पाई जा सकती है.

    • PREFER_ON_DEVICE: डिवाइस पर मौजूद मॉडल का इस्तेमाल करने की कोशिश करें. अगर ऐसा नहीं होता है, तो क्लाउड पर होस्ट किए गए मॉडल पर वापस जाएं.

    • ONLY_ON_DEVICE: डिवाइस पर मौजूद मॉडल का इस्तेमाल करने की कोशिश करें; अगर ऐसा नहीं होता है, तो अपवाद दिखाएं.

    • PREFER_IN_CLOUD: क्लाउड पर होस्ट किए गए मॉडल का इस्तेमाल करने की कोशिश करें. अगर ऐसा नहीं होता है, तो डिवाइस पर मौजूद मॉडल का इस्तेमाल करें.

    • ONLY_IN_CLOUD: क्लाउड पर होस्ट किए गए मॉडल का इस्तेमाल करने की कोशिश करें. अगर ऐसा नहीं होता है, तो अपवाद दिखाएं.

Kotlin 

// Using this SDK to access on-device inference is an Experimental release and requires opt-in
@OptIn(PublicPreviewAPI::class)

// ...

// Initialize the Gemini Developer API backend service
// Create a GenerativeModel instance with a model that supports your use case
// Set the inference mode (like PREFER_ON_DEVICE to use the on-device model if available)
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "MODEL_NAME",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE)
    )

Java 

// Initialize the Gemini Developer API backend service
// Create a GenerativeModel instance with a model that supports your use case
// Set the inference mode (like PREFER_ON_DEVICE to use the on-device model if available)
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
    .generativeModel(
        "MODEL_NAME",
        new OnDeviceConfig(InferenceMode.PREFER_ON_DEVICE)
    );

// Use the GenerativeModelFutures Java compatibility layer which offers
// support for ListenableFuture and Publisher APIs
GenerativeModelFutures model = GenerativeModelFutures.from(ai);

पांचवां चरण: किसी मॉडल को प्रॉम्प्ट का अनुरोध भेजना

इस सेक्शन में बताया गया है कि अलग-अलग तरह के आउटपुट जनरेट करने के लिए, अलग-अलग तरह के इनपुट कैसे भेजे जाते हैं. इनमें ये शामिल हैं:

सिर्फ़ टेक्स्ट वाले इनपुट से टेक्स्ट जनरेट करना

इस सैंपल को आज़माने से पहले, पक्का करें कि आपने इस गाइड का शुरू करें सेक्शन पूरा कर लिया हो.

टेक्स्ट वाले प्रॉम्प्ट से टेक्स्ट जनरेट करने के लिए, generateContent() का इस्तेमाल किया जा सकता है:

Kotlin 

// Imports + initialization of Gemini API backend service + creation of model instance

// Provide a prompt that contains text
val prompt = "Write a story about a magic backpack."

// To generate text output, call generateContent with the text input
val response = model.generateContent(prompt)
print(response.text)

Java 

// Imports + initialization of Gemini API backend service + creation of model instance

// Provide a prompt that contains text
Content prompt = new Content.Builder()
    .addText("Write a story about a magic backpack.")
    .build();

// To generate text output, call generateContent with the text input
ListenableFuture<GenerateContentResponse> response = model.generateContent(prompt);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
    @Override
    public void onSuccess(GenerateContentResponse result) {
        String resultText = result.getText();
        System.out.println(resultText);
    }

    @Override
    public void onFailure(Throwable t) {
        t.printStackTrace();
    }
}, executor);

ध्यान दें कि Firebase AI Logic, generateContentStream का इस्तेमाल करके टेक्स्ट रिस्पॉन्स की स्ट्रीमिंग को भी सपोर्ट करता है (generateContent के बजाय).

टेक्स्ट और इमेज (टेक्स्ट, इमेज, और वीडियो वगैरह का इस्तेमाल करके) वाले इनपुट से टेक्स्ट जनरेट करना

इस सैंपल को आज़माने से पहले, पक्का करें कि आपने इस गाइड का शुरू करें सेक्शन पूरा कर लिया हो.

टेक्स्ट और ज़्यादा से ज़्यादा एक इमेज फ़ाइल (सिर्फ़ बिटमैप) वाले प्रॉम्प्ट से टेक्स्ट जनरेट करने के लिए, generateContent() का इस्तेमाल किया जा सकता है. इसके लिए, हर इनपुट फ़ाइल का mimeType और फ़ाइल खुद उपलब्ध कराएं.

Kotlin 

// Imports + initialization of Gemini API backend service + creation of model instance

// Loads an image from the app/res/drawable/ directory
val bitmap: Bitmap = BitmapFactory.decodeResource(resources, R.drawable.sparky)

// Provide a prompt that includes the image specified above and text
val prompt = content {
  image(bitmap)
  text("What developer tool is this mascot from?")
}

// To generate text output, call generateContent with the prompt
val response = model.generateContent(prompt)
print(response.text)

Java 

// Imports + initialization of Gemini API backend service + creation of model instance

Bitmap bitmap = BitmapFactory.decodeResource(getResources(), R.drawable.sparky);

// Provide a prompt that includes the image specified above and text
Content content = new Content.Builder()
        .addImage(bitmap)
        .addText("What developer tool is this mascot from?")
        .build();

// To generate text output, call generateContent with the prompt
ListenableFuture<GenerateContentResponse> response = model.generateContent(content);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
    @Override
    public void onSuccess(GenerateContentResponse result) {
        String resultText = result.getText();
        System.out.println(resultText);
    }

    @Override
    public void onFailure(Throwable t) {
        t.printStackTrace();
    }
}, executor);

ध्यान दें कि Firebase AI Logic, generateContentStream का इस्तेमाल करके टेक्स्ट रिस्पॉन्स की स्ट्रीमिंग को भी सपोर्ट करता है (generateContent के बजाय).

तुम और क्या कर सकती हो?

हाइब्रिड अनुभवों के लिए, कॉन्फ़िगरेशन के कई अन्य विकल्प और सुविधाएं इस्तेमाल की जा सकती हैं:

डिवाइस पर मौजूद डेटा के आधार पर अनुमान लगाने की सुविधा के लिए, फ़िलहाल ये सुविधाएं उपलब्ध नहीं हैं

एक्सपेरिमेंट के तौर पर रिलीज़ किए जाने की वजह से, क्लाउड मॉडल की सभी सुविधाएं डिवाइस पर अनुमान लगाने के लिए उपलब्ध नहीं हैं.

इस सेक्शन में दी गई सुविधाएं, फ़िलहाल डिवाइस पर अनुमान लगाने के लिए उपलब्ध नहीं हैं. अगर आपको इनमें से किसी सुविधा का इस्तेमाल करना है, तो हमारा सुझाव है कि आप ONLY_IN_CLOUD इन्फ़रेंस मोड का इस्तेमाल करें, ताकि आपको बेहतर अनुभव मिल सके.

  • स्ट्रक्चर्ड आउटपुट जनरेट करना (जैसे, JSON या enum)

  • बिटमैप (मेमोरी में लोड की गई इमेज) के अलावा, इमेज फ़ाइल के अन्य टाइप से टेक्स्ट जनरेट करना

  • एक से ज़्यादा इमेज फ़ाइलों से टेक्स्ट जनरेट करना

  • ऑडियो, वीडियो, और दस्तावेज़ों (जैसे कि PDF) से टेक्स्ट जनरेट करना

  • Gemini या Imagen मॉडल का इस्तेमाल करके इमेज जनरेट करना

  • मल्टीमॉडल अनुरोधों में यूआरएल का इस्तेमाल करके फ़ाइलें उपलब्ध कराना. आपको डिवाइस पर मौजूद मॉडल को फ़ाइलें, इनलाइन डेटा के तौर पर देनी होंगी

  • ऐसे अनुरोध भेजना जिनमें 4,000 से ज़्यादा टोकन हों (या करीब 3,000 अंग्रेज़ी शब्द).

  • एक से ज़्यादा बार की गई बातचीत

  • जवाब जनरेट करने में मॉडल की मदद करने के लिए, उसे टूल उपलब्ध कराना (जैसे कि फ़ंक्शन कॉल करना, कोड एक्ज़ीक्यूट करना, यूआरएल कॉन्टेक्स्ट, और Google Search के साथ ग्राउंडिंग)

Firebase कंसोल में एआई मॉनिटरिंग की सुविधा, डिवाइस पर मौजूद इन्फ़रेंस (इसमें डिवाइस पर मौजूद लॉग भी शामिल हैं) का कोई डेटा नहीं दिखाती है. हालांकि, क्लाउड पर होस्ट किए गए मॉडल का इस्तेमाल करने वाले किसी भी अनुमान को, Firebase AI Logic के ज़रिए अन्य अनुमान की तरह मॉनिटर किया जा सकता है.

अन्य सीमाएं

ऊपर दी गई बातों के अलावा, डिवाइस पर अनुमान लगाने की सुविधा से जुड़ी येसीमाएं हैं. इनके बारे में ज़्यादा जानने के लिए, ML Kit के दस्तावेज़ पढ़ें:

  • आपके ऐप्लिकेशन का इस्तेमाल करने वाले व्यक्ति के पास, डिवाइस पर अनुमान लगाने की सुविधा के लिए काम करने वाला डिवाइस होना चाहिए.

  • आपका ऐप्लिकेशन, डिवाइस पर मौजूद डेटा के आधार पर अनुमान लगाने की सुविधा का इस्तेमाल सिर्फ़ तब कर सकता है, जब वह फ़ोरग्राउंड में हो.

  • डिवाइस पर मौजूद मॉडल से अनुमान लगाने की सुविधा के लिए, सिर्फ़ अंग्रेज़ी और कोरियन भाषा की पुष्टि की गई है.

  • डिवाइस पर मौजूद मॉडल से अनुमान लगाने के पूरे अनुरोध के लिए, टोकन की ज़्यादा से ज़्यादा सीमा 4,000 टोकन है. अगर आपके अनुरोध इस सीमा से ज़्यादा हो सकते हैं, तो पक्का करें कि आपने ऐसा अनुमान लगाने वाला मोड कॉन्फ़िगर किया हो जो क्लाउड पर होस्ट किए गए मॉडल का इस्तेमाल कर सके.

  • हमारा सुझाव है कि डिवाइस पर इन्फ़रेंस के ऐसे इस्तेमाल के उदाहरणों से बचें जिनमें लंबे आउटपुट (256 से ज़्यादा टोकन) की ज़रूरत होती है.

  • AICore (यह Android की एक सिस्टम सर्विस है, जो डिवाइस पर मौजूद मॉडल को मैनेज करती है) हर ऐप्लिकेशन के लिए अनुमान लगाने का कोटा लागू करती है. कम समय में बहुत ज़्यादा एपीआई अनुरोध करने पर, आपको ErrorCode.BUSY जवाब मिलेगा. अगर आपको यह गड़बड़ी दिख रही है, तो अनुरोध को फिर से भेजने के लिए, एक्स्पोनेंशियल बैकऑफ़ का इस्तेमाल करें. इसके अलावा, अगर कोई ऐप्लिकेशन लंबे समय तक के कोटे (जैसे, रोज़ का कोटा) से ज़्यादा अनुरोध करता है, तो ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED को वापस किया जा सकता है.


Firebase AI Logic के साथ अपने अनुभव के बारे में सुझाव/राय दें या शिकायत करें