Możesz poprosić model Gemini o analizę plików dokumentów (np. plików PDF i zwykłych plików tekstowych), które podasz w treści (zakodowane w formacie base64) lub za pomocą adresu URL. Gdy używasz Firebase AI Logic, możesz wysłać to żądanie bezpośrednio z aplikacji.
Dzięki tej funkcji możesz m.in.:
- analizować diagramy, wykresy i tabele w dokumentach;
- wyodrębniać informacje do uporządkowanych formatów wyjściowych;
- odpowiadać na pytania dotyczące treści wizualnych i tekstowych w dokumentach;
- podsumowywać dokumenty;
- transkrybować zawartość dokumentu (np. do formatu HTML), zachowując układ i formatowanie, do użycia w aplikacjach podrzędnych (np. w potokach RAG).
Przejdź do przykładowych fragmentów kodu Przejdź do kodu odpowiedzi przesyłanych strumieniowo
|
Więcej opcji pracy z dokumentami (np. PDF) znajdziesz w innych przewodnikach Generowanie uporządkowanych danych wyjściowych Czat wieloetapowy |
Zanim zaczniesz
|
Kliknij swojego dostawcę Gemini API, aby wyświetlić na tej stronie treści i kod specyficzne dla dostawcy. |
Jeśli jeszcze tego nie zrobisz, zapoznaj się z
przewodnikiem dla początkujących, w którym opisujemy, jak
skonfigurować projekt w Firebase, połączyć aplikację z Firebase, dodać pakiet SDK, zainicjować usługę backendu dla wybranego dostawcy Gemini API i
utworzyć instancję GenerativeModel.
Do testowania i iteracji promptów zalecamy używanie Google AI Studio.
Generowanie tekstu z plików PDF (zakodowanych w formacie base64)
|
Zanim wypróbujesz ten przykład, zapoznaj się z sekcją
Zanim zaczniesz w tym przewodniku
aby skonfigurować projekt i aplikację. W tej sekcji klikniesz też przycisk dostawcy Gemini API, aby na tej stronie wyświetlały się treści specyficzne dla dostawcy. |
Możesz poprosić model Gemini o
wygenerowanie tekstu, podając tekst i pliki PDF – podając mimeType każdego
pliku wejściowego i sam plik. Wymagania i zalecenia dotyczące plików wejściowych znajdziesz
dalej na tej stronie.
Swift
Możesz wywołać
generateContent()
, aby wygenerować tekst na podstawie multimodalnych danych wejściowych w postaci tekstu i plików PDF.
import FirebaseAILogic
// Initialize the Gemini Developer API backend service
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Create a `GenerativeModel` instance with a model that supports your use case
let model = ai.generativeModel(modelName: "gemini-3-flash-preview")
// Provide the PDF as `Data` with the appropriate MIME type
let pdf = try InlineDataPart(data: Data(contentsOf: pdfURL), mimeType: "application/pdf")
// Provide a text prompt to include with the PDF file
let prompt = "Summarize the important results in this report."
// To generate text output, call `generateContent` with the PDF file and text prompt
let response = try await model.generateContent(pdf, prompt)
// Print the generated text, handling the case where it might be nil
print(response.text ?? "No text in response.")
Kotlin
Możesz wywołać
generateContent()
, aby wygenerować tekst na podstawie multimodalnych danych wejściowych w postaci tekstu i plików PDF.
// Initialize the Gemini Developer API backend service
// Create a `GenerativeModel` instance with a model that supports your use case
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
.generativeModel("gemini-3-flash-preview")
val contentResolver = applicationContext.contentResolver
// Provide the URI for the PDF file you want to send to the model
val inputStream = contentResolver.openInputStream(pdfUri)
if (inputStream != null) { // Check if the PDF file loaded successfully
inputStream.use { stream ->
// Provide a prompt that includes the PDF file specified above and text
val prompt = content {
inlineData(
bytes = stream.readBytes(),
mimeType = "application/pdf" // Specify the appropriate PDF file MIME type
)
text("Summarize the important results in this report.")
}
// To generate text output, call `generateContent` with the prompt
val response = model.generateContent(prompt)
// Log the generated text, handling the case where it might be null
Log.d(TAG, response.text ?: "")
}
} else {
Log.e(TAG, "Error getting input stream for file.")
// Handle the error appropriately
}
Java
Możesz wywołać
generateContent()
, aby wygenerować tekst na podstawie multimodalnych danych wejściowych w postaci tekstu i plików PDF.
ListenableFuture.
// Initialize the Gemini Developer API backend service
// Create a `GenerativeModel` instance with a model that supports your use case
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
.generativeModel("gemini-3-flash-preview");
// Use the GenerativeModelFutures Java compatibility layer which offers
// support for ListenableFuture and Publisher APIs
GenerativeModelFutures model = GenerativeModelFutures.from(ai);
ContentResolver resolver = getApplicationContext().getContentResolver();
// Provide the URI for the PDF file you want to send to the model
try (InputStream stream = resolver.openInputStream(pdfUri)) {
if (stream != null) {
byte[] audioBytes = stream.readAllBytes();
stream.close();
// Provide a prompt that includes the PDF file specified above and text
Content prompt = new Content.Builder()
.addInlineData(audioBytes, "application/pdf") // Specify the appropriate PDF file MIME type
.addText("Summarize the important results in this report.")
.build();
// To generate text output, call `generateContent` with the prompt
ListenableFuture<GenerateContentResponse> response = model.generateContent(prompt);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
@Override
public void onSuccess(GenerateContentResponse result) {
String text = result.getText();
Log.d(TAG, (text == null) ? "" : text);
}
@Override
public void onFailure(Throwable t) {
Log.e(TAG, "Failed to generate a response", t);
}
}, executor);
} else {
Log.e(TAG, "Error getting input stream for file.");
// Handle the error appropriately
}
} catch (IOException e) {
Log.e(TAG, "Failed to read the pdf file", e);
} catch (URISyntaxException e) {
Log.e(TAG, "Invalid pdf file", e);
}
Web
Możesz wywołać
generateContent()
, aby wygenerować tekst na podstawie multimodalnych danych wejściowych w postaci tekstu i plików PDF.
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend } from "firebase/ai";
// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `GenerativeModel` instance with a model that supports your use case
const model = getGenerativeModel(ai, { model: "gemini-3-flash-preview" });
// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
const base64EncodedDataPromise = new Promise((resolve) => {
const reader = new FileReader();
reader.onloadend = () => resolve(reader.result.split(','));
reader.readAsDataURL(file);
});
return {
inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
};
}
async function run() {
// Provide a text prompt to include with the PDF file
const prompt = "Summarize the important results in this report.";
// Prepare PDF file for input
const fileInputEl = document.querySelector("input[type=file]");
const pdfPart = await fileToGenerativePart(fileInputEl.files);
// To generate text output, call `generateContent` with the text and PDF file
const result = await model.generateContent([prompt, pdfPart]);
// Log the generated text, handling the case where it might be undefined
console.log(result.response.text() ?? "No text in response.");
}
run();
Dart
Możesz wywołać
generateContent()
aby wygenerować tekst na podstawie multimodalnych danych wejściowych w postaci tekstu i plików PDF.
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service
// Create a `GenerativeModel` instance with a model that supports your use case
final model =
FirebaseAI.googleAI().generativeModel(model: 'gemini-3-flash-preview');
// Provide a text prompt to include with the PDF file
final prompt = TextPart("Summarize the important results in this report.");
// Prepare the PDF file for input
final doc = await File('document0.pdf').readAsBytes();
// Provide the PDF file as `Data` with the appropriate PDF file MIME type
final docPart = InlineDataPart('application/pdf', doc);
// To generate text output, call `generateContent` with the text and PDF file
final response = await model.generateContent([
Content.multi([prompt,docPart])
]);
// Print the generated text
print(response.text);
Unity
Możesz wywołać
GenerateContentAsync()
, aby wygenerować tekst na podstawie multimodalnych danych wejściowych w postaci tekstu i plików PDF.
using Firebase;
using Firebase.AI;
// Initialize the Gemini Developer API backend service
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());
// Create a `GenerativeModel` instance with a model that supports your use case
var model = ai.GetGenerativeModel(modelName: "gemini-3-flash-preview");
// Provide a text prompt to include with the PDF file
var prompt = ModelContent.Text("Summarize the important results in this report.");
// Provide the PDF file as `data` with the appropriate PDF file MIME type
var doc = ModelContent.InlineData("application/pdf",
System.IO.File.ReadAllBytes(System.IO.Path.Combine(
UnityEngine.Application.streamingAssetsPath, "document0.pdf")));
// To generate text output, call `GenerateContentAsync` with the text and PDF file
var response = await model.GenerateContentAsync(new [] { prompt, doc });
// Print the generated text
UnityEngine.Debug.Log(response.Text ?? "No text in response.");
Dowiedz się, jak wybrać model odpowiednią dla Twojego przypadku użycia i aplikacji.
Przesyłanie odpowiedzi strumieniowo
|
Zanim wypróbujesz ten przykład, zapoznaj się z sekcją
Zanim zaczniesz w tym przewodniku
aby skonfigurować projekt i aplikację. W tej sekcji klikniesz też przycisk dostawcy Gemini API, aby na tej stronie wyświetlały się treści specyficzne dla dostawcy. |
Możesz przyspieszyć interakcje, nie czekając na cały wynik generowania modelu, i zamiast tego użyć przesyłania strumieniowego do obsługi częściowych wyników.
Aby przesyłać odpowiedź strumieniowo, wywołaj generateContentStream.
Wymagania i zalecenia dotyczące dokumentów wejściowych
Pamiętaj, że plik podany jako dane w tekście jest w trakcie przesyłania kodowany w formacie base64, co zwiększa rozmiar żądania. Jeśli żądanie jest zbyt duże, otrzymasz błąd HTTP 413.
Szczegółowe informacje o tych kwestiach znajdziesz na stronie „Obsługiwane pliki wejściowe i wymagania”:
- Różne opcje podawania pliku w żądaniu (w treści lub za pomocą adresu URL albo URI pliku)
- Wymagania i sprawdzone metody dotyczące plików dokumentów
Obsługiwane typy MIME dokumentów
Gemini modele multimodalne obsługują te typy MIME dokumentów:
- PDF –
application/pdf - Tekst –
text/plain
Limity żądań
Pliki PDF są traktowane jako obrazy, więc pojedyncza strona pliku PDF jest traktowana jako 1 obraz. Liczba stron dozwolonych w prompcie jest ograniczona do liczby obrazów, które mogą obsługiwać modele Gemini multimodalne.
- Maksymalna liczba plików na żądanie: 3000 plików
- Maksymalna liczba stron na plik: 1000 stron na plik
- Maksymalny rozmiar pliku: 50 MB na plik
Co jeszcze możesz zrobić?
- Dowiedz się, jak zliczać tokeny przed wysłaniem do modelu długich promptów.
- Skonfiguruj Cloud Storage for Firebase , aby móc dołączać duże pliki do żądań multimodalnych i mieć bardziej zarządzane rozwiązanie do podawania plików w promptach. Pliki mogą zawierać obrazy, pliki PDF, filmy i dźwięki.
-
Zacznij przygotowywać się do wdrożenia (zapoznaj się z
listą kontrolną wdrożenia):
- Skonfiguruj Firebase App Check jak najszybciej, aby chronić Gemini API przed nadużyciami ze strony nieautoryzowanych klientów.
- Zintegruj Firebase Remote Config , aby aktualizować wartości w aplikacji (np. nazwę modelu) bez publikowania nowej wersji aplikacji .
Wypróbuj inne funkcje
- Twórz rozmowy wieloetapowe (czat).
- Generuj tekst na podstawie promptów zawierających tylko tekst.
- Generuj uporządkowane dane wyjściowe (np. JSON) na podstawie promptów tekstowych i multimodalnych.
- Generuj i edytuj obrazy na podstawie promptów tekstowych i multimodalnych.
- Używaj narzędzi (np. wywoływania funkcji i powiązania ze źródłami informacji przy użyciu wyszukiwarki Google) aby połączyć model Gemini z innymi częściami aplikacji oraz systemami i informacjami zewnętrznymi.
Dowiedz się, jak kontrolować generowanie treści
- Poznaj projektowanie promptów, w tym sprawdzone metody, strategie i przykładowe prompty.
- Skonfiguruj parametry modelu takie jak temperatura i maksymalna liczba tokenów wyjściowych.
- Użyj ustawień bezpieczeństwa, aby dostosować prawdopodobieństwo otrzymania odpowiedzi, które mogą być uznane za szkodliwe.
Więcej informacji o obsługiwanych modelach
Dowiedz się więcej o modelach dostępnych w różnych przypadkach użycia oraz o ich limitach i cenach.Prześlij opinię o korzystaniu z Firebase AI Logic