Sie können ein Gemini-Modell bitten, Dokumentdateien (z. B. PDFs und Nur-Text-Dateien) zu analysieren, die Sie entweder inline (base64-codiert) oder über eine URL bereitstellen. Wenn Sie Firebase AI Logic verwenden, können Sie diese Anfrage direkt über Ihre App stellen.
Mit dieser Funktion können Sie beispielsweise Folgendes tun:
- Diagramme, Grafiken und Tabellen in Dokumenten analysieren
- Informationen in strukturierte Ausgabeformate extrahieren
- Fragen zu visuellen und textlichen Inhalten in Dokumenten beantworten
- Dokumente zusammenfassen
- Dokumentinhalte transkribieren (z. B. in HTML) und dabei Layouts und Formatierungen beibehalten, um sie in nachgelagerten Anwendungen (z. B. in RAG-Pipelines) zu verwenden
In diesem Leitfaden geht es um das Generieren von Text aus Dokumenteingaben (z. B. PDFs). Sie können aber auch Bilder aus Dokumenteingaben generieren.
Zu Codebeispielen springen Zu Code für gestreamte Antworten springen
|
Weitere Optionen für die Arbeit mit Dokumenten (z. B. PDFs) finden Sie in anderen Anleitungen Strukturierte Ausgabe generieren Multi-Turn-Unterhaltung |
Hinweis
|
Klicken Sie auf Ihren Gemini API-Anbieter, um anbieterspezifische Inhalte und Code auf dieser Seite aufzurufen. |
Falls noch nicht geschehen, lesen Sie den Startleitfaden. Dort wird beschrieben, wie Sie Ihr Firebase-Projekt einrichten, Ihre App mit Firebase verbinden, das SDK hinzufügen, den Backend-Dienst für den ausgewählten Gemini API-Anbieter initialisieren und eine GenerativeModel-Instanz erstellen.
Zum Testen und Iterieren Ihrer Prompts empfehlen wir die Verwendung von Google AI Studio.
Modelle, die diese Funktion unterstützen
In diesem Leitfaden geht es um das Generieren von Text aus Dokumenteingaben (z. B. PDFs). Er gilt für die folgenden Gemini-Modelle:
gemini-4-argongemini-3.8-flash(und die älterengemini-3.7-flash,gemini-3.6-flashundgemini-3.5-flash)gemini-3.5-flash-lite(und die älteregemini-3.1-flash-lite)
Die Modelle gemini-3.1-pro-preview und die allgemeinen Gemini 2.5-Modelle (die verworfen wurden) unterstützen diese Funktion ebenfalls.
Text aus PDF-Dateien generieren (base64-codiert)
|
Bevor Sie dieses Beispiel ausprobieren, führen Sie die Schritte im Abschnitt Vorbereitung dieses Leitfadens aus, um Ihr Projekt und Ihre App einzurichten. In diesem Abschnitt klicken Sie auch auf eine Schaltfläche für den ausgewählten Gemini API-Anbieter, damit Sie auf dieser Seite anbieterspezifische Inhalte sehen. |
Sie können ein Gemini-Modell auffordern, Text zu generieren, indem Sie Text und PDFs als Prompt verwenden. Geben Sie dazu den mimeType der einzelnen Eingabedateien und die Datei selbst an. Anforderungen und Empfehlungen für Eingabedateien finden Sie weiter unten auf dieser Seite.
Swift
Sie können generateContent() aufrufen, um Text aus multimodalen Eingaben von Text und PDFs zu generieren.
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Create a `GenerativeModel` instance with a model that supports your use case.
let model = ai.generativeModel(modelName: "gemini-3.8-flash")
// Provide the PDF as `Data` with the appropriate MIME type
let pdf = try InlineDataPart(data: Data(contentsOf: pdfURL), mimeType: "application/pdf")
// Provide a text prompt to include with the PDF file
let prompt = "Summarize the important results in this report."
// To generate text output, call `generateContent` with the PDF file and text prompt
let response = try await model.generateContent(pdf, prompt)
// Print the generated text, handling the case where it might be nil
print(response.text ?? "No text in response.")
Kotlin
Sie können generateContent() aufrufen, um Text aus multimodalen Eingaben von Text und PDFs zu generieren.
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash")
val contentResolver = applicationContext.contentResolver
// Provide the URI for the PDF file you want to send to the model
val inputStream = contentResolver.openInputStream(pdfUri)
if (inputStream != null) { // Check if the PDF file loaded successfully
inputStream.use { stream ->
// Provide a prompt that includes the PDF file specified above and text
val prompt = content {
inlineData(
bytes = stream.readBytes(),
mimeType = "application/pdf" // Specify the appropriate PDF file MIME type
)
text("Summarize the important results in this report.")
}
// To generate text output, call `generateContent` with the prompt
val response = model.generateContent(prompt)
// Log the generated text, handling the case where it might be null
Log.d(TAG, response.text ?: "")
}
} else {
Log.e(TAG, "Error getting input stream for file.")
// Handle the error appropriately
}
Java
Sie können generateContent() aufrufen, um Text aus multimodalen Eingaben von Text und PDFs zu generieren.
ListenableFuture zurück.
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
.generativeModel("gemini-3.8-flash");
// Use the GenerativeModelFutures Java compatibility layer which offers
// support for ListenableFuture and Publisher APIs
GenerativeModelFutures model = GenerativeModelFutures.from(ai);
ContentResolver resolver = getApplicationContext().getContentResolver();
// Provide the URI for the PDF file you want to send to the model
try (InputStream stream = resolver.openInputStream(pdfUri)) {
if (stream != null) {
byte[] audioBytes = stream.readAllBytes();
stream.close();
// Provide a prompt that includes the PDF file specified above and text
Content prompt = new Content.Builder()
.addInlineData(audioBytes, "application/pdf") // Specify the appropriate PDF file MIME type
.addText("Summarize the important results in this report.")
.build();
// To generate text output, call `generateContent` with the prompt
ListenableFuture<GenerateContentResponse> response = model.generateContent(prompt);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
@Override
public void onSuccess(GenerateContentResponse result) {
String text = result.getText();
Log.d(TAG, (text == null) ? "" : text);
}
@Override
public void onFailure(Throwable t) {
Log.e(TAG, "Failed to generate a response", t);
}
}, executor);
} else {
Log.e(TAG, "Error getting input stream for file.");
// Handle the error appropriately
}
} catch (IOException e) {
Log.e(TAG, "Failed to read the pdf file", e);
} catch (URISyntaxException e) {
Log.e(TAG, "Invalid pdf file", e);
}
Web
Sie können generateContent() aufrufen, um Text aus multimodalen Eingaben von Text und PDFs zu generieren.
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend } from "firebase/ai";
// TODO(developer): Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `GenerativeModel` instance with a model that supports your use case.
const model = getGenerativeModel(ai, { model: "gemini-3.8-flash" });
// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
const base64EncodedDataPromise = new Promise((resolve) => {
const reader = new FileReader();
reader.onloadend = () => resolve(reader.result.split(','));
reader.readAsDataURL(file);
});
return {
type: "inlineData",
inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
};
}
async function run() {
// Provide a text prompt to include with the PDF file
const prompt = "Summarize the important results in this report.";
// Prepare PDF file for input
const fileInputEl = document.querySelector("input[type=file]");
const pdfPart = await fileToGenerativePart(fileInputEl.files);
// To generate text output, call `generateContent` with the text and PDF file
const result = await model.generateContent([prompt, pdfPart]);
// Log the generated text, handling the case where it might be undefined
console.log(result.response.text() ?? "No text in response.");
}
run();
Dart
Sie können generateContent() aufrufen, um Text aus multimodalen Eingaben von Text und PDFs zu generieren.
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service.
// Create a `GenerativeModel` instance with a model that supports your use case.
final model =
FirebaseAI.googleAI().generativeModel(model: 'gemini-3.8-flash');
// Provide a text prompt to include with the PDF file
final prompt = TextPart("Summarize the important results in this report.");
// Prepare the PDF file for input
final doc = await File('document0.pdf').readAsBytes();
// Provide the PDF file as `Data` with the appropriate PDF file MIME type
final docPart = InlineDataPart('application/pdf', doc);
// To generate text output, call `generateContent` with the text and PDF file
final response = await model.generateContent([
Content.multi([prompt,docPart])
]);
// Print the generated text
print(response.text);
Einheit
Sie können GenerateContentAsync() aufrufen, um Text aus multimodalen Eingaben von Text und PDFs zu generieren.
using Firebase;
using Firebase.AI;
// Initialize the Gemini Developer API backend service.
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());
// Create a `GenerativeModel` instance with a model that supports your use case.
var model = ai.GetGenerativeModel(modelName: "gemini-3.8-flash");
// Provide a text prompt to include with the PDF file
var prompt = ModelContent.Text("Summarize the important results in this report.");
// Provide the PDF file as `data` with the appropriate PDF file MIME type
var doc = ModelContent.InlineData("application/pdf",
System.IO.File.ReadAllBytes(System.IO.Path.Combine(
UnityEngine.Application.streamingAssetsPath, "document0.pdf")));
// To generate text output, call `GenerateContentAsync` with the text and PDF file
var response = await model.GenerateContentAsync(new [] { prompt, doc });
// Print the generated text
UnityEngine.Debug.Log(response.Text ?? "No text in response.");
Hier erfahren Sie, wie Sie ein Modell auswählen, die für Ihren Anwendungsfall und Ihre App geeignet sind.
Antwort streamen
|
Bevor Sie dieses Beispiel ausprobieren, führen Sie die Schritte im Abschnitt Vorbereitung dieses Leitfadens aus, um Ihr Projekt und Ihre App einzurichten. In diesem Abschnitt klicken Sie auch auf eine Schaltfläche für den ausgewählten Gemini API-Anbieter, damit Sie auf dieser Seite anbieterspezifische Inhalte sehen. |
Sie können schnellere Interaktionen erzielen, wenn Sie nicht auf das gesamte Ergebnis der Modellgenerierung warten, sondern stattdessen Streaming verwenden, um Teilergebnisse zu verarbeiten.
Rufen Sie generateContentStream auf, um die Antwort zu streamen.
Anforderungen und Empfehlungen für Eingabedokumente
Beachten Sie, dass eine als Inline-Daten bereitgestellte Datei bei der Übertragung in Base64 codiert wird, was die Größe der Anfrage erhöht. Sie erhalten einen HTTP 413-Fehler, wenn eine Anfrage zu groß ist.
Auf der Seite „Unterstützte Eingabedateien und Anforderungen“ finden Sie detaillierte Informationen zu folgenden Themen:
- Verschiedene Optionen zum Bereitstellen einer Datei in einer Anfrage (entweder inline oder über die URL oder den URI der Datei)
- Anforderungen und Best Practices für Dokumentdateien
Unterstützte MIME-Typen für Dokumente
Multimodale Gemini-Modelle unterstützen die folgenden MIME-Dokumenttypen:
- PDF –
application/pdf - Text -
text/plain
Limits pro Anfrage
PDFs werden als Bilder behandelt, sodass eine einzelne Seite einer PDF-Datei als ein einzelnes Bild behandelt wird. Die Anzahl der Seiten in einem Prompt ist auf die Anzahl der Bilder beschränkt, die die multimodalen Gemini-Modelle unterstützen können.
- Maximale Anzahl von Dateien pro Anfrage: 3.000 Dateien
- Maximale Seitenzahl pro Datei: 1.000 Seiten pro Datei
- Maximale Größe pro Datei: 50 MB
Was kannst du sonst noch alles für mich tun?
- Tokens zählen, bevor Sie lange Prompts an das Modell senden.
- Richten Sie Cloud Storage for Firebase ein, damit Sie große Dateien in Ihre multimodalen Anfragen aufnehmen können und eine besser verwaltete Lösung für die Bereitstellung von Dateien in Prompts haben. Dateien können Bilder, PDFs, Videos und Audioinhalte enthalten.
-
Beginnen Sie mit der Vorbereitung für die Produktion (siehe Produktionscheckliste):
- Erzwingen Sie Firebase App Check so früh wie möglich, um die Gemini API vor Missbrauch durch nicht autorisierte Clients zu schützen.
- Verwenden Sie Firebase Remote Config oder Server-Prompt-Vorlagen, um on demand Änderungen an den Konfigurationen für Ihre KI-Funktion (z. B. Modellname) vorzunehmen, ohne eine neue Version Ihrer App veröffentlichen zu müssen.
Andere Funktionen ausprobieren
- Multi-Turn-Unterhaltungen (Chat) erstellen
- Text aus reinen Text-Prompts generieren.
- Strukturierte Ausgabe (z. B. JSON) aus Text- und multimodalen Prompts generieren.
- Bilder aus Text- und multimodalen Prompts generieren und bearbeiten
- Sprache (sowohl für einzelne als auch für mehrere Sprecher) mit Gemini-Text-zu-Sprache-Modellen (TTS) generieren.
-
Verwenden Sie Tools wie Funktionsaufrufe und Fundierung mit
Google Search oderGoogle Maps , um ein Gemini-Modell mit anderen Teilen Ihrer Anwendung sowie mit externen Systemen und Informationen zu verbinden.
Informationen zum Steuern der Inhaltsgenerierung
- Prompt-Design verstehen, einschließlich Best Practices, Strategien und Beispiel-Prompts.
- Modellparameter konfigurieren, z. B. maximale Ausgabetokens, die Wahrscheinlichkeit wiederholter Ausgabetokens usw.
- Verwenden Sie Sicherheitseinstellungen, um die Wahrscheinlichkeit anzupassen, dass Sie Antworten erhalten, die als schädlich eingestuft werden könnten.
Weitere Informationen zu den unterstützten Modellen
Informieren Sie sich über die Modelle, die für verschiedene Anwendungsfälle verfügbar sind, sowie über die zugehörigen Kontingente und Preise.Feedback zu Ihren Erfahrungen mit Firebase AI Logic geben