Ollama-Plug-in

Das Ollama-Plug-in bietet Schnittstellen zu allen lokalen LLMs, die von Ollama.

Vorbereitung

Für dieses Plug-in müssen Sie zuerst den Ollama-Server installieren und ausführen. Folgen Sie dazu der Anleitung auf der Seite Ollama herunterladen.

Laden Sie die gewünschten Modelle mit der Ollama-Befehlszeile herunter. Beispiel:

ollama pull gemma2

Für die Entwicklung können Sie Ollama auf Ihrem Entwicklungscomputer ausführen. Bereitgestellte Apps Ollama wird normalerweise auf einer anderen GPU-beschleunigten Maschine vom App-Backend aus ausgeführt für Genkit.

Konfiguration

Wenn Sie dieses Plug-in verwenden möchten, rufen Sie ollama.Init() auf und geben Sie die Adresse Ihres Ollama-Servers an:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

Nutzung

Wenn Sie Inhalte generieren möchten, müssen Sie zuerst eine Modelldefinition basierend auf dem Modell erstellen, das Sie installiert und verwenden möchten. Wenn Sie beispielsweise Gemma 2 installiert haben:

name := "gemma2"
model := ollama.DefineModel(
	g,
	ollama.ModelDefinition{
		Name: name,
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelInfo{
		Label: name,
		Supports: &ai.ModelInfoSupports{
			Multiturn:  true,
			SystemRole: true,
			Tools:      false,
			Media:      false,
		},
	},
)

Anschließend können Sie mithilfe der Modellreferenz Anfragen an Ihren Ollama-Server senden:

text, err := genkit.GenerateText(ctx, g,
	ai.WithModel(model),
	ai.WithPromptText("Tell me a joke."))
if err != nil {
	return err
}

Weitere Informationen finden Sie unter Inhalte generieren.