Das Ollama-Plug-in bietet Schnittstellen zu allen lokalen LLMs, die von Ollama.
Vorbereitung
Für dieses Plug-in müssen Sie zuerst den Ollama-Server installieren und ausführen. Folgen Sie dazu der Anleitung auf der Seite Ollama herunterladen.
Laden Sie die gewünschten Modelle mit der Ollama-Befehlszeile herunter. Beispiel:
ollama pull gemma2
Für die Entwicklung können Sie Ollama auf Ihrem Entwicklungscomputer ausführen. Bereitgestellte Apps Ollama wird normalerweise auf einer anderen GPU-beschleunigten Maschine vom App-Backend aus ausgeführt für Genkit.
Konfiguration
Wenn Sie dieses Plug-in verwenden möchten, rufen Sie ollama.Init()
auf und geben Sie die Adresse Ihres Ollama-Servers an:
import "github.com/firebase/genkit/go/plugins/ollama"
// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
return err
}
Nutzung
Wenn Sie Inhalte generieren möchten, müssen Sie zuerst eine Modelldefinition basierend auf dem Modell erstellen, das Sie installiert und verwenden möchten. Wenn Sie beispielsweise Gemma 2 installiert haben:
name := "gemma2"
model := ollama.DefineModel(
g,
ollama.ModelDefinition{
Name: name,
Type: "chat", // "chat" or "generate"
},
&ai.ModelInfo{
Label: name,
Supports: &ai.ModelInfoSupports{
Multiturn: true,
SystemRole: true,
Tools: false,
Media: false,
},
},
)
Anschließend können Sie mithilfe der Modellreferenz Anfragen an Ihren Ollama-Server senden:
text, err := genkit.GenerateText(ctx, g,
ai.WithModel(model),
ai.WithPromptText("Tell me a joke."))
if err != nil {
return err
}
Weitere Informationen finden Sie unter Inhalte generieren.