Plug-in Ollama

Il plug-in Ollama fornisce interfacce a qualsiasi modello LLM locale supportato Ollama.

Prerequisiti

Questo plug-in richiede prima l'installazione e l'esecuzione del server Ollama. Puoi segui le istruzioni nella pagina per scaricare Ollama .

Utilizza l'interfaccia a riga di comando Ollama per scaricare i modelli che ti interessano. Ad esempio:

ollama pull gemma2

Per lo sviluppo, puoi eseguire Ollama sulla tua macchina di sviluppo. Le app di cui è stato eseguito il deployment solitamente eseguono Ollama su una macchina diversa, con accelerazione GPU, rispetto al backend dell'app che esegue Genkit.

Configurazione

Per utilizzare questo plug-in, chiama ollama.Init(), specificando l'indirizzo del tuo server Ollama:

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

Utilizzo

Per generare contenuti, devi prima creare una definizione del modello in base al modello che hai installato e che vuoi utilizzare. Ad esempio, se hai installato Gemma 2:

model := ollama.DefineModel(
	ollama.ModelDefinition{
		Name: "gemma2",
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelCapabilities{
		Multiturn:  true,
		SystemRole: true,
		Tools:      false,
		Media:      false,
	},
)

Poi, puoi utilizzare il riferimento del modello per inviare richieste al server Ollama:

text, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}

Per ulteriori informazioni, consulta la sezione Generare contenuti.