Ollama 插件

Ollama 插件可为 奥拉马。

前提条件

该插件要求您首先安装并运行 Ollama 服务器。您可以 请按照 下载 Ollama 页面。

使用 Ollama CLI 下载您感兴趣的模型。例如：

ollama pull gemma2

对于开发，您可以在开发机器上运行 Ollama。已部署的应用 通常在应用后端之外的其他 GPU 加速的机器上运行 Ollama 运行 Genkit 所需的工具

配置

如需使用此插件，请调用 ollama.Init()，并指定您的 Ollama 的地址 服务器：

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, "http://127.0.0.1:11434"); err != nil {
    return err
}

用法

要生成内容，您首先需要根据 和想要使用的模型。例如，如果您安装了 Gemma 2：

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma2",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelCapabilities{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

然后，您可以使用模型引用将请求发送到您的 Ollama 服务器：

genRes, err := model.Generate(ctx, ai.NewGenerateRequest(
    nil, ai.NewUserTextMessage("Tell me a joke.")), nil)
if err != nil {
    return err
}

如需了解详情，请参阅生成内容。