Генкит Firebase с Cloud Run

Вы можете развернуть потоки Firebase Genkit как веб-сервисы с помощью Cloud Run. На этой странице в качестве примера описывается процесс развертывания примера потока по умолчанию.

  1. Установите Google Cloud CLI, если вы еще этого не сделали.

  2. Создайте новый проект Google Cloud с помощью консоли Cloud или выберите существующий. Проект должен быть привязан к платежному аккаунту.

    После создания или выбора проекта настройте интерфейс командной строки Google Cloud для его использования:

    gcloud auth login
    gcloud init
  3. Создайте каталог для примера проекта Genkit:

    mkdir -p ~/tmp/genkit-cloud-project
    cd ~/tmp/genkit-cloud-project

    Если вы собираетесь использовать IDE, откройте ее в этом каталоге.

  4. Инициализируйте модуль Go в каталоге вашего проекта:

    go mod init example/cloudrun
  5. Инициализируйте Genkit в своем проекте:

    genkit init

    Выберите поставщика модели, которого вы хотите использовать.

    Примите значения по умолчанию для остальных запросов. Инструмент genkit создаст образец исходного файла, который поможет вам приступить к разработке собственных потоков ИИ. Однако в оставшейся части этого руководства вы просто развернете пример потока.

  6. Отредактируйте файл примера ( main.go или genkit.go ), чтобы явно указать порт, который должен прослушивать сервер потоков:

    if err := genkit.Init(ctx,
    	&genkit.Options{FlowAddr: ":3400"}, // Add this parameter.
    ); err != nil {
    	log.Fatal(err)
    }
    
  7. Сделайте учетные данные API доступными для развернутой функции. Выполните одно из следующих действий в зависимости от выбранного вами поставщика модели:

    1. Убедитесь, что Google AI доступен в вашем регионе .

    2. Создайте ключ API для Gemini API с помощью Google AI Studio.

    3. Сделайте ключ API доступным в среде Cloud Run:

      1. В облачной консоли включите API Secret Manager .
      2. На странице «Менеджер секретов» создайте новый секрет, содержащий ваш ключ API.
      3. После создания секрета на той же странице предоставьте учетной записи вычислительной службы по умолчанию доступ к секрету с помощью роли «Секретный доступ диспетчера секретов» . (Имя учетной записи вычислительной службы по умолчанию можно найти на странице IAM.)

      На более позднем этапе, когда вы развернете службу, вам нужно будет указать имя этого секрета.

    1. В облачной консоли включите API Vertex AI для своего проекта.

    2. На странице IAM убедитесь, что учетной записи службы вычислений по умолчанию предоставлена ​​роль пользователя Vertex AI .

    Единственный секрет, который вам нужно настроить для этого руководства, — это поставщик модели, но в целом вы должны сделать что-то подобное для каждой службы, которую использует ваш поток.

  8. Необязательно : попробуйте свой алгоритм в пользовательском интерфейсе разработчика:

    1. Настройте локальную среду для выбранного вами поставщика модели:

      export GOOGLE_GENAI_API_KEY=<your API key>
      export GCLOUD_PROJECT=<your project ID>
      export GCLOUD_LOCATION=us-central1
      gcloud auth application-default login
    2. Запустите пользовательский интерфейс:

      genkit start
    3. В пользовательском интерфейсе разработчика (http://localhost:4000/) запустите поток:

      1. Нажмите менюПоток предложений .

      2. На вкладке «Ввод JSON» укажите тему модели:

        "banana"
        
      3. Нажмите «Выполнить» .

  9. Если пока все работает так, как ожидалось, вы можете создать и развернуть поток:

    gcloud run deploy --port 3400 \
      --update-secrets=GOOGLE_GENAI_API_KEY=<your-secret-name>:latest
    gcloud run deploy --port 3400 \
      --set-env-vars GCLOUD_PROJECT=<your-gcloud-project> \
      --set-env-vars GCLOUD_LOCATION=us-central1

    ( GCLOUD_LOCATION настраивает регион Vertex API, который вы хотите использовать.)

    Выберите N когда вас спросят, хотите ли вы разрешить неаутентифицированные вызовы. Ответ N приведет к тому, что ваша служба будет требовать учетные данные IAM. Информацию о предоставлении этих учетных данных см. в разделе «Аутентификация» в документации Cloud Run.

После завершения развертывания инструмент распечатает URL-адрес службы. Вы можете проверить это с помощью curl :

curl -X POST https://<service-url>/menuSuggestionFlow \
  -H "Authorization: Bearer $(gcloud auth print-identity-token)" \
  -H "Content-Type: application/json" -d '"banana"'