Vertex AI प्लगिन, Google के कई जनरेटिव एआई मॉडल के लिए इंटरफ़ेस उपलब्ध कराता है Vertex AI API का इस्तेमाल करके:
- Gemini 1.0 Pro और Gemini 1.0 Pro विज़न टेक्स्ट जनरेट करने की सुविधा
- Imagen2 इमेज जनरेशन
- गेको टेक्स्ट एम्बेड करने की प्रोसेस
यह Vertex AI रैपिड इवैलुएशन एपीआई की मदद से, इवैलुएशन मेट्रिक के सबसेट को ऐक्सेस भी देता है.
- बीएलईयू
- रूज़
- फ़्लुएंसी
- सुरक्षा
- ग्राउंडनेस
- खास जानकारी की क्वालिटी
- खास जानकारी देने के लिए मददगार जानकारी
- खास जानकारी वाली 'कितने शब्दों में जानकारी दी जाए' सेटिंग
इंस्टॉल करना
npm i --save @genkit-ai/vertexai
अगर आपको इस प्लगिन का इस्तेमाल करने वाले फ़्लो को लोकल तौर पर चलाना है, तो आपको Google Cloud CLI टूल इंस्टॉल किया गया.
कॉन्फ़िगरेशन
इस प्लग इन का उपयोग करने के लिए, configureGenkit()
को कॉल करते समय इसका उल्लेख करें:
import { vertexAI } from '@genkit-ai/vertexai';
export default configureGenkit({
plugins: [
vertexAI({ projectId: 'your-cloud-project', location: 'us-central1' }),
],
// ...
});
प्लगिन के लिए आपको अपना Google Cloud प्रोजेक्ट आईडी बताना होगा, क्षेत्र जिसके लिए आपको Vertex API अनुरोध और अपना Google Cloud प्रोजेक्ट ऐक्सेस करना है क्रेडेंशियल डालें.
अपना Google Cloud प्रोजेक्ट आईडी तय करने के लिए,
projectId
कोvertexAI()
कॉन्फ़िगरेशन याGCLOUD_PROJECT
एनवायरमेंट को सेट करके वैरिएबल. अगर Google Cloud के एनवायरमेंट (Cloud इस्तेमाल करने का तरीका) से फ़्लो चलाया जा रहा है फ़ंक्शन, Cloud Run वगैरह),GCLOUD_PROJECT
अपने-आप एनवायरमेंट का प्रोजेक्ट आईडी.एपीआई की जगह की जानकारी देने के लिए, यहां दिए गए विकल्पों में से
location
कोvertexAI()
कॉन्फ़िगरेशन याGCLOUD_LOCATION
एनवायरमेंट को सेट करके वैरिएबल.एपीआई क्रेडेंशियल देने के लिए, आपको Google Cloud ऐप्लिकेशन सेट अप करना होगा डिफ़ॉल्ट क्रेडेंशियल.
अपने क्रेडेंशियल बताने के लिए:
अगर Google Cloud के एनवायरमेंट (Cloud इस्तेमाल करने का तरीका) से फ़्लो चलाया जा रहा है फ़ंक्शन, Cloud Run वगैरह), तो यह अपने-आप सेट हो जाता है.
अपने स्थानीय डेवलपर एनवायरमेंट पर, इसे चलाकर ऐसा करें:
gcloud auth application-default login
- अन्य एनवायरमेंट के लिए, ऐप्लिकेशन के डिफ़ॉल्ट क्रेडेंशियल देखें दस्तावेज़.
इसके अलावा, पक्का करें कि खाते को Vertex AI उपयोगकर्ता की आईएएम की भूमिका दी गई हो (
roles/aiplatform.user
). Vertex AI का ऐक्सेस कंट्रोल देखें दस्तावेज़.
इस्तेमाल किए जाने से जुड़ी जानकारी
जनरेटिव एआई मॉडल
यह प्लगिन, इसके साथ काम करने वाले जनरेटिव एआई मॉडल के रेफ़रंस को स्टैटिक तरीके से एक्सपोर्ट करता है:
import { gemini15Flash, gemini15Pro, imagen2 } from '@genkit-ai/vertexai';
इन रेफ़रंस का इस्तेमाल करके यह तय किया जा सकता है कि generate()
कौनसा मॉडल इस्तेमाल करेगा:
const llmResponse = await generate({
model: gemini15Flash,
prompt: 'What should I do when I visit Melbourne?',
});
यह प्लगिन, Gecko टेक्स्ट एम्बेड करने के रेफ़रंस को भी स्टैटिक तरीके से एक्सपोर्ट करता है मॉडल:
import { textEmbeddingGecko } from '@genkit-ai/vertexai';
इस रेफ़रंस का इस्तेमाल करके यह तय किया जा सकता है कि कौनसा एम्बेडर, इंडेक्सर या रिट्रीवर है या नहीं इस्तेमाल. उदाहरण के लिए, अगर Chroma DB का इस्तेमाल किया जाता है:
configureGenkit({
plugins: [
chroma([
{
embedder: textEmbeddingGecko,
collectionName: 'my-collection',
},
]),
],
});
इसके अलावा, सीधे तौर पर एम्बेड करने की सुविधा भी जनरेट की जा सकती है:
// import { embed, EmbedderArgument } from '@genkit-ai/ai/embedder';
const embedding = await embed({
embedder: textEmbeddingGecko,
content: 'How many widgets do you have in stock?',
});
Vertex AI Model Garden पर एंथ्रोपिक क्लाउड 3
अगर आपके पास Vertex AI Model Garden में Claude 3 मॉडल (हाइकू, सोनेट या ऑपस) का ऐक्सेस है, तो उन्हें Genkit के साथ इस्तेमाल किया जा सकता है.
Vertex AI Model Garden मॉडल को चालू करने के लिए, यहां कॉन्फ़िगरेशन का सैंपल दिया गया है:
import {
vertexAI,
claude3Haiku,
claude3Sonnet,
claude3Opus,
} from '@genkit-ai/vertexai';
export default configureGenkit({
plugins: [
vertexAI({
location: 'us-central1',
modelGarden: {
models: [claude3Haiku, claude3Sonnet, claude3Opus],
},
}),
],
});
इसके बाद, उनका इस्तेमाल सामान्य मॉडल के तौर पर करें:
const llmResponse = await generate({
model: claude3Sonnet,
prompt: 'What should I do when I visit Melbourne?',
});
Vertex AI Model Garden पर Llama 3.1 405b
सबसे पहले, आपको Vertex AI Model Garden में Llama 3.1 API सेवा को चालू करना होगा.
Vertex AI प्लगिन में, Llama 3.1 405b के लिए कॉन्फ़िगरेशन का सैंपल यहां दिया गया है:
import { vertexAI, llama3 } from '@genkit-ai/vertexai';
export default configureGenkit({
plugins: [
vertexAI({
location: 'us-central1',
modelGarden: {
models: [llama3],
},
}),
],
});
इसके बाद, इसका इस्तेमाल सामान्य मॉडल के तौर पर करें:
const llmResponse = await generate({
model: llama3,
prompt: 'Write a function that adds two numbers together',
});
मूल्यांकन करने वाले
Vertex AI Rapid Schema के समीक्षकों का इस्तेमाल करने के लिए, अपने vertexAI
प्लगिन के कॉन्फ़िगरेशन में evaluation
ब्लॉक जोड़ें.
import { vertexAI, VertexAIEvaluationMetricType } from '@genkit-ai/vertexai';
export default configureGenkit({
plugins: [
vertexAI({
projectId: 'your-cloud-project',
location: 'us-central1',
evaluation: {
metrics: [
VertexAIEvaluationMetricType.SAFETY,
{
type: VertexAIEvaluationMetricType.ROUGE,
metricSpec: {
rougeType: 'rougeLsum',
},
},
],
},
}),
],
// ...
});
ऊपर दिए गए कॉन्फ़िगरेशन में, Safety
और ROUGE
मेट्रिक का आकलन करने वाले लोग जोड़े गए हैं. इस उदाहरण में दो तरीके बताए गए हैं- Safety
मेट्रिक में डिफ़ॉल्ट स्पेसिफ़िकेशन का इस्तेमाल किया गया है, जबकि ROUGE
मेट्रिक में रूज टाइप को rougeLsum
पर सेट करने के लिए, अपने हिसाब से जानकारी दी गई है.
दोनों समीक्षकों को genkit eval:run
कमांड का इस्तेमाल करके, एक-दूसरे के साथ काम करने वाले डेटासेट के साथ चलाया जा सकता है. जैसे, output
और reference
फ़ील्ड वाला डेटासेट. Safety
का आकलन करने वाले को genkit eval:flow -e vertexai/safety
निर्देश का इस्तेमाल करके भी चलाया जा सकता है, क्योंकि इसके लिए सिर्फ़ output
की ज़रूरत होती है.