درک و پیکربندی پارامترهای مدل

هر تماسی که به یک مدل ارسال می‌کنید شامل مقادیر پارامتری است که نحوه تولید پاسخ مدل را کنترل می‌کند. مدل می تواند نتایج متفاوتی را برای مقادیر پارامترهای مختلف ایجاد کند. برای بدست آوردن بهترین مقادیر برای کار، مقادیر پارامترهای مختلف را آزمایش کنید. پارامترهای موجود برای مدل های مختلف ممکن است متفاوت باشد.

این پیکربندی برای طول عمر سرویس اولیه Vertex AI و نمونه مدل حفظ می شود. برای به‌روزرسانی پیکربندی مدل، نمونه مدل باید دوباره راه‌اندازی شود.

بعداً در این صفحه، می‌توانید نحوه پیکربندی پارامترهای مدل را بیاموزید.

شرح هر پارامتر

رایج ترین پارامترها به شرح زیر است:

• حداکثر توکن های خروجی
• دما
• Top-K
• Top-P

در بخش های بعدی این صفحه با هر یک از این پارامترها آشنا شوید.

حداکثر توکن های خروجی

حداکثر تعداد نشانه هایی که می توان در پاسخ ایجاد کرد. یک نشانه تقریباً چهار کاراکتر است. 100 نشانه تقریباً با 20 کلمه مطابقت دارد.

مقدار کمتری را برای پاسخ‌های کوتاه‌تر و مقدار بالاتر را برای پاسخ‌های طولانی‌تر مشخص کنید.

دما

دما برای نمونه برداری در طول تولید پاسخ استفاده می شود، که زمانی اتفاق می افتد که topP و topK اعمال می شود. دما درجه تصادفی بودن انتخاب نشانه را کنترل می کند. دماهای پایین‌تر برای اعلان‌هایی که نیاز به پاسخ قطعی‌تر و خلاقانه‌تر دارند، خوب است، در حالی که دمای بالاتر می‌تواند منجر به نتایج متنوع‌تر یا خلاقانه‌تر شود. دمای 0 قطعی است، به این معنی که بالاترین پاسخ احتمال همیشه انتخاب می شود.

برای بیشتر موارد استفاده، سعی کنید با دمای 0.2 شروع کنید. اگر مدل یک پاسخ خیلی عمومی، خیلی کوتاه را نشان می‌دهد، یا مدل یک پاسخ بازگشتی می‌دهد، دما را افزایش دهید.

Top-K

Top-K نحوه انتخاب توکن ها را برای خروجی توسط مدل تغییر می دهد. top-K از 1 به این معنی است که نشانه انتخابی بعدی محتمل ترین نشانه در واژگان مدل است (که رمزگشایی حریص نیز نامیده می شود)، در حالی که بالا-K از 3 به این معنی است که نشانه بعدی از بین سه نشانه محتمل ترین انتخاب شده است. با استفاده از دما

برای هر مرحله انتخاب توکن، توکن های top-K با بیشترین احتمال نمونه برداری می شوند. سپس توکن‌ها بر اساس top-P فیلتر می‌شوند و نشانه نهایی با استفاده از نمونه‌گیری دما انتخاب می‌شود.

مقدار کمتری را برای پاسخ‌های تصادفی کمتر و مقدار بالاتر را برای پاسخ‌های تصادفی بیشتر تعیین کنید. پیش فرض top-K 40 است.

Top-P

Top-P نحوه انتخاب توکن ها را برای خروجی توسط مدل تغییر می دهد. توکن ها از بیشترین (به top-K) تا کمترین احتمال انتخاب می شوند تا زمانی که مجموع احتمالات آنها با مقدار top-P برابر شود. به عنوان مثال، اگر نشانه های A، B، و C احتمال 0.3، 0.2 و 0.1 داشته باشند و مقدار top-P 0.5 باشد، مدل A یا B را به عنوان نشانه بعدی با استفاده از دما انتخاب می کند و C را به عنوان حذف می کند. یک نامزد

مقدار کمتری را برای پاسخ‌های تصادفی کمتر و مقدار بالاتر را برای پاسخ‌های تصادفی بیشتر تعیین کنید. top-P پیش فرض 0.95 است.

پیکربندی پارامترهای مدل

شما پارامترهای مدل را در generationConfig در طول مقداردهی اولیه مدل پیکربندی می کنید. در اینجا یک مثال اساسی آورده شده است:

// ...

val config = generationConfig {
    maxOutputTokens = 200
    stopSequences = listOf("red")
    temperature = 0.9f
    topK = 16
    topP = 0.1f
}

val generativeModel = Firebase.vertexAI.generativeModel(
    modelName = "MODEL_NAME",
    generationConfig = config
)

// ...

// ...

GenerationConfig.Builder configBuilder = new GenerationConfig.Builder();
configBuilder.maxOutputTokens = 200;
configBuilder.stopSequences = List.of("red");
configBuilder.temperature = 0.9f;
configBuilder.topK = 16;
configBuilder.topP = 0.1f;

GenerationConfig generationConfig = configBuilder.build();

GenerativeModel gm = FirebaseVertexAI.getInstance().generativeModel(
    "MODEL_NAME",
    generationConfig
);

GenerativeModelFutures model = GenerativeModelFutures.from(gm);

// ...

گزینه های دیگر برای کنترل تولید محتوا

• در مورد طراحی سریع بیشتر بیاموزید تا بتوانید مدل را تحت تأثیر قرار دهید تا خروجی خاصی برای نیازهای شما ایجاد کند.
• از تنظیمات ایمنی برای تنظیم احتمال دریافت پاسخ هایی که ممکن است مضر تلقی شوند، از جمله سخنان مشوق عداوت و تنفر و محتوای صریح جنسی استفاده کنید.
• دستورالعمل های سیستم را برای هدایت رفتار مدل تنظیم کنید. این ویژگی مانند یک «مقدمه» است که قبل از اینکه مدل در معرض هر دستورالعمل دیگری از کاربر نهایی قرار گیرد، اضافه می‌کنید.
• یک طرح پاسخ را همراه با اعلان برای تعیین یک طرح خروجی خاص ارسال کنید. این ویژگی بیشتر هنگام تولید خروجی JSON استفاده می‌شود، اما می‌توان از آن برای کارهای طبقه‌بندی نیز استفاده کرد (مانند زمانی که می‌خواهید مدل از برچسب‌ها یا برچسب‌های خاصی استفاده کند).