Watch demos on how to build & run AI-powered apps with Firebase at Demo Day '24. Watch now.

Trang này được dịch bởi Cloud Translation API.

Huấn luyện mô hình gắn nhãn hình ảnh bằng AutoML Vision Edge

Để huấn luyện mô hình gắn nhãn hình ảnh, bạn cung cấp cho AutoML Vision Edge một tập hợp hình ảnh và nhãn tương ứng. AutoML Vision Edge sử dụng tập dữ liệu này để huấn luyện một mô hình mới trên đám mây. Bạn có thể sử dụng mô hình này để gắn nhãn hình ảnh trên thiết bị trong ứng dụng của mình. (Xem phần Tổng quan để biết thông tin chung về tính năng này.)

AutoML Vision Edge là một dịch vụ trên Google Cloud. Việc sử dụng dịch vụ phải tuân thủ Thoả thuận cấp phép Google Cloud Platform và Điều khoản dành riêng cho dịch vụ, đồng thời được tính phí tương ứng. Để biết thông tin thanh toán, hãy xem trang Giá của AutoML.

Trước khi bắt đầu

Nếu bạn chưa có dự án Firebase hoặc Google Cloud, hãy tạo một dự án trong bảng điều khiển Firebase.
Làm quen với các nguyên tắc được trình bày trong Hướng dẫn về công nghệ học máy toàn diện – AutoML.
Nếu bạn chỉ muốn dùng thử AutoML Vision Edge và không có dữ liệu huấn luyện riêng, hãy tải một tập dữ liệu mẫu xuống, chẳng hạn như một trong những tập dữ liệu sau:
- Tập dữ liệu ví dụ về hình ảnh hoa chính thức của TensorFlow
- Tập dữ liệu bảng chữ cái Ngôn ngữ ký hiệu Mỹ (ASL) này
Bạn có thể tìm thấy nhiều tập dữ liệu khác được lưu trữ trên Kaggle.

1. Tập hợp dữ liệu huấn luyện

Trước tiên, bạn cần tập hợp một tập dữ liệu huấn luyện gồm những hình ảnh có gắn nhãn. Hãy lưu ý các nguyên tắc sau:

Hình ảnh phải có một trong các định dạng sau: JPEG, PNG, GIF, BMP, ICO.
Mỗi hình ảnh phải có kích thước từ 30 MB trở xuống. Xin lưu ý rằng AutoML Vision Edge giảm kích thước hầu hết hình ảnh trong quá trình xử lý trước, vì vậy, việc cung cấp hình ảnh có độ phân giải rất cao thường không mang lại lợi ích về độ chính xác.
Cung cấp ít nhất 10 ví dụ (tốt nhất là 100 ví dụ trở lên) cho mỗi nhãn.
Thêm nhiều góc, độ phân giải và nền cho mỗi nhãn.
Dữ liệu huấn luyện phải gần với dữ liệu dự đoán nhất có thể. Ví dụ: nếu trường hợp sử dụng của bạn liên quan đến hình ảnh mờ và có độ phân giải thấp (chẳng hạn như từ camera an ninh), thì dữ liệu huấn luyện của bạn phải bao gồm hình ảnh mờ và có độ phân giải thấp.
Các mô hình do AutoML Vision Edge tạo ra được tối ưu hoá cho ảnh chụp các đối tượng trong thế giới thực. Các tính năng này có thể không hoạt động tốt đối với ảnh X-quang, bản vẽ tay, tài liệu đã quét, biên nhận, v.v.

Ngoài ra, các mô hình thường không thể dự đoán những nhãn mà con người không thể chỉ định. Vì vậy, nếu con người không thể gán nhãn bằng cách xem hình ảnh trong 1-2 giây, thì mô hình cũng không thể được huấn luyện để làm việc đó.

Khi bạn đã chuẩn bị xong hình ảnh huấn luyện, hãy chuẩn bị để nhập hình ảnh đó vào Firebase. Bạn có 3 lựa chọn:

Cách 1: Tệp lưu trữ zip có cấu trúc

Sắp xếp hình ảnh huấn luyện thành các thư mục, mỗi thư mục được đặt tên theo một nhãn và chứa hình ảnh là ví dụ về nhãn đó. Sau đó, nén cấu trúc thư mục thành một tệp lưu trữ zip.

Tên thư mục trong tệp lưu trữ zip này có thể dài tối đa 32 ký tự ASCII và chỉ được chứa các ký tự chữ-số và dấu gạch dưới (_).

Ví dụ:

my_training_data.zip
  |____accordion
  | |____001.jpg
  | |____002.jpg
  | |____003.jpg
  |____bass_guitar
  | |____hofner.gif
  | |____p-bass.png
  |____clavier
    |____well-tempered.jpg
    |____well-tempered (1).jpg
    |____well-tempered (2).jpg

Cách 2: Cloud Storage có chỉ mục CSV

Tải hình ảnh huấn luyện của bạn lên Google Cloud Storage rồi chuẩn bị một tệp CSV liệt kê URL của mỗi hình ảnh, cùng với các nhãn chính xác cho mỗi hình ảnh (không bắt buộc). Tuỳ chọn này hữu ích khi sử dụng các tập dữ liệu rất lớn.

Ví dụ: hãy tải hình ảnh lên Cloud Storage và chuẩn bị tệp CSV như sau:

gs://your-training-data-bucket/001.jpg,accordion
gs://your-training-data-bucket/002.jpg,accordion
gs://your-training-data-bucket/003.jpg,accordion
gs://your-training-data-bucket/hofner.gif,bass_guitar
gs://your-training-data-bucket/p-bass.png,bass_guitar
gs://your-training-data-bucket/well-tempered.jpg,clavier
gs://your-training-data-bucket/well-tempered%20(1).jpg,clavier
gs://your-training-data-bucket/well-tempered%20(2).jpg,clavier

Hình ảnh phải được lưu trữ trong một bộ chứa thuộc dự án Google Cloud tương ứng của dự án Firebase.

Hãy xem phần Chuẩn bị dữ liệu huấn luyện trong tài liệu về Cloud AutoML Vision để biết thêm thông tin về cách chuẩn bị tệp CSV.

Cách 3: Hình ảnh không có nhãn

Gắn nhãn cho hình ảnh huấn luyện trong bảng điều khiển Firebase sau khi bạn tải hình ảnh lên, từng hình ảnh hoặc trong một tệp zip không có cấu trúc. Xem bước tiếp theo.

2. Huấn luyện mô hình

Tiếp theo, hãy huấn luyện mô hình bằng hình ảnh của bạn:

Mở trang Vision Datasets (Tập dữ liệu thị giác) trong bảng điều khiển Google Cloud. Chọn dự án của bạn khi được nhắc.
Nhấp vào Tập dữ liệu mới, đặt tên cho tập dữ liệu, chọn loại mô hình bạn muốn huấn luyện rồi nhấp vào Tạo tập dữ liệu.
Trên thẻ Nhập của tập dữ liệu, hãy tải một tệp lưu trữ zip của các hình ảnh đào tạo hoặc một tệp CSV chứa các vị trí Cloud Storage mà bạn đã tải các hình ảnh đó lên. Xem phần Tập hợp dữ liệu huấn luyện.
Sau khi tác vụ nhập hoàn tất, hãy sử dụng thẻ Hình ảnh để xác minh dữ liệu huấn luyện và gắn nhãn cho mọi hình ảnh chưa được gắn nhãn.

Trên thẻ Huấn luyện, hãy nhấp vào Bắt đầu huấn luyện.

Đặt tên cho mô hình và chọn loại mô hình Edge.

Định cấu hình các chế độ cài đặt huấn luyện sau đây. Các chế độ cài đặt này chi phối hiệu suất của mô hình đã tạo:

Tối ưu hoá mô hình cho...

Cấu hình mô hình sẽ sử dụng. Bạn có thể huấn luyện các mô hình nhanh hơn, nhỏ hơn khi độ trễ thấp hoặc kích thước gói nhỏ là quan trọng, hoặc các mô hình chậm hơn, lớn hơn khi độ chính xác là quan trọng nhất.

Ngân sách giờ của nút

Thời gian tối đa (tính bằng giờ điện toán) để huấn luyện mô hình. Thời gian huấn luyện càng dài thì mô hình càng chính xác.

Xin lưu ý rằng quá trình huấn luyện có thể hoàn tất trong thời gian ngắn hơn thời gian được chỉ định nếu hệ thống xác định rằng mô hình đã được tối ưu hoá và việc huấn luyện thêm sẽ không cải thiện độ chính xác. Bạn chỉ phải trả phí cho những giờ thực sự đã sử dụng.

Thời gian huấn luyện thông thường
Tập hợp rất nhỏ	1 giờ
500 hình ảnh	2 giờ
1.000 hình ảnh	3 giờ
5.000 hình ảnh	6 giờ
10.000 hình ảnh	7 giờ
50.000 hình ảnh	11 giờ
100.000 hình ảnh	13 giờ
1.000.000 hình ảnh	18 giờ

3. Đánh giá mô hình

Khi quá trình huấn luyện hoàn tất, bạn có thể nhấp vào thẻ Đánh giá để xem các chỉ số hiệu suất của mô hình.

Một mục đích quan trọng của trang này là xác định ngưỡng độ tin cậy phù hợp nhất với mô hình của bạn. Ngưỡng độ tin cậy là độ tin cậy tối thiểu mà mô hình phải có để gán nhãn cho một hình ảnh. Bằng cách di chuyển thanh trượt Ngưỡng tin cậy, bạn có thể thấy các ngưỡng khác nhau ảnh hưởng như thế nào đến hiệu suất của mô hình. Hiệu suất của mô hình được đo lường bằng hai chỉ số: độ chính xác và độ chính xác.

Trong ngữ cảnh phân loại hình ảnh, độ chính xác là tỷ lệ giữa số lượng hình ảnh được gắn nhãn chính xác với số lượng hình ảnh mà mô hình đã gắn nhãn theo ngưỡng đã chọn. Khi có độ chính xác cao, mô hình sẽ ít gán sai nhãn hơn (ít kết quả dương tính giả hơn).

Recall (Thu hồi) là tỷ lệ số lượng hình ảnh được gắn nhãn chính xác với số lượng hình ảnh có nội dung mà mô hình đáng lẽ có thể gắn nhãn. Khi một mô hình có mức độ gọi lại cao, mô hình đó sẽ không gán bất kỳ nhãn nào ít thường xuyên hơn (ít hơn âm tính giả).

Việc bạn tối ưu hoá cho độ chính xác hay độ gợi nhắc sẽ phụ thuộc vào trường hợp sử dụng của bạn. Hãy xem hướng dẫn dành cho người mới bắt đầu về AutoML Vision và hướng dẫn về công nghệ học máy toàn diện – AutoML để biết thêm thông tin.

Khi bạn tìm thấy một ngưỡng độ tin cậy tạo ra các chỉ số mà bạn cảm thấy thoải mái, hãy ghi lại ngưỡng đó; bạn sẽ sử dụng ngưỡng độ tin cậy để định cấu hình mô hình trong ứng dụng của mình. (Bạn có thể sử dụng công cụ này bất cứ lúc nào để nhận được giá trị ngưỡng thích hợp.)

4. Xuất bản hoặc tải mô hình xuống

Nếu hài lòng với hiệu suất của mô hình và muốn sử dụng mô hình đó trong ứng dụng, bạn có 3 lựa chọn để kết hợp: triển khai mô hình để dự đoán trực tuyến, xuất bản mô hình lên Firebase hoặc tải mô hình xuống và kết hợp mô hình đó với ứng dụng.

Triển khai mô hình

Trên thẻ Kiểm thử và sử dụng của tập dữ liệu, bạn có thể triển khai mô hình để dự đoán trực tuyến. Mô hình này sẽ chạy trên đám mây. Tuỳ chọn này được đề cập trong tài liệu về Cloud AutoML. Các tài liệu trên trang web này đề cập đến hai lựa chọn còn lại.

Xuất bản mô hình

Bằng cách phát hành mô hình lên Firebase, bạn có thể cập nhật mô hình mà không cần phát hành phiên bản ứng dụng mới. Ngoài ra, bạn có thể sử dụng Remote Config và A/B Testing để phân phát linh động các mô hình khác nhau cho các nhóm người dùng khác nhau.

Nếu chỉ cung cấp mô hình bằng cách lưu trữ mô hình đó trên Firebase và không đóng gói mô hình đó với ứng dụng, bạn có thể giảm kích thước tải xuống ban đầu của ứng dụng. Tuy nhiên, hãy lưu ý rằng nếu mô hình không được đóng gói với ứng dụng, thì mọi chức năng liên quan đến mô hình sẽ không hoạt động cho đến khi ứng dụng tải mô hình xuống lần đầu tiên.

Để phát hành mô hình, bạn có thể sử dụng một trong hai phương thức sau:

Tải mô hình TF Lite xuống từ trang Kiểm thử và sử dụng của tập dữ liệu trong bảng điều khiển Google Cloud, sau đó tải mô hình lên trang Mô hình tuỳ chỉnh của bảng điều khiển Firebase. Đây thường là cách dễ nhất để phát hành một mô hình.
Xuất bản mô hình trực tiếp từ dự án Google Cloud lên Firebase bằng SDK dành cho quản trị viên. Bạn có thể sử dụng phương thức này để phát hành hàng loạt một số mô hình hoặc để giúp tạo quy trình phát hành tự động.

Cách phát hành mô hình bằng API quản lý mô hình của SDK dành cho quản trị viên:

Cài đặt và khởi chạy SDK.

Xuất bản mô hình.

Bạn sẽ cần chỉ định giá trị nhận dạng tài nguyên của mô hình. Đây là một chuỗi có dạng như ví dụ sau:

projects/PROJECT_NUMBER/locations/us-central1/models/MODEL_ID

`PROJECT_NUMBER`	Số dự án của bộ chứa Cloud Storage chứa mô hình. Đây có thể là dự án Firebase của bạn hoặc một dự án Google Cloud khác. Bạn có thể tìm thấy giá trị này trên trang Cài đặt của bảng điều khiển Firebase hoặc trang tổng quan của bảng điều khiển Google Cloud.
`MODEL_ID`	Mã mô hình mà bạn lấy từ AutoML Cloud API.

Python

# First, import and initialize the SDK.

# Get a reference to the AutoML model
source = ml.TFLiteAutoMlSource('projects/{}/locations/us-central1/models/{}'.format(
    # See above for information on these values.
    project_number,
    model_id
))

# Create the model object
tflite_format = ml.TFLiteFormat(model_source=source)
model = ml.Model(
    display_name="example_model",  # This is the name you will use from your app to load the model.
    tags=["examples"],             # Optional tags for easier management.
    model_format=tflite_format)

# Add the model to your Firebase project and publish it
new_model = ml.create_model(model)
new_model.wait_for_unlocked()
ml.publish_model(new_model.model_id)

Node.js

// First, import and initialize the SDK.

(async () => {
  // Get a reference to the AutoML model. See above for information on these
  // values.
  const automlModel = `projects/${projectNumber}/locations/us-central1/models/${modelId}`;

  // Create the model object and add the model to your Firebase project.
  const model = await ml.createModel({
    displayName: 'example_model',  // This is the name you use from your app to load the model.
    tags: ['examples'],  // Optional tags for easier management.
    tfliteModel: { automlModel: automlModel },
  });

  // Wait for the model to be ready.
  await model.waitForUnlocked();

  // Publish the model.
  await ml.publishModel(model.modelId);

  process.exit();
})().catch(console.error);

Tải xuống và gói mô hình với ứng dụng

Bằng cách đóng gói mô hình với ứng dụng, bạn có thể đảm bảo các tính năng học máy của ứng dụng vẫn hoạt động khi không có mô hình do Firebase lưu trữ.

Nếu bạn vừa phát hành mô hình vừa gói mô hình đó với ứng dụng, thì ứng dụng sẽ sử dụng phiên bản mới nhất hiện có.

Để tải mô hình xuống, hãy nhấp vào TF Lite trên trang Kiểm thử và sử dụng của tập dữ liệu.

Các bước tiếp theo

Giờ đây, khi bạn đã phát hành hoặc tải mô hình xuống, hãy tìm hiểu cách sử dụng mô hình đó trong ứng dụng iOS+ và Android.