Trenowanie modelu oznaczania obrazów za pomocą AutoML Vision Edge

Aby wytrenować model dodawania etykiet do obrazów, podaj AutoML Vision Edge ze zbiorem obrazów i odpowiadających im etykiet. AutoML Vision Edge używa tego zbioru danych do trenowania nowego modelu w chmurze, którego możesz używać do oznaczania obrazów etykietami na urządzeniu aplikacji. (Ogólne informacje znajdziesz w sekcji Omówienie). tę funkcję).

AutoML Vision Edge to usługa Google Cloud. Korzystanie z usługi podlega Umowie licencyjnej Google Cloud Platform i szczegółowym warunkom korzystania z usługi oraz jest odpowiednio rozliczane. Informacje o rozliczeniach znajdziesz na stronie Ceny w AutoML.

Zanim zaczniesz

1. Zbieranie danych do trenowania

Najpierw musisz przygotować zbiór danych treningowych z oznaczonymi obrazami. Pamiętaj o tych wskazówkach:

  • Obrazy muszą być w jednym z tych formatów: JPEG, PNG, GIF, BMP, ICO.

  • Rozmiar każdego obrazu nie może przekraczać 30 MB. Pamiętaj, że AutoML Vision Edge większość obrazów podczas wstępnego przetwarzania, więc zwykle nie ma wpływu na dokładność. dostarczając zdjęcia o bardzo wysokiej rozdzielczości.

  • Dodaj co najmniej 10 a najlepiej 100 lub więcej przykładów każdej etykiety.

  • Uwzględnij różne kąty, rozdzielczości i tła dla każdej etykiety.

  • Dane treningowe powinny być jak najbardziej zbliżone do danych, na których dla prognozy. Na przykład: jeśli Twój przypadek użycia zawiera rozmyte obrazy, obrazów o niskiej rozdzielczości (np. z kamery monitoringu), danych treningowych; powinny składać się z rozmytych zdjęć o niskiej rozdzielczości.

  • Modele wygenerowane przez AutoML Vision Edge są zoptymalizowane pod kątem zdjęć obiektów w rzeczywistym świecie. Nie sprawdzają się w przypadku zdjęć rentgenowskich, rysunków odręcznych, zeskanowane dokumenty, paragony itd.

    Modele nie mogą też przewidywać etykiet, których nie można przypisać ludziom. Jeśli więc człowiek nie może przypisać etykiet, patrząc na obraz przez 1–2 sekundy, model prawdopodobnie też nie będzie w stanie tego zrobić.

Gdy masz już gotowe obrazy do trenowania, przygotuj je do zaimportowania do Firebase. Dostępne są 3 opcje:

Opcja 1. Uporządkowane archiwum ZIP

Uporządkuj obrazy do trenowania w katalogi, z których każdy ma nazwę odpowiadającą etykiecie, zawierające obrazy, które są przykładami tej etykiety. Następnie skompresuj strukturę katalogu do archiwum ZIP.

Nazwy katalogów w tym archiwum ZIP mogą mieć maksymalnie 32 znaki ASCII. i może zawierać tylko znaki alfanumeryczne i znak podkreślenia (_).

Przykład:

my_training_data.zip
  |____accordion
  | |____001.jpg
  | |____002.jpg
  | |____003.jpg
  |____bass_guitar
  | |____hofner.gif
  | |____p-bass.png
  |____clavier
    |____well-tempered.jpg
    |____well-tempered (1).jpg
    |____well-tempered (2).jpg

Opcja 2. Cloud Storage z indeksem CSV

Prześlij obrazy do trenowania do usługi Google Cloud Storage i przygotuj plik CSV z adresami URL każdego obrazu oraz (opcjonalnie) odpowiednimi etykietami dla każdego obrazu. Ta opcja jest przydatna w przypadku bardzo dużych zbiorów danych.

Możesz na przykład przesłać obrazy do usługi Cloud Storage i przygotować plik CSV w taki sposób:

gs://your-training-data-bucket/001.jpg,accordion
gs://your-training-data-bucket/002.jpg,accordion
gs://your-training-data-bucket/003.jpg,accordion
gs://your-training-data-bucket/hofner.gif,bass_guitar
gs://your-training-data-bucket/p-bass.png,bass_guitar
gs://your-training-data-bucket/well-tempered.jpg,clavier
gs://your-training-data-bucket/well-tempered%20(1).jpg,clavier
gs://your-training-data-bucket/well-tempered%20(2).jpg,clavier

Obrazy muszą być przechowywane w zasobniku, który jest częścią komponentu Firebase odpowiadającego mu projektu Google Cloud.

Zobacz Przygotowywanie danych do trenowania w Cloud AutoML Dokumentacja Vision, która zawiera więcej informacji na temat przygotowywania pliku CSV.

Opcja 3. Obrazy bez etykiet

Po przesłaniu oznacz etykietami obrazy do trenowania w konsoli Firebase. pojedynczo lub w nieuporządkowanym pliku ZIP. Zobacz następny krok.

2. Trenowanie modelu

Następnie wytrenuj model na podstawie swoich obrazów:

  1. Otwórz zbiory danych Vision. w konsoli Google Cloud. Gdy pojawi się taka prośba, wybierz projekt.

  2. Kliknij Nowy zbiór danych, podaj nazwę zbioru danych, wybierz typ modelu, który chcesz trenować, i kliknij Utwórz zbiór danych.

  3. Na karcie Import w swoim zbiorze danych prześlij archiwum ZIP ze zdjęciami treningowymi lub plik CSV zawierający ich Cloud Storagelokalizacje. Zobacz Przygotowanie danych do trenowania.

  4. Po zakończeniu importowania użyj karty Obrazy, aby zweryfikować dane treningowe i oznaczyć wszystkie nieoznaczone obrazy.

  5. Na karcie Trenuj kliknij Rozpocznij trenowanie.

    1. Nazwij model i wybierz typ modelu Edge.

    2. Skonfiguruj te ustawienia treningu, które określają wydajność wygenerowanego modelu:

      Optymalizuj model pod kątem... Konfiguracja modelu, która ma zostać użyta. Możesz trenować szybsze, mniejsze modele, gdy ważna jest mała opóźnienie lub mały rozmiar pakietu, albo wolniejsze, większe modele, gdy najważniejsza jest dokładność.
      Budżet w godzinach pracy węzłów

      Maksymalny czas trenowania modelu podany w godzinach obliczeniowych. Dłuższy czas trenowania zapewnia zwykle większą dokładność model atrybucji.

      Pamiętaj, że szkolenie można ukończyć w czasie krótszym niż podany jeśli system ustali, że model jest zoptymalizowany, nie poprawiłoby dokładności. Opłaty są naliczane tylko za faktycznie wykorzystane godziny.

      Typowe czasy trenowania
      bardzo małe zestawy,1 godzina
      500 obrazów2 godziny
      1000 obrazów3 godziny
      5000 obrazów6 godzin
      10 000 obrazów7 godzin
      50 tys. obrazów11 godzin
      100 tys. obrazów13 godzin
      1 000 000 obrazów18 godzin

3. Ocenianie modelu

Po zakończeniu trenowania możesz kliknąć kartę Ocena, aby wyświetlić dane o skuteczności modelu.

Ważnym zastosowaniem tej strony jest określenie odpowiedniego progu ufności dla Twojego modelu. Próg ufności określa minimalny poziom ufności modelu wymagany do przypisania etykiety do obrazu. Zmieniając Poziom ufności. zobaczysz, jak różne progi wpływają na wydajność modelu. Wydajność modelu mierzy się za pomocą 2 wskaźników: precyzyjności i czułości.

W kontekście klasyfikacji obrazów precyzja to współczynnik proporcji liczby z obrazów, które zostały prawidłowo oznaczone etykietą z liczbą obrazów oznaczonych przez model dla wybranego progu. Gdy model ma dużą precyzję, przypisuje etykiety rzadziej (mniejsza liczba wyników fałszywie pozytywnych).

Przywołanie to stosunek liczby obrazów, które zostały prawidłowo otagowane, do liczby obrazów, które zawierały treści, które model powinien rozpoznać. Gdy model ma wysoką czułość, rzadziej nie przypisuje etykiety (mniej wyników fałszywie negatywnych).

To, czy wybierzesz optymalizację pod kątem precyzji czy czułości, zależy od konkretnego przypadku użycia. Zobacz AutoML Vision dla początkujących oraz Więcej informacji znajdziesz w przewodniku po systemach uczących się uwzględniających integrację społeczną – AutoML.

Gdy znajdziesz próg ufności, który generuje wskaźniki, które Ci odpowiadają, zanotuj go. Użyjesz go do skonfigurowania modelu w aplikacji. (W dowolnym momencie możesz użyć tego narzędzia, aby uzyskać odpowiednią wartość progową).

4. Publikowanie i pobieranie modelu

Jeśli wydajność modelu spełnia Twoje oczekiwania i chcesz go użyć w aplikacji, masz trzy opcje, które mają do wyboru dowolną kombinację: wdrożenie do prognozowania online, opublikować model w Firebase lub pobrać model i pakiety z aplikacją.

Wdróż model

Na stronie Test & Użyj karty, możesz wdrożyć swój model online. która uruchamia model w chmurze. Ta opcja jest opisana w dokumentacji Cloud AutoML. Dokumenty na tej stronie dotyczą pozostałych 2 opcji.

Publikowanie modelu

Publikując model w Firebase, możesz go aktualizować bez wydawania nowej wersji aplikacji. Możesz też używać funkcji Remote Config i A/B Testing, aby dynamicznie wyświetlać różne modele różnym grupom użytkowników.

Jeśli zdecydujesz się udostępniać model tylko poprzez hosting w Firebase, a nie pakietu z aplikacją, możesz zmniejszyć początkowy rozmiar pobieranej aplikacji. Pamiętaj jednak, że jeśli do aplikacji nie dołączony jest model, funkcje związane z modelem będą dostępne dopiero po pobraniu przez aplikację z użyciem modelu po raz pierwszy.

Aby opublikować model, możesz użyć jednej z dwóch metod:

  • Pobierz model TF Lite ze strony Testy i użytkowanie w konsoli Google Cloud, a następnie prześlij model na stronie Model niestandardowy w konsoli Firebase. Zwykle jest to najprostszy sposób na opublikowanie pojedynczego modelu.
  • Opublikuj model bezpośrednio z projektu Google Cloud w Firebase za pomocą pakietu Admin SDK. Możesz użyć tej metody, aby opublikować kilka modeli w grupie lub utworzyć automatyczne procesy publikowania.

Aby opublikować model za pomocą interfejsu API do zarządzania modelem z pakietu Admin SDK:

  1. Zainstaluj i inicjuj pakiet SDK.

  2. Opublikuj model.

    Musisz podać identyfikator zasobu modelu, który jest ciągiem znaków podobnym do tego:

    projects/PROJECT_NUMBER/locations/us-central1/models/MODEL_ID
    PROJECT_NUMBER Numer projektu zasobnika Cloud Storage, który zawiera model. Może to być Twój projekt Firebase lub inny Google Cloud w projektach AI. Wartość tę znajdziesz na stronie Ustawienia w konsoli Firebase lub na pulpicie konsoli Google Cloud.
    MODEL_ID Identyfikator modelu pobrany z interfejsu AutoML Cloud API.

    Python

    # First, import and initialize the SDK.

# Get a reference to the AutoML model
source = ml.TFLiteAutoMlSource('projects/{}/locations/us-central1/models/{}'.format(
    # See above for information on these values.
    project_number,
    model_id
))

# Create the model object
tflite_format = ml.TFLiteFormat(model_source=source)
model = ml.Model(
    display_name="example_model",  # This is the name you will use from your app to load the model.
    tags=["examples"],             # Optional tags for easier management.
    model_format=tflite_format)

# Add the model to your Firebase project and publish it
new_model = ml.create_model(model)
new_model.wait_for_unlocked()
ml.publish_model(new_model.model_id)

    Node.js

    // First, import and initialize the SDK.

(async () => {
  // Get a reference to the AutoML model. See above for information on these
  // values.
  const automlModel = `projects/${projectNumber}/locations/us-central1/models/${modelId}`;

  // Create the model object and add the model to your Firebase project.
  const model = await ml.createModel({
    displayName: 'example_model',  // This is the name you use from your app to load the model.
    tags: ['examples'],  // Optional tags for easier management.
    tfliteModel: { automlModel: automlModel },
  });

  // Wait for the model to be ready.
  await model.waitForUnlocked();

  // Publish the model.
  await ml.publishModel(model.modelId);

  process.exit();
})().catch(console.error);

Pobieranie i łączenie modelu z aplikacją

Dzięki złączeniu modelu z aplikacją możesz mieć pewność, że funkcje ML w aplikacji będą działać, gdy model hostowany w Firebase będzie niedostępny.

Jeśli opublikujesz model i umieścisz go w pakiecie z aplikacją, aplikacja będzie używać najnowszej dostępnej wersji.

Aby pobrać model, kliknij TF Lite w sekcji Testowanie i .

Dalsze kroki

Po opublikowaniu lub pobraniu modelu dowiedz się, jak go używać w aplikacjach iOS+ i Android.