ML Kit を使用してテキストの言語を識別する（Android）

ML Kit を使用すると、テキストの文字列の言語を識別できます。文字列の言語として特に可能性の高いものを取得することも、文字列の言語として可能性のあるものすべての信頼スコアを取得することもできます。

ML Kit では、103 種類の言語がネイティブスクリプトのテキストで認識されます。また、アラビア語、ブルガリア語、中国語、ギリシャ語、ヒンディー語、日本語、ロシア語の場合はローマ字化されたテキストが認識されます。

始める前に

まだ Firebase を Android プロジェクトに追加していない場合は追加します。

ML Kit Android ライブラリの依存関係をモジュール（アプリレベル）の Gradle ファイル（通常は app/build.gradle）に追加します:

apply plugin: 'com.android.application'
apply plugin: 'com.google.gms.google-services'

dependencies {
  // ...

  implementation 'com.google.firebase:firebase-ml-natural-language:22.0.0'
  implementation 'com.google.firebase:firebase-ml-natural-language-language-id-model:20.0.7'
}

文字列の言語を識別する

文字列の言語を識別するには、FirebaseLanguageIdentification のインスタンスを取得して、文字列を identifyLanguage() メソッドに渡します。

次に例を示します。

FirebaseLanguageIdentification languageIdentifier =
        FirebaseNaturalLanguage.getInstance().getLanguageIdentification();
languageIdentifier.identifyLanguage(text)
      .addOnSuccessListener(
          new OnSuccessListener<String>() {
            @Override
            public void onSuccess(@Nullable String languageCode) {
              if (languageCode != "und") {
                Log.i(TAG, "Language: " + languageCode);
              } else {
                Log.i(TAG, "Can't identify language.");
              }
            }
          })
      .addOnFailureListener(
          new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
              // Model couldn’t be loaded or other internal error.
              // ...
            }
          });

呼び出しが成功すると、テキストの言語を示す BCP-47 言語コードが成功リスナーに渡されます。サポートされている言語の全リストをご覧ください。検出された言語が信頼できるものでない場合は、コード und（不確定）が渡されます。

デフォルトでは、ML Kit は、言語の識別で信頼値が 0.5 以上の場合にのみ und 以外の値を返します。このしきい値は、FirebaseLanguageIdentificationOptions オブジェクトを getLanguageIdentification() に渡すことで変更できます。

FirebaseLanguageIdentification languageIdentifier = FirebaseNaturalLanguage
        .getInstance()
        .getLanguageIdentification(
                new FirebaseLanguageIdentificationOptions.Builder()
                        .setIdentifyLanguageConfidenceThreshold(0.34f)
                        .build());

文字列の言語として可能性のあるものを取得する

文字列の言語として特に可能性が高いものの信頼値を取得するには、FirebaseLanguageIdentification のインスタンスを取得して、文字列を identifyAllLanguages() メソッドに渡します。

次に例を示します。

FirebaseLanguageIdentification languageIdentifier =
        FirebaseNaturalLanguage.getInstance().getLanguageIdentification();
languageIdentifier.identifyAllLanguages(text)
      .addOnSuccessListener(
          new OnSuccessListener<String>() {
            @Override
            public void onSuccess(List<IdentifiedLanguage> identifiedLanguages) {
              for (IdentifiedLanguage identifiedLanguage : identifiedLanguages) {
                String language = identifiedLanguage.getLanguageCode();
                float confidence = identifiedLanguage.getConfidence();
                Log.i(TAG, language + " (" + confidence + ")");
              }
            }
          })
      .addOnFailureListener(
          new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
              // Model couldn’t be loaded or other internal error.
              // ...
            }
          });

呼び出しが成功すると、IdentifiedLanguage オブジェクトのリストが成功リスナーに渡されます。各オブジェクトから、言語の BCP-47 コードと、文字列がその言語であることの信頼値を取得できます。サポートされている言語の全リストをご覧ください。この値は、文字列全体が所定の言語であることの信頼度を示しています。ML Kit では、1 つの文字列内の複数の言語は識別されません。

デフォルトでは、ML Kit は信頼値が 0.01 以上の言語のみを返します。このしきい値は、FirebaseLanguageIdentificationOptions オブジェクトを getLanguageIdentification() に渡すことで変更できます。

FirebaseLanguageIdentification languageIdentifier = FirebaseNaturalLanguage
        .getInstance()
        .getLanguageIdentification(
                new FirebaseLanguageIdentificationOptions.Builder()
                        .setIdentifyAllLanguagesConfidenceThreshold(0.5f)
                        .build());

このしきい値を満たす言語がない場合、リストには 1 つの項目が含まれ、その値は und になります。