Untuk memanggil Google Cloud API dari aplikasi, Anda perlu membuat REST API perantara yang menangani otorisasi dan melindungi nilai rahasia seperti kunci API. Anda kemudian perlu menulis kode di aplikasi seluler untuk mengautentikasi dan berkomunikasi dengan layanan perantara ini.
Salah satu cara untuk membuat REST API ini adalah dengan menggunakan Firebase Authentication and Functions, yang memberi Anda gerbang terkelola tanpa server ke Google Cloud API yang menangani autentikasi dan dapat dipanggil dari aplikasi seluler Anda dengan SDK bawaan.
Panduan ini menunjukkan cara menggunakan teknik ini untuk memanggil Cloud Vision API dari aplikasi Anda. Metode ini akan memungkinkan semua pengguna yang diautentikasi untuk mengakses layanan yang ditagih Cloud Vision melalui project Cloud Anda, jadi pertimbangkan apakah mekanisme autentikasi ini memadai untuk kasus penggunaan Anda sebelum melanjutkan.
Sebelum kamu memulai
Konfigurasikan proyek Anda
Jika Anda belum menambahkan Firebase ke aplikasi Anda, lakukan dengan mengikuti langkah-langkah di panduan memulai .Gunakan Swift Package Manager untuk menginstal dan mengelola dependensi Firebase.
- Di Xcode, dengan proyek aplikasi Anda terbuka, arahkan ke File > Add Packages .
- Saat diminta, tambahkan repositori SDK platform Apple Firebase:
- Pilih pustaka Firebase ML.
- Setelah selesai, Xcode akan secara otomatis mulai menyelesaikan dan mengunduh dependensi Anda di latar belakang.
https://github.com/firebase/firebase-ios-sdk
Selanjutnya, lakukan beberapa penyiapan dalam aplikasi:
- Di aplikasi Anda, impor Firebase:
Cepat
import FirebaseMLModelDownloader
Objective-C
@import FirebaseMLModelDownloader;
Beberapa langkah konfigurasi lagi, dan kami siap untuk pergi:
Jika Anda belum mengaktifkan API berbasis Cloud untuk proyek Anda, lakukan sekarang:
- Buka halaman API Firebase ML dari konsol Firebase.
Jika Anda belum mengupgrade proyek Anda ke paket harga Blaze, klik Upgrade untuk melakukannya. (Anda akan diminta untuk memutakhirkan hanya jika proyek Anda tidak termasuk dalam paket Blaze.)
Hanya project level Blaze yang dapat menggunakan API berbasis Cloud.
- Jika API berbasis Cloud belum diaktifkan, klik Aktifkan API berbasis Cloud .
- Konfigurasikan kunci Firebase API yang ada untuk melarang akses ke Cloud Vision API:
- Buka halaman Kredensial konsol Cloud.
- Untuk setiap kunci API dalam daftar, buka tampilan pengeditan, dan di bagian Pembatasan Kunci, tambahkan semua API yang tersedia kecuali Cloud Vision API ke daftar.
Terapkan fungsi yang dapat dipanggil
Selanjutnya, terapkan Cloud Function yang akan Anda gunakan untuk menjembatani aplikasi Anda dan Cloud Vision API. Repositori functions-samples
berisi contoh yang dapat Anda gunakan.
Secara default, mengakses Cloud Vision API melalui fungsi ini hanya akan mengizinkan pengguna aplikasi Anda yang diautentikasi untuk mengakses Cloud Vision API. Anda dapat memodifikasi fungsi untuk kebutuhan yang berbeda.
Untuk menerapkan fungsi:
- Kloning atau unduh repo sampel fungsi dan ubah ke direktori
vision-annotate-image
:git clone https://github.com/firebase/functions-samples
cd vision-annotate-image
- Instal dependensi:
cd functions
npm install
cd ..
- Jika Anda tidak memiliki Firebase CLI, pasanglah .
- Inisialisasi proyek Firebase di direktori
vision-annotate-image
. Saat diminta, pilih proyek Anda dalam daftar.firebase init
- Menyebarkan fungsi:
firebase deploy --only functions:annotateImage
Tambahkan Firebase Auth ke aplikasi Anda
Fungsi callable yang diterapkan di atas akan menolak permintaan apa pun dari pengguna aplikasi Anda yang tidak diautentikasi. Jika Anda belum melakukannya, Anda perlu menambahkan Firebase Auth ke aplikasi Anda.
Tambahkan dependensi yang diperlukan ke aplikasi Anda
Gunakan Swift Package Manager untuk menginstal library Cloud Functions for Firebase.
Sekarang Anda siap untuk mulai mengenali teks dalam gambar.
1. Siapkan gambar masukan
Untuk memanggil Cloud Vision, gambar harus diformat sebagai string berenkode base64. Untuk memprosesUIImage
:Cepat
guard let imageData = uiImage.jpegData(compressionQuality: 1.0f) else { return } let base64encodedImage = imageData.base64EncodedString()
Objective-C
NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f); NSString *base64encodedImage = [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
2. Aktifkan fungsi callable untuk mengenali teks
Untuk mengenali bangunan terkenal di gambar, aktifkan fungsi callable yang meneruskan permintaan JSON Cloud Vision .Pertama, lakukan inisialisasi instance Cloud Functions:
Cepat
lazy var functions = Functions.functions()
Objective-C
@property(strong, nonatomic) FIRFunctions *functions;
Buat permintaan. Cloud Vision API mendukung dua Jenis deteksi teks:
TEXT_DETECTION
danDOCUMENT_TEXT_DETECTION
. Lihat Dokumen Cloud Vision OCR untuk mengetahui perbedaan antara kedua kasus penggunaan tersebut.Cepat
let requestData = [ "image": ["content": base64encodedImage], "features": ["type": "TEXT_DETECTION"], "imageContext": ["languageHints": ["en"]] ]
Objective-C
NSDictionary *requestData = @{ @"image": @{@"content": base64encodedImage}, @"features": @{@"type": @"TEXT_DETECTION"}, @"imageContext": @{@"languageHints": @[@"en"]} };
Terakhir, aktifkan fungsi:
Cepat
functions.httpsCallable("annotateImage").call(requestData) { (result, error) in if let error = error as NSError? { if error.domain == FunctionsErrorDomain { let code = FunctionsErrorCode(rawValue: error.code) let message = error.localizedDescription let details = error.userInfo[FunctionsErrorDetailsKey] } // ... } // Function completed succesfully }
Objective-C
[[_functions HTTPSCallableWithName:@"annotateImage"] callWithObject:requestData completion:^(FIRHTTPSCallableResult * _Nullable result, NSError * _Nullable error) { if (error) { if (error.domain == FIRFunctionsErrorDomain) { FIRFunctionsErrorCode code = error.code; NSString *message = error.localizedDescription; NSObject *details = error.userInfo[FIRFunctionsErrorDetailsKey]; } // ... } // Function completed succesfully // Get information about labeled objects }];
3. Ekstrak teks dari blok teks yang dikenali
Jika operasi pengenalan teks berhasil, respons JSON dari BatchAnnotateImagesResponse akan dikembalikan dalam hasil tugas. Anotasi teks dapat ditemukan di objek fullTextAnnotation
.
Anda bisa mendapatkan teks yang dikenali sebagai string di bidang text
. Sebagai contoh:
Cepat
guard let annotation = (result?.data as? [String: Any])?["fullTextAnnotation"] as? [String: Any] else { return }
print("%nComplete annotation:")
let text = annotation["text"] as? String ?? ""
print("%n\(text)")
Objective-C
NSDictionary *annotation = result.data[@"fullTextAnnotation"];
if (!annotation) { return; }
NSLog(@"\nComplete annotation:");
NSLog(@"\n%@", annotation[@"text"]);
Anda juga bisa mendapatkan informasi khusus untuk wilayah gambar. Untuk setiap block
, paragraph
, word
, dan symbol
, Anda bisa mendapatkan teks yang dikenali di wilayah tersebut dan koordinat pembatas wilayah tersebut. Sebagai contoh:
Cepat
guard let pages = annotation["pages"] as? [[String: Any]] else { return }
for page in pages {
var pageText = ""
guard let blocks = page["blocks"] as? [[String: Any]] else { continue }
for block in blocks {
var blockText = ""
guard let paragraphs = block["paragraphs"] as? [[String: Any]] else { continue }
for paragraph in paragraphs {
var paragraphText = ""
guard let words = paragraph["words"] as? [[String: Any]] else { continue }
for word in words {
var wordText = ""
guard let symbols = word["symbols"] as? [[String: Any]] else { continue }
for symbol in symbols {
let text = symbol["text"] as? String ?? ""
let confidence = symbol["confidence"] as? Float ?? 0.0
wordText += text
print("Symbol text: \(text) (confidence: \(confidence)%n")
}
let confidence = word["confidence"] as? Float ?? 0.0
print("Word text: \(wordText) (confidence: \(confidence)%n%n")
let boundingBox = word["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
print("Word bounding box: \(boundingBox.description)%n")
paragraphText += wordText
}
print("%nParagraph: %n\(paragraphText)%n")
let boundingBox = paragraph["boundingBox"] as? [Float] ?? [0.0, 0.0, 0.0, 0.0]
print("Paragraph bounding box: \(boundingBox)%n")
let confidence = paragraph["confidence"] as? Float ?? 0.0
print("Paragraph Confidence: \(confidence)%n")
blockText += paragraphText
}
pageText += blockText
}
Objective-C
for (NSDictionary *page in annotation[@"pages"]) {
NSMutableString *pageText = [NSMutableString new];
for (NSDictionary *block in page[@"blocks"]) {
NSMutableString *blockText = [NSMutableString new];
for (NSDictionary *paragraph in block[@"paragraphs"]) {
NSMutableString *paragraphText = [NSMutableString new];
for (NSDictionary *word in paragraph[@"words"]) {
NSMutableString *wordText = [NSMutableString new];
for (NSDictionary *symbol in word[@"symbols"]) {
NSString *text = symbol[@"text"];
[wordText appendString:text];
NSLog(@"Symbol text: %@ (confidence: %@\n", text, symbol[@"confidence"]);
}
NSLog(@"Word text: %@ (confidence: %@\n\n", wordText, word[@"confidence"]);
NSLog(@"Word bounding box: %@\n", word[@"boundingBox"]);
[paragraphText appendString:wordText];
}
NSLog(@"\nParagraph: \n%@\n", paragraphText);
NSLog(@"Paragraph bounding box: %@\n", paragraph[@"boundingBox"]);
NSLog(@"Paragraph Confidence: %@\n", paragraph[@"confidence"]);
[blockText appendString:paragraphText];
}
[pageText appendString:blockText];
}
}