Uygulama Testi aracısı, Firebase'te Gemini tarafından desteklenen bir test kaydı oluşturma, yönetme ve yürütme aracısıdır. Test hedeflerini doğal dilde tanımlarsınız. Temsilci, uygulamanızı anlamak ve uygulama içinde gezinmek, kullanıcı etkileşimlerini simüle etmek ve ayrıntılı test sonuçları sunmak için yapay zekadan yararlanır.
Uygulama Testi aracısı verilerinizi nasıl kullanır?
Uygulama Testi aracısı, Firebase'te Gemini tarafından sağlanır ve aynı şartlara tabidir. Firebase'teki Gemini'nin verilerinizi nasıl kullandığı hakkında daha fazla bilgi için Firebase'teki Gemini'nin verilerinizi nasıl kullandığı başlıklı makaleyi inceleyin.
Başlamadan önce
Henüz yapmadıysanız uygulamanızı Firebase'e kaydedin.
Başka Firebase ürünü kullanmıyorsanız tek yapmanız gereken bir proje oluşturmak ve uygulamanızı kaydetmektir. Uygulamanıza SDK eklemeniz gerekmez. Ancak gelecekte başka ürünler kullanmaya karar verirseniz Firebase konsolunu kullanarak Firebase'i ekleme başlıklı makaledeki tüm adımları tamamladığınızdan emin olun.
Uygulamanızın yayın öncesi sürümünü test kullanıcılarına dağıtmaya hazır olduğunuzda normal işleminizi kullanarak APK'nızı veya AAB'nizi derleyin ve Firebase konsolundaki App Distribution'a yükleyin. APK'yı hata ayıklama anahtarınız veya uygulama imzalama anahtarınızla imzalamanız gerekir.
Test kaydı oluşturma
Uygulama Testi aracısı, yapay zeka destekli testler çalıştırmak için uygulamanızla ilgili testleri yürütmek üzere doğal dil testlerinizi kullanır.
Her test senaryosu, sırayla yürütülecek adımlara ayrılır. Adımlar, test senaryonuzu her biri kendi başarı ölçütlerine sahip aşamalara ayırmanıza olanak tanır. Temsilci, herhangi bir adımda birçok işlem yapabilir.
Test kaydı oluşturmak için Firebase konsolunun App Distribution sayfasını açıp aşağıdaki adımları uygulayın:
- Test durumları sekmesinde Yeni test durumu'nu tıklayın. Kendi test durumunuzu oluşturmak istemiyorsanız sağlanan örnek test durumunu değiştirebilir veya kullanabilirsiniz.
- Test durumu ekle iletişim kutusunda test durumuna bir ad verin. Bu, testi tanımlamak için kullanılır ancak aracı tarafından yoksayılır.
- Başka bir adım ekle düğmesini tıklayarak testinizi birden fazla adıma ayırabilirsiniz.
- Her adıma, uygulama testi aracısının o adımda ne yapması gerektiğini açıklayan bir hedef verin.
- (İsteğe bağlı) Uygulama Testi temsilcisinin bu adımda uygulamanızı anlamasına ve uygulamanızda gezinmesine yardımcı olmak için ek bilgi sağlamak üzere bir İpucu ekleyin.
- (İsteğe bağlı) Uygulama Testi temsilcisinin adımın ne zaman başarıyla tamamlandığını belirlemesine yardımcı olmak için Başarı Kriterleri ekleyin.
- Testinizi özelleştirdikten sonra Kaydet'i tıklayın.
Örnek test durumu
Aşağıda, uygulama testi aracını kullanarak test kaydı oluşturma örneği verilmiştir:
| Ana sayfayı test etme | |
|---|---|
Test başlığı |
Ana sayfa yüklenir |
Hedef |
Ana sayfayı yükleme |
İpucu |
İlk katılım ekranlarını geçin. Pop-up'ları kapatın. Oturum açmayın. |
Başarı Kriterleri |
Uygulamanın ana ana sayfası ekranda görünür, tüm resimler yüklenmiş ve hata gösterilmiyor. |
Test çalıştır
Uygulama Testi aracı, Sürümler veya Test Örnekleri sayfasından Test çalıştır düğmesini tıklayarak konsolda yapay zeka destekli testler çalıştırmanıza olanak tanır. Bu işlem, uygulama testi aracısı özelleştirme ekranını açar. Burada, aracının yürütmesi için mevcut testlerinizden birini veya daha fazlasını seçebilirsiniz. Ayrıca, test etmek istediğiniz cihazları ve oturum açma kimlik bilgilerini sağlayıp sağlamayacağınızı da seçebilirsiniz.
Test türünü değiştirerek rastgele tarama testi de çalıştırabilirsiniz. Rastgele tarama testleri, Otomatik Test Kullanıcısı özelliğini kullanır.
Testlerinizin sonuçlarını, bir sürümün Uygulama Testi aracısı sekmesindeki Sürümler sayfasından görüntüleyebilirsiniz. Ayrıntıları göster düğmesi, Test Sonuçları iletişim kutusunu açar ve tüm sorunları, uygulamanın ekran görüntülerini ve Gemini'nin test sırasında gerçekleştirdiği işlemleri gösterir.
Derlemelerinizi otomatik olarak test etme
Yeni derlemelerinizde (ör. CI/CD ardışık düzenlerinden) App Testing aracı testlerini otomatik olarak çalıştırmak için App Distribution'ın Gradle veya fastlane eklentilerini ya da Firebase CLI'yi kullanarak derlemelerinizi aracıya dağıtabilirsiniz.
Derlemelerinizi Firebase CLI ile otomatik olarak test etme
Uygulama Testi aracısı özelliğini kullanmak için en az bir test cihazı ve bir test kaydı kimliği belirtmeniz gerekir. Test kaydı kimliklerini Firebase konsolunun Test Kayıtları sayfasında bulabilir ve indirebilirsiniz. Firebase KSA'yı kullanmaya başlama ve dağıtımınızı yapılandırmayla ilgili farklı yöntemler hakkında daha fazla bilgi edinmek için Firebase KSA'yı kullanarak Android uygulamalarını test kullanıcılarına dağıtma başlıklı makaleyi inceleyin.
Uygulamanızı yüklemek için appdistribution:distribute komutunu çalıştırın ve dağıtımınızı App Testing aracısı özelliğine göre yapılandırmak için aşağıdaki parametreleri kullanın:
| appdistribution:distribute options | |
|---|---|
--test-devices veya
--test-devices-file
|
Uygulama Testi aracısı özelliğine derleme dağıtmak istediğiniz test cihazları. Test cihazlarını noktalı virgülle ayrılmış bir test cihazı listesi olarak belirtebilirsiniz: --test-devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
Dilerseniz noktalı virgülle ayrılmış bir test cihazı listesi içeren düz metin dosyasının yolunu da belirtebilirsiniz: --test-devices-file: "/path/to/test-devices.txt"
|
--test-username
|
Testler sırasında kullanılacak otomatik giriş için kullanıcı adı. |
--test-password veya
--test-password-file
|
Testler sırasında kullanılacak otomatik giriş şifresi. Alternatif olarak, şifre içeren bir düz metin dosyasının yolunu da belirtebilirsiniz: --test-password-file: "/path/to/test-password.txt"
|
--test-non-blocking
|
Testleri eşzamansız olarak çalıştırın. Otomatik test sonuçları için Firebase konsolunu ziyaret edin. |
--test-case-ids veya
--test-case-ids-file
|
Yapay zeka destekli otomatik testler çalıştırmak için test kaydı kimliklerinin virgülle ayrılmış listesi: --test-case-ids: "load-app,play-the-first-level"
Dilerseniz test kaydı kimliklerini virgülle veya yeni satırla ayrılmış liste halinde içeren düz metin dosyasının yolunu da belirtebilirsiniz: --test-case-ids-file: "/path/to/test-case-ids.txt"
|
Gradle ile derlemelerinizi otomatik olarak test etme
Uygulama Testi aracısı özelliğini kullanmak için en az bir test cihazı ve bir test kaydı kimliği belirtmeniz gerekir. Test kaydı kimliklerini Firebase konsolunun Test Kayıtları sayfasında bulabilir ve indirebilirsiniz. Gradle'i kullanmaya başlama ve dağıtımınızı yapılandırmayla ilgili farklı yöntemler hakkında daha fazla bilgi için Gradle'i kullanarak Android uygulamalarını test kullanıcılarına dağıtma başlıklı makaleyi inceleyin.
En az bir firebaseAppDistribution bölümü ekleyerek App Distribution'ü yapılandırabilir ve dağıtımı App Testing aracısı özelliğine yapılandırmak için aşağıdaki parametreleri kullanabilirsiniz:
| App Distribution Derleme Parametreleri | |
|---|---|
testDevices veya
testDevicesFile
|
Uygulama Testi aracısı özelliğine derleme dağıtmak istediğiniz test cihazları. Test cihazlarını, noktalı virgülle ayrılmış bir cihaz özellikleri listesi olarak belirtebilirsiniz. testDevices="model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
Alternatif olarak, cihaz özelliklerinin noktalı virgülle ayrılmış bir listesini içeren bir dosyanın yolunu da belirtebilirsiniz: testDevicesFile="/path/to/testDevices.txt"
|
testUsername
|
Testler sırasında kullanılacak otomatik giriş için kullanıcı adı. |
testPassword veya
testPasswordFile
|
Testler sırasında kullanılacak otomatik giriş şifresi. Alternatif olarak, şifre içeren bir düz metin dosyasının yolunu da belirtebilirsiniz: testPasswordFile="/path/to/testPassword.txt" |
testNonBlocking |
Testleri eşzamansız olarak çalıştırın. Otomatik test sonuçları için Firebase konsolunu ziyaret edin. |
testCasesveya
testCasesFile
|
Yapay zeka destekli otomatik testler çalıştırmak için test kaydı kimliklerinin virgülle ayrılmış listesi: testCases: "load-app,play-the-first-level"
Dilerseniz test kaydı kimliklerini virgülle veya yeni satırla ayrılmış liste halinde içeren düz metin dosyasının yolunu da belirtebilirsiniz: testCasesFile: "/path/to/test-case-ids.txt"
|
Derlemelerinizi fastlane ile otomatik olarak test etme
Uygulama Testi aracısı özelliğini kullanmak için en az bir test cihazı ve bir test kaydı kimliği belirtmeniz gerekir. Test kaydı kimliklerini Firebase konsolunun Test Kayıtları sayfasında bulabilir ve indirebilirsiniz. Fastlane'i kullanmaya başlama ve dağıtımınızı yapılandırmayla ilgili farklı yöntemler hakkında daha fazla bilgi için fastlane'i kullanarak Android uygulamalarını test kullanıcılarına dağıtma başlıklı makaleyi inceleyin.
./fastlane/Fastfile şeridinde bir firebase_app_distribution bloğu ekleyin. Dağıtımınızı App Testing aracısı özelliğine göre yapılandırmak için aşağıdaki parametreleri kullanın:
| firebase_app_distribution parametreleri | |
|---|---|
test_devices veya
test_devices_file
|
Uygulama Testi aracısı özelliğine derleme dağıtmak istediğiniz test cihazları. Test cihazlarını noktalı virgülle ayrılmış bir test cihazı listesi olarak belirtebilirsiniz: test_devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"
Dilerseniz noktalı virgülle ayrılmış bir test cihazı listesi içeren düz metin dosyasının yolunu da belirtebilirsiniz: test_devices_file: "/path/to/test-devices.txt"
|
test_username
|
Testler sırasında kullanılacak otomatik giriş için kullanıcı adı. |
test_password veya
test_password_file
|
Testler sırasında kullanılacak otomatik giriş şifresi. Alternatif olarak, şifre içeren bir düz metin dosyasının yolunu da belirtebilirsiniz: test_password_file: "/path/to/test-password.txt"
|
test_non_blocking |
Testleri eşzamansız olarak çalıştırın. Otomatik test sonuçları için Firebase konsolunu ziyaret edin. |
--test_case_ids veya
--test_case_ids_file
|
Yapay zeka destekli otomatik testler çalıştırmak için test kaydı kimliklerinin virgülle ayrılmış listesi: --test_case_ids: "load-app,play-the-first-level"
Dilerseniz test kaydı kimliklerini virgülle veya yeni satırla ayrılmış liste halinde içeren düz metin dosyasının yolunu da belirtebilirsiniz: --test_case_ids_file: "/path/to/test-case-ids.txt"
|
Test sonuçlarınızın hatalarını ayıklama
Test sonuçlarınız beklediğinizden farklıysa Test Sonuçları sayfasındaki Ayrıntıları göster bölümündeki Temsilci görünümünü göster açma/kapatma düğmesini kullanarak testinizde hata ayıklama yapabilirsiniz. Temsilci görünümü, uygulama testi temsilcisinin uygulamanın erişilebilirlik bilgilerini kullanırken algılayabildiği ekran öğelerini gösterir. Temsilcinin gördüğüne daha yakından bakmak isterseniz bu bilgileri işlem taşma menüsünden indirebilirsiniz.
Test sonuçlarınızın tüm videolarını, günlüklerini ve diğer Cloud yapılarını incelemek için Test Sonuçları sayfasındaki Yapıları göster düğmesini de kullanabilirsiniz.
Bilinen sorunlar ve sınırlamalar
Uygulama Testi aracısı önizlemesinin bilinen bazı sınırlamaları vardır:
- Uygulama Testi aracısı, uygulamanızı test etmek için üretken yapay zeka kullandığından bazen aynı talimatları uygularken farklı işlemler gerçekleştirir.
- Uygulama Testi aracı yalnızca aşağıdaki işlemleri destekler: dokunma, metin girme, yukarı kaydırma, aşağı kaydırma ve bekleme.
- Uygulama Testi aracısı, yalnızca tek bir adım içeren ve tamamlanması için birçok işlem gerektiren testleri yürütmekte sorun yaşıyor. Karmaşık görevler birden fazla kısa adıma bölündüğünde daha iyi performans gösterir.
- Uygulama Testi aracısı bazen ekranda görünmeyen diğer öğeleri göstermek için ekranı kaydırmaz. Bu durum, kaydırılabilirlik hakkında görsel bir gösterge olmadığında daha sık görülür. Geçici bir çözüm olarak, kaydırma önerisinde bulunmak için "ipuçları" alanı kullanılabilir.
- Uygulama Testi aracısı bazen sayma konusunda sorun yaşar (ör. bir işlemi belirli sayıda gerçekleştirme).
Test kotaları
Önizleme sırasında yapay zeka destekli testler, kota sınırı dahilinde ücretsiz olarak sunulur. Varsayılan kota sınırı ayda 100 testtir.
Birden fazla test örneği çalıştırmayı veya aynı test örneğini birden fazla cihazda çalıştırmayı seçerseniz bunun birden fazla test olarak sayıldığını unutmayın. Örneğin, 2 cihazda 2 test çalıştırırsanız bu toplam 4 test olarak sayılır.
Kotanızı varsayılan sınırın üzerine çıkarmak için kullanım alanınızı belirterek Firebase Destek Ekibi ile iletişime geçin.