Android uygulamanızda test çalıştırmak için Firebase Test Lab'yı kullanmanın birden fazla yolu vardır. Bunlar arasında komut satırı arayüzü, Android Studio, Test Lab kullanıcı arayüzü (Firebase konsolunda) ve Testing API yer alır. Testlerinizi başlatmak için hangi yöntemi seçerseniz seçin, sonuçlar belirttiğiniz Firebase projesinde saklanır. Yukarıdaki araçların yanı sıra ToolResults API'yi kullanarak da sonuçları inceleyebilirsiniz. Bu sayfada, bu test sonuçlarının nasıl inceleneceği ve analiz edileceği açıklanmaktadır.
Temel kavramlar
Önceki tüm test çalıştırmalarınızın sonuçlarını görmek için Firebase konsolunda projenizin sol gezinme panelinde Test Lab simgesini seçin. Bu sayfada, Test Lab kullanarak projenizle test ettiğiniz uygulamalardaki tüm test çalıştırmaları gösterilir.
Test sonuçlarını incelemek için öncelikle üç kavramı anlamanız gerekir:
Seçtiğiniz cihazlar ve yapılandırmalar üzerinde bir test veya bir dizi test durumu çalıştırdığınızda Test Lab, testi uygulamanızda toplu olarak çalıştırır ve sonuçları test matrisi olarak gösterir.
Cihazlar × Test Yürütmeleri = Test Matrisi
- Cihaz
- Testi çalıştırdığınız fiziksel veya sanal cihaz (yalnızca Android), örneğin telefon, tablet ya da giyilebilir cihaz. Test matrisindeki cihazlar; cihaz modeli, işletim sistemi sürümü, ekran yönü ve yerel ayar (coğrafya ve dil ayarları olarak da bilinir) ile tanımlanır.
- Test, test yürütme
- Cihazda çalıştırılacak bir test (veya bir dizi test durumu). Cihaz başına bir test çalıştırabilir veya isteğe bağlı olarak testi parçalayıp test senaryolarını farklı cihazlarda çalıştırabilirsiniz.
- Test matrisi
- Test işlemlerinizin durumlarını ve test sonuçlarını içerir. Bir matristeki herhangi bir test yürütme işlemi başarısız olursa matrisin tamamı başarısız olur.
Aşağıdaki bölümlerde test sonuçlarında nasıl gezineceğiniz açıklanmaktadır.
Test geçmişi sonuçlarını yorumlama
Test Lab seçeneğini belirleyerek test sonuçlarınıza gittiğinizde, şu ana kadar gerçekleştirdiğiniz testlerin sonuçlarını görürsünüz.
Test geçmişi uygulamaya göre gruplandırılır. Her uygulama için yalnızca en son beş test matrisi gösterilir. Daha fazla matris varsa uygulamanın test listesinin alt kısmındaki Tüm Matrisler bağlantısını tıklayarak ilgili uygulamanın tam listesini görebilirsiniz.
Test matrisi sonuçlarını yorumlama
Test Lab kullanıcı arayüzü üzerinden bir testi başlattığınızda, test matrisinizi görebileceğiniz ve test sonuçlarını görüntülemek için belirli bir test yürütmesini tıklayabileceğiniz bir sayfaya yönlendirilirsiniz. Android Studio ve gcloud komutu, test matrisi sonuçları sayfası için de bir URL sağlar.
Tipik bir test matrisinde, bir düzine kadar farklı cihazda test yapabilirsiniz. Her test yürütme işlemi farklı bir sonuç verebilir. Test matrisindeki herhangi bir test yürütme için olası sonuçlar şunlardır:
- Geçti
: Herhangi bir hatayla karşılaşılmadı. - Başarısız
: En az bir hatayla karşılaşıldı. - Kesin olmayan sonuç
: Test sonuçları kesin değildi. Bunun nedeni Test Lab hatası olabilir. - Atlandı
: Matristeki bazı test yürütmelerinde seçilen boyut değerleri uyumsuzdu. Bu durum, seçtiğiniz cihazlar, seçtiğiniz Android API düzeylerinden biri veya daha fazlasıyla uyumlu olmadığında ortaya çıkar.
Firebase projenizdeki belirli bir uygulamaya ait tüm test matrislerinin toplu test sonuçlarını incelemek için aşağıdaki örnekte gösterildiği gibi uygulamanın adını tıklayın:
Yalnızca dört test işlemi içeren örnek test matrisi sonuçları sayfası
Bu işlem sizi uygulamanızın test matrisi listesine yönlendirir. Burada, test matrisi sonuçlarını görmek için herhangi bir test matrisinin adını, Firebase projenizle ilişkili diğer uygulamaların test matrisi listesini görüntülemek için ise uygulamanın adını (aşağıdaki kırmızı kutuda gösterilmiştir) tıklayabilirsiniz.
Örnek test matrisi liste sayfası
Bir test matrisi başarılı, başarısız veya sonuçsuz olabilir. Bir test matrisindeki test yürütmelerinden herhangi biri başarısız olursa veya sonuçsuz kalırsa test matrisi başarısız veya sonuçsuz olarak gösterilir.
Robo testi sonuçlarını yorumlama
Testlerinizi Robo ile yaptıysanız sonuçlarınızda, normal test metriklerine ek olarak Robo'nun kullanıcı arayüzünüzü taradığı videolar ve ekran görüntüleri yer alır. Bu video ve ekran görüntüleri, Robo'nun tarama sırasında gerçekleştirdiği işlemlerin görsel göstergelerini içerir. Bu göstergeler, Android'deki "Dokunmaları göster" özelliğine benzer. Bu göstergeler, Robo'nun ilerleme durumunu takip etmenize ve bulabileceği hataları yeniden üretmenize yardımcı olur.
Örnek Robo testi sonuçları videosu
Tek bir test yürütme işleminden elde edilen sonuçları yorumlama
Test matrisi sonuçları sayfasında, belirli bir test yürütme işleminin sonucunu görmek için test yürütme işlemlerinden birini tıklayın.
Örnek test yürütme sonuçları sayfası
Bu sayfada, her test yürütmesi için gereken süreyi görebilirsiniz. Ayrıca, test APK'nızdaki yöntemlere (enstrümantasyon testleri için) karşılık gelen belirli test senaryolarının sonuçlarını ve test günlükleri, ekran görüntüleri ve videolar dahil olmak üzere ayrıntılı test sonuçlarını da görebilirsiniz. Robo testi için ayrıntılı test sonuçlarında, Robo testi tarafından ziyaret edilen kullanıcı arayüzü yollarını grafiksel olarak gösteren bir etkinlik haritası da bulunur.
Bölümlendirilmiş enstrümantasyon testi sonuçları
Test Lab, enstrümanlı test sonuçlarını yorumlamanıza yardımcı olmak için her testi yığın izlemeleri, günlükler ve videolarla birlikte kendi ayrıntılı rapor sayfasına ayırır. Bu özellik, Android Orchestrator'ı kullanıp kullanmadığınıza bakılmaksızın çalışır.
Örnek test senaryosu sonuçları sayfası
Erişilebilirlik sonuçlarını yorumlama
Robo testleri, uygulamanızdaki erişilebilirlik sorunlarını tespit etmek için Android Erişilebilirlik Tarayıcısı'nı kullanır (Tarama işlemini cihazınızda yerel olarak da çalıştırabileceğinizi unutmayın). Robo testinizin erişilebilirlik sonuçlarını inceleme ve yorumlama talimatları için Erişilebilirlik Tarayıcısı'nı kullanmaya başlama başlıklı makaleyi inceleyin.
Uygulamanızın erişilebilirliğini nasıl iyileştireceğiniz hakkında genel bilgi edinmek için Android Geliştiricisi Erişilebilirlik belgelerini inceleyin.
Performans metrikleri
Fiziksel cihazlarda çalıştırılan testler de performans metrikleri döndürür:
| Metrik | Gerekli cihaz yapılandırması |
|---|---|
| Uygulama başlatma süresi | API 19 ve üzeri |
| CPU kullanımı | API 21+ |
| Bellek kullanımı | |
| Ağ etkinliği | |
| Saniyedeki kare sayısı | API 21 ve sonraki sürümler için SurfaceView |
Ayrıntılı test sonuçları
Ayrıntılı test sonuçları, testi çalıştırmanızdan sonraki 90 gün boyunca kullanılabilir ve Google Cloud Storage paketinde depolanır (ancak Firebase konsolunda da görünür). Test yürütme sonuçları sayfasında Test sonuçları'nı tıkladığınızda ayrıntılı test sonuçlarını Cloud Storage paketinde görebilirsiniz. Ayrıntılı test sonuçları artık kullanılamadığında hangi testlerin başarılı veya başarısız olduğunu görmeye devam edebilirsiniz.
Ayrıntılı test sonuçlarını 90 günden uzun süre saklamak istiyorsanız --results-bucket gcloud komut satırı seçeneğini kullanarak bu test sonuçlarını sahip olduğunuz bir Cloud Storage paketine gönderebilirsiniz. Ardından, sonuçların Cloud Storage paketinize ne kadar süreyle depolanacağını belirlemek için Yaş ayarını yapabilirsiniz. Yaş ayarını değiştirme hakkında bilgi için Yaşam döngüsü koşulları başlıklı makaleyi inceleyin.
Test çalıştırırken does not have storage.objects.create access to the Google Cloud Storage object. Permission 'storage.objects.create' denied on resource (or it may not exist).. hatasını alırsanız testi yürüten asıl kullanıcının projede doğru izni olmayabilir. Firebase, varsayılan olarak Google Cloud Storage'da sizin için bir paket oluşturur ancak testi yürüten asıl kullanıcının izin verici bir rol olan "roles/editor" rolüne sahip olması gerekir. Bu rolü asıl kullanıcıya atayamıyorsanız --results-bucket gcloud komut satırı seçeneğini kullanabilirsiniz.