Bir yapay zekâ ajanı bir Android uygulamasındaki işi büyük ölçüde bitirip tek bir testte takılabilir. Kullanıcı o uygulamanın yüzde doksanını kullanmaz; hesabını açar, ödeme yapar ya da mesajını gönderir. Bu yüzden Android Bench 2.0'ın yeni ayrımı önemli: Bir ajanın göreve ne kadar yaklaştığını gösteren tamamlanma oranı ile bütün doğrulamalardan geçme oranı aynı veri değildir.
Android Bench 2.0, uzun süreli 30 görev için iki değeri yan yana yayımlıyor. Güncel tabloda en yüksek sıradaki eşleşme yüzde 28 geçme oranına karşı yüzde 82,2 ortalama tamamlanma oranı veriyor. Bu fark, ajanın boş durduğunu söylemiyor; fakat çalışır görünen değişiklik ile teslim edilebilir uygulama arasındaki mesafeyi açık ediyor.
Platformun 17 Eylül tarihli açıklaması, yeni görevlerin birkaç gün hatta bir hafta sürebildiğini; bağımlılık yükseltme, yeni özellik ekleme, uygulama kurma ve platform dönüşümü içerdiğini belirtiyor. Aynı açıklamaya göre uzun görevlerde en yüksek geçme oranı yaklaşık yüzde 28'de kalıyor. Yöntem belgesi, eski ölçümün çoğunlukla bir ya da iki dosyadaki küçük değişiklikleri denediğini, yeni setin ise 20 ila 294 dosyaya yayılabilen işleri kapsadığını anlatıyor.
Burada geliştiricinin yükü, ajana daha uzun bir görev yazmakla bitmiyor. Ekip önce hangi sonucun kabul sayılacağını parçalamalı: İşlev gerçekten tamamlandı mı, eski akışlar bozuldu mu, ekran erişilebilir mi, veri saklama ve dış sistem çağrıları beklenen sınırda mı? Bench bu alanlar için cihaz üzerindeki gezinti, erişilebilirlik ağacı, veritabanı denetimi, dışa giden Intent ve ağ çağrıları gibi ayrı kontroller kullanıyor. Ürün ekibinin kendi uygulamasında bunların tümünü kopyalaması gerekmez; kendi riskine karşılık gelen denetimi baştan seçmesi gerekir.
Kullanıcı açısından fark, ajanın oluşturduğu kusurun hangi ekranda yakalandığıdır. Bir yolculuk uygulamasında harita ekranının çizilmesi, konum bilgisinin saklanma süresini anlatmaz. Banka uygulamasında oturum açma ekranının açılması, hata durumunda erişimin kapandığını kanıtlamaz. Ajanın ürettiği kodu kabul eden ekip, bu sınırları test senaryosunda, izleme kaydında ve geri alma adımında açık tutmazsa karar yetkisini fark etmeden araca bırakır.
Android Bench'in yayımladığı tamamlanma oranı bu nedenle geliştirici için bir alışveriş listesi değildir. Aracı seçerken modelin geçme oranına bakmak gerekir; ama teslim kararını aynı sayıya bağlamak, kullanıcının karşılaşacağı son hatayı görünmez kılar. Ekip, kabul listesindeki test geçmediğinde sürümü durduracak ve değişikliği geri alacak sorumluyu önceden belirlemeli.
