टेस्ट लैब की समस्या का हल & अक्सर पूछे जाने वाले सवाल

मेरे टेस्ट को पूरा होने में इतना समय क्यों लग रहा है?

Test Labकैटलॉग में ज़्यादा क्षमता वाला डिवाइस चुनने पर, टेस्ट ज़्यादा तेज़ी से शुरू हो सकते हैं. अगर किसी डिवाइस की क्षमता कम है, तो जांच में ज़्यादा समय लग सकता है. अगर चुने गए डिवाइसों की क्षमता से ज़्यादा टेस्ट शुरू किए जाते हैं, तो टेस्ट पूरे होने में ज़्यादा समय लग सकता है.

डिवाइस की क्षमता के किसी भी लेवल पर चल रहे टेस्ट में ज़्यादा समय लग सकता है. इसकी वजह ये हो सकती हैं:

• ट्रैफ़िक, जिससे डिवाइस की उपलब्धता और टेस्ट की स्पीड पर असर पड़ता है.
• डिवाइस या इन्फ़्रास्ट्रक्चर में गड़बड़ियां, जो कभी भी हो सकती हैं. यह देखने के लिए कि Test Lab के लिए किसी इन्फ़्रास्ट्रक्चर की समस्या की शिकायत की गई है या नहीं, Firebase का स्टेटस डैशबोर्ड देखें.

Test Lab में डिवाइस की क्षमता के बारे में ज़्यादा जानने के लिए, Android और iOS के लिए डिवाइस की क्षमता के बारे में जानकारी देखें.

मुझे टेस्ट के अधूरे नतीजे क्यों मिल रहे हैं?

आम तौर पर, टेस्ट के नतीजे साफ़ तौर पर न मिलने की वजह, टेस्ट रन रद्द होना या बुनियादी ढांचे से जुड़ी गड़बड़ियां होती हैं.

बुनियादी ढांचे से जुड़ी गड़बड़ियां, Test Lab की अंदरूनी समस्याओं की वजह से होती हैं. जैसे, नेटवर्क की गड़बड़ियां या डिवाइस के काम करने के तरीके में अचानक बदलाव. Test Lab कई बार बुनियादी ढांचे से जुड़ी गड़बड़ियां होने पर, टेस्ट रन को अंदरूनी तौर पर बंद कर देता है. ऐसा वह किसी नतीजे के न मिलने की रिपोर्ट करने से पहले करता है. हालांकि, failFast का इस्तेमाल करके, इन रीट्राय को बंद किया जा सकता है.

गड़बड़ी की वजह पता करने के लिए, यह तरीका अपनाएं:

1. Firebase के स्टेटस डैशबोर्ड पर जाकर देखें कि क्या कोई ऐसी समस्या है जिसके बारे में पहले से जानकारी है.

2. Test Lab में टेस्ट को फिर से चलाकर देखें कि समस्या फिर से होती है या नहीं.

3. अगर हो सके, तो किसी दूसरे डिवाइस या डिवाइस टाइप पर टेस्ट चलाएं.

अगर समस्या बनी रहती है, तो Firebase Slack पर #test-lab चैनल में मौजूद Test Lab टीम से संपर्क करें.

शार्डिंग की वजह से मेरे टेस्ट ज़्यादा समय तक क्यों चले?

शार्डिंग की वजह से, आपकी जांचों को पूरा होने में ज़्यादा समय लग सकता है. ऐसा तब होता है, जब आपने जितने शार्ड तय किए हैं उनकी संख्या, Test Lab में इस्तेमाल किए जा सकने वाले डिवाइसों की संख्या से ज़्यादा हो. इस समस्या से बचने के लिए, किसी दूसरे डिवाइस पर स्विच करके देखें. किसी दूसरे डिवाइस को चुनने के बारे में ज़्यादा जानकारी के लिए, डिवाइस की क्षमता.

मेरी परीक्षा शुरू होने में इतना समय क्यों लग रहा है?

टेस्ट का अनुरोध सबमिट करने पर, आपके ऐप्लिकेशन की पहले पुष्टि की जाती है, उस पर फिर से हस्ताक्षर किया जाता है वगैरह. ऐसा किसी डिवाइस पर टेस्ट चलाने की तैयारी के लिए किया जाता है. आम तौर पर, यह प्रोसेस कुछ सेकंड में पूरी हो जाती है. हालांकि, यह आपके ऐप्लिकेशन के साइज़ जैसे फ़ैक्टर पर निर्भर करती है.

ऐप्लिकेशन तैयार होने के बाद, टेस्ट के एक्ज़ीक्यूशन शेड्यूल किए जाते हैं. ये तब तक कतार में रहते हैं, जब तक कोई डिवाइस इसे चलाने के लिए तैयार नहीं हो जाता. जब तक सभी टेस्ट एक्ज़ीक्यूशन पूरे नहीं हो जाते, तब तक मैट्रिक्स का स्टेटस "लंबित" रहेगा. भले ही, टेस्ट एक्ज़ीक्यूशन कतार में हों या चालू हों.

मेरे टेस्ट को पूरा होने में इतना समय क्यों लग रहा है?

टेस्ट पूरा होने के बाद, डिवाइस से टेस्ट आर्टफ़ैक्ट डाउनलोड किए जाते हैं. इसके बाद, उन्हें प्रोसेस किया जाता है और Cloud Storage पर अपलोड किया जाता है. इस चरण में लगने वाला समय, आर्टफ़ैक्ट की संख्या और साइज़ पर निर्भर करता है.

Test Lab के लिए, बिना किसी शुल्क के उपलब्ध कोटा क्या हैं? अगर मेरे पास पैसे खत्म हो जाएं, तो मुझे क्या करना चाहिए?

Firebase Test Lab डिवाइसों पर टेस्टिंग के लिए और Cloud API इस्तेमाल करने के लिए, बिना किसी शुल्क के कोटा उपलब्ध कराता है. ध्यान दें कि टेस्टिंग कोटा, Firebase के स्टैंडर्ड प्राइसिंग प्लान का इस्तेमाल करता है. हालांकि, Cloud API के कोटे ऐसा नहीं करते.

• जांच करने के लिए कोटा

  टेस्टिंग के कोटे, टेस्ट चलाने के लिए इस्तेमाल किए गए डिवाइसों की संख्या के आधार पर तय किए जाते हैं. Firebase स्पार्क प्लान में, उपयोगकर्ताओं के लिए टेस्टिंग का एक तय कोटा होता है. इसके लिए, उनसे कोई शुल्क नहीं लिया जाता. Blaze प्लान के लिए, समय के साथ Google Cloud का इस्तेमाल बढ़ने पर, आपके कोटे बढ़ सकते हैं. अगर आपने टेस्टिंग का कोटा पूरा कर लिया है, तो अगले दिन तक इंतज़ार करें. इसके अलावा, अगर आपने Spark प्लान लिया है, तो Blaze प्लान पर अपग्रेड करें. अगर आपने पहले से ही Blaze प्लान लिया हुआ है, तो कोटा बढ़ाने का अनुरोध किया जा सकता है. ज़्यादा जानकारी के लिए, टेस्टिंग कोटा देखें.

  Google Cloud कंसोल में जाकर, टेस्टिंग के लिए तय किए गए कोटे के इस्तेमाल की जानकारी देखी जा सकती है.

• Cloud Testing API का कोटा

  Cloud Testing API के लिए, कोटा की दो सीमाएं तय की गई हैं: हर प्रोजेक्ट के लिए, हर दिन के अनुरोधों की संख्या और हर प्रोजेक्ट के लिए, हर 100 सेकंड में किए जाने वाले अनुरोधों की संख्या. Google Cloud कंसोल में जाकर, अपने इस्तेमाल को मॉनिटर किया जा सकता है.

• Cloud Tool Results API का कोटा

  Cloud Tool Results API के लिए, दो तरह की कोटा सीमाएं तय की गई हैं: हर प्रोजेक्ट के लिए, हर दिन की क्वेरी की सीमा और हर प्रोजेक्ट के लिए, हर 100 सेकंड में की जाने वाली क्वेरी की सीमा. Google Cloud कंसोल में जाकर, अपने इस्तेमाल को मॉनिटर किया जा सकता है.

  एपीआई की सीमाओं के बारे में ज़्यादा जानने के लिए, Test Lab के लिए Cloud API कोटा देखें. अगर आपने एपीआई के लिए तय की गई सीमा पूरी कर ली है, तो:

  • ज़्यादा कोटे के लिए अनुरोध सबमिट करें. इसके लिए, Google Cloud कंसोल में जाकर सीधे अपने कोटे में बदलाव करें. ध्यान दें कि ज़्यादातर सीमाएं डिफ़ॉल्ट रूप से ज़्यादा से ज़्यादा पर सेट होती हैं. इसके अलावा,

  • Google Cloud कंसोल में अनुरोध फ़ॉर्म भरकर या Firebase की सहायता टीम से संपर्क करके, एपीआई के लिए ज़्यादा कोटा का अनुरोध करें.

मुझे कैसे पता चलेगा कि मेरे बैकएंड तक पहुंचने वाला ट्रैफ़िक Test Lab से आ रहा है?

अपने बैकएंड से, यह पता लगाया जा सकता है कि ट्रैफ़िक, Firebase-hosted टेस्ट डिवाइसों से आ रहा है या नहीं. इसके लिए, सोर्स आईपी पते की तुलना हमारी आईपी रेंज से करें.

क्या Test Lab, VPC-SC के साथ काम करता है?

Test Lab, वीपीसी-एससी के साथ काम नहीं करता. यह Test Lab के इंटरनल स्टोरेज और उपयोगकर्ताओं के नतीजों वाले बकेट के बीच, ऐप्लिकेशन और अन्य टेस्ट आर्टफ़ैक्ट को कॉपी करने की प्रोसेस को ब्लॉक करता है.

मैं Test Lab में फ़्लेकी टेस्ट का पता कैसे लगाऊं?

हमारा सुझाव है कि अपने टेस्ट में फ़्लेकी व्यवहार का पता लगाने के लिए, --num-flaky-test-attempts विकल्प का इस्तेमाल करें. डिफ़्लेक रीरन के लिए, आपसे शुल्क लिया जाता है या उन्हें आपके रोज़ के कोटे में गिना जाता है. यह सामान्य टेस्ट एक्ज़ीक्यूशन की तरह ही होता है.

निम्नलिखित का ध्यान रखें:

• गड़बड़ी का पता चलने पर, पूरा टेस्ट फिर से शुरू हो जाता है. सिर्फ़ फ़ेल हुए टेस्ट केस को फिर से आज़माने की सुविधा उपलब्ध नहीं है.
• फिर से कोशिश करने के लिए शेड्यूल किए गए टेस्ट, एक ही समय पर चलते हैं. हालांकि, यह ज़रूरी नहीं है कि वे एक साथ चलें. उदाहरण के लिए, जब ट्रैफ़िक, उपलब्ध डिवाइसों की संख्या से ज़्यादा हो जाता है.

क्या Test Lab Appium, Flutter/FlutterDriver, ReactNative/Jest या Cucumber के साथ काम करता है?

इनमें से कुछ आइटम हमारे रोडमैप में शामिल हैं. हालांकि, फ़िलहाल हम इन टेस्टिंग और ऐप्लिकेशन डेवलपमेंट प्लैटफ़ॉर्म के साथ काम करने का वादा नहीं कर सकते.

मुझे डिवाइस की जानकारी कहां मिल सकती है, जैसे कि रिज़ॉल्यूशन वगैरह?

डिवाइस के बारे में पूरी जानकारी, एपीआई के ज़रिए उपलब्ध होती है. इसे gcloud क्लाइंट से ऐक्सेस किया जा सकता है. इसके लिए, describe कमांड का इस्तेमाल करें:

gcloud firebase test ios models describe MODEL

क्या iOS टेस्ट के साथ शार्डिंग का इस्तेमाल किया जा सकता है?

iOS के लिए Test Lab में, शार्डिंग की सुविधा डिफ़ॉल्ट रूप से काम नहीं करती. हालांकि, iOS टेस्ट केस को शार्ड करने के लिए, Flank क्लाइंट का इस्तेमाल किया जा सकता है.

इसके लिए, OnlyTestIdentifiers फ़ाइल में OnlyTestIdentifiers कुंजी और वैल्यू सेट की जाती हैं..xctestrun ज़्यादा जानकारी के लिए, man पेज पर xcodebuild.xctestrun देखें.

iOS पर किए गए टेस्ट के नतीजों में वीडियो क्यों नहीं दिख रहे हैं?

iOS 18 या इसके बाद के वर्शन के लिए, हम नतीजों में वीडियो नहीं दिखा सकते.

साइन-इन कैप्चा

रोबोट टेस्ट, ऐसी साइन-इन स्क्रीन को बायपास नहीं कर सकता जिनमें साइन इन करने के लिए, क्रेडेंशियल डालने के अलावा उपयोगकर्ता को कोई और कार्रवाई भी करनी होती है. उदाहरण के लिए, कैप्चा पूरा करना.

यूज़र इंटरफ़ेस (यूआई) फ़्रेमवर्क के साथ काम करता है

रोबो टेस्ट, उन ऐप्लिकेशन के साथ सबसे अच्छा काम करता है जो Android यूज़र इंटरफ़ेस (यूआई) फ़्रेमवर्क से यूआई एलिमेंट का इस्तेमाल करते हैं. इनमें View, ViewGroup, और WebView ऑब्जेक्ट शामिल हैं. अगर आपने Robo test का इस्तेमाल, यूज़र इंटरफ़ेस (यूआई) के अन्य फ़्रेमवर्क का इस्तेमाल करने वाले ऐप्लिकेशन के लिए किया है, तो हो सकता है कि टेस्ट पहली स्क्रीन से आगे न बढ़े. इनमें Unity गेम इंजन का इस्तेमाल करने वाले ऐप्लिकेशन भी शामिल हैं.