Dépannage et questions fréquentes concernant Test Lab

iOS Android

Cette page fournit des conseils de dépannage et des réponses aux questions fréquentes questions sur l'exécution de tests avec Firebase Test Lab. Les problèmes connus sont également documentées. Si vous ne trouvez pas que vous recherchez ou que vous avez besoin d'aide supplémentaire, rejoignez le #test-lab chaîne activée Firebase Slack ou contacter Firebase l'assistance technique.

Dépannage

Pourquoi l'exécution de mon test prend-elle autant de temps ?

Lorsque vous sélectionnez un appareil ayant un niveau de capacité élevé dans Test Lab les tests peuvent démarrer plus rapidement. Lorsque la capacité d'un appareil est faible, les tests peuvent prendre plus de temps. Si le nombre de est bien supérieure à la capacité des appareils sélectionnés, les tests peut prendre plus de temps à terminer.

Les tests exécutés à n'importe quel niveau de capacité de l'appareil peuvent prendre plus de temps en raison des facteurs suivants :

• Le trafic, qui affecte la disponibilité des appareils et la vitesse des tests
• Défaillances d'appareils ou d'infrastructures pouvant survenir à tout moment Pour vérifier si une infrastructure est signalée pour Test Lab, consultez la Tableau de bord d'état Firebase

Pour en savoir plus sur la capacité de l'appareil en Test Lab, consultez la capacité de l'appareil pour Android et iOS.

Pourquoi les résultats du test ne sont-ils pas concluants ?

Les résultats de test non concluants se produisent généralement en raison d'exécutions de test annulées ou d'erreurs d'infrastructure.

Les erreurs d'infrastructure sont causées par des problèmes internes Test Lab, tels que des erreurs réseau ou des comportements inattendus de l'appareil. Test Lab supprime les exécutions de test en interne. qui génèrent des erreurs d'infrastructure plusieurs fois avant de signaler résultat non concluant Toutefois, vous pouvez désactiver ces tentatives failFast.

Pour déterminer la cause de l'erreur, procédez comme suit:

1. Recherchez les pannes connues dans le Tableau de bord d'état Firebase

2. Relancez le test dans Test Lab pour vérifier qu'il est reproductible.

   Remarque :Test Lab ne vous facture pas les erreurs d'infrastructure.

3. Essayez d'exécuter le test sur un autre appareil ou type d'appareil, le cas échéant.

Si le problème persiste, contactez l'équipe Test Lab via le chaîne#test-lab activée Slack dans Firebase.

Pourquoi la segmentation a-t-elle permis d'exécuter mes tests ? plus longtemps ?

La segmentation peut entraîner une durée d'exécution plus longue de vos tests lorsque le nombre de segments que vous avez spécifié dépasse le nombre d'appareils disponibles dans Test Lab. À évitez cette situation, essayez d'utiliser un autre appareil. Pour en savoir plus, sur le choix d'un autre appareil, consultez Capacité de l'appareil :

Pourquoi est-ce que mon le test pour commencer ?

Lorsque vous envoyez une requête test, votre application est d'abord validée, signée de nouveau, etc. dans préparation de l'exécution de tests sur un appareil. Normalement, ce processus se termine en en moins de quelques secondes, mais elle peut varier en fonction de facteurs tels que la taille l'application.

Une fois votre application préparée, les exécutions de test sont planifiées et restent en file d'attente. jusqu'à ce qu'un appareil soit prêt à l'exécuter. Tant que toutes les exécutions de test ne sont pas terminées, l'état de la matrice est "En attente" (que les exécutions de test soient dans la file d'attente ou en cours d'exécution).

Remarque :Le temps que votre test passe à attendre un appareil disponible ne compte pas. avant la date de facturation.

Pourquoi est-ce que mon le test pour terminer ?

Une fois l'exécution du test terminée, les artefacts de test sont téléchargés depuis le appareil, traité et importé dans Cloud Storage. La durée de cette étape peut dépend de la quantité et de la taille des artefacts.

Questions fréquentes

Quels sont les quotas sans frais ? pour Test Lab ? Que dois-je faire si je suis à court ?

Firebase Test Lab propose des quotas sans frais pour les tests sur les appareils et l'utilisation des API Cloud. Notez que le quota de tests utilise le forfait Firebase standard, contrairement aux quotas de l'API Cloud.

• Quota de test

  Les quotas de test sont déterminés par le nombre d'appareils utilisés pour exécuter les tests. Le forfait Firebase Spark inclut un quota de test fixe sans frais pour les utilisateurs. Pour la formule Blaze, vos quotas peuvent augmenter si votre utilisation de Google Cloud augmente au fil du temps. Si vous atteignez votre quota de tests, attendez ou passez à la formule Blaze si vous disposez actuellement de la formule Spark. Si vous utilisez déjà la formule Blaze, vous pouvez demander une augmentation de quota. Pour en savoir plus, consultez la section Quota de test.

  Vous pouvez surveiller votre utilisation du quota de tests dans la console Google Cloud.

• Quota de l'API Cloud Testing

  L'API Cloud Testing présente deux limites de quota: le nombre de requêtes par jour et par le projet et le nombre de requêtes toutes les 100 secondes par projet. Vous pouvez surveiller pour l'utilisation Console Google Cloud.

• Quota de l'API Cloud Tool Results

  L'API Cloud Tool Results est associée à deux limites de quota : les requêtes par jour et par projet, et les requêtes toutes les 100 secondes par projet. Vous pouvez surveiller pour l'utilisation Console Google Cloud.

  Consultez Quotas des API Cloud pour Test Lab pour en savoir plus sur les limites des API. Si vous avez atteint un quota d'API:

  • Envoyez une demande d'augmentation de quotas avant le modifier vos quotas directement dans la console Google Cloud (notez que la plupart des limites sont définies sur maximale par défaut) ;

  • Demandez des quotas d'API plus élevés en remplissant un formulaire dans le Google Cloud ou en contactant Assistance Firebase.

Comment savoir Le trafic qui atteint mon backend provient de Test Lab ?

À partir de votre backend, vous pouvez déterminer si le trafic provient des services hébergés par Firebase appareils de test en comparant l'adresse IP source à notre Plages d'adresses IP.

Est-ce que Test Lab est compatible avec VPC-SC?

Test Lab ne fonctionne pas avec VPC-SC, qui bloque copie d'applications et d'autres artefacts de test entre les applications internes de Test Lab le stockage et les performances des buckets de résultats.

Comment détecter les tests irréguliers Test Lab?

Pour détecter les comportements irréguliers lors de vos tests, nous vous recommandons d'utiliser le --num-flaky-test-attempts . Les réexécutions Deflake sont facturées ou comptabilisées dans votre quota quotidien de la même manière que les exécutions de test normales.

Tenez bien compte des éléments suivants :

• Lorsqu'un échec est détecté, l'exécution du test s'exécute à nouveau. Il n'y a aucun ne permet de relancer que les scénarios de test ayant échoué.
• Les nouvelles tentatives d'exécution de Deflake sont programmées pour s'exécuter en même temps, mais elles ne sont pas de s'exécuter en parallèle, par exemple, lorsque le trafic dépasse le nombre les appareils disponibles.

Remarque :Les erreurs d'infrastructure sont indépendantes de la fonctionnalité de flocon et n'ont pas déclencher des réexécutions de deflake.

Test Lab est-il compatible avec Appium, Flutter/FlutterDriver, ReactNative/Jest ou Cucumber ?

Bien que certains de ces éléments figurent sur notre feuille de route, nous ne sommes actuellement pas en mesure de vous fournir de soutenir ces plates-formes de test et de développement d'applications.

Où puis-je trouver les détails de l’appareil, comme la résolution, etc.?

Des informations détaillées sur les appareils sont disponibles via l'API et peuvent être consultées à partir du client gcloud à l'aide de la commande describe command:

gcloud firebase test ios models describe MODEL

Puis-je utiliser la segmentation avec les tests iOS ?

Le fractionnement n'est pas pris en charge de manière native dans Test Lab pour iOS. Toutefois, vous pouvez utiliser le client Flank pour fractionner les cas de test iOS.

Remarque : L'utilisation du fractionnement iOS Flank crée des matrices de test distinctes pour chaque fractionnement.

Pour ce faire, définissez la clé et les valeurs OnlyTestIdentifiers dans le fichier .xctestrun. Pour en savoir plus, consultez la page man de xcodebuild.xctestrun.

Problèmes connus

Captcha de connexion

Le test Robo ne peut pas contourner les écrans de connexion qui nécessitent une action supplémentaire de l'utilisateur au-delà de la saisie d'identifiants pour se connecter, par exemple en remplissant un CAPTCHA.

Compatibilité avec les frameworks d'UI

Le test Robo fonctionne mieux avec les applications qui utilisent des éléments d'interface utilisateur de l'interface utilisateur Android (y compris View, ViewGroup et WebView). des objets). Si vous utilisez un test Robo pour tester des applications qui utilisent d'autres interfaces (y compris les applications qui utilisent le moteur de jeu Unity), le test peut se terminer sans explorer au-delà du premier écran.