Catégories
Start-up et applications

Test autonome: y sommes-nous encore?

Il y a quelques années, il y avait beaucoup de battage médiatique sur l'utilisation de l'IA et de l'apprentissage automatique (ML) dans les tests, mais pas grand chose à montrer. Aujourd'hui, de nombreuses options offrent des avantages importants, notamment la réduction du temps et des coûts associés aux tests. Cependant, une évaluation pratique peut donner à réfléchir.

Par exemple, Nate Custer, senior manager chez testing automation consulting TTC Global, recherche des outils de test autonomes depuis environ un an. Lorsqu'il a lancé le projet, il était nouveau dans l'entreprise et un client s'était récemment renseigné sur les options. Le premier objectif était de créer une technique pour évaluer l'efficacité des outils lors des tests.

«Le problème numéro un des tests est la maintenance des tests. C’est ce avec quoi les gens ont le plus de mal. L'idée de base est que vous automatisez les tests pour gagner un peu de temps encore et encore. Lorsque vous testez de nombreuses fois, vous n'exécutez des tests que si le logiciel a changé, car si le logiciel change, le test devra peut-être changer », a déclaré Custer. «Ainsi, lorsque j'évalue des éléments pour la première fois, je me soucie de la rapidité avec laquelle je peux créer des tests, de combien puis-je automatiser et de la maintenance de ces projets de test.

CONTENU CONNEXE:
L'IA et le ML rendent les tests plus intelligents … mais les outils autonomes sont loin d'être prêts pour l'entreprise
Que rechercher dans un outil d'automatisation de test Web et mobile
Les tests continus ne sont plus facultatifs

Le travail de Custer était de montrer comment et où différents outils pouvaient et ne pouvaient pas avoir un impact. Le résultat de ses recherches est qu’il est optimiste, mais sceptique.

Il y a beaucoup de potentiel, mais…
Sur la base de recherches de première main, Custer estime qu'il existe plusieurs domaines dans lesquels l'IA et le ML pourraient avoir un impact positif. En haut de la liste se trouve la sélection des tests. Plus précisément, la possibilité de tester tout ce qui se passe dans une entreprise, pas seulement les applications Web et mobiles.

«Si je veux changer mes outils de ceci à cela, le nouvel outil doit tout gérer dans l'environnement. C’est le premier obstacle », a déclaré Custer. «Mais les tests à exécuter en fonction de ce changement peuvent être indépendants de la plate-forme que vous utilisez pour exécuter votre automatisation des tests, et je pense donc que c'est le premier endroit où vous allez voir une percée de l'IA dans l'entreprise. Voici ce qui a changé, quels tests dois-je exécuter? Parce que si je peux exécuter 10% de mes tests et obtenir le même avantage en termes de gestion des risques, c'est une énorme victoire. "

Le deuxième domaine prometteur concerne les différences de journal, donc si un test qui devrait prendre 30 secondes pour s'exécuter prenait soudainement 90 secondes, l'outil pourrait suggérer que le retard était dû à un problème de performances.

«Les tests créent beaucoup d'informations et de journaux et les outils d'IA / ML sont assez bons pour repérer des choses qui sortent de l'ordinaire», a déclaré Custer.

Le troisième domaine est la génération de tests à l'aide de données de test synthétiques, car les données synthétiques peuvent être plus pratiques (plus rapides, moins chères et moins risquées) à utiliser que les données de production.

«Je travaille actuellement dans une entreprise qui traite beaucoup de cartes de crédit. J'ai besoin de profils de clients effectuant le même nombre de transactions, le même nombre de cartes par foyer que je verrais en production. Mais je ne veux pas de copie des données de production, car c'est beaucoup d'informations importantes », a déclaré Custer.

Les capacités d'auto-guérison ont montré un potentiel, bien que Custer n'ait pas été impressionné par les résultats.

«Tout ce qu'il guérissait fonctionnait déjà. Vous n’avez donc pas vraiment changé la maintenance. Lorsqu'un changement est suffisamment important pour casser mon automatisation, l'outil d'IA avait du mal à le réparer », a déclaré Custer. «Cela ferait apparaître des choses vraiment étranges. C'est donc pour moi un travail à plus long terme pour la plupart des applications d'entreprise. »

Sommes-nous déjà là?
"Sommes-nous déjà là?" était le titre du projet de recherche de Custer et sa conclusion est que les tests autonomes ne sont pas prêts pour les heures de grande écoute dans un environnement d'entreprise.

"Je ne vois encore rien que je recommanderais à un client d'entreprise. Et les outils que j’ai testés n’ont pas été plus performants. Ma méthode était de commencer avec une version de logiciel vieille de trois ans, d'écrire des cas de test, de les automatiser, de passer par trois ans de mises à niveau et de prêter attention à la maintenance nécessaire pour effectuer ces mises à niveau », a déclaré Custer. «Quand j'ai fait cela, j'ai trouvé que cela ne permettait pas du tout de gagner du temps de maintenance. Tout le monde parle de (AI), tout le monde y travaille, mais il y en a certains dont je me méfie », a déclaré Custer.

Par exemple, une entreprise a demandé le script de test afin de pouvoir l'analyser afin de le comprendre. Lorsque Custer a demandé combien de temps cela prendrait, la société a répondu deux ou trois heures. Une autre entreprise a déclaré qu'il faudrait deux ou trois mois pour générer une carte logique d'un programme.

«(T) hat ne semble pas différent de l'embauche d'un consultant pour rédiger vos tests. Les trucs d'IA / ML doivent en fait rendre la vie plus facile et meilleure », a déclaré Custer.

Une autre déception a été le manque de support pour les applications d'entreprise telles que SAP et Oracle eBusiness Suite.

«Il existe de sérieuses limites quant aux technologies qu'ils prennent en charge. Si j'écrivais ma propre petite application Web de démarrage, je regarderais ces outils. Mais si j'étais une entreprise Fortune 500, je pense qu'il leur faudra quelques années pour y arriver », a déclaré Custer. «Le défi est que la plupart de ces entreprises ne vendent pas un petit module complémentaire que vous pouvez ajouter à votre système existant. Ils disent que tout changer d'un outil qui fonctionne à mon truc et c'est un risque énorme. "

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *