Firebase Test Lab for Android redujo los costos de prueba de la app de American Express en un 50%
Introducción
La app para dispositivos móviles de AMEX, con un millón de descargas en Android, es usada por los titulares de tarjetas para hacer un seguimiento de sus gastos y recompensas, encontrar ofertas, pagar facturas y disfrutar de las funciones exclusivas de la app. En American Express, con el fin de facilitar las actualizaciones frecuentes, crearon un laboratorio de dispositivos para probar los cambios en el código de su app en todas las plataformas antes del lanzamiento.
Desafiar
Con decenas de dispositivos ejecutando varias versiones de Android, era difícil escalar el laboratorio. Agregar tareas nuevas disminuía la productividad debido a la capacidad de procesamiento limitada del laboratorio de dispositivos. Y cuando se unían nuevos miembros del equipo, la cantidad de cambios en el código aumentaba, lo que generaba aún más sobrecarga.
El mantenimiento del laboratorio de dispositivos demandaba mucho tiempo y era costoso, lo que acaparaba la atención de los ingenieros que, de otro modo, se hubieran enfocado en implementar mejoras para generar valor adicional para los titulares de tarjetas. Los dispositivos frecuentemente tenían problemas que requerían de intervenciones manuales, lo que a menudo les exigía repetir la ejecución de todo el conjunto de pruebas. Los dispositivos problemáticos se quitaban periódicamente del laboratorio, y su reemplazo muchas veces creaba tiempos de inactividad, ya que el equipo debía esperar la llegada de los dispositivos nuevos.
Solución
Durante la fase alfa del producto, la frecuencia de las actualizaciones de la app de AMEX, el compromiso de lanzar versiones de alta calidad y la predisposición para trabajar colaborativamente de los ingenieros generó el entorno ideal para el equipo de Firebase Test Lab. Posteriormente, American Express proporcionó información valiosa que ayudó a desarrollar la versión actualizada del producto. Firebase Test Lab se integró en el complejo conjunto de cientos de pruebas de instrumentación de American Express. Incluso cuando Test Lab estaba en etapa de desarrollo temprano, American Express pudo trasladar todas sus pruebas de integración continua a Test Lab y desmontar gran parte de su laboratorio de dispositivos. De este modo, los ingenieros encargados de mantener los dispositivos pueden enfocarse en brindar funciones nuevas a los titulares de tarjetas y, al mismo tiempo, programar y ejecutar pruebas para garantizar una alta calidad del producto.
Además, American Express pudo escalar la cantidad de pruebas sin preocuparse por ralentizar la ejecución del conjunto de pruebas ni escalar verticalmente un laboratorio de dispositivos propio. Esto incluye controlar los aumentos en la cantidad de pruebas a medida que se unen nuevos miembros al equipo y generar cambios de codificación adicionales. Ahora, American Express ejecuta más de 1,000 pruebas de instrumentación en cada solicitud de extracción, lo que equivale a cientos de pruebas por lanzamiento público. La ejecución de tantas pruebas simultáneas permite evitar errores nuevos y recurrentes, todo gracias a la capacidad de Firebase Test Lab de paralelizar masivamente las pruebas.
RENUNCIA DE RESPONSABILIDAD: Los resultados pueden variar.
Resultados
30% más pruebas en la mitad del tiempo
Ejecución del conjunto completo de pruebas dos veces más rápido y sin demoras cuando se agregan pruebas
Reducción del 50% de los costos en comparación con el laboratorio interno de dispositivos
Con Firebase Test Lab, American Express puede ejecutar su gran conjunto de pruebas de Android para cada solicitud de extracción. Firebase se encarga del escalamiento de la infraestructura de pruebas, de manera que nuestros ingenieros puedan enfocarse en el código, impulsar mejoras en la app y corresponder los cambios en el conjunto de pruebas".
- Michael Bailey, vicepresidente de Ingeniería, American Express