Tolerancia al riesgo y rendimiento del modelo

Cuando se intenta predecir el comportamiento de los usuarios, siempre existe un nivel de incertidumbre que requiere concesiones. Debes decidir si alcanzar menos usuarios con una precisión general más alta o llegar a más usuarios con una precisión general menor. Esta incertidumbre la determina tu caso práctico único.

Niveles de tolerancia al riesgo

Firebase Predictions define los niveles de tolerancia al riesgo en función de dos métricas:

  • La tasa de verdaderos positivos de una predicción es el porcentaje de usuarios que realizó una acción predicha correctamente (por ejemplo, un porcentaje de usuarios que terminó efectuando una compra que Firebase predijo con anticipación).
  • La tasa de falsos positivos de una predicción: Es el porcentaje de usuarios que no realizó una acción predicha de forma incorrecta (por ejemplo, un porcentaje de usuarios no efectuó una compra y Firebase predijo lo contrario).

Puedes seleccionar el nivel de tolerancia al riesgo a fin de indicarle a Predictions cuánta incertidumbre estás dispuesto a tolerar. Cada nivel de tolerancia al riesgo garantiza que la tasa de falsos positivos no excederá el límite. A partir de ese límite para la tasa de falsos positivos, Predictions se orientará a tantos usuarios como sea posible a fin de maximizar la tasa de verdaderos positivos sin exceder el límite establecido. Si la tasa de verdaderos positivos permitida no cumple con el límite mínimo, el perfil de riesgo se inhabilita y no se orienta a ningún usuario. De esta forma, los perfiles de riesgo proporcionan un mecanismo que garantiza que todas las orientaciones que apliques tengan un límite, y que se inhabiliten las que lo exceden.

Cuando te orientas a los usuarios según una predicción, seleccionas un nivel de tolerancia al riesgo. En función del tipo de predicción y la cantidad de eventos de Analytics disponibles, puedes escoger uno o más de los siguientes niveles:

Niveles de tolerancia al riesgo
Alto
  • Este nivel se orienta a más usuarios, pero su nivel de precisión es más bajo
  • Garantiza una tasa de falsos positivos del 20% como máximo
  • No está disponible cuando la tasa de verdaderos positivos es inferior al 45%
  • De cada 10 usuarios orientados de forma correcta, a lo sumo hay 4.44 usuarios orientados de forma incorrecta (10 × 20% ÷ 45%)*
Medio
  • Este nivel se orienta a menos usuarios y su nivel de precisión es intermedio
  • Garantiza una tasa de falsos positivos del 10% como máximo
  • No está disponible cuando la tasa de verdaderos positivos es inferior al 35%
  • De cada 10 usuarios orientados de forma correcta, a lo sumo hay 2.86 usuarios orientados de forma incorrecta (10 × 10% ÷ 35%)*
Bajo
  • Este nivel se orienta a la cantidad mínima de usuarios y tiene el mejor nivel de precisión
  • Garantiza una tasa de falsos positivos del 5% como máximo
  • No está disponible cuando la tasa de verdaderos positivos es inferior al 25%
  • De cada 10 usuarios orientados de forma correcta, a lo sumo hay 2 usuarios orientados de forma incorrecta (10 × 5% ÷ 25%)*

Si suponemos que existen la misma cantidad de casos positivos y negativos entre los usuarios. Si la cantidad de casos negativos es X veces la cantidad de casos positivos, debes multiplicar por X la cantidad máxima de falsos positivos.

Ejemplos

Imagina que tienes una app con 35,000 usuarios y quieres predecir quiénes dejarán de usarla (es decir, quieres conocer la tasa de deserción) durante los próximos días a fin de hacer algo para motivarlos a seguir usándola.

En las siguientes imágenes, cada rostro representa a 1,000 usuarios; los grupos que están satisfechos y que no desertarán están en verde, y los que están insatisfechos y sí lo harán están en rojo.

Tolerancia al riesgo alta

Con una tolerancia al riesgo alta, Predictions podría crear un grupo como el de la figura de más abajo, en el que se incluyen 10,000 de los 13,000 usuarios que no están satisfechos. Por lo tanto, la tasa de verdaderos positivos de esta predicción es de casi un 76.9%. Si, aunque se haya seleccionado la tolerancia al riesgo alta, este valor es inferior a 45% en algún momento, la predicción quedaría inhabilitada hasta que mejore la tasa de verdaderos positivos.

En el grupo también se incluyen 4,000 usuarios que están satisfechos y a quienes no deberías orientarte en tu estrategia para volver a generar compromiso. Debido a que se predijo de forma incorrecta que 4,000 de los 22,000 usuarios satisfechos desertarían, la tasa de falsos positivos de esta predicción es de casi un 18.18% y es inferior a la tasa máxima de falsos positivos de 20% que garantizó el perfil de tolerancia al riesgo alta.

sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied
sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied
sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied
sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied
sentiment_very_satisfied sentiment_very_satisfied sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied
sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied
sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied

Tolerancia al riesgo baja

Por otra parte, la figura de más abajo muestra cómo sería un grupo creado con una tolerancia al riesgo baja. Este grupo contiene menos falsos positivos (solo 1,000 usuarios), pero también se incluyen 4,000 usuarios insatisfechos menos que en el grupo anterior. La tasa de verdaderos positivos de esta predicción es de casi un 46.15% y la tasa de falsos positivos es de casi un 4.55%.

sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied
sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied
sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied
sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied sentiment_very_satisfied
sentiment_very_satisfied sentiment_very_satisfied sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied
sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied
sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied sentiment_very_dissatisfied

Averigua cómo la tolerancia al riesgo influye en el rendimiento

Dado que la calidad de las predicciones puede cambiar cada día, es posible que una predicción de un perfil de riesgo en particular esté activa un día, pero inactiva al día siguiente. Por ello, es importante comprender cómo el perfil de riesgo de una predicción afecta su confiabilidad cuando decidas cuál usar para la orientación a los usuarios.

Por ejemplo, si configuras un parámetro de Remote Config según un perfil de riesgo específico, Remote Config no asignará un valor al parámetro durante los días en que la predicción esté inactiva, por lo que todos los usuarios obtendrán el comportamiento predeterminado que definiste. Esto puede ser aceptable en función de tu caso práctico, pero, de lo contrario, debes saber qué perfil de riesgo te brinda una predicción activa confiable.

A fin de ayudarte a comprender cómo la tolerancia al riesgo afecta la confiabilidad de tus predicciones, cada tarjeta de predicción de Firebase console tiene un pie en el que se indica su confiabilidad durante las últimas 2 semanas para cada uno de los tres perfiles de riesgo disponibles.

Puedes expandir la sección de rendimiento de la tarjeta para obtener más información sobre el rendimiento de la predicción, como se muestra aquí:

El gráfico muestra la tasa de verdaderos positivos del modelo de predicción de tus datos durante las últimas dos semanas. Cada dato del gráfico señala el rendimiento del modelo de ese día en un conjunto de datos de exclusión (consulta Cómo se calculan las estadísticas de rendimiento). El gráfico se muestra en rojo en los días en los que la tasa de verdaderos positivos sea inferior al límite establecido. Durante esos días, Firebase inhabilita la orientación a los usuarios según la predicción.

Si notas que tu modelo estuvo inhabilitado en algún momento en los últimos 14 días, te recomendamos aumentar el nivel de tolerancia al riesgo para orientarte a más usuarios y evitar los días inactivos con un nivel potencial más alto de falsos positivos. Para consultar cómo los diferentes niveles de tolerancia al riesgo influyen en el rendimiento del modelo, mueve el control deslizante de Tolerancia al riesgo a distintas posiciones:

Cuando haces esto, el gráfico muestra el rendimiento que hubiese tenido el modelo en cada día según el nivel de tolerancia al riesgo que seleccionaste. En el ejemplo anterior, puedes ver que si aumentas la tolerancia al riesgo de “media a alta”, la tasa de verdaderos positivos del modelo se mantiene muy por sobre el límite de 45% en las últimas dos semanas (aunque con un nivel de tolerancia mayor hacia los falsos positivos).

Cuando veas que un determinado nivel de tolerancia al riesgo logra un equilibrio entre la precisión y el alcance de usuarios, y te parece adecuado, selecciónalo para usarlo cuando te orientes a los usuarios con Remote Config, Firebase In-App Messaging, las Pruebas A/B o el compositor de Notifications.

Cómo se calculan las estadísticas de rendimiento

Etiquetado

Al igual que muchas tareas de aprendizaje automático, entrenar un modelo de Predictions es una tarea de “aprendizaje supervisado”. Esto quiere decir que todos los usuarios que se utilicen para entrenar el modelo deben tener etiquetas como “desertará”, “no realizará ningún gasto”, etcétera. Para etiquetar a los usuarios, Predictions reúne a los que estuvieron activos en la app durante 28 días y quita de sus datos los eventos ocurridos en los últimos 7 días. Este período se denomina ventana de etiquetas. Firebase Predictions usa eventos de la ventana de etiquetas para asignar etiquetas al usuario y, a continuación, utiliza los eventos del usuario que ocurrieron antes de esos 7 días (eventos de la ventana de entrenamiento) para entrenar el modelo.

Datos de exclusión y datos de entrenamiento

No todos los datos se utilizan directamente para entrenamiento. Como es habitual en las tareas de aprendizaje supervisado, Predictions separa el 20% de los datos y los clasifica como datos de exclusión y utiliza solo el 80% restante de los datos para entrenar el modelo. A continuación, a fin de evaluar el rendimiento del modelo, se generan predicciones para los usuarios en el conjunto de datos de exclusión en función de los datos de la ventana de entrenamiento y se comparan con los resultados reales de cada usuario según las etiquetas que se generaron a partir de la ventana de etiquetas.

Todas las estadísticas que se presentan en Firebase console provienen de la evaluación del modelo con los datos de exclusión.

Enviar comentarios sobre...

Si necesitas ayuda, visita nuestra página de asistencia.