La puntuación de fraude, con las palabras que usa el modelo

Casi toda discusión sobre modelos de fraude es en realidad una discusión sobre una palabra. Los términos que siguen son los que un profesional de siniestros encuentra en una conversación sobre puntuación, definidos como se usan generalmente en este campo y no como los define ningún proveedor. El asunto se sostiene mejor cuando están fijados.

Puntuación. Un número adherido a un siniestro, pensado para ordenar siniestros según cuánto se parecen a otros que en su día se encontraron fraudulentos o se creyeron tales. Es un mecanismo de ordenación. No es la probabilidad de que este reclamante sea deshonesto, ni cuando se expresa como tal, y no es prueba de nada.

Variable. Una entrada que usa el modelo. Algunas son del siniestro (tiempo entre la contratación y la pérdida, hora del día, retraso en comunicar, lesión reclamada sin daño en el vehículo, siniestros anteriores en la póliza). Algunas son de las partes (una dirección, un vehículo, un taller, un proveedor médico, un representante). Otras se derivan de texto o de imágenes. Una variable no es un motivo: es una correlación.

Análisis de vínculos o de redes. La parte de este campo que hace algo que un tramitador no puede hacer. En lugar de puntuar un siniestro aislado, construye un grafo sobre muchos siniestros —vehículos, direcciones, teléfonos, clínicas, talleres, representantes, cuentas bancarias— y busca estructuras: el mismo vehículo apareciendo en colisiones sin relación, un grupo de reclamantes que comparten un mismo proveedor de tratamiento, un taller que reaparece en siniestros sin ninguna otra conexión. El fraude organizado tiene una forma en ese grafo, y la forma solo se ve desde arriba.

Prevalencia. La proporción de siniestros de la población que son realmente fraudulentos. Es baja, no se conoce con precisión y gobierna todo lo que viene después.

Falso positivo. Un siniestro que el modelo señala y resulta honrado. Su contrario, el falso negativo, es un siniestro fraudulento que el modelo deja pasar. Cada elección de umbral cambia uno por otro, y los dos errores caen sobre personas distintas.

Umbral de derivación. La puntuación por encima de la cual un siniestro va a una unidad de investigación especial en lugar de tramitarse con normalidad. Como cualquier umbral en la tramitación automática, lo fijan personas, se ajusta en una tarde y es invisible en el expediente.

Explicabilidad. La propiedad de poder decir por qué este siniestro recibió esta puntuación, en términos que una persona pueda comprobar. No es lo mismo que la interpretabilidad del modelo en general, y ninguna de las dos es lo mismo que el deber de motivar una decisión ante el reclamante, que es una obligación jurídica sobre resultados y no una propiedad técnica de un sistema.

El asunto, en esos términos

Los modelos de fraude hacen bien una cosa, y merece decirse antes de las objeciones. Un tramitador ve un siniestro. El fraude repetido y organizado es un patrón entre expedientes que tramitaron personas distintas, en meses distintos, en sitios distintos, y el grafo es donde ese patrón se vuelve visible. Una aseguradora capaz de identificar un reparto de partes que reaparece en pérdidas sin relación está detectando algo real, y está detectando la clase de fraude que más cuesta y que pagan los asegurados honrados. En ese terreno el argumento es fuerte.

La prevalencia es lo que complica todo lo demás. Como los siniestros fraudulentos son una parte pequeña del total, la población señalada está dominada por la clase mayoritaria incluso con un modelo que funciona bien. Esto es aritmética y no una crítica a ningún sistema concreto: aplica una buena prueba a una condición rara y la mayoría de los positivos seguirán siendo falsos. Un modelo puede ser mejor o peor, no puede escapar de esto, y la única palanca disponible es el umbral, que cambia un tipo de error por el otro en lugar de reducir los dos.

Así que la pregunta nunca es si el modelo es exacto. Es qué les pasa a los siniestros de la población señalada que no pertenecen a ella, y la respuesta la fija el diseño del proceso, no la ciencia de datos.

Las etiquetas son el problema de fondo

Un modelo de fraude se ajusta sobre siniestros históricos etiquetados como fraudulentos o no. ¿De dónde salen las etiquetas? De investigaciones que se abrieron, se siguieron y se concluyeron, es decir, del criterio de las personas que tramitaban siniestros antes de que el modelo existiera.

Eso tiene una consecuencia que conviene decir sin rodeos: el modelo aprende el patrón de lo que persiguieron los investigadores anteriores. Si las investigaciones se concentraron en determinados códigos postales, en determinados talleres, en reclamantes con determinados apellidos o determinadas maneras de redactar un parte, el modelo reproduce esa concentración y la presenta como un hallazgo. Los siniestros en los que hubo fraude y nunca se investigó quedan etiquetados como limpios, porque nadie los encontró, así que el modelo aprende que tienen aspecto normal.

El resultado es un sistema que puede medirse como exacto contra su propia historia y estar equivocado sobre el mundo de una forma estable y con dirección. Cuando una variable correlaciona con una característica protegida sin nombrarla —un código postal, la edad de un vehículo, un idioma preferido, un acuerdo de alquiler—, el modelo puede producir un resultado diferencial que nadie eligió y que nadie ve desde dentro de la puntuación. Esa es la exposición a discriminación injusta que los reguladores han empezado a describir, y no requiere que nadie haya tenido intención de discriminar.

Qué cuesta un falso positivo y quién lo cuenta

Un reclamante honrado cuyo siniestro queda señalado no experimenta una puntuación. Experimenta un siniestro que se detiene. La autorización de reparación no llega. Alguien pide documentos que antes no se pedían: extractos bancarios, registros de llamadas, una declaración grabada, prueba de propiedad, una explicación de por qué comunicó el siniestro tres días después y no el mismo día. El tono de la correspondencia cambia. Si había un vehículo de sustitución, puede terminar. Si había una lesión, las decisiones de tratamiento se toman alrededor de un siniestro que no está pagando.

Nada de eso aparece en el reporting de una aseguradora. El fraude evitado se cuenta, se celebra y se usa para justificar el programa. La demora impuesta a los siniestros que se liberaron sin hallazgo no la cuenta nadie, en ninguna parte, y la soporta íntegramente gente de fuera de la compañía, que es exactamente la estructura que hace fácil ampliarla.

Hay un segundo coste más difícil de ver y más grave. Algunas personas, frente a una investigación, retiran un siniestro al que tenían derecho. Un siniestro retirado se registra como ahorro. En las cifras es indistinguible de un fraude disuadido, y dentro de la aseguradora no hay mecanismo que separe los dos casos.

Los motivos, y lo que una puntuación no puede dar

Cuando un siniestro se rechaza, se reduce o se tramita sobre la base de una sospecha, al reclamante se le debe una explicación en casi todos los sistemas que conocemos, y la obligación concreta es cuestión de jurisdicción. Lo que no es cuestión de jurisdicción es si una puntuación puede servir de explicación. No puede. Una puntuación dice que este siniestro se parece a otros; un motivo dice qué hay de mal en este siniestro. En la distancia entre las dos cosas viven la queja, la consulta del regulador y la alegación de mala fe.

La disciplina que se sigue es poco lucida y conviene adoptarla antes de que alguien la exija. Cada derivación debería llevar en el expediente los hechos concretos del siniestro que una persona verificó, no la puntuación ni una paráfrasis de la puntuación. Cada liberación sin hallazgo debería registrarse como tal, con el tiempo transcurrido. Y la versión del modelo, las entradas que vio y el umbral en vigor deberían poder recuperarse para un siniestro meses después, porque un siniestro que se vuelve conflictivo lo hace mucho después de que se produjera la puntuación.

Una aseguradora que pueda hacer esas tres cosas puede defender su programa ante un regulador, ante un tribunal y ante un reclamante. La que no pueda tiene una capacidad de detección y ninguna explicación de cómo se usó.

El fraude detectado es una cifra que ve todo comité de siniestros. Los reclamantes honrados demorados son una cifra que nadie produce, así que el intercambio entre las dos se sigue decidiendo con un lado del libro en blanco, y el lado en blanco es el que pertenece a otra persona.