Wében, conclusion magistrale à cette petite histoire aujourd'hui. En gros t'as une série temporelle, et si y'a des valeurs anormales faut créer une alerte (je simplifie).
J'ai livré une solution complète (capture les données, analyse, envoi les alertes) pour faire une démo fin Juillet, le truc marche comme sur des roulettes et j'ai du implémenter une détection moi même, du fait des délais on pouvait pas attendre la solution des "Data Engineer". C'est un implém' basique avec quelques statistiques classiques.
Ils ont présenté leurs résultats hier. Bon déjà ils ont pompé toutes les métriques de détections sur mon taff' initial, je leur en veut pas mais on voit bien où se situe la vraie valeur dans les algos de détections (que ce soit du machine learning ou autre), faut en premier lieux tenter d'identifier ce qu'il faut observer. Ensuite ils se sont cassés les dents sur l'implém' avec un réseau de neurone, du coup ils sont partis sur un classifier (
https://en.wikipedia.org/wiki/Statis...classification), ah bah tiens de bonnes vieilles stats.
Ils montrent leurs résultats de manière un peu alambiqué en utilisant tout un tas de jargon, y'en a pas beaucoup qu'arrive à suivre. Au final on arrive au tableau de résultat avec le taux de détection, ils annoncent fièrement un "accuracy rate" de 98% avec 2% de faux positifs.
Je leur demande les données qui ont déclenché le faux positif. Ils me filent ça et je crée une visualisation, on voit en gros que c'est une courbe assez lisse, donc qui ne devrait jamais générer de faux positif (à vue de nez). Je teste avec mon algo basique et je crée pas d'alerte, bien.
Je leur dit qu'ils ont sûrement un problème dans leur implém, et bingo ils avaient un bug.
2 mecs pendant 2 mois, tout ça pour arriver à un truc pas bien mieux que ce que j'avais livré en une demi journée. En plus z'ont fait ça en python donc on peut pas le réutiliser car on a des contraintes de perf et de déploiement.
Bref, ça me donne vraiment envie de me mettre à mon compte, tu vois souvent des inefficacités béantes dans les boites, entre la paperasse, les communications lentes et ce genre d'histoire.
Le commentaire de Nilsou était assez dans le mille, j'pense que y'avait matière à faire un bon truc mais:
"ils n'ont appris que des « recettes » par cœur, constituées de la bibliothèque de google et cie et leurs formalismes, bien pratique certes, mais qui viennent contraindre leur raisonnement la plupart du temps, sans parler de leur capacité à saisir ce qui se passe en interne de la bibliothèque."