Etude IDC sur la data science et l’analytics : les pain points ne sont pas ceux que l’on croit…

Aujourd’hui, la maîtrise de la donnée est capitale pour réussir dans l’économie digitale, et la plupart des entreprises ambitionnent de devenir "datadriven", en mettant notamment la priorité sur le machine learning . Je partage avec vous les enseignements de l’étude IDC d’avril 2019 sur "l’état de la data science de l’analytics". On est bien loin du coté fascinant du machine learning.

·       Premier constat : IDC englobe sur le terme de « dataworkers » tous les collaborateurs qui travaillent sur les données ou avec des données. C’est un premier enseignement révélateur, car on pense souvent aujourd’hui aux chief data officers, data analysts, data engineers, data stewards,... et bien sûr aux data scientists, mais on oublie les dizaines de millions de gens qui travaillent quotidiennement sur Excel avec des données.

·        Il apparaît que ces "dataworkers" passent la majeure partie de leur temps sur les données, et non sur la datascience (modèles, algorithmes,..) ou le développement d’applications.

·     Ensuite, beaucoup de ce temps est perdu de manière inefficace, à cause de la complexité à trouver des données fiables et à les préparer, en raison du manque d’outils performants et faciles d’usage.

·    Face à cette complexité, Les "data workers" recourent souvent alors au tableur, à travers des tâches manuelles et malheureusement non traçables.

• ·    Enfin, ces collaborateurs amenés à travailler avec des données, sont souvent résistants au changement, et malgré le temps perdu par inefficacité, ne saisissent pas toujours les opportunités de se simplifier la vie, quand elles se présentent.

Quelques faits marquants que je retiens donc de l'étude d’IDC:

· 80% des organisations ont des projets avec des data « cross organisation », donc en provenance de l’interne et de l’externe, et qui sont utilisées et doivent être partagées entre plusieurs départements,

· 96% des collaborateurs travaillant avec des données, ont parmi leurs taches récurrentes la préparation de données et 92% la recherche de données,

· 33% du temps en moyenne de ces collaborateurs est consacré à la data préparation

· 44% de leur temps consacré aux données est perdu de manière improductive car sans obtention de résultats (dont 51% dans la recherche et 47% dans la préparation des données)

· Parmi les challenges principaux cités par les "data workers", 33% citent en priorité le temps perdu dans la data preparation et 25% estiment que les outils utilisés sont trop compliqués ou peu efficaces

· La complexité provient de la variété des sources de données, (en moyenne 6 sources dont 50% restent les tableurs), des types de données processées et de la variété des outputs,

·  88% des data workers utilisent des tableurs pour des activités data (ces 88% passent en moyenne 60% de leur temps sur leur tableur)

·  En moyenne, un data worker passe par semaine, 3H33 sur le nettoyage de données, 3H40 sur la mise en forme de données, 3H36 sur de la préparation de données pour visualiser, 3H45 sur la visualisation, 3h23 pour croiser des données, et 3h pour faire des simulations de type "what if"...

· L’importation de données dans des tableurs provoque des problèmes récurrents de conformité et des problèmes de fiabilité, donc de risques

· Les "dataworkers" passent en moyenne 7 heures par semaine à mettre à jour manuellement des formules, des tableaux croisés dynamiques, des cellules,…

Pour répondre à ces défis, la solution innovante de la start-up française Tale of Data : démocratiser les outils d’extraction, de nettoyage et de transformation des données, en les rendant utilisables par tous. 

Par rapport à cette situation complexe, évoquons le cas d’un jeune éditeur français, Tale of Data, qui  propose une simplification à des utilisateurs métiers , en proposant en un seul outil de type self-service,: 

· D'importer les jeux de données de tous types, de toutes sources et de tous formats, sans limite de taille

· D'en repérer les anomalies, de les nettoyer

· De les transformer, en complète interactivité et immédiateté,

· De les enrichir ou de les corréler avec des sources externes comme des référentiels

· De réaliser des jointures avec d’autres fichiers

· De les valider avec des règles métiers

· De visualiser ses transformations au fur et mesure

· D'enregistrer ces transformations pour en assurer la traçabilité

de pouvoir industrialiser ces transformations pour éviter de les refaire quotidiennement

Avec une demi-journée de formation et à coût réduit, Tale of Data permet donc aux métiers, de préparer ses données mais aussi déjà de les analyser et les visualiser (sans faire de macros, sans connaitre Sql, ni Python). C'est le moyen de gagner en qualité en évitant le "garbage in, garbage out", en obtenant des données fiabilisées par les experts métiers avant par exemple des traitements machine learning,  et en productivité, le tout grâce aussi à une interface d’une simplicité extraordinaire.

Conclusion

L’actualité du moment braque ses projecteurs sur l’IA -et sur le machine learning en particulier- mais a tendance à oublier toute la complexité en amont des tâches nécessaires , voire la souffrance de nombreux data workers, pour disposer de données fiables en vue d'obtenir des résultats probants. Il est tant de ne plus cacher le problème sous le tapis, car des solutions existent désormais ...