CYBL’explosion de la data a créé tout un tas de métiers autour de la gestion et de l’analyse des données. De tous ces métiers, celui de data engineer est le plus tech, et l’un des plus critiques ! Le témoignage d’Arnaud Milleker nous le confirme :
Comment êtes-vous devenu data engineer ?
J’ai suivi une spécialité data (en Business Intelligence) en école d’ingénieurs. Le but d’un Business Intelligence engineer est de réorganiser les données pour mieux les exploiter. Au cours des dix dernières années, on s’est mis à parler de data engineer, pour le même métier. Depuis septembre 2019, j’occupe ce poste chez Doctolib.
En quoi consiste le métier ?
Le but est principalement d’amener la “bonne” donnée. A ce titre, nous réalisons des ELT (Extract, Load, Transform) pour tirer la donnée d’un système source, pour la centraliser au même endroit : notre Data Lake. Par le croisement des différentes sources, le nettoyage de la donnée, et leur transformation (calculs, agrégation…), nous obtenons la “bonne” donnée. Elle est ensuite fournie “sous la forme attendue” pour chacun : dans une architecture performante avec une base de données pour les analystes, ou des fichiers Big Data pour les Data Scientists. Nous sommes les bâtisseurs et les garants de cette architecture !
Nous sommes les bâtisseurs et les garants de l’architecture
Quels conseils donneriez-vous à de futurs data engineers ?
Il faut bien sûr s’intéresser à la data, mais il faut aussi avoir envie de coder, par exemple en Python. Et le métier est mature mais hyper changeant, il faut donc se renouveler sans cesse.
Qu’est-ce qui vous plaît le plus et le moins dans votre métier ?
Travailler la donnée est toujours intéressant, on peut détecter des choses en avance, il y a toute la compréhension du business. C’est aussi un poste valorisant et valorisé. Quand je dis que je suis data engineer, il y a une certaine reconnaissance. J’aime tout ce que je fais ! Si je devais vraiment trouver quelque chose qui me plaît moins, je dirais le travail induit par les obligations réglementaires. Je suis très fier d’en être le garant, car c’est super important. Mais c’est un travail gigantesque, à l’échelle de toute l’entreprise, avec des responsabilités assez fortes.
Un poste valorisant et valorisé
A votre avis, comment le métier va-t-il évoluer ?
Difficile à dire ! On sent qu’on va vers une simplification : outils sans serveurs (serverless), infrastructure qui grossit en fonction du besoin sans rien faire (auto-scaling). Mais on rajoute aussi du code (Python, Scala) ou de l’infrastructure (Terraform) bien plus complexe. Les changements sont tellement rapides que c’est impossible à prédire.
Une expérience fun à partager ?
Les équipes data sont souvent en relation directe avec le métier et ça se passe très bien : il est arrivé que nous soyons remerciés à la sortie de gros projets avec des paquets géants de M&M’s… C’est toujours bon à prendre !
Un truc en plus ?
Vous pouvez suivre la newsletter Docto TechLife. Pour les Data, le Data Cloud Paris.
Propos recueillis par Séverine Dégallaix
Pour en savoir plus sur le métier de Data Engineer, rendez-vous sur notre fiche métier détaillée !
