Cas d'usage : Modernisation de la chaîne de traitement des données pour un acteur immobilier
Introduction
Un acteur majeur dans le secteur immobilier, spécialisé dans les estimations, expertises et ventes aux enchères, collecte quotidiennement des données sur les transactions immobilières directement auprès des notaires, tout en enrichissant ces informations avec de l'Open Data. Toutefois, l’organisation faisait face à des défis importants en raison d'une plateforme de traitement des données obsolète, ce qui affectait la fiabilité et l'efficacité des opérations.
Défis initiaux
Avant l’intervention d’Atawiz, l’entreprise faisait face à de sérieux problèmes. La plateforme de traitement des données, vieille de vingt ans, était souvent en panne, ce qui causait des interruptions fréquentes et des retards dans le traitement des informations. La difficulté à déboguer le système augmentait les délais de résolution des problèmes et affectait la qualité des données disponibles.
Solution proposée par Atawiz
Atawiz a proposé de refondre entièrement la chaîne de traitement des données. En séparant les processus complexes en étapes distinctes, les erreurs ont été réduites et leur gestion simplifiée. Pour assurer une meilleure fiabilité et qualité des données, des notifications de contrôle qualité ont été mises en place chaque fois que les données sources ne répondent pas aux exigences. Tous les pipelines assurent un acheminement des données sans faille, garantissant robustesse et idempotence.
Un nouvel outil, Apache Airflow, a été mis en place pour l’orchestration et le suivi, offrant une interface Web facile à utiliser pour relancer les processus en cas d’erreur. Les données sont maintenant stockées dans Microsoft SQL Server, et les transformations sont réalisées avec SQL et Python.
Impacts et résultats
Les changements ont significativement amélioré le système. Les pannes ont été réduites, assurant une mise à jour continue des données. La gestion des erreurs est devenue plus facile grâce à Apache Airflow, permettant une résolution rapide des problèmes. La performance générale du système s’est améliorée, rendant le traitement des données plus fiable et efficace.
Conclusion
La refonte de la chaîne de traitement des données a permis de moderniser un système obsolète et de résoudre les problèmes de performance. La nouvelle solution a rendu le traitement des données plus stable et plus rapide, répondant mieux aux besoins de l’entreprise.
