Les 10 tendances majeures observées en Data Engineering en 2024 et leurs implications pour 2025

1. Snowflake et BigQuery prennent le dessus sur Redshift

En 2024£ Snowflake et BigQuery se sont imposés comme les choix privilégiés des entreprises£ avec un recul marqué de Redshift. Pourquoi ?

• Snowflake séduit pour son ergonomie£ son système RBAC£ son expérience développeur et ses performances.
• BigQuery est souvent choisi pour son faible coût£ sa facilité de déploiement et son intégration naturelle dans l’écosystème GCP.
• Redshift£ en revanche£ peine à s’adapter aux besoins modernes : UX vieillissante et limitations sur les cas d’usage en temps réel.

Focus niche : ClickHouse reste utilisé pour des projets spécifiques comme l’embedded analytics ou les environnements on-prem£ mais sa complexité limite son adoption.

‍

2. DataOps : le moteur de la standardisation des données

Les entreprises ont compris que£ sans DataOps£ leurs plateformes data risquent d’accumuler de la dette technique et de ralentir les projets.

En standardisant les processus£ elles :

• Améliorent la fiabilité des données ,
• Accélèrent les projets grâce à des workflows optimisés ,
• Mettent en place des pratiques structurées pour éviter le chaos dans les grandes organisations.‍

À ne pas manquer : Notre podcast sur le DataOps explique comment passer de la théorie à l’action.

‍

3. Retour en force du on-premise pour des raisons stratégiques

2024 marque un tournant£ avec un regain d’intérêt pour les solutions on-premise. Pourquoi ce changement ?

• Coûts réduits : Construire sur de l’open source permet d’éviter les frais récurrents des solutions managées.
• Protection des données : La souveraineté est devenue un argument commercial différenciant.
• Autonomie des équipes : Les équipes data préfèrent développer leurs propres solutions plutôt que dépendre d’outils externes.

Cette tendance reflète une volonté des entreprises de reprendre le contrôle sur leurs infrastructures.

‍

4. DuckDB : un buzz limité par une adoption lente

Si DuckDB fait beaucoup parler£ son adoption reste restreinte à des cas spécifiques.

• Cas d’usage : Tests de qualité£ optimisation des coûts ou protection des données sensibles.
• Limites : Connectivité réduite et UX qui ne permet pas de remplacer un data warehouse comme Snowflake ou BigQuery.

Son potentiel reste à surveiller£ mais il s’adresse encore à une niche de projets.

‍

5. Orchestrateurs serverless : réduire les coûts au maximum

Les orchestrateurs serverless (Google Workflow£ AWS Step Functions) gagnent du terrain face aux solutions traditionnelles comme Airflow ou Dagster. Pourquoi ?

• Les orchestrateurs traditionnels nécessitent une infrastructure toujours active£ souvent coûteuse.
• Les orchestrateurs serverless offrent une alternative économique£ avec des coûts de quelques centimes par mois.

Pour les entreprises qui cherchent à optimiser leur stack£ c’est une solution évidente.

‍

6. DBT omniprésent£ mais encore perfectible

DBT est devenu un standard pour les transformations de données£ mais son utilisation à grande échelle pose des défis :

• Standardiser l’usage de DBT dans les grandes organisations reste complexe.
• Les équipes DataOps mettent en place des "DBT Factory" pour structurer les déploiements et guider les équipes.
• L’adoption par des profils peu techniques reste un enjeu majeur pour 2025£ avec un besoin accru de formation.

‍

7. L'empreinte carbone des Data Platforms devient secondaire

Alors qu’en 2023 l’impact carbone des plateformes data était central£ en 2024£ le sujet est passé au second plan. Pourquoi ?

• L’essor de projets GenAI£ très énergivores£ a déplacé le débat environnemental vers l’intelligence artificielle.
• Les discussions sur la durabilité se concentrent désormais sur les modèles IA plutôt que sur les plateformes data elles-mêmes.

‍

8. Observabilité des données : le pilier des projets GenAI

L’observabilité est devenue la priorité numéro un des décideurs Data. Les questions stratégiques incluent :

• Comment prévenir les équipes métiers en cas d’incident ?
• Quels outils mettre en place pour favoriser l’adoption (data catalogs£ solutions de self-BI) ?

La qualité des données est essentielle pour instaurer la confiance des métiers et pour réussir les projets GenAI£ qui nécessitent des bases solides.

‍

9. ChatGPT booste la productivité des Data Engineers£ mais reste limité

En 2024£ ChatGPT a permis d’accélérer certaines tâches des Data Engineers. Cependant£ son potentiel est limité par :

• L’absence d’accès direct à la Data Platform£ ce qui réduit son efficacité.
• Les préoccupations liées à la protection des données£ compliquant son adoption dans les environnements sensibles.

‍Et si Modeo lançait le premier agent Data Engineer en 2025 ? Stay Tuned ...

‍

10. Data Platforms matures : IA et adoption métier comme leviers clés

Pour les Data Platforms arrivées à maturité£ deux stratégies dominent en 2024 :
1️- Investir dans l’IA et la Data Science£ avec des cas d’usage à forte valeur ajoutée.
2️- Rendre les données accessibles aux équipes métiers£ grâce à des outils comme les Data Portals.

Ces approches maximisent le ROI tout en renforçant l’impact stratégique des plateformes.

‍

Conclusion : les priorités pour 2025

Les tendances de 2024 vont se poursuivre en 2025£ avec quelques évolutions majeures :

• DataOps pour accélérer les workflows et fiabiliser les données.
• Observabilité pour renforcer la confiance des métiers.
• Optimisation des coûts et démonstration du ROI des projets data.
• GenAI£ qui connaîtra une accélération prudente en raison des défis écologiques et techniques.

‍

‍

Prêt à préparer 2025 avec nous ? Contactez Modeo pour discuter de vos projets Data !

--

Visionnez notre podcast sur Youtube pour 'Tout Comprendre sur le DataOps'

‍

‍

‍

‍

‍