Étude de cas — Média Culinaire

Lead Dev Backend : Scaling & Serverless Architecture

Accompagnement d'un leader mondial de la FoodTech dans le passage à l'échelle de son infrastructure pour supporter un milliard de vues mensuelles.

01 Contexte & Défi

Ce leader mondial de la vidéo culinaire gère une audience massive sur les réseaux sociaux. Ma mission principale a été de transformer l'architecture existante pour absorber des pics d'audience imprévisibles tout en fournissant des services data-intensive aux équipes Web et Mobile.

L'enjeu était triple : scalabilité extrême lors des buzz viraux, fiabilité des données d'engagement en temps réel et montée en compétences de l'équipe technique sur les technologies cloud natives.

02 Réalisations Majeures

Modernisation Serverless GCP

Migration de services critiques vers une architecture serverless, optimisant les coûts opérationnels de 30% tout en garantissant une scalabilité automatique quasi-infinie.

Data Engineering & Pipelines Airflow

Développement de pipelines ETL pour l'ingestion et le traitement de millions de métriques de visionnage quotidiennes, permettant une analyse fine de l'engagement utilisateur.

Standards de Qualité & Leadership

Mise en place de revues d'architecture, de tests automatisés systématiques et de mentorat technique pour assurer la maintenabilité à long terme.

03 Défis Techniques

Pics de Charge Viraux : Conception d'une infrastructure capable de passer de 1 000 à 100 000 requêtes par seconde en quelques minutes sans intervention manuelle.

Intégrité Data : Traitement asynchrone de flux massifs garantissant l'exactitude des compteurs de vues et d'interactions à l'échelle globale.

04 Architecture System Design

Vue d'ensemble de l'écosystème cloud mis en place pour absorber les pics viraux et alimenter la data platform en temps réel.

Architecture Diagram

graph LR subgraph CLIENTS[" Clients"] direction TB WEB["Web App"] MOB["Mobile App"] end subgraph API[" Backend Django"] direction TB GW["API Gateway Django REST"] CACHE[("Redis Cache")] end subgraph ASYNC[" Traitement Asynchrone"] direction TB AIRFLOW["Pipelines Airflow"] WORKERS["Cloud Functions"] end subgraph CLOUD[" Cloud Storage"] direction TB GCS[("GCS / S3")] BQ[("BigQuery Data Lake")] end WEB -->|"REST"| GW MOB -->|"REST"| GW GW <-->|"Cache"| CACHE GW -->|"Trigger"| WORKERS WORKERS --> GCS AIRFLOW -->|"ETL"| BQ GCS --> AIRFLOW classDef client fill:#052e16,stroke:#16a34a,color:#bbf7d0 classDef api fill:#1e1b4b,stroke:#6366f1,color:#e0e7ff classDef async fill:#1e293b,stroke:#475569,color:#cbd5e1 classDef cloud fill:#4f46e5,stroke:#6366f1,color:#fff class WEB,MOB client class GW,CACHE api class AIRFLOW,WORKERS async class GCS,BQ cloud

Legacy ERP

Pivot Central (DC)

Bus Kafka

Consommateurs SI

─ ─ ─ Lecture directe SQL

05 Fiche Projet : API Backend & Serverless

Vision du Projet

"Le backend Chefclub est une plateforme data-intensive hybride combinant une API Django REST haute disponibilité et des fonctions serverless cloud pour absorber des pics de charge viraux imprévisibles, tout en alimentant une data platform analytique en temps réel."

Piliers de l'Architecture

Serverless Cloud

Cloud Functions GCP & Lambda AWS pour un scaling automatique instantané sans gestion d'infrastructure.

Data Platform

Pipelines Airflow vers BigQuery pour l'analyse des métriques d'engagement à l'échelle du milliard de vues.

Cache & Performance

Stratégie de cache Redis multi-niveaux pour absorber les pics et garantir des temps de réponse sous 100ms.

Rôle & Impact Lead Dev

Domaine	Actions Réalisées
Architecture	Refonte serverless hybride GCP/AWS avec découplage des services critiques.
Qualité Code	Mise en place de revues de code systématiques, couverture de tests et linting automatisé.
Data Engineering	Conception des pipelines ETL Airflow alimentant BigQuery pour l'analytics métier.
Mentoring / DX	Montée en compétences de l'équipe sur les patterns cloud natives et bonnes pratiques API.

Insights & Défis Relevés

Scalabilité

Gestion des Pics Viraux

Le Challenge

Les serveurs saturaient lors des publications virales, provoquant des timeouts et une expérience dégradée pour des millions d'utilisateurs simultanés.

La Solution & Impact

Migration des endpoints critiques vers des Cloud Functions avec cache Redis. Résultat : absorption de pics à 100k req/s sans dégradation.

Data

Fiabilité des Métriques

Le Challenge

Les compteurs de vues et d'interactions présentaient des incohérences lors des pics de charge, faussant les analyses d'engagement.

La Solution & Impact

Pipeline asynchrone Airflow avec réconciliation BigQuery. Résultat : précision des métriques portée à 99.8% en conditions de charge extrême.

06 Fiche Projet : Data Platform & Analytics

L'Intelligence Data

"La data platform centralise l'ensemble des métriques d'engagement provenant de 95M+ followers sur toutes les plateformes sociales. Elle permet aux équipes produit et marketing de piloter la stratégie de contenu en temps réel grâce à des dashboards alimentés par BigQuery."

ETL & Orchestration

Pipelines Airflow

Orchestration de DAGs pour l'ingestion quotidienne de millions d'événements depuis les APIs sociales vers BigQuery.

BigQuery & GCS

Data lake sur GCS avec modélisation analytique BigQuery pour des requêtes ad-hoc sur des téraoctets de données.

Industrialisation & Qualité

Rigueur Dev	Tests unitaires et d'intégration, revues de code et CI/CD GitHub Actions.
Monitoring	Dashboards Datadog et alerting Sentry pour la supervision des pipelines en production.
Coûts Cloud	Optimisation budgétaire via rightsizing et lifecycle policies GCS (-30% OpEx).
Documentation	Runbooks Notion et Swagger OpenAPI pour chaque endpoint exposé.

Insights & Défis Relevés

Pourquoi le Serverless ?

"Pour éliminer la gestion de capacité : avec des pics totalement imprévisibles liés aux buzz viraux, seul le pay-per-use et le scaling automatique permettent d'absorber x100 de trafic sans sur-provisionner en permanence."

Airflow vs Solutions Managées

"Le choix d'Airflow self-hosted nous a offert la flexibilité nécessaire pour des DAGs complexes avec des dépendances cross-plateformes, tout en gardant la maîtrise des coûts et des secrets."