Skip to content

About

Pipeline near real-time de facturación telco sobre GCP. CDR simulator · BigQuery Bronze/Silver/Gold · Cloud Composer · Looker Studio. Latencia 24h → 15 min.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

1 Commit

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

gs-gcp-nearrt-billing

El Problema

Los equipos de billing no tenían visibilidad del saldo de clientes prepago ni de cruces a tarifa premium hasta el día siguiente. Con ciclos de facturación de 24 horas, la red seguía operando con clientes en saldo cero, los híbridos cruzaban a tarifa premium sin aviso, y las campañas de recarga se disparaban con datos de ayer.

La Solución

Un pipeline near real-time que procesa CDRs cada 15 minutos y expone alertas de billing con latencia mínima. El equipo de operaciones abre el dashboard y ve en tiempo casi real qué clientes tienen saldo agotado, cuáles cruzaron a tarifa premium, y quiénes son candidatos a campaña de recarga — sin esperar el batch nocturno.

Construido sobre GCP con arquitectura Medallion y modelo estrella Kimball. Corre automáticamente cada 15 minutos. Sin intervención manual.

Python dbt BigQuery Airflow

→ Dashboard en vivo — actualizado cada 15 minutos.


Arquitectura

Simulador CDR (Python + Faker)
          │
          ▼
BigQuery Bronze — cdr_raw (landing zone, particionado por día)
          │
          ▼
BigQuery Silver — stg_cdr (view limpia y tipificada)
          │
          ▼
BigQuery Gold — modelo estrella Kimball
  ┌────────────────┬─────────────────┬──────────────┐
  ▼                ▼                 ▼              ▼
dim_customer   dim_date        dim_location   dim_network
                                    │
                                    ▼
                                fct_cdr (particionada por event_date)
                                    │
                                    ▼
                         Looker Studio — Billing Monitor RM

Stack tecnológico

Capa Tecnología
Simulación Python 3.11 · Faker · perfil Erlang hora Chile
Almacenamiento BigQuery Bronze / Silver / Gold
Transformaciones BigQueryInsertJobOperator (SQL nativo)
Modelado dbt 1.9 · dbt_utils (desarrollo local y documentación)
Orquestación Cloud Composer 3 · Airflow 2.10.5
Visualización Looker Studio

Pipeline

Bronze — landing zone con schema 3GPP. 23 columnas, todo NULLABLE. Particionado por record_opening_time.

Silver — view limpia con tipificación, trimming y normalización de campos. Sin movimiento de datos.

Gold — modelo estrella Kimball con 4 dimensiones y tabla de hechos particionada por event_date. Reconstruida en cada ciclo de 15 minutos.

DAG — billing_pipeline

Schedule */15 * * * *. Duración promedio ~3 minutos.

run_simulator → run_silver → run_dim_customer → run_dim_date → run_dim_location → run_dim_network → run_fct_cdr

Simulador CDR

Genera CDRs con distribución Erlang ajustada a hora Chile (America/Santiago). 25 clientes fijos (18 B2C + 7 B2B). Volumen por ciclo según franja horaria:

Franja Hora Chile CDRs
Madrugada 00-05h 1-3
Mañana 06-11h 8-16
Tarde 12-17h 12-23
Noche 18-23h 20-40

Cómo ejecutar

# Generar CDRs e insertar en Bronze
python simulator/cdr_simulator.py

# Correr transformaciones localmente
cd dbt/nearrt_billing
dbt run --target dev
dbt test --target dev

Estructura del proyecto

gs-gcp-nearrt-billing/
├── simulator/
│   ├── cdr_simulator.py     # Simulador CDR con perfil Erlang
│   └── requirements.txt
├── dags/
│   └── billing_pipeline.py  # DAG Airflow con BigQueryInsertJobOperator
├── dbt/
│   └── nearrt_billing/
│       ├── models/
│       │   ├── silver/      # stg_cdr
│       │   └── gold/        # dims + fct_cdr
│       └── macros/
├── infra/
│   └── cdr_raw_schema.json  # Schema Bronze 23 columnas
└── scripts/
    └── sync_composer.sh     # Sincronización al bucket de Composer

Decisiones de arquitectura

  • ADR-001 — dbt en desarrollo, BigQueryInsertJobOperator en producción: dbt tiene latencia de ~8 min por tarea en Composer 3. BigQueryInsertJobOperator usa credenciales nativas y ejecuta en 2-5 segundos.
  • ADR-002 — Cosmos/Astronomer descartado: el overhead de Cosmos agrava la latencia de dbt. Se usan operadores nativos de Airflow.
  • ADR-003 — Dimensiones en secuencia: evita saturar los workers de Composer small (1-2 workers disponibles). Pipeline completo en menos de 3 minutos.

About

Pipeline near real-time de facturación telco sobre GCP. CDR simulator · BigQuery Bronze/Silver/Gold · Cloud Composer · Looker Studio. Latencia 24h → 15 min.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages