Los equipos de billing no tenían visibilidad del saldo de clientes prepago ni de cruces a tarifa premium hasta el día siguiente. Con ciclos de facturación de 24 horas, la red seguía operando con clientes en saldo cero, los híbridos cruzaban a tarifa premium sin aviso, y las campañas de recarga se disparaban con datos de ayer.
Un pipeline near real-time que procesa CDRs cada 15 minutos y expone alertas de billing con latencia mínima. El equipo de operaciones abre el dashboard y ve en tiempo casi real qué clientes tienen saldo agotado, cuáles cruzaron a tarifa premium, y quiénes son candidatos a campaña de recarga — sin esperar el batch nocturno.
Construido sobre GCP con arquitectura Medallion y modelo estrella Kimball. Corre automáticamente cada 15 minutos. Sin intervención manual.
→ Dashboard en vivo — actualizado cada 15 minutos.
Simulador CDR (Python + Faker)
│
▼
BigQuery Bronze — cdr_raw (landing zone, particionado por día)
│
▼
BigQuery Silver — stg_cdr (view limpia y tipificada)
│
▼
BigQuery Gold — modelo estrella Kimball
┌────────────────┬─────────────────┬──────────────┐
▼ ▼ ▼ ▼
dim_customer dim_date dim_location dim_network
│
▼
fct_cdr (particionada por event_date)
│
▼
Looker Studio — Billing Monitor RM
| Capa | Tecnología |
|---|---|
| Simulación | Python 3.11 · Faker · perfil Erlang hora Chile |
| Almacenamiento | BigQuery Bronze / Silver / Gold |
| Transformaciones | BigQueryInsertJobOperator (SQL nativo) |
| Modelado | dbt 1.9 · dbt_utils (desarrollo local y documentación) |
| Orquestación | Cloud Composer 3 · Airflow 2.10.5 |
| Visualización | Looker Studio |
Bronze — landing zone con schema 3GPP. 23 columnas, todo NULLABLE. Particionado por record_opening_time.
Silver — view limpia con tipificación, trimming y normalización de campos. Sin movimiento de datos.
Gold — modelo estrella Kimball con 4 dimensiones y tabla de hechos particionada por event_date. Reconstruida en cada ciclo de 15 minutos.
Schedule */15 * * * *. Duración promedio ~3 minutos.
run_simulator → run_silver → run_dim_customer → run_dim_date → run_dim_location → run_dim_network → run_fct_cdr
Genera CDRs con distribución Erlang ajustada a hora Chile (America/Santiago). 25 clientes fijos (18 B2C + 7 B2B). Volumen por ciclo según franja horaria:
| Franja | Hora Chile | CDRs |
|---|---|---|
| Madrugada | 00-05h | 1-3 |
| Mañana | 06-11h | 8-16 |
| Tarde | 12-17h | 12-23 |
| Noche | 18-23h | 20-40 |
# Generar CDRs e insertar en Bronze
python simulator/cdr_simulator.py
# Correr transformaciones localmente
cd dbt/nearrt_billing
dbt run --target dev
dbt test --target dev
gs-gcp-nearrt-billing/
├── simulator/
│ ├── cdr_simulator.py # Simulador CDR con perfil Erlang
│ └── requirements.txt
├── dags/
│ └── billing_pipeline.py # DAG Airflow con BigQueryInsertJobOperator
├── dbt/
│ └── nearrt_billing/
│ ├── models/
│ │ ├── silver/ # stg_cdr
│ │ └── gold/ # dims + fct_cdr
│ └── macros/
├── infra/
│ └── cdr_raw_schema.json # Schema Bronze 23 columnas
└── scripts/
└── sync_composer.sh # Sincronización al bucket de Composer
- ADR-001 — dbt en desarrollo, BigQueryInsertJobOperator en producción: dbt tiene latencia de ~8 min por tarea en Composer 3. BigQueryInsertJobOperator usa credenciales nativas y ejecuta en 2-5 segundos.
- ADR-002 — Cosmos/Astronomer descartado: el overhead de Cosmos agrava la latencia de dbt. Se usan operadores nativos de Airflow.
- ADR-003 — Dimensiones en secuencia: evita saturar los workers de Composer small (1-2 workers disponibles). Pipeline completo en menos de 3 minutos.