Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion pyproject.toml
Original file line number Diff line number Diff line change
Expand Up @@ -7,7 +7,7 @@ build-backend = "setuptools.build_meta"

[project]
name = "datateam_moss"
version = "0.2.22"
version = "0.2.23"
authors = [
{ name="XX", email="x@x.nl" }
]
Expand Down
3 changes: 2 additions & 1 deletion src/datateam_moss/__init__.py
Original file line number Diff line number Diff line change
Expand Up @@ -10,4 +10,5 @@
from datateam_moss.spark_io_utils import *
from datateam_moss.logger import *
from datateam_moss.initialization import *
from datateam_moss.verwerk_bbga import *
from datateam_moss.verwerk_bbga import *
from datateam_moss.transform_context import *
213 changes: 213 additions & 0 deletions src/datateam_moss/cleaning.py
Original file line number Diff line number Diff line change
@@ -1,6 +1,7 @@
# Databricks notebook source
from datateam_moss.logger import get_logger
from datateam_moss import spark_io_utils as siu
from datateam_moss.transform_context import TransformContext

from databricks.sdk.runtime import *
from pyspark.sql import functions as F
Expand Down Expand Up @@ -213,6 +214,7 @@ def cast_columns_from_schema(df: DataFrame, table_schema: Dict[str, Any]) -> Dat

return df

#DEPRECATED, gebruik run_cleansing_transformations
def cleanse_and_prep_dataframe(df: DataFrame, table_schema: Dict, m_columns: List[str], runtime: datetime, rename_columns:List = None ) -> DataFrame:
"""
Leest data uit de bron tabel, plakt de extra records onderaan en schrijft deze weg naar de doeltabel.
Expand Down Expand Up @@ -284,4 +286,215 @@ def cleanse_and_prep_dataframe(df: DataFrame, table_schema: Dict, m_columns: Lis

df = cast_columns_from_schema(df=df, table_schema=table_schema)

return df

def cast_columns_to_booleans(df: DataFrame, ctx: TransformContext) -> DataFrame:
"""
Converteer alle geconfigureerde boolean-kolommen naar een Databricks-compatibel formaat.

Args:
df: Het bron DataFrame.
ctx: De transformatie-context met schema-informatie.
"""
for column in siu.get_columns_by_type(
ctx.table_schema,
"BooleanType()",
):
if column not in df.columns:
raise KeyError(f"Column '{column}' not found in DataFrame")

df = df.withColumn(
column,
to_databricks_boolean_column(column),
)

return df

def cast_columns_to_dates(df: DataFrame, ctx: TransformContext) -> DataFrame:
"""
Parse en formatteer alle geconfigureerde datumkolommen.

Args:
df: Het bron DataFrame.
ctx: De transformatie-context met schema-informatie.

"""
for column in siu.get_columns_by_type(ctx.table_schema,"DateType()"):

if column not in df.columns:
raise KeyError(f"Column '{column}' not found in DataFrame")

try:
df = df.withColumn(
column,
F.to_date(F.col(column), "yyyy-MM-dd")
)

except Exception:
try:
df = parse_and_format_date(
df=df,
date_column=column,
output_format=ctx.date_output_format
)

except Exception as e:
raise e
logger.error(
f"Kon datumkolom '{column}' niet converteren: {e}"
)

return df



def cast_columns_to_timestamp(
df: DataFrame,
ctx: TransformContext,
) -> DataFrame:
"""
Converteer timestamp-kolommen van een ISO-8601 tekenreeks naar een Spark timestamp.

Args:
df: Het bron DataFrame.
ctx: De transformatie-context met schema-informatie.
"""
for column in siu.get_columns_by_type(
ctx.table_schema,
"TimestampType()",
):
if column not in df.columns:
raise KeyError(f"Column '{column}' not found in DataFrame")

df = df.withColumn(
column,
F.to_timestamp(
F.col(column),
"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'",
),
)

return df


def convert_columns_to_dutch_timezone(
df: DataFrame,
ctx: TransformContext,
) -> DataFrame:
"""
Zet UTC-timestamps om naar de Nederlandse tijdzone (Europe/Amsterdam).

Args:
df: Het bron DataFrame.
ctx: De transformatie-context met schema-informatie.
"""
for column in siu.get_columns_by_type(
ctx.table_schema,
"TimestampType()",
):
if column not in df.columns:
raise KeyError(f"Column '{column}' not found in DataFrame")

df = df.withColumn(
column,
F.from_utc_timestamp(
F.col(column),
"Europe/Amsterdam",
),
)

return df


def cast_string_columns_to_decimal_to_integer(
df: DataFrame,
ctx: TransformContext,
) -> DataFrame:
"""
Converteer integer-kolommen via een tussenstap naar Decimal en vervolgens naar Integer.

Dit wordt gebruikt wanneer numerieke waarden als tekenreeks worden aangeleverd.

Args:
df: Het bron DataFrame.
ctx: De transformatie-context met schema-informatie.
"""
for column in siu.get_columns_by_type(
ctx.table_schema,
"IntegerType()",
):
if column not in df.columns:
raise KeyError(f"Column '{column}' not found in DataFrame")

df = df.withColumn(
column,
F.col(column)
.cast(DecimalType(10, 0))
.cast(IntegerType()),
)

return df

def cast_columns_to_decimal(
df: DataFrame,
ctx: TransformContext,
) -> DataFrame:
"""
Converteer alle geconfigureerde decimale kolommen naar het gewenste datatype.

Args:
df: Het bron DataFrame.
ctx: De transformatie-context met schema-informatie.
"""
for column_def in ctx.table_schema.get("columns", []):
column_type = column_def.get("type")
column_name = column_def.get("name")

if not column_type.startswith("DecimalType"):
Comment thread
koen-ams marked this conversation as resolved.
Resolved
continue

if column_name not in df.columns:
Comment thread
koen-ams marked this conversation as resolved.
Resolved
raise KeyError(f"Column '{column_name}' not found in DataFrame")

spark_type = siu._parse_spark_type(column_type)

if ctx.translate_comma_to_dot:
df = df.withColumn(column_name, F.translate(F.col(column_name), ",", "."))

df = df.withColumn(column_name, F.col(column_name).cast(spark_type))

return df

def cast_schema(
df: DataFrame,
ctx: TransformContext) -> DataFrame:
"""
Converteer alle kolommen naar het type dat is opgegeven in het schema.

Args:
df: Het bron DataFrame.
ctx: De transformatie-context met schema-informatie.
"""

return cast_columns_from_schema(df=df, table_schema=ctx.table_schema)

def run_cleansing_transformations(
df: DataFrame,
ctx: TransformContext,
transformations: List[Callable[[DataFrame, TransformContext], DataFrame]],
) -> DataFrame:
"""
Voer alle transformaties uit die onderdeel zijn van de ETL-pijplijn.

Args:
df: Het bron DataFrame.
ctx: De transformatie-context.
transformations: Geordende lijst met transformatiefuncties.

Returns:
Het getransformeerde DataFrame nadat alle stappen zijn uitgevoerd.
"""
for transformation in transformations:
df = transformation(df, ctx)

return df
20 changes: 19 additions & 1 deletion src/datateam_moss/spark_io_utils.py
Original file line number Diff line number Diff line change
Expand Up @@ -437,4 +437,22 @@ def write_to_table(
logger.info(f"Data succesvol geschreven naar tabel {target_table}.")
except Exception as e:
logger.error(f"Fout bij het schrijven naar tabel {target_table}: {e}")
raise # Laat de fout opnieuw opgooien om de pipeline te laten stoppen
raise # Laat de fout opnieuw opgooien om de pipeline te laten stoppen

def get_columns_by_type(
table_schema: Dict[str, Any],
spark_type_name: str,
) -> List[str]:
"""
Haal alle kolomnamen uit het schema op die overeenkomen met het opgegeven Spark-type.

Args:
table_schema: Definitie van het tabelschema met een collectie van kolommen.
spark_type_name: Naam van het Spark-type waarop gefilterd wordt
(bijvoorbeeld ``"DateType()"``).
"""
return [
c["name"]
for c in table_schema.get("columns", [])
if c["type"] == spark_type_name
]
14 changes: 14 additions & 0 deletions src/datateam_moss/transform_context.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,14 @@
from typing import *
from datetime import datetime
from dataclasses import dataclass

@dataclass
class TransformContext:
"""Context object die de configuratie bevat voor datatransformaties"""

table_schema: Dict[str, Any]
m_columns: Optional[List[str]] = None
runtime: Optional[datetime] = None
rename_columns: Optional[List[Dict[str, str]]] = None
date_output_format: Optional[str] = None
translate_comma_to_dot: bool = False
Loading