Partition templates are not using `$` to separate partition designation. (#3757)

This commit is contained in:
wil stuckey 2023-05-03 16:05:27 -05:00 коммит произвёл GitHub
Родитель 23dfc04e63
Коммит 9ab5bcbf3e
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: 4AEE18F83AFDEB23
2 изменённых файлов: 4 добавлений и 4 удалений

Просмотреть файл

@ -357,15 +357,15 @@ class Task:
):
match metadata.bigquery.time_partitioning.type:
case PartitionType.YEAR:
partition_template = '{{ dag_run.logical_date.strftime("%Y") }}'
partition_template = '${{ dag_run.logical_date.strftime("%Y") }}'
case PartitionType.MONTH:
partition_template = '{{ dag_run.logical_date.strftime("%Y%m") }}'
partition_template = '${{ dag_run.logical_date.strftime("%Y%m") }}'
case PartitionType.DAY:
# skip for the default case of daily partitioning
partition_template = None
case PartitionType.HOUR:
partition_template = (
'{{ dag_run.logical_date.strftime("%Y%m%d%H") }}'
'${{ dag_run.logical_date.strftime("%Y%m%d%H") }}'
)
case _:
raise TaskParseException(

Просмотреть файл

@ -51,6 +51,6 @@ with DAG(
owner="wstuckey@mozilla.com",
email=["wstuckey@mozilla.com"],
date_partition_parameter="submission_date",
table_partition_template='{{ dag_run.logical_date.strftime("%Y%m") }}',
table_partition_template='${{ dag_run.logical_date.strftime("%Y%m") }}',
depends_on_past=False,
)