Glam-ETL: print out script statements

This commit is contained in:
Arkadiusz Komarzewski 2022-04-28 11:06:12 +02:00 коммит произвёл akkomar
Родитель eece42110c
Коммит a2693b8f98
4 изменённых файлов: 5 добавлений и 4 удалений

Просмотреть файл

@ -2,7 +2,7 @@
# To be run in glam via:
# docker-compose run server ./manage.py import_glean_aggs
set -e
set -ex
src_project=${SRC_PROJECT:-glam-fenix-dev}
# TODO: glam-dev-bespoke-nonprod-dataops-mozgcp-net
@ -22,4 +22,3 @@ bq extract --destination_format CSV --noprint_header \
"${src_project}:${dataset}.${product}__extract_user_counts_v1" \
"$bucket/glam-extract-${product}-counts.csv"

Просмотреть файл

@ -1,5 +1,7 @@
#!/bin/bash
set -ex
# import run_query procedure from run_glam_sql without running the script
PROJECT=${PROJECT:-moz-fx-data-shared-prod}
DST_PROJECT=${DST_PROJECT:-$PROJECT}

Просмотреть файл

@ -1,6 +1,6 @@
#!/bin/bash
set -e
set -ex
function write_scalars {
local product=$1

Просмотреть файл

@ -2,7 +2,7 @@
# Run the scalars sql job against all Glean pings in a product. Assumes that
# generate_fenix_sql has already been run.
set -e
set -ex
# `date` is not consistent across MacOS and GNU/Linux
function yesterday {