Fix minor issues with avro convention and missing avro_load call

This commit is contained in:
Anthony Miyaguchi 2019-11-06 16:27:41 -05:00 коммит произвёл Anthony Miyaguchi
Родитель b2b512c3b4
Коммит 8e2dadc89b
2 изменённых файлов: 2 добавлений и 2 удалений

Просмотреть файл

@ -85,7 +85,7 @@ def aggregate_metrics(
channels,
"normalized_app_name <> 'Fennec'"
)
fennec_pings = dataset.load(
fennec_pings = dataset.load_avro(
avro_prefix,
"saved_session",
submission_date,

Просмотреть файл

@ -144,7 +144,7 @@ class BigQueryDataset:
filters.append(filter_clause)
df = self.spark.read.format("avro").load(
"{prefix}/submission_date={submission_date}/telemetry_{doc_type}_{doc_version}".format(
"{prefix}/{submission_date}/{doc_type}_{doc_version}".format(
prefix=prefix,
submission_date=submission_date,
doc_type=doc_type,