Merge pull request #378 from mozilla/bug/1809624/graphics_telemetry-dataproc_cluster-init-failure

bug(1809624): tweaked package requirements to use git for installing the moztelemetry package
This commit is contained in:
kik-kik 2023-01-13 14:50:56 +01:00 коммит произвёл GitHub
Родитель a8dbc07338 423a62c6b4
Коммит 069ed0f5e1
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: 4AEE18F83AFDEB23
2 изменённых файлов: 2 добавлений и 2 удалений

Просмотреть файл

@ -15,7 +15,7 @@ fi
gcloud dataproc clusters create graphics-test-cluster \
--image-version=1.5 \
--region=us-central1 \
--metadata='PIP_PACKAGES=python_moztelemetry git+https://github.com/FirefoxGraphics/telemetry.git#egg=pkg&subdirectory=analyses/bigquery_shim boto3==1.16.20 six==1.15.0' \
--metadata='PIP_PACKAGES=git+https://github.com/mozilla/python_moztelemetry.git@v0.10.2#egg=python-moztelemetry git+https://github.com/FirefoxGraphics/telemetry.git#egg=pkg&subdirectory=analyses/bigquery_shim boto3==1.16.20 six==1.15.0' \
--num-workers=2 \
--worker-machine-type=n2-highmem-4 \
--properties "core:fs.s3.awsAccessKeyId=$AWS_ACCESS_KEY_ID,core:fs.s3.awsSecretAccessKey=$AWS_SECRET_ACCESS_KEY,spark-env:AWS_ACCESS_KEY_ID=$AWS_ACCESS_KEY_ID,spark-env:AWS_SECRET_ACCESS_KEY=$AWS_SECRET_ACCESS_KEY" \

Просмотреть файл

@ -35,7 +35,7 @@ setup(
'numpy==1.19.4',
'pandas==1.1.4',
'pyspark==2.3.2',
'python_moztelemetry==0.10.2',
'python-moztelemetry @ git+http://github.com/mozilla/python_moztelemetry.git@v0.10.2#egg=python-moztelemetry',
'requests-toolbelt==0.9.1',
'requests==2.25.0',
'scipy==1.5.4',