Update ingestASimSampleData.py

This commit is contained in:
Manish Kumar 2024-10-08 12:03:38 +05:30 коммит произвёл GitHub
Родитель 6adb9826eb
Коммит c65a692e86
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: B5690EEEBB952194
1 изменённых файлов: 2 добавлений и 0 удалений

Просмотреть файл

@ -303,6 +303,7 @@ for file in parser_yaml_files:
continue
print(f"Starting ingestion for sample data present in {file}")
asim_parser_url = f'{SENTINEL_REPO_RAW_URL}/{commit_number}/{file}'
print(f"Reading Asim Parser file from {asim_parser_url}")
asim_parser = read_github_yaml(asim_parser_url)
parser_query = asim_parser.get('ParserQuery', '')
normalization = asim_parser.get('Normalization', {})
@ -312,6 +313,7 @@ for file in parser_yaml_files:
SampleDataFile = f'{event_vendor}_{event_product}_{schema}_IngestedLogs.csv'
sample_data_url = f'{SENTINEL_REPO_RAW_URL}/{commit_number}/{SAMPLE_DATA_PATH}'
SampleDataUrl = sample_data_url+SampleDataFile
print(f"Sample data log file reading from url: {SampleDataUrl}")
response = requests.get(SampleDataUrl)
if response.status_code == 200:
with open('tempfile.csv', 'wb') as file: