Updating layout in draft to sync with AIF
|
@ -1,4 +0,0 @@
|
|||
---
|
||||
sort: 1
|
||||
---
|
||||
# Key Project Stakholders <-> Guide Mapping
|
|
@ -0,0 +1,38 @@
|
|||
---
|
||||
sort: 1
|
||||
---
|
||||
# Project Accelerator Stages
|
||||
|
||||
This Project Accelerator is logically executed across 4 sequential sections.
|
||||
|
||||
1. ML Ops Foundations: Pre-kick off enablement on core Dev Ops, ML Ops fundamentals, such as:
|
||||
* Dev Ops Overview:
|
||||
* Key principles
|
||||
* Culture
|
||||
* CI/CD
|
||||
* What is Infrastructure as Code
|
||||
* ML Ops Overview:
|
||||
* ML Ops v. Dev Ops
|
||||
* Key Principles and Maturity Model
|
||||
* Skills Roles and Responsibilities
|
||||
|
||||
2. Design for ML Ops with AML: Infrastructure + Service Management Design, such as:
|
||||
* AML Foundations:
|
||||
* Key Architecture Concepts
|
||||
* ML Ops with AML
|
||||
* ML Ops Service Management:
|
||||
* Process Maps (who does what, where)
|
||||
* Infrastructure Design:
|
||||
* Technology Choice Guides
|
||||
* Reference Architectures + custom scenarios where known (e.g., attach existing ACR)
|
||||
* Map team Roles to RBAC
|
||||
* Validation Checklists
|
||||
* WAF Reviews
|
||||
|
||||
3. Deploy: Infrastructure templates and validation checklists to provision resources per design
|
||||
* Templates for deployment – ARM, Terraform
|
||||
* Validation test scripts. Validate that the environment is working as intended.
|
||||
|
||||
4. Migrate/ Operate: A reference implementation of ML Ops using AML that can be used to move your existing models
|
||||
* Code artefacts to move your first workload (existing model) onto AML and "MLOPs" it across the newly created environments
|
||||
* Operational best practices
|
|
@ -0,0 +1,76 @@
|
|||
---
|
||||
sort: 2
|
||||
---
|
||||
# Key Project Roles and Responsibilities
|
||||
|
||||
A good Data Science process requires clear definition of the roles and the responsibilities for each role. A single person may play more than one roles (e.g. the DevOps Engineer and MLOps Engineer roles) or there may be more than one person working on a role. The distribution of responsibilities across roles will be dependant on the skills of the individuals in the team, therefore the roles and responsibilities are likely to evolve over time, especially as the team gets mature in MLOps practices.Additionally, implementing this project also requires supporting roles with skills in Azure infrastructure architecture and administration - essentially the pool of IT skills and resources required to stand up the platform to an enterprise standard.
|
||||
|
||||
There is no value realised from a data scientist having to get involved in the depths of Azure networking, or an Azure infrastructure administrator having to be understand the specifics of ML Ops. Hence this project accelerator then attempts to align these skills and roles to the relevant project stages and content to simplify the adoption journey for ML Ops on Azure.
|
||||
|
||||
A reference set of key roles and responsibilities are below. A subset of these roles, specifically those relevant to project management tasks might only exist for the duration of this specific project, while the others remain relevant to the continued operation and evolution of the ML Ops practice in your organisation. In principle, the titles are less relevant as to having clear accountablities and skills required to meet the responsibilities outlined below.
|
||||
|
||||
* **Group Manager:**
|
||||
* Ownership of the MLOps process
|
||||
* Create group account on a code hosting platform
|
||||
* Create a project template repository
|
||||
* Set of standardised document templates
|
||||
* **Team Lead:**
|
||||
* Architectural Blueprints & guidance
|
||||
* Responsible for project templates & Team Utilities
|
||||
* Team setup with appropriate skills for each project
|
||||
* **Project Lead:**
|
||||
* Provision team project in the code hosting and development platforms (e.g. Azure DevOps, Github, Azure ML)
|
||||
* Key technical decisions on use of frameworks, libraries etc.
|
||||
* **Solution Architect:**
|
||||
* Technical architecture
|
||||
* Technical advice and guidance throughout the project
|
||||
* **Azure Infrastructure Engineer/ Administrator:**
|
||||
* Deploy and configure relevant Azure services in line with the designed architecture and integrate with existing Azure footprint
|
||||
* Represent IT to assist with integrations with on prem workloads, such as network integrations with on prem edge devices
|
||||
* Implement Well Architected standards such as cost management and policy based governance
|
||||
* **Data Engineer:**
|
||||
* Fetch data from source system(s)
|
||||
* Cleanse data
|
||||
* Join, aggregate, conform data from various sources
|
||||
* Responsible for Data Quality
|
||||
* Data ingestion / processing Pipelines
|
||||
* **Data Scientist:**
|
||||
* Log experiments and metrics, Source control
|
||||
* Feature engineering
|
||||
* Model and Pipeline development
|
||||
* Model training & retraining
|
||||
* Model Repository
|
||||
* Manage Data Drift
|
||||
* **MLOps Engineer:**
|
||||
* Continuous Integration & Continuous Deployment
|
||||
* Deployment of code and pipelines across environments
|
||||
* Model performance metrics
|
||||
* Service performance metrics
|
||||
* **DevOps Engineer:**
|
||||
* Provision environments via Infrastructure as Code
|
||||
* Integrate MLOps within the end-to-end DevOps lifecycle
|
||||
* **Data Analyst:**
|
||||
* Initial analysis and reporting on the data
|
||||
* Visualisation and presentation of model results
|
||||
* **Application Developer:**
|
||||
* Call Data Science models via APIs
|
||||
* Unit testing
|
||||
* **Tester:**
|
||||
* Automated Testing via the model endpoint
|
||||
* Integration testing
|
||||
* **Product Owner / Business Analyst:**
|
||||
* Define business use case
|
||||
* Liaise with business and provide subject matter expertise
|
||||
* User stories
|
||||
* Prioritization
|
||||
* Project success criteria
|
||||
* **Project Manager:**
|
||||
* Project timelines
|
||||
* Resource allocation
|
||||
* Cost management
|
||||
* Vendor management
|
||||
* Stakeholder management
|
||||
* **Scrum Master:**
|
||||
* Facilitate scrum meetings
|
||||
* Clearing obstacles
|
||||
* Protecting the team from outside interruptions and distractions
|
|
@ -0,0 +1,12 @@
|
|||
---
|
||||
sort: 3
|
||||
---
|
||||
# Mapping Roles to Project Accelerator Stages
|
||||
|
||||
1. ML Ops Foundations:
|
||||
|
||||
2. Design for ML Ops with AML:
|
||||
|
||||
3. Deploy:
|
||||
|
||||
4. Migrate/ Operate:
|
|
@ -1,25 +1,38 @@
|
|||
---
|
||||
sort: 0
|
||||
---
|
||||
# Accelerator Guide
|
||||
# Project Accelerator Stages
|
||||
|
||||
**DRAFT**
|
||||
This Project Accelerator is logically executed across 4 sequential sections.
|
||||
|
||||
Accelerator is logically executed across 3 sequential sections.
|
||||
1. ML Ops Foundations: Pre-kick off enablement on core Dev Ops, ML Ops fundamentals, such as:
|
||||
* Dev Ops Overview:
|
||||
* Key principles
|
||||
* Culture
|
||||
* CI/CD
|
||||
* What is Infrastructure as Code
|
||||
* ML Ops Overview:
|
||||
* ML Ops v. Dev Ops
|
||||
* Key Principles and Maturity Model
|
||||
* Skills Roles and Responsibilities
|
||||
|
||||
1. AML Ops Design:
|
||||
* Operating Model (who does what, where?):
|
||||
* Maturity curve
|
||||
* Roles, responsibilities – MLOps
|
||||
* Roles responsibilities for the project scope
|
||||
* Skilling Plan – Prescriptive to roles. Not just “do Azure DS Associate”
|
||||
* Design of infrastructure layout from an operational standpoint. – Network, RBAC etc
|
||||
2. Design for ML Ops with AML: Infrastructure + Service Management Design, such as:
|
||||
* AML Foundations:
|
||||
* Key Architecture Concepts
|
||||
* ML Ops with AML
|
||||
* ML Ops Service Management:
|
||||
* Process Maps (who does what, where)
|
||||
* Infrastructure Design:
|
||||
* Technology Choice Guides
|
||||
* Reference Architectures + custom scenarios where known (e.g., attach existing ACR)
|
||||
* Map team Roles to RBAC
|
||||
* Validation Checklists
|
||||
* WAF Reviews
|
||||
|
||||
2. Deploy: Infrastructure provisioning
|
||||
3. Deploy: Infrastructure templates and validation checklists to provision resources per design
|
||||
* Templates for deployment – ARM, Terraform
|
||||
* Design Validation checklists
|
||||
* Validation test scripts. Validate that the environment is working as intended.
|
||||
|
||||
3. Migrate/ Operate:
|
||||
* Code artefacts to move your first workload (existing model) onto AML and MLOPs it.
|
||||
4. Migrate/ Operate: A reference implementation of ML Ops using AML that can be used to move your existing models
|
||||
* Code artefacts to move your first workload (existing model) onto AML and "MLOPs" it across the newly created environments
|
||||
* Operational best practices
|
||||
|
|
|
@ -1,6 +0,0 @@
|
|||
---
|
||||
sort: 1
|
||||
---
|
||||
# STAGE 1: DESIGN
|
||||
|
||||
This section provides a high level overview of ML Ops, the why (key motivations) and considerations
|
|
@ -0,0 +1,6 @@
|
|||
---
|
||||
sort: 1
|
||||
---
|
||||
# STAGE 0: ML Ops Foundations
|
||||
|
||||
This section focuses on Pre-kick off enablement on core Dev Ops, ML Ops fundamentals , the why (key motivations) and considerations relevant to all project roles
|
|
@ -1 +0,0 @@
|
|||
Subproject commit dd519c1657a6cd4ad30452c17b1b4b147074b78f
|
До Ширина: | Высота: | Размер: 6.5 KiB После Ширина: | Высота: | Размер: 6.5 KiB |
До Ширина: | Высота: | Размер: 24 KiB После Ширина: | Высота: | Размер: 24 KiB |
До Ширина: | Высота: | Размер: 5.7 KiB После Ширина: | Высота: | Размер: 5.7 KiB |
До Ширина: | Высота: | Размер: 5.3 KiB После Ширина: | Высота: | Размер: 5.3 KiB |
До Ширина: | Высота: | Размер: 8.5 KiB После Ширина: | Высота: | Размер: 8.5 KiB |
До Ширина: | Высота: | Размер: 17 KiB После Ширина: | Высота: | Размер: 17 KiB |
До Ширина: | Высота: | Размер: 20 KiB После Ширина: | Высота: | Размер: 20 KiB |
До Ширина: | Высота: | Размер: 7.9 KiB После Ширина: | Высота: | Размер: 7.9 KiB |
До Ширина: | Высота: | Размер: 9.1 KiB После Ширина: | Высота: | Размер: 9.1 KiB |
До Ширина: | Высота: | Размер: 945 KiB После Ширина: | Высота: | Размер: 945 KiB |
До Ширина: | Высота: | Размер: 962 KiB После Ширина: | Высота: | Размер: 962 KiB |
До Ширина: | Высота: | Размер: 948 KiB После Ширина: | Высота: | Размер: 948 KiB |
До Ширина: | Высота: | Размер: 1022 KiB После Ширина: | Высота: | Размер: 1022 KiB |
До Ширина: | Высота: | Размер: 944 KiB После Ширина: | Высота: | Размер: 944 KiB |
До Ширина: | Высота: | Размер: 937 KiB После Ширина: | Высота: | Размер: 937 KiB |
До Ширина: | Высота: | Размер: 7.0 KiB После Ширина: | Высота: | Размер: 7.0 KiB |
До Ширина: | Высота: | Размер: 9.5 KiB После Ширина: | Высота: | Размер: 9.5 KiB |
До Ширина: | Высота: | Размер: 6.7 KiB После Ширина: | Высота: | Размер: 6.7 KiB |
До Ширина: | Высота: | Размер: 12 KiB После Ширина: | Высота: | Размер: 12 KiB |
До Ширина: | Высота: | Размер: 22 KiB После Ширина: | Высота: | Размер: 22 KiB |
До Ширина: | Высота: | Размер: 13 KiB После Ширина: | Высота: | Размер: 13 KiB |
До Ширина: | Высота: | Размер: 40 KiB После Ширина: | Высота: | Размер: 40 KiB |
До Ширина: | Высота: | Размер: 2.8 KiB После Ширина: | Высота: | Размер: 2.8 KiB |
До Ширина: | Высота: | Размер: 46 KiB После Ширина: | Высота: | Размер: 46 KiB |
До Ширина: | Высота: | Размер: 4.2 KiB После Ширина: | Высота: | Размер: 4.2 KiB |
До Ширина: | Высота: | Размер: 3.3 KiB После Ширина: | Высота: | Размер: 3.3 KiB |
До Ширина: | Высота: | Размер: 25 KiB После Ширина: | Высота: | Размер: 25 KiB |
До Ширина: | Высота: | Размер: 3.5 KiB После Ширина: | Высота: | Размер: 3.5 KiB |
До Ширина: | Высота: | Размер: 83 KiB После Ширина: | Высота: | Размер: 83 KiB |
До Ширина: | Высота: | Размер: 4.8 KiB После Ширина: | Высота: | Размер: 4.8 KiB |
До Ширина: | Высота: | Размер: 19 KiB После Ширина: | Высота: | Размер: 19 KiB |
До Ширина: | Высота: | Размер: 31 KiB После Ширина: | Высота: | Размер: 31 KiB |
До Ширина: | Высота: | Размер: 77 KiB После Ширина: | Высота: | Размер: 77 KiB |
До Ширина: | Высота: | Размер: 15 KiB После Ширина: | Высота: | Размер: 15 KiB |
До Ширина: | Высота: | Размер: 2.6 KiB После Ширина: | Высота: | Размер: 2.6 KiB |
До Ширина: | Высота: | Размер: 3.2 KiB После Ширина: | Высота: | Размер: 3.2 KiB |
До Ширина: | Высота: | Размер: 7.4 KiB После Ширина: | Высота: | Размер: 7.4 KiB |
До Ширина: | Высота: | Размер: 12 KiB После Ширина: | Высота: | Размер: 12 KiB |
До Ширина: | Высота: | Размер: 13 KiB После Ширина: | Высота: | Размер: 13 KiB |
До Ширина: | Высота: | Размер: 19 KiB После Ширина: | Высота: | Размер: 19 KiB |
До Ширина: | Высота: | Размер: 34 KiB После Ширина: | Высота: | Размер: 34 KiB |
До Ширина: | Высота: | Размер: 15 KiB После Ширина: | Высота: | Размер: 15 KiB |
До Ширина: | Высота: | Размер: 19 KiB После Ширина: | Высота: | Размер: 19 KiB |
До Ширина: | Высота: | Размер: 2.5 KiB После Ширина: | Высота: | Размер: 2.5 KiB |
До Ширина: | Высота: | Размер: 2.1 KiB После Ширина: | Высота: | Размер: 2.1 KiB |
До Ширина: | Высота: | Размер: 322 KiB После Ширина: | Высота: | Размер: 322 KiB |
До Ширина: | Высота: | Размер: 7.2 KiB После Ширина: | Высота: | Размер: 7.2 KiB |
До Ширина: | Высота: | Размер: 1.7 KiB После Ширина: | Высота: | Размер: 1.7 KiB |
До Ширина: | Высота: | Размер: 82 KiB После Ширина: | Высота: | Размер: 82 KiB |
До Ширина: | Высота: | Размер: 41 KiB После Ширина: | Высота: | Размер: 41 KiB |
До Ширина: | Высота: | Размер: 114 KiB После Ширина: | Высота: | Размер: 114 KiB |
До Ширина: | Высота: | Размер: 227 KiB После Ширина: | Высота: | Размер: 227 KiB |
До Ширина: | Высота: | Размер: 638 KiB После Ширина: | Высота: | Размер: 638 KiB |
До Ширина: | Высота: | Размер: 44 KiB После Ширина: | Высота: | Размер: 44 KiB |
До Ширина: | Высота: | Размер: 50 KiB После Ширина: | Высота: | Размер: 50 KiB |
До Ширина: | Высота: | Размер: 76 KiB После Ширина: | Высота: | Размер: 76 KiB |
До Ширина: | Высота: | Размер: 36 KiB После Ширина: | Высота: | Размер: 36 KiB |
До Ширина: | Высота: | Размер: 36 KiB После Ширина: | Высота: | Размер: 36 KiB |
До Ширина: | Высота: | Размер: 45 KiB После Ширина: | Высота: | Размер: 45 KiB |
До Ширина: | Высота: | Размер: 63 KiB После Ширина: | Высота: | Размер: 63 KiB |
До Ширина: | Высота: | Размер: 90 KiB После Ширина: | Высота: | Размер: 90 KiB |
До Ширина: | Высота: | Размер: 133 KiB После Ширина: | Высота: | Размер: 133 KiB |
До Ширина: | Высота: | Размер: 58 KiB После Ширина: | Высота: | Размер: 58 KiB |
До Ширина: | Высота: | Размер: 54 KiB После Ширина: | Высота: | Размер: 54 KiB |
До Ширина: | Высота: | Размер: 92 KiB После Ширина: | Высота: | Размер: 92 KiB |
До Ширина: | Высота: | Размер: 74 KiB После Ширина: | Высота: | Размер: 74 KiB |
До Ширина: | Высота: | Размер: 268 KiB После Ширина: | Высота: | Размер: 268 KiB |
До Ширина: | Высота: | Размер: 30 KiB После Ширина: | Высота: | Размер: 30 KiB |
До Ширина: | Высота: | Размер: 85 KiB После Ширина: | Высота: | Размер: 85 KiB |
До Ширина: | Высота: | Размер: 2.4 KiB После Ширина: | Высота: | Размер: 2.4 KiB |
До Ширина: | Высота: | Размер: 96 KiB После Ширина: | Высота: | Размер: 96 KiB |
До Ширина: | Высота: | Размер: 43 KiB После Ширина: | Высота: | Размер: 43 KiB |
До Ширина: | Высота: | Размер: 92 KiB После Ширина: | Высота: | Размер: 92 KiB |