зеркало из https://github.com/mozilla/gecko-dev.git
Bug 1880115 - Replace web-de test with bild-de. r=perftest-reviewers,kshampur
This patch replaces the web-de test with bild-de since the web-de test can no longer be re-recorded due to the full-page cookie banner that is shown there. Differential Revision: https://phabricator.services.mozilla.com/D202226
This commit is contained in:
Greg Mierzwinski
Родитель
cd51108f13
Коммит
3b2b832cca
|
|
@ -115,7 +115,7 @@ browsertime-tp6m:
|
||||||
- reddit
|
- reddit
|
||||||
- sina
|
- sina
|
||||||
- [stackoverflow, stacko]
|
- [stackoverflow, stacko]
|
||||||
- web-de
|
- bild-de
|
||||||
- wikipedia
|
- wikipedia
|
||||||
- youtube
|
- youtube
|
||||||
run-on-projects:
|
run-on-projects:
|
||||||
|
|
@ -292,7 +292,7 @@ browsertime-tp6m-live:
|
||||||
- [stackoverflow, stacko]
|
- [stackoverflow, stacko]
|
||||||
- [stackoverflow-question, stack-q]
|
- [stackoverflow-question, stack-q]
|
||||||
- [urbandictionary-define, urbict-def]
|
- [urbandictionary-define, urbict-def]
|
||||||
- web-de
|
- bild-de
|
||||||
- [wikia-marvel, wikia-m]
|
- [wikia-marvel, wikia-m]
|
||||||
- wikipedia
|
- wikipedia
|
||||||
- youtube
|
- youtube
|
||||||
|
|
|
||||||
|
|
@ -29839,6 +29839,137 @@ Page-load performance test suite on Android. The links direct to the actual webs
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
.. dropdown:: bild-de
|
||||||
|
:class-container: anchor-id-bild-de-m
|
||||||
|
|
||||||
|
**Owner**: PerfTest Team
|
||||||
|
|
||||||
|
* **alert on**: fcp, loadtime, ContentfulSpeedIndex, PerceptualSpeedIndex, SpeedIndex, FirstVisualChange, LastVisualChange, largestContentfulPaint
|
||||||
|
* **alert threshold**: 2.0
|
||||||
|
* **apps**: geckoview, fenix, refbrow, chrome-m
|
||||||
|
* **benchmark page**: true
|
||||||
|
* **browser cycles**: 15
|
||||||
|
* **expected**: pass
|
||||||
|
* **lower is better**: true
|
||||||
|
* **page cycles**: 25
|
||||||
|
* **page timeout**: 60000
|
||||||
|
* **playback**: mitmproxy-android
|
||||||
|
* **playback pageset manifest**: mitm8-android-fenix-bild-de.manifest
|
||||||
|
* **playback version**: 8.1.1
|
||||||
|
* **test url**: `<https://www.bild.de/sport/american-football/nfl/super-bowl-rekordquote-fuer-die-nfl-87139668.bild.html>`__
|
||||||
|
* **type**: pageload
|
||||||
|
* **unit**: ms
|
||||||
|
* **use live sites**: false
|
||||||
|
* **Test Task**:
|
||||||
|
|
||||||
|
.. list-table:: **test-android-hw-a51-11-0-aarch64-qr/opt**
|
||||||
|
:widths: 30 15 15 15 15
|
||||||
|
:header-rows: 1
|
||||||
|
|
||||||
|
* - **Test Name**
|
||||||
|
- mozilla-central
|
||||||
|
- autoland
|
||||||
|
- mozilla-release
|
||||||
|
- mozilla-beta
|
||||||
|
* - **browsertime-tp6m-fenix-bild-de**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-fenix-bild-de-nofis**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-geckoview-bild-de**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-geckoview-bild-de-nofis**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-live-fenix-bild-de-nofis**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-live-geckoview-bild-de-nofis**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-refbrow-bild-de**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
|
||||||
|
|
||||||
|
.. list-table:: **test-android-hw-a51-11-0-aarch64-shippable-qr/opt**
|
||||||
|
:widths: 30 15 15 15 15
|
||||||
|
:header-rows: 1
|
||||||
|
|
||||||
|
* - **Test Name**
|
||||||
|
- mozilla-central
|
||||||
|
- autoland
|
||||||
|
- mozilla-release
|
||||||
|
- mozilla-beta
|
||||||
|
* - **browsertime-tp6m-chrome-m-bild-de**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-chrome-m-bild-de-nofis**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-fenix-bild-de**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-fenix-bild-de-nofis**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-geckoview-bild-de**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-geckoview-bild-de-nofis**
|
||||||
|
- ✅
|
||||||
|
- ✅
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-live-chrome-m-bild-de-nofis**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-live-fenix-bild-de-nofis**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-live-geckoview-bild-de-nofis**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
* - **browsertime-tp6m-refbrow-bild-de**
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
- ❌
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
.. dropdown:: bing
|
.. dropdown:: bing
|
||||||
:class-container: anchor-id-bing-m
|
:class-container: anchor-id-bing-m
|
||||||
|
|
||||||
|
|
@ -34085,137 +34216,6 @@ Page-load performance test suite on Android. The links direct to the actual webs
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
.. dropdown:: web-de
|
|
||||||
:class-container: anchor-id-web-de-m
|
|
||||||
|
|
||||||
**Owner**: PerfTest Team
|
|
||||||
|
|
||||||
* **alert on**: fcp, loadtime, ContentfulSpeedIndex, PerceptualSpeedIndex, SpeedIndex, FirstVisualChange, LastVisualChange, largestContentfulPaint
|
|
||||||
* **alert threshold**: 2.0
|
|
||||||
* **apps**: geckoview, fenix, refbrow, chrome-m
|
|
||||||
* **benchmark page**: true
|
|
||||||
* **browser cycles**: 15
|
|
||||||
* **expected**: pass
|
|
||||||
* **lower is better**: true
|
|
||||||
* **page cycles**: 25
|
|
||||||
* **page timeout**: 60000
|
|
||||||
* **playback**: mitmproxy-android
|
|
||||||
* **playback pageset manifest**: mitm7-android-gve-p2-web-de.manifest
|
|
||||||
* **playback version**: 8.1.1
|
|
||||||
* **test url**: `<https://web.de/magazine/politik/politologe-glaubt-grossen-koalition-herbst-knallen-33563566>`__
|
|
||||||
* **type**: pageload
|
|
||||||
* **unit**: ms
|
|
||||||
* **use live sites**: false
|
|
||||||
* **Test Task**:
|
|
||||||
|
|
||||||
.. list-table:: **test-android-hw-a51-11-0-aarch64-qr/opt**
|
|
||||||
:widths: 30 15 15 15 15
|
|
||||||
:header-rows: 1
|
|
||||||
|
|
||||||
* - **Test Name**
|
|
||||||
- mozilla-central
|
|
||||||
- autoland
|
|
||||||
- mozilla-release
|
|
||||||
- mozilla-beta
|
|
||||||
* - **browsertime-tp6m-fenix-web-de**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-fenix-web-de-nofis**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-geckoview-web-de**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-geckoview-web-de-nofis**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-live-fenix-web-de-nofis**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-live-geckoview-web-de-nofis**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-refbrow-web-de**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
|
|
||||||
|
|
||||||
.. list-table:: **test-android-hw-a51-11-0-aarch64-shippable-qr/opt**
|
|
||||||
:widths: 30 15 15 15 15
|
|
||||||
:header-rows: 1
|
|
||||||
|
|
||||||
* - **Test Name**
|
|
||||||
- mozilla-central
|
|
||||||
- autoland
|
|
||||||
- mozilla-release
|
|
||||||
- mozilla-beta
|
|
||||||
* - **browsertime-tp6m-chrome-m-web-de**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-chrome-m-web-de-nofis**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-fenix-web-de**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-fenix-web-de-nofis**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-geckoview-web-de**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-geckoview-web-de-nofis**
|
|
||||||
- ✅
|
|
||||||
- ✅
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-live-chrome-m-web-de-nofis**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-live-fenix-web-de-nofis**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-live-geckoview-web-de-nofis**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
* - **browsertime-tp6m-refbrow-web-de**
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
- ❌
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
.. dropdown:: wikipedia
|
.. dropdown:: wikipedia
|
||||||
:class-container: anchor-id-wikipedia-m
|
:class-container: anchor-id-wikipedia-m
|
||||||
|
|
||||||
|
|
|
||||||
|
|
@ -18,6 +18,11 @@
|
||||||
"name": "amazon-search",
|
"name": "amazon-search",
|
||||||
"test_url": "https://www.amazon.com/s/ref=nb_sb_noss_2/139-6317191-5622045?url=search-alias%3Daps&field-keywords=mobile+phone"
|
"test_url": "https://www.amazon.com/s/ref=nb_sb_noss_2/139-6317191-5622045?url=search-alias%3Daps&field-keywords=mobile+phone"
|
||||||
},
|
},
|
||||||
|
{
|
||||||
|
"login": false,
|
||||||
|
"name": "bild-de",
|
||||||
|
"test_url": "https://www.bild.de/sport/american-football/nfl/super-bowl-rekordquote-fuer-die-nfl-87139668.bild.html"
|
||||||
|
},
|
||||||
{
|
{
|
||||||
"login": false,
|
"login": false,
|
||||||
"name": "bing",
|
"name": "bing",
|
||||||
|
|
@ -146,15 +151,6 @@
|
||||||
"name": "stackoverflow",
|
"name": "stackoverflow",
|
||||||
"test_url": "https://stackoverflow.com/"
|
"test_url": "https://stackoverflow.com/"
|
||||||
},
|
},
|
||||||
{
|
|
||||||
"login": false,
|
|
||||||
"name": "web-de",
|
|
||||||
"test_url": "https://web.de/magazine/politik/politologe-glaubt-grossen-koalition-herbst-knallen-33563566",
|
|
||||||
"dismiss_cookie_prompt": [
|
|
||||||
["click.byXpathAndWait", "//*[@id='edit-purpose-settings']"],
|
|
||||||
["click.byXpathAndWait", "//*[@id='save-purpose-settings']"]
|
|
||||||
]
|
|
||||||
},
|
|
||||||
{
|
{
|
||||||
"login": false,
|
"login": false,
|
||||||
"name": "wikipedia",
|
"name": "wikipedia",
|
||||||
|
|
|
||||||
|
|
@ -87,7 +87,7 @@ suites:
|
||||||
reddit: "BT, GV, FE, RB, CH-M"
|
reddit: "BT, GV, FE, RB, CH-M"
|
||||||
stackoverflow: "BT, GV, FE, RB, CH-M"
|
stackoverflow: "BT, GV, FE, RB, CH-M"
|
||||||
sina: "BT, GV, FE, RB, CH-M"
|
sina: "BT, GV, FE, RB, CH-M"
|
||||||
web-de: "BT, GV, FE, RB, CH-M"
|
bild-de: "BT, GV, FE, RB, CH-M"
|
||||||
wikipedia: "BT, GV, FE, RB, CH-M"
|
wikipedia: "BT, GV, FE, RB, CH-M"
|
||||||
youtube-watch: "BT, GV, FE, RB, CH-M"
|
youtube-watch: "BT, GV, FE, RB, CH-M"
|
||||||
live:
|
live:
|
||||||
|
|
|
||||||
|
|
@ -27,6 +27,10 @@ test_url = "https://www.amazon.com"
|
||||||
["amazon-search"]
|
["amazon-search"]
|
||||||
test_url = "https://www.amazon.com/s/ref=nb_sb_noss_2/139-6317191-5622045?url=search-alias%3Daps&field-keywords=mobile+phone"
|
test_url = "https://www.amazon.com/s/ref=nb_sb_noss_2/139-6317191-5622045?url=search-alias%3Daps&field-keywords=mobile+phone"
|
||||||
|
|
||||||
|
["bild-de"]
|
||||||
|
playback_pageset_manifest = "mitm8-android-fenix-{subtest}.manifest"
|
||||||
|
test_url = "https://www.bild.de/sport/american-football/nfl/super-bowl-rekordquote-fuer-die-nfl-87139668.bild.html"
|
||||||
|
|
||||||
["bing"]
|
["bing"]
|
||||||
test_url = "https://www.bing.com/"
|
test_url = "https://www.bing.com/"
|
||||||
|
|
||||||
|
|
@ -95,10 +99,6 @@ test_url = "https://www.sina.com.cn/"
|
||||||
["stackoverflow"]
|
["stackoverflow"]
|
||||||
test_url = "https://stackoverflow.com/"
|
test_url = "https://stackoverflow.com/"
|
||||||
|
|
||||||
["web-de"]
|
|
||||||
playback_pageset_manifest = "mitm7-android-gve-p2-web-de.manifest"
|
|
||||||
test_url = "https://web.de/magazine/politik/politologe-glaubt-grossen-koalition-herbst-knallen-33563566"
|
|
||||||
|
|
||||||
["wikipedia"]
|
["wikipedia"]
|
||||||
test_url = "https://en.m.wikipedia.org/wiki/Main_Page"
|
test_url = "https://en.m.wikipedia.org/wiki/Main_Page"
|
||||||
|
|
||||||
|
|
|
||||||
|
|
@ -1,9 +0,0 @@
|
||||||
[
|
|
||||||
{
|
|
||||||
"algorithm": "sha512",
|
|
||||||
"digest": "9f10db4616f7415dba946f056658126297928d1229e5d2e525f9f1dd539c954b9a90b7d81fa574002fd1127321d8f918a3102cae12054b218118b059702cde7f",
|
|
||||||
"filename": "mitm6-android-fenix-web-de.zip",
|
|
||||||
"size": 1891502,
|
|
||||||
"visibility": "public"
|
|
||||||
}
|
|
||||||
]
|
|
||||||
|
|
@ -0,0 +1,9 @@
|
||||||
|
[
|
||||||
|
{
|
||||||
|
"filename": "mitm8-android-fenix-bild-de.zip",
|
||||||
|
"size": 22367904,
|
||||||
|
"algorithm": "sha512",
|
||||||
|
"digest": "982b91675bd21aa89d27168f3964bcfe81e3002b6256da80b67398c711f063d2aca7cd023ef3540891f0a5b1f1762af49c22869e69adbc1515caacd7e8282e7b",
|
||||||
|
"visibility": "public"
|
||||||
|
}
|
||||||
|
]
|
||||||
Загрузка…
Ссылка в новой задаче