Bug 1308021 - Replace "iw" with "he" in cld2 detectLanguage results. r=florian

I have a pull request for these changes upstream:
https://github.com/CLD2Owners/cld2/pull/50

MozReview-Commit-ID: LUqrA4Genv0
This commit is contained in:
Eitan Isaacson 2016-10-05 15:18:12 -07:00
Родитель 6668691c20
Коммит 78fe5d0ec3
7 изменённых файлов: 91 добавлений и 122 удалений

Различия файлов скрыты, потому что одна или несколько строк слишком длинны

Двоичный файл не отображается.

Просмотреть файл

@ -26,7 +26,7 @@ extern const short kAvgDeltaOctaScore[kAvgDeltaOctaScoreSize] = {
1306, 0, 0, 0, // 3 FINNISH fi
1033, 0, 0, 0, // 4 FRENCH fr
1306, 0, 0, 0, // 5 GERMAN de
0, 0, 0, 776, // 6 HEBREW iw
0, 0, 0, 776, // 6 HEBREW he
960, 0, 0, 0, // 7 ITALIAN it
0, 0, 0, 3100, // 8 Japanese ja
0, 0, 0, 3669, // 9 Korean ko
@ -637,4 +637,3 @@ extern const short kAvgDeltaOctaScore[kAvgDeltaOctaScoreSize] = {
};
} // End namespace CLD2

Просмотреть файл

@ -174,7 +174,7 @@ static const LangTagLookup kCLDLangTagsHintTable1[kCLDTable1Size] = {
{"haitian_creole", "ht", HAITIAN_CREOLE + W10, 0},
{"hausa", "ha", HAUSA + W10, 0},
{"hawaiian", "haw", HAWAIIAN + W10, 0},
{"hebrew", "iw", HEBREW + W10, 0},
{"hebrew", "he", HEBREW + W10, 0},
{"hindi", "hi", HINDI + W10, MARATHI - W4},
{"hn-in", "hi", HINDI + W10, MARATHI - W4},
{"hungarian", "hu", HUNGARIAN + W10, 0},
@ -447,9 +447,9 @@ static const LangTagLookup kCLDLangTagsHintTable2[kCLDTable2Size] = {
{"ha", "ha", HAUSA + W10, 0},
{"hat", "ht", HAITIAN_CREOLE + W10, 0}, // Haiti
{"haw", "haw", HAWAIIAN + W10, 0},
{"hb", "iw", HEBREW + W10, 0},
{"he", "iw", HEBREW + W10, 0},
{"heb", "iw", HEBREW + W10, 0},
{"hb", "he", HEBREW + W10, 0},
{"he", "he", HEBREW + W10, 0},
{"heb", "he", HEBREW + W10, 0},
{"hi", "hi", HINDI + W10, MARATHI - W4},
{"hk", "zhT", CHINESE_T + W10, 0}, // Hong Kong
{"hr", "hr", CROATIAN + W10, 0},
@ -473,7 +473,7 @@ static const LangTagLookup kCLDLangTagsHintTable2[kCLDTable2Size] = {
{"it", "it", ITALIAN + W10, 0},
{"ita", "it", ITALIAN + W10, 0},
{"iu", "iu,ik", INUKTITUT + W10, INUPIAK + W10}, // 1:2
{"iw", "iw", HEBREW + W10, 0},
{"iw", "he", HEBREW + W10, 0},
{"ja", "ja", JAPANESE + W10, 0},
{"jp", "ja", JAPANESE + W10, 0}, // Japan
@ -1647,5 +1647,3 @@ string GetLangTagsFromHtml(const char* utf8_body, int32 utf8_body_len,
} // End namespace CLD2
//==============================================================================

Просмотреть файл

@ -32,7 +32,7 @@ extern const char* const kLanguageToName[kLanguageToNameSize] = {
"FINNISH", // 3 fi
"FRENCH", // 4 fr
"GERMAN", // 5 de
"HEBREW", // 6 iw
"HEBREW", // 6 he
"ITALIAN", // 7 it
"Japanese", // 8 ja
"Korean", // 9 ko
@ -651,7 +651,7 @@ extern const char* const kLanguageToCode[kLanguageToCodeSize] = {
"fi", // 3 FINNISH
"fr", // 4 FRENCH
"de", // 5 GERMAN
"iw", // 6 HEBREW
"he", // 6 HEBREW
"it", // 7 ITALIAN
"ja", // 8 Japanese
"ko", // 9 Korean
@ -1270,7 +1270,7 @@ extern const char* const kLanguageToCName[kLanguageToCNameSize] = {
"FINNISH", // 3 fi
"FRENCH", // 4 fr
"GERMAN", // 5 de
"HEBREW", // 6 iw
"HEBREW", // 6 he
"ITALIAN", // 7 it
"JAPANESE", // 8 ja
"KOREAN", // 9 ko
@ -1890,7 +1890,7 @@ extern const FourScripts kLanguageToScripts[kLanguageToScriptsSize] = {
{ULScript_Latin, None, None, None, }, // 3 fi
{ULScript_Latin, None, None, None, }, // 4 fr
{ULScript_Latin, None, None, None, }, // 5 de
{ULScript_Hebrew, None, None, None, }, // 6 iw
{ULScript_Hebrew, None, None, None, }, // 6 he
{ULScript_Latin, None, None, None, }, // 7 it
{ULScript_Hani, None, None, None, }, // 8 ja
{ULScript_Hani, None, None, None, }, // 9 ko
@ -2510,7 +2510,7 @@ extern const uint8 kLanguageToPLang[kLanguageToPLangSize] = {
4, // 3 fi
5, // 4 fr
6, // 5 de
1, // 6 iw
1, // 6 he
7, // 7 it
2, // 8 ja
3, // 9 ko

Просмотреть файл

@ -35,7 +35,7 @@ typedef enum {
FINNISH = 3, // fi
FRENCH = 4, // fr
GERMAN = 5, // de
HEBREW = 6, // iw
HEBREW = 6, // he
ITALIAN = 7, // it
JAPANESE = 8, // ja
KOREAN = 9, // ko

Просмотреть файл

@ -112,7 +112,7 @@ const kTeststr_ik_Latn = "sabvaqjuktuq sabvaba atiqaqpa atiqaqpa ibiq iebiq ixaf
const kTeststr_is_Latn = " a afköst leitarorða þinna leitarorð neikvæð leitarorð auglýsingahópa byggja upp aðallista yfir ný leitarorð fyrir auglýsingahópana og skoða ítarleg gögn um árangur leitarorða eins og samkeppni auglýsenda og leitarmagn er krafist notkun";
const kTeststr_it_Latn = " a causa di un intervento di manutenzione del sistema fino alle ore circa ora legale costa del pacifico del novembre le campagne esistenti continueranno a essere pubblicate come di consueto anche durante questo breve periodo di inattività ci scusiamo per";
const kTeststr_iu_Cans = "ᐃᑯᒪᒻᒪᑦ ᕿᓈᖏᓐᓇᓲᖑᒻᒪᑦ ᑎᑎᖅᑕᓕᒫᖅᓃᕕᑦ ᑎᑦᕆᐊᑐᓐᖏᑦᑕᑎᑦ ᑎᑎᖅᑕᑉᐱᑦ ᓯᕗᓂᖓᓂ ᑎᑎᖅᖃᖅ ᑎᑎᕆᐊᑐᓐᖏᑕᐃᑦ ᕿᓂᓲᖑᔪᒍᑦ ᑎᑎᖅᑕᓕᒫᖅᓃᕕᑦ";
const kTeststr_iw_Hebr = " או לערוך את העדפות ההפצה אנא עקוב אחרי השלבים הבאים כנס לחשבון האישי שלך ב";
const kTeststr_he_Hebr = " או לערוך את העדפות ההפצה אנא עקוב אחרי השלבים הבאים כנס לחשבון האישי שלך ב";
const kTeststr_ja_Hani = " このペ ジでは アカウントに指定された予算の履歴を一覧にしています それぞれの項目には 予算額と特定期間のステ タスが表示されます 現在または今後の予算を設定するには";
const kTeststr_jw_Latn = " account ten server niki kalian username meniko tanpo judul cacahe account nggonanmu wes pol pesen mu wes diguwak pesenan mu wes di simpen sante wae pesenan mu wes ke kirim mbuh tekan ora pesenan e ke kethok pesenan mu wes ke kirim mbuh tekan ora pesenan";
const kTeststr_ka_Geor = " ა ბირთვიდან მიღებული ელემენტი მენდელეევის პერიოდულ სიტემაში გადაინაცვლებს ორი უჯრით";
@ -320,7 +320,7 @@ const kTestPairs = [
["lg", "GANDA", kTeststr_lg_Latn],
["de", "GERMAN", kTeststr_de_Latn],
["ht", "HAITIAN_CREOLE", kTeststr_ht_Latn],
["iw", "HEBREW", kTeststr_iw_Hebr],
["he", "HEBREW", kTeststr_he_Hebr],
["hi", "HINDI", kTeststr_hi_Deva],
["hmn", "HMONG", kTeststr_blu_Latn],
["hu", "HUNGARIAN", kTeststr_hu_Latn],