Merge pull request #136 from googlefonts/arabic-update

Arabic and Pashto improvements, moved marks into separate category
googlefonts · Dec 15, 2023 · 77b554d · 77b554d
2 parents d2e93f0 + a5d27e8
commit 77b554d
Show file tree

Hide file tree

Showing 8 changed files with 19 additions and 12 deletions.
diff --git a/Lib/gflanguages/data/languages/ar_Arab.textproto b/Lib/gflanguages/data/languages/ar_Arab.textproto
@@ -41,10 +41,11 @@ region: "TN"
 region: "TR"
 region: "YE"
 exemplar_chars {
-  base: "ً ٌ ٍ َ ُ ِ ّ ْ ٰ ء أ ؤ إ ئ ا آ ب ة ت ث ج ح خ د ذ ر ز س ش ص ض ط ظ ع غ ف ق ك ل م ن ه و ى ي"
-  auxiliary: "ـ‌‍‎‏ پ چ ژ ڜ ڢ ڤ ڥ ٯ ڧ ڨ ک گ ی"
-  numerals: "؜‎ - , ٫ ٬ . % ٪ ؉ + 0٠ 1١ 2٢ 3٣ 4٤ 5٥ 6٦ 7٧ 8٨ 9٩"
-  punctuation: "- – — ، ؛ : ! ؟ . … \' \" « » ( ) [ ]"
+  base: "ء أ ؤ إ ئ ا آ ب ة ت ث ج ح خ د ذ ر ز س ش ص ض ط ظ ع غ ف ق ك ل م ن ه و ى ي ـ"
+  auxiliary: "ـ ‌ ‍ ‎ ‏ پ چ ژ ڜ ڢ ڤ ڥ ٯ ڧ ڨ ک گ ی"
+  marks: "◌ٰ ◌ٓ ◌ٔ ◌ٕ ◌ً ◌ٌ ◌ٍ ◌َ ◌ُ ◌ِ ◌ّ ◌ْ"
+  numerals: "؜ ‎ - , ٫ ٬ . % ٪ ؉ + 0٠ 1 ١ 2 ٢ 3 ٣ 4 ٤ 5 ٥ 6 ٦ 7 ٧ 8 ٨ 9 ٩"
+  punctuation: "- – — ۔ ، ؛ : ! ؟ ٭ . … \' \" « » ﴾ ﴿ ( ) [ ] ؍"
   index: "ا ب ت ث ج ح خ د ذ ر ز س ش ص ض ط ظ ع غ ف ق ك ل م ن ه و ي"
 }
 sample_text {

diff --git a/Lib/gflanguages/data/languages/fa_Arab.textproto b/Lib/gflanguages/data/languages/fa_Arab.textproto
@@ -13,8 +13,9 @@ region: "PK"
 region: "QA"
 region: "TJ"
 exemplar_chars {
-  base: "ً ٍ ٌ ّ ٔ آ ا ء أ ؤ ئ ب پ ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن و ه ة ی"
+  base: "آ ا ء أ ؤ ئ ب پ ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن و ه ة ی"
   auxiliary: "ـ‌‍‎‏ َ ِ ُ ْ ٖ ٰ إ ك ى ي"
+  marks: "◌ً ◌ٍ ◌ٌ ◌ّ ◌ٔ"
   numerals: "‎ , ٫ ٬ . % ٪ ؉ + − 0۰ 1۱ 2۲ 3۳ 4۴ 5۵ 6۶ 7۷ 8۸ 9۹"
   punctuation: "- ، ٫ ٬ ؛ : ! ؟ . … ‹ › « » ( ) [ ] * / \\"
   index: "آ ا ب پ ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن و ه ی"

diff --git a/Lib/gflanguages/data/languages/lrc_Arab.textproto b/Lib/gflanguages/data/languages/lrc_Arab.textproto
@@ -6,8 +6,9 @@ population: 2020512
 region: "IQ"
 region: "IR"
 exemplar_chars {
-  base: "ٙ ٛ آ أ ؤ ئ ا ب پ ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ڤ ق ک گ ل م ن ھ ە و ۉ ۊ ی ؽ"
+  base: "آ أ ؤ ئ ا ب پ ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ڤ ق ک گ ل م ن ھ ە و ۉ ۊ ی ؽ"
   auxiliary: "‌‍‎‏ ً ٌ ٍ َ ُ ِ ّ ْ ٔ إ ة ك ه ى ي"
+  marks: "◌ٙ ◌ٛ"
   numerals: "- , . % + 0 1 2 3 4 5 6 7 8 9"
   punctuation: "- ، ٫ ٬ ؛ : ! ؟ . … ‹ › « » ( ) [ ] * / \\"
   index: "آ ا ب پ ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن ھ و ی"

diff --git a/Lib/gflanguages/data/languages/mzn_Arab.textproto b/Lib/gflanguages/data/languages/mzn_Arab.textproto
@@ -5,8 +5,9 @@ name: "Mazanderani"
 population: 4246165
 region: "IR"
 exemplar_chars {
-  base: "ً ٌ ٍ ّ ٔ ء آ أ ؤ ئ ا ب پ ة ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن ه و ی"
+  base: "ء آ أ ؤ ئ ا ب پ ة ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن ه و ی"
   auxiliary: "‌‍‎‏ َ ُ ِ ْ ٖ ٰ إ ك ى ي"
+  marks: "◌ً ◌ٌ ◌ٍ ◌ّ ◌ٔ"
   punctuation: "- ، ٫ ٬ ؛ : ! ؟ . … ‹ › « » ( ) [ ] * / \\"
   index: "آ ا ب پ ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن ه و ی"
 }
diff --git a/Lib/gflanguages/data/languages/pa_Arab.textproto b/Lib/gflanguages/data/languages/pa_Arab.textproto
@@ -5,8 +5,9 @@ name: "Punjabi (Arabic)"
 population: 163450700
 region: "PK"
 exemplar_chars {
-  base: "ُ ء آ ؤ ئ ا ب پ ت ث ٹ ج چ ح خ د ذ ڈ ر ز ڑ ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن ں ه ھ ہ و ی ے"
+  base: "ء آ ؤ ئ ا ب پ ت ث ٹ ج چ ح خ د ذ ڈ ر ز ڑ ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن ں ه ھ ہ و ی ے"
   auxiliary: "‎‏ أ ٻ ة ٺ ټ ٽ"
+  marks: "◌ُ"
   numerals: "‎ - , . % + 0 1 2 3 4 5 6 7 8 9"
   index: "ء آ ؤ ئ ا ب پ ت ث ٹ ج چ ح خ د ذ ڈ ر ز ڑ ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن ں ه ھ ہ و ی ے"
 }
diff --git a/Lib/gflanguages/data/languages/ps_Arab.textproto b/Lib/gflanguages/data/languages/ps_Arab.textproto
@@ -9,10 +9,11 @@ region: "AF"
 region: "IR"
 region: "PK"
 exemplar_chars {
-  base: "َ ِ ُ ً ٍ ٌ ّ ْ ٔ ٰ آ ا أ ء ب پ ت ټ ث ج ځ چ څ ح خ د ډ ذ ر ړ ز ژ ږ س ش ښ ص ض ط ظ ع غ ف ق ک ګ گ ل م ن ڼ ه ة و ؤ ی ي ې ۍ ئ"
+  base: "آ ا أ ء ب پ ت ټ ث ج ځ چ څ ح خ د ډ ذ ر ړ ز ژ ږ س ش ښ ص ض ط ظ ع غ ف ق ک ګ گ ل م ن ڼ ه ة و ؤ ی ي ې ۍ ئ"
   auxiliary: "‌ ‍ ‎‏ ے"
+  marks: "◌َ ◌ِ ◌ُ ◌ً ◌ٍ ◌ٌ ◌ّ ◌ْ ◌ٔ ◌ٰ"
   numerals: "‎ - , ٫ ٬ . % ٪ ؉ + − 0۰ 1۱ 2۲ 3۳ 4۴ 5۵ 6۶ 7۷ 8۸ 9۹"
-  punctuation: "، ; : ! ۔ \' ‘ ( ) [ ] { } /"
+  punctuation: "، ; : ! ۔ \' ‘ ( ) [ ] { } / ۽ ۾"
   index: "آ ا ء ب پ ت ټ ث ج ځ چ څ ح خ د ډ ذ ر ړ ز ژ ږ س ش ښ ص ض ط ظ ع غ ف ق ک ګ ل م ن ڼ ه و ی"
 }
 sample_text {

diff --git a/Lib/gflanguages/data/languages/uz_Arab.textproto b/Lib/gflanguages/data/languages/uz_Arab.textproto
@@ -6,8 +6,9 @@ autonym: "اوزبیک (عربی)"
 population: 1722258
 region: "AF"
 exemplar_chars {
-  base: "ً ٌ ٍ َ ُ ِ ّ ْ ٔ ٰ ء آ أ ؤ ئ ا ب پ ة ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن ه و ۇ ۉ ی"
+  base: "ء آ أ ؤ ئ ا ب پ ة ت ث ج چ ح خ د ذ ر ز ژ س ش ص ض ط ظ ع غ ف ق ک گ ل م ن ه و ۇ ۉ ی"
   auxiliary: "‌‍‎‏ ټ ځ څ ډ ړ ږ ښ ګ ڼ ي ۍ ې"
+  marks: "◌ً ◌ٌ ◌ٍ ◌َ ◌ُ ◌ِ ◌ّ ◌ْ ◌ٔ ◌ٰ"
   numerals: "‎ - , ٫ ٬ . % ٪ ؉ + − 0۰ 1۱ 2۲ 3۳ 4۴ 5۵ 6۶ 7۷ 8۸ 9۹"
   index: "ء آ أ ؤ ئ ا ب پ ة ت ث ټ ج چ ح خ ځ څ د ذ ډ ر ز ړ ږ ژ س ش ښ ص ض ط ظ ع غ ف ق ک ګ گ ل م ن ڼ ه و ۇ ۉ ي ی ۍ ې"
 }

diff --git a/tests/test_data_languages.py b/tests/test_data_languages.py
@@ -165,7 +165,7 @@ def test_exemplars_are_in_script(lang_code):
                 char_script = youseedee.ucd_data(ord(char)).get("Script")
                 if char_script == "Common" or char_script == "Inherited":
                     continue
-                if char_script != script_name:
+                if char_script is not None and char_script != script_name:
                     out_of_script[chars] = char_script
                     break
     assert not out_of_script, (