WIP Tibetan and test update.

Author: scossu

ext/arabic_rom

@@ -38,6 +38,6 @@ python3 src/loc_transcribe.py predict mle dev --mle_model models/mle/size1.0.tsv
 
 # Seq2Seq
 echo "Preparing Seq2seq."
-make prep_seq2seq
+python3 src/data/make_seq2seq_dataset.py -l ${SS_LANG}
 echo "Training models."
-python3 src/loc_transcribe.py train seq2seq --train --size {1.0,0.5,0.25,0.125,0.0625,0.03125,0.015625}
+python3 src/data/make_seq2seq_dataset.py  --size {1.0,0.5,0.25,0.125,0.0625,0.03125,0.015625}

scriptshifter/hooks/arabic/build_model.sh

@@ -87,6 +87,7 @@ roman_to_script:
     "%\u02BC": "\u0F60"
     "%\u02BE": "\u0F60"
     "%\u0027": "\u0F60"
+    "%\u02BE": "\u0F60"
     "%\u0027": "\u0F60"
 
     # OTHER TIBETAN MARKS

scriptshifter/tables/data/tibetan.yml

@@ -0,0 +1,31 @@
+#!/usr/bin/env python
+
+__doc__ = """
+Usage: decompose_samples.py
+
+Use this script to normalize Roman map keys to use combining characters
+(decomposed glyphs) vs. pre-composed glyphs.
+
+The script will create a new CSV file named according to the source.
+E.g. `myscript.csv` → `myscript_norm.csv`.
+
+NOTE: the script does not parse the CSV, it scans it as a plain text file. It
+is unlikely but possible that some normalization may lead to an invalid CSV.
+"""
+
+from os import path
+from unicodedata import normalize
+from glob import glob
+
+for fname in glob("*.csv"):
+    dest_fname = path.splitext(fname)[0] + "_norm.csv"
+    with open(fname) as fh:
+        data = fh.read()
+
+    norm_data = normalize("NFD", data)
+
+    with open(dest_fname, "w") as fh:
+        fh.write(norm_data)
+    print(f"Normalized {fname} to {dest_fname}.")
+
+print("Done.")

test/data/script_samples/arabic2.csv

@@ -1,57 +1,57 @@
-greek_classical,Ἡσιόδου τοῦ Ἀσκραίου Ἔργα καὶ ἡμέραι,Hēsiodou tou Askraiou Erga kai hēmerai,,
-greek_classical,Ἡ τοῦ Ὁμήρου Ἰλιάς,Hē tou Homērou Ilias,,
-greek_classical,Φίληβος ἢ Περὶ ἡδονῆς,Philēbos ē Peri hēdonēs,,
-greek_classical,Ἀγνώστῳ θεῷ,Agnōstō theō,,
-greek_classical,κεῖται παρ’ Ἅιδῃ,keitai par’ Hadē,,
-greek_classical,Αἴτια Ῥωμαϊκά,Aitia Rhōmaika,,
-greek_classical,Ὅτι οὐδ’ ἡδέως ζῆν ἔστι κατ’ Ἐπίκουρον,Hoti oud’ hēdeōs zēn esti kat’ Epikouron,,
-greek_classical,Περὶ τοῦ μὴ ῥᾳδίως πιστεύειν διαβολῇ,Peri tou mē rhadiōs pisteuein diabolē,,
-greek_classical,ἀΰπνους νύκτας ἴαυον,aypnous nyktas iauon,,
-greek_classical,Λητοῦς καὶ Διὸς υἱός,Lētous kai Dios huios,,
-greek_classical,ὑϊκὸν πάσχειν,hyikon paschein,,
-greek_classical,εἶπε πρὸς τὸν ἄνδρα τὸν ἑωυτῆς,eipe pros ton andra ton heōutēs,,
-greek_classical,τί τοῦδ’ ἂν εὕρημ’ ηὗρον εὐτυχέστερον;,ti toud’ an heurēm’ hēuron eutychesteron?,,
-greek_classical,Τοῦ Κατὰ πασῶν αἱρέσεων ἐλέγχου βιβλίον αʹ,Tou Kata pasōn haireseōn elenchou biblion 1,,
-greek_classical,καλὸν κἀγαθόν,kalon kagathon,,
-greek_classical,ᾤχοντο θοἰμάτιον λαβόντες μου,ōchonto thoimation labontes mou,,
-greek_classical,Περὶ ἰλίγγων,Peri ilingōn,,
-greek_classical,ὅτε τ’ ἴαχε σάλπιγξ,hote t’ iache salpinx,,
-greek_classical,Ἐγχειρίδιον ἁρμονικῆς,Encheiridion harmonikēs,,
-greek_classical,ἄλαϲτα δὲ ϝέργα πάθον κακὰ μηϲαμένοι,alasta de werga pathon kaka mēsamenoi,,
-greek_classical,Δαμαρέτα τ’ ἐρατά τε Ϝιανθεμίϲ,Damareta t’ erata te Wianthemis,,
-greek_classical,ξένϝος,xenwos,,
-greek_classical,Πάτροϙλος,Patroḳlos,,
-greek_classical,"λβʹ. Ἐπεὶ δὲ ἡ τύχη κράτιστον ἐπὶ πάντα τὰ ἀνθρώπεια, μηδὲ Ἡλιόδωρος ἀπαξιούσθω σοφιστῶν κύκλου παράδοξον ἀγώνισμα τύχης γενόμενος·","32. Epei de ē tychi kratiston epi panta ta anthrōpeia, mide Hēliodōros apaxiousthō sophistōn kyklou paradoxon agōnisma tychis genomenos",,
-greek_classical,"κζʹ. Μὴ δεύτερα τῶν προειρημένων σοφιστῶν μηδὲ Ἱππόδρομόν τις ἡγείσθω τὸν Θετταλόν, τῶν μὲν γὰρ βελτίων φαίνεται, τῶν δὲ οὐκ οἶδα ὅ τι λείπεται","27. Mē deutera tōn proeirēmenōn sophistōn mide Ippodromon tis ēgeisthō ton Thettalon, tōn men gar beltiōn phainetai, tōn de ouk oida o ti leipetai",,
-greek_classical,"ιγʹ. Πῶλον δὲ τὸν Ἀκραγαντῖνον Γοργίας σοφιστὴν ἐξεμελέτησε πολλῶν, ὥς φασι, χρημάτων, καὶ γὰρ δὴ καὶ τῶν πλουτούντων ὁ Πῶλος.","13. Pōlon de ton Akragantinon Gorgias sophistēn exemeletēse pollōn, ōs phasi, chrēmatōn, kai gar dē kai tōn ploutountōn o Pōlos",,
-greek_modern,"Ἐτήσια ἔκθεσις / Κυπριακὴ Δημοκρατία, Ὑπουργεῖον Ἐργασίας καὶ Κοινωνικῶν Ἀσφαλίσεων","Etēsia ekthesis / Kypriakē Dēmokratia, Hypourgeion Ergasias kai Koinōnikōn Asphaliseōn",,
-greek_modern,"Ετήσια έκθεση / Κυπριακή Δημοκρατία, Υπουργείο Εργασίας και Κοινωνικών Ασφαλίσεων","Etēsia ekthesē / Kypriakē Dēmokratia, Hypourgeio Ergasias kai Koinōnikōn Asphaliseōn",,
-greek_modern,Ελληνικό Ίδρυμα Ευρωπαϊκής και Εξωτερικής Πολιτικής,Hellēniko Hidryma Eurōpaikēs kai Exōterikēs Politikēs,,
-greek_modern,Ελευθέριος Δ. Παυλίδης,Eleutherios D. Paulidēs,,
-greek_modern,Ορθόδοξος Αυτοκέφαλος Εκκλησία της Αλβανίας,Orthodoxos Autokephalos Ekklēsia tēs Alvanias,,
-greek_modern,Βίος και πολιτεία του Αλέξη Ζορμπά,Vios kai politeia tou Alexē Zormpa,,
-greek_modern,Βίος καὶ πολιτεία τοῦ Ἀλέξη Ζορμπᾶ,Vios kai politeia tou Alexē Zormpa,,
-greek_modern,Λασκαρίνα Μπουμπουλίνα,Laskarina Boumpoulina,,
-greek_modern,Νταίηβιντ Μίτσελ,Ḏaiēvint Mitsel,,
-greek_modern,Τζαίημς Τζόυς,Tzaiēms Tzoys,,
-greek_modern,Ἡ κοινωνιολογία τοῦ ρεμπέτικου,Hē koinōniologia tou rempetikou,,
-greek_modern,Βίλλυ Μπραντ,Villy Brant,,
+greek_classical,Ἡσιόδου τοῦ Ἀσκραίου Ἔργα καὶ ἡμέραι,Hēsiodou tou Askraiou Erga kai hēmerai,,
+greek_classical,Ἡ τοῦ Ὁμήρου Ἰλιάς,Hē tou Homērou Ilias,,
+greek_classical,Φίληβος ἢ Περὶ ἡδονῆς,Philēbos ē Peri hēdonēs,,
+greek_classical,Ἀγνώστῳ θεῷ,Agnōstō theō,,
+greek_classical,κεῖται παρ’ Ἅιδῃ,keitai par’ Hadē,,
+greek_classical,Αἴτια Ῥωμαϊκά,Aitia Rhōmaika,,
+greek_classical,Ὅτι οὐδ’ ἡδέως ζῆν ἔστι κατ’ Ἐπίκουρον,Hoti oud’ hēdeōs zēn esti kat’ Epikouron,,
+greek_classical,Περὶ τοῦ μὴ ῥᾳδίως πιστεύειν διαβολῇ,Peri tou mē rhadiōs pisteuein diabolē,,
+greek_classical,ἀΰπνους νύκτας ἴαυον,aypnous nyktas iauon,,
+greek_classical,Λητοῦς καὶ Διὸς υἱός,Lētous kai Dios huios,,
+greek_classical,ὑϊκὸν πάσχειν,hyikon paschein,,
+greek_classical,εἶπε πρὸς τὸν ἄνδρα τὸν ἑωυτῆς,eipe pros ton andra ton heōutēs,,
+greek_classical,τί τοῦδ’ ἂν εὕρημ’ ηὗρον εὐτυχέστερον;,ti toud’ an heurēm’ hēuron eutychesteron?,,
+greek_classical,Τοῦ Κατὰ πασῶν αἱρέσεων ἐλέγχου βιβλίον αʹ,Tou Kata pasōn haireseōn elenchou biblion 1,,
+greek_classical,καλὸν κἀγαθόν,kalon kagathon,,
+greek_classical,ᾤχοντο θοἰμάτιον λαβόντες μου,ōchonto thoimation labontes mou,,
+greek_classical,Περὶ ἰλίγγων,Peri ilingōn,,
+greek_classical,ὅτε τ’ ἴαχε σάλπιγξ,hote t’ iache salpinx,,
+greek_classical,Ἐγχειρίδιον ἁρμονικῆς,Encheiridion harmonikēs,,
+greek_classical,ἄλαϲτα δὲ ϝέργα πάθον κακὰ μηϲαμένοι,alasta de werga pathon kaka mēsamenoi,,
+greek_classical,Δαμαρέτα τ’ ἐρατά τε Ϝιανθεμίϲ,Damareta t’ erata te Wianthemis,,
+greek_classical,ξένϝος,xenwos,,
+greek_classical,Πάτροϙλος,Patroḳlos,,
+greek_classical,"λβʹ. Ἐπεὶ δὲ ἡ τύχη κράτιστον ἐπὶ πάντα τὰ ἀνθρώπεια, μηδὲ Ἡλιόδωρος ἀπαξιούσθω σοφιστῶν κύκλου παράδοξον ἀγώνισμα τύχης γενόμενος·","32. Epei de ē tychi kratiston epi panta ta anthrōpeia, mide Hēliodōros apaxiousthō sophistōn kyklou paradoxon agōnisma tychis genomenos",,
+greek_classical,"κζʹ. Μὴ δεύτερα τῶν προειρημένων σοφιστῶν μηδὲ Ἱππόδρομόν τις ἡγείσθω τὸν Θετταλόν, τῶν μὲν γὰρ βελτίων φαίνεται, τῶν δὲ οὐκ οἶδα ὅ τι λείπεται","27. Mē deutera tōn proeirēmenōn sophistōn mide Ippodromon tis ēgeisthō ton Thettalon, tōn men gar beltiōn phainetai, tōn de ouk oida o ti leipetai",,
+greek_classical,"ιγʹ. Πῶλον δὲ τὸν Ἀκραγαντῖνον Γοργίας σοφιστὴν ἐξεμελέτησε πολλῶν, ὥς φασι, χρημάτων, καὶ γὰρ δὴ καὶ τῶν πλουτούντων ὁ Πῶλος.","13. Pōlon de ton Akragantinon Gorgias sophistēn exemeletēse pollōn, ōs phasi, chrēmatōn, kai gar dē kai tōn ploutountōn o Pōlos",,
+greek_modern,"Ἐτήσια ἔκθεσις / Κυπριακὴ Δημοκρατία, Ὑπουργεῖον Ἐργασίας καὶ Κοινωνικῶν Ἀσφαλίσεων","Etēsia ekthesis / Kypriakē Dēmokratia, Hypourgeion Ergasias kai Koinōnikōn Asphaliseōn",,
+greek_modern,"Ετήσια έκθεση / Κυπριακή Δημοκρατία, Υπουργείο Εργασίας και Κοινωνικών Ασφαλίσεων","Etēsia ekthesē / Kypriakē Dēmokratia, Hypourgeio Ergasias kai Koinōnikōn Asphaliseōn",,
+greek_modern,Ελληνικό Ίδρυμα Ευρωπαϊκής και Εξωτερικής Πολιτικής,Hellēniko Hidryma Eurōpaikēs kai Exōterikēs Politikēs,,
+greek_modern,Ελευθέριος Δ. Παυλίδης,Eleutherios D. Paulidēs,,
+greek_modern,Ορθόδοξος Αυτοκέφαλος Εκκλησία της Αλβανίας,Orthodoxos Autokephalos Ekklēsia tēs Alvanias,,
+greek_modern,Βίος και πολιτεία του Αλέξη Ζορμπά,Vios kai politeia tou Alexē Zormpa,,
+greek_modern,Βίος καὶ πολιτεία τοῦ Ἀλέξη Ζορμπᾶ,Vios kai politeia tou Alexē Zormpa,,
+greek_modern,Λασκαρίνα Μπουμπουλίνα,Laskarina Boumpoulina,,
+greek_modern,Νταίηβιντ Μίτσελ,Ḏaiēvint Mitsel,,
+greek_modern,Τζαίημς Τζόυς,Tzaiēms Tzoys,,
+greek_modern,Ἡ κοινωνιολογία τοῦ ρεμπέτικου,Hē koinōniologia tou rempetikou,,
+greek_modern,Βίλλυ Μπραντ,Villy Brant,,
 greek_modern,Μπραντ Πιτ,Brant Pit,,
-greek_modern,Γιάκομπ Φίλιπ Φαλμεράυερ,Giakomp Philip Phalmerayer,,
-greek_modern,Σαρλ Ογκουστίν ντε Κουλόμπ,Sarl Onkoustin de Koulomp,,
-greek_modern,Λαμπέρτο Ντίνι,Lamperto Ḏini,,
-greek_modern,Τζωρτζ Χέρμπερτ Ουώκερ Μπους,Tzōrtz Chermpert Ouōker Bous,,
-greek_modern,Ουίνστων Τσώρτσιλ,Ouinstōn Tsōrtsil,,
-greek_modern,Παγκόσμιο Κέντρο Εμπορίου,Pankosmio Kentro Emporiou,,
-greek_modern,Φαίδων Γκιζίκης,Phaidōn Gkizikēs,,
-greek_modern,Γκέτεμποργκ,Gketemporgk,,
-greek_modern,Ουάσιγκτον,Ouasinkton,,
-greek_modern,Ουάσινγκτον,Ouasinnkton,,
-greek_modern,Αεροδρόμιο Ρόναλντ Ρέιγκαν της Ουάσινγκτον,Aerodromio Ronalnt Reinkan tēs Ouasinnkton,,
-greek_modern,Ντμίτρι Ιβάνοβιτς Μεντελέγιεφ,Ḏmitri Ivanovits Mentelegieph,,
-greek_modern,Άγγελος Σταύρου Βλάχος,Angelos Staurou Vlachos,,
-greek_modern,ΟΔΗΓΟΣ ΜΑΡΚΕΤΙΝΓΚ ΕΛΛΑΔΟΣ / Ἑλληνικό Ἰνστιτοῦτο Μάρκετινγκ τῆς Ἑλληνικῆς Ἑταιρίας Διοικήσεως Ἐπιχειρήσεων,Hodēgos marketingk Hellados / Hellēniko Institouto Marketingk tēs Hellēnikēs Hetairias Dioikēseōs Epicheirēseōn,,
-greek_modern,Σάλπιγξ Ἑλληνική,Salpinx Hellēnikē,,
-greek_modern,Μπιντπάϋ,Bintpay,,
-greek_modern,Η υιοθεσία ενηλίκων,Hē huiothesia enēlikōn,,
-greek_modern,οι Άρπυιες,hoi Harpuies,,
+greek_modern,Γιάκομπ Φίλιπ Φαλμεράυερ,Giakomp Philip Phalmerayer,,
+greek_modern,Σαρλ Ογκουστίν ντε Κουλόμπ,Sarl Onkoustin de Koulomp,,
+greek_modern,Λαμπέρτο Ντίνι,Lamperto Ḏini,,
+greek_modern,Τζωρτζ Χέρμπερτ Ουώκερ Μπους,Tzōrtz Chermpert Ouōker Bous,,
+greek_modern,Ουίνστων Τσώρτσιλ,Ouinstōn Tsōrtsil,,
+greek_modern,Παγκόσμιο Κέντρο Εμπορίου,Pankosmio Kentro Emporiou,,
+greek_modern,Φαίδων Γκιζίκης,Phaidōn Gkizikēs,,
+greek_modern,Γκέτεμποργκ,Gketemporgk,,
+greek_modern,Ουάσιγκτον,Ouasinkton,,
+greek_modern,Ουάσινγκτον,Ouasinnkton,,
+greek_modern,Αεροδρόμιο Ρόναλντ Ρέιγκαν της Ουάσινγκτον,Aerodromio Ronalnt Reinkan tēs Ouasinnkton,,
+greek_modern,Ντμίτρι Ιβάνοβιτς Μεντελέγιεφ,Ḏmitri Ivanovits Mentelegieph,,
+greek_modern,Άγγελος Σταύρου Βλάχος,Angelos Staurou Vlachos,,
+greek_modern,ΟΔΗΓΟΣ ΜΑΡΚΕΤΙΝΓΚ ΕΛΛΑΔΟΣ / Ἑλληνικό Ἰνστιτοῦτο Μάρκετινγκ τῆς Ἑλληνικῆς Ἑταιρίας Διοικήσεως Ἐπιχειρήσεων,Hodēgos marketingk Hellados / Hellēniko Institouto Marketingk tēs Hellēnikēs Hetairias Dioikēseōs Epicheirēseōn,,
+greek_modern,Σάλπιγξ Ἑλληνική,Salpinx Hellēnikē,,
+greek_modern,Μπιντπάϋ,Bintpay,,
+greek_modern,Η υιοθεσία ενηλίκων,Hē huiothesia enēlikōn,,
+greek_modern,οι Άρπυιες,hoi Harpuies,,

test/data/script_samples/decompose_samples.py

@@ -6,5 +6,6 @@
 "rot3","st uv","Vw Xy","r2s","{""capitalize"": ""all""}"
 "regex","Hello abc","Hello 678","r2s",
 "regex","Hullo abc","5u22o 678","r2s",
-"word_boundaries","bab aa b.abc c, dae abada:ddd vb","<212> <11> 020.<123> 030, <41e <12141>:<444> v2>","r2s"
-"word_boundaries","43 23432 455 4:3 51, 11","<dc> <bcdcb> <d55 0d0:0c0 5a>, <aa>","s2r"
+"word_boundaries","bab aa\u0F0Bb.abc c, dan\u0F0Cabada:ddd vb","<27> <11>\u0F0B020.080 030, <41n\u0F0C<7141>:<444> v2>","r2s"
+"word_boundaries","43\u0F0D2123432 455 4:3 51, 11","<dc>\u0F0D<bfdcb> <d55 0d0:0c0 5a>, <aa>","s2r"
+"word_boundaries","