Added tutorials for South-Asian languages

Author: siddharthkv7

languages/bengali/Bengali_tutorial.ipynb

@@ -0,0 +1,263 @@
+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Kannada with CLTK"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Analyse Kannada texts with CLTK!<br>\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Kannada Alphabets"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "There are 14 <i>Swaras</i> or vowels, 25 Structured and 11 Unstructured consonants collectively known as <i>Vynjanas</i> and 2 <i>Yogavaahakas</i><br>\n",
+    "A Consonant plus Vowel symbol makes a <i>kagunita</i>"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Vowels:  ['ಅ', 'ಆ', 'ಇ', 'ಈ', 'ಉ', 'ಊ', 'ಋ', 'ೠ', 'ಎ', 'ಏ', 'ಐಒ', 'ಒ', 'ಓ', 'ಔ']\n",
+      "Yogavaahakas:  ['ಅಂ', 'ಅಃ']\n",
+      "Structured consonants:  ['ಕ', 'ಖ', 'ಗ', 'ಘ', 'ಙಚ', 'ಚ', 'ಛ', 'ಜ', 'ಝ', 'ಞ', 'ಟ', 'ಠ', 'ಡ', 'ಢ', 'ಣ', 'ತ', 'ಥ', 'ದ', 'ಧ', 'ನ', 'ಪ', 'ಫ', 'ಬ', 'ಭ', 'ಮ']\n",
+      "Unstructured consonants:  ['ಯ', 'ರ', 'ಱ', 'ಲ', 'ವ', 'ಶ', 'ಷ', 'ಸ', 'ಹ', 'ಳ', 'ೞ']\n",
+      "Numerals:  ['೦', '೧', '೨', '೩', '೪', '೫', '೬', '೭', '೮', '೯']\n",
+      "Vowel signs:  ['', 'ಾ', 'ಿ', 'ೀ', 'ು', 'ೂ', 'ೃ', 'ೆ', 'ೇ', 'ೈ', 'ೊ', 'ೋ', 'ೌ', 'ಂ', 'ಃ']\n"
+     ]
+    }
+   ],
+   "source": [
+    "from cltk.corpus.kannada.alphabet import *\n",
+    "print(\"Vowels: \", VOWELS)\n",
+    "print(\"Yogavaahakas: \", YOGAVAAHAKAS)\n",
+    "print(\"Structured consonants: \",STRUCTURED_CONSONANTS)\n",
+    "print(\"Unstructured consonants: \",UNSTRUCTURED_CONSONANTS)\n",
+    "print(\"Numerals: \",NUMERALS)\n",
+    "print(\"Vowel signs: \",VOWEL_SIGNS)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Transliterations"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "We can transliterate Kannada scripts to that of other Indic languages. Let us take an example Kannada text and transliterate it to Hindi:"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "ಗ್ರಂಥಾಲಯಗಳು ಅರಿವಿನ ಜ್ಞಾನದೀವಿಗೆಗಳು. ಇಷ್ಟಪಟ್ಟು ಓದಲು ಬರುವವರಿಗೆ, ಜ್ಞಾನದ ಹೊಸ ಹೊಳಹನ್ನು ನೀಡುವ ಅಕ್ಷಯ ಭಂಡಾರಗಳು. ಗ್ರಂಥಾಲಯಗಳ ಸಂಪನ್ಮೂಲಗಳು ಎಂದಿಗೂ ಎಲ್ಲಿಯೂ ಬತ್ತಿಹೋಗುವುದಿಲ್ಲ. ಪ್ರಾಚೀನ ಕಾಲದಲ್ಲಿ ಮುದ್ರಾಣಾಲಯಗಳಿರಲಿಲ್ಲ. ಆದ್ದರಿಂದ ಜ್ಞಾನವನ್ನು ಸಂಪಾದಿಸಲು ಬಹಳ ಕಷ್ಟಪಡಬೇಕಾಗುತ್ತಿತ್ತು. ಈಗ ಗ್ರಂಥಗಳು ನಮಗೆ ಬೇಕಾದ ವಿಷಯಗಳನ್ನು ತಿಳಿಸಲು ಸಿದ್ಧವಿರುವುವು. ನಾವು ಬೇಕಾದಾಗ ಗ್ರಂಥಾಲಯಕ್ಕೆ ಹೋಗಿ ಬೇಕಾದ ಗ್ರಂಥಗಳನ್ನು ಓದಿ ಜ್ಞಾನ ಪಡೆಯಬಹುದು.\n"
+     ]
+    }
+   ],
+   "source": [
+    "kannada_text = \"ಗ್ರಂಥಾಲಯಗಳು ಅರಿವಿನ ಜ್ಞಾನದೀವಿಗೆಗಳು. ಇಷ್ಟಪಟ್ಟು ಓದಲು ಬರುವವರಿಗೆ, ಜ್ಞಾನದ ಹೊಸ ಹೊಳಹನ್ನು ನೀಡುವ ಅಕ್ಷಯ ಭಂಡಾರಗಳು. ಗ್ರಂಥಾಲಯಗಳ ಸಂಪನ್ಮೂಲಗಳು ಎಂದಿಗೂ ಎಲ್ಲಿಯೂ ಬತ್ತಿಹೋಗುವುದಿಲ್ಲ. ಪ್ರಾಚೀನ ಕಾಲದಲ್ಲಿ ಮುದ್ರಾಣಾಲಯಗಳಿರಲಿಲ್ಲ. ಆದ್ದರಿಂದ ಜ್ಞಾನವನ್ನು ಸಂಪಾದಿಸಲು ಬಹಳ ಕಷ್ಟಪಡಬೇಕಾಗುತ್ತಿತ್ತು. ಈಗ ಗ್ರಂಥಗಳು ನಮಗೆ ಬೇಕಾದ ವಿಷಯಗಳನ್ನು ತಿಳಿಸಲು ಸಿದ್ಧವಿರುವುವು. ನಾವು ಬೇಕಾದಾಗ ಗ್ರಂಥಾಲಯಕ್ಕೆ ಹೋಗಿ ಬೇಕಾದ ಗ್ರಂಥಗಳನ್ನು ಓದಿ ಜ್ಞಾನ ಪಡೆಯಬಹುದು.\"\n",
+    "print(kannada_text)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "'ग्रंथालयगळु अरिविन ज्ञानदीविगॆगळु. इष्टपट्टु ओदलु बरुववरिगॆ, ज्ञानद हॊस हॊळहन्नु नीडुव अक्षय भंडारगळु. ग्रंथालयगळ संपन्मूलगळु ऎंदिगू ऎल्लियू बत्तिहोगुवुदिल्ल. प्राचीन कालदल्लि मुद्राणालयगळिरलिल्ल. आद्दरिंद ज्ञानवन्नु संपादिसलु बहळ कष्टपडबेकागुत्तित्तु. ईग ग्रंथगळु नमगॆ बेकाद विषयगळन्नु तिळिसलु सिद्धविरुवुवु. नावु बेकादाग ग्रंथालयक्कॆ होगि बेकाद ग्रंथगळन्नु ओदि ज्ञान पडॆयबहुदु.'"
+      ]
+     },
+     "execution_count": 3,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "from cltk.corpus.sanskrit.itrans.unicode_transliterate import UnicodeIndicTransliterator\n",
+    "UnicodeIndicTransliterator.transliterate(kannada_text,\"kn\",\"hi\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "We can also romanize the text as shown:"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 4,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "'shraddh.e mattu shramawu pratibh.eyannu solisabahudu'"
+      ]
+     },
+     "execution_count": 4,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "kannada_text_two = \"ಶ್ರದ್ಧೆ ಮತ್ತು ಶ್ರಮವು ಪ್ರತಿಭೆಯನ್ನು ಸೋಲಿಸಬಹುದು\"\n",
+    "from cltk.corpus.sanskrit.itrans.unicode_transliterate import ItransTransliterator\n",
+    "ItransTransliterator.to_itrans(kannada_text_two,'kn')\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Similarly, we can indicize a text given in its ITRANS-transliteration"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "'ಪ್ರಾಚೀನ ಗ್ರಂಥಾಲಯಗಳು ಕೇವಲ ಹಸ್ತಪ್ರತಿ, ತಾಳೇಗರಿ, ಚರ್ಮಪಟ್ಟಿ ಮೊದಲಾದುವುಗಳ ಸಂಗ್ರಹಗಳಾಗಿದ್ದುವು'"
+      ]
+     },
+     "execution_count": 5,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "kannada_text_itrans = 'praachiina gra.mthaalayagaldu kewala hastaprati, taaldegari, charmapaTTi m.odalaaduwugalda sa.mgrahagaldaagidduwu'\n",
+    "ItransTransliterator.from_itrans(kannada_text_itrans,'kn')"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Syllabifier"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "We can use the indian_syllabifier to syllabify the Kannada sentences. To do this, we will have to import models as follows. The importing of `sanskrit_models_cltk` might take some time."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 6,
+   "metadata": {
+    "scrolled": true
+   },
+   "outputs": [],
+   "source": [
+    "from cltk.corpus.utils.importer import CorpusImporter\n",
+    "phonetics_model_importer = CorpusImporter('sanskrit')\n",
+    "phonetics_model_importer.list_corpora\n",
+    "phonetics_model_importer.import_corpus('sanskrit_models_cltk') "
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Now we import the syllabifier and syllabify as follows:"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 7,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "%%capture\n",
+    "from cltk.stem.sanskrit.indian_syllabifier import Syllabifier\n",
+    "kannada_syllabifier = Syllabifier('kannada')\n",
+    "kannada_syllables = kannada_syllabifier.orthographic_syllabify('ಹಸ್ತಪ್ರತಿ')"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "The syllables of the word ಹಸ್ತಪ್ರತಿ will thus be:"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 8,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "['ಹ', 'ಸ್ತ', 'ಪ್ರ', 'ತಿ']\n"
+     ]
+    }
+   ],
+   "source": [
+    "print(kannada_syllables)"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "Python 3",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.6.5"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}