Custom-Ner-Urdu.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "import spacy \n",
    "from spacy.tokens import DocBin\n",
    "from tqdm import tqdm\n",
    "\n",
    "nlp = spacy.blank('en')     # Load a new blank model\n",
    "db = DocBin()               # Create a Docbin object"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "train = open(\"train.json\", encoding='utf-8')\n",
    "validation = open(\"validation.json\", encoding='utf-8')\n",
    "TRAIN_DATA = json.load(train)\n",
    "VALIDATION_DATA = json.load(validation)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### For Training Data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 5/5 [00:00<00:00, 12.34it/s]\n"
     ]
    }
   ],
   "source": [
    "for text, annot in tqdm(TRAIN_DATA['annotations']):\n",
    "    doc = nlp.make_doc(text)\n",
    "    ents = []\n",
    "    for start, end, label in annot['entities']:\n",
    "        span = doc.char_span(start, end, label=label, alignment_mode='contract')\n",
    "        if span is None:\n",
    "            print(\"Skipping Entities\")\n",
    "        else:\n",
    "            ents.append(span)\n",
    "    doc.ents = ents\n",
    "    db.add(doc)\n",
    "\n",
    "db.to_disk(\"./training_data.spacy\")     # save the docbin object"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### For Validation Data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 7/7 [00:00<00:00, 241.49it/s]\n"
     ]
    }
   ],
   "source": [
    "for text, annot in tqdm(VALIDATION_DATA['annotations']):\n",
    "    doc = nlp.make_doc(text)\n",
    "    ents = []\n",
    "    for start, end, label in annot['entities']:\n",
    "        span = doc.char_span(start, end, label=label, alignment_mode = \"contract\")\n",
    "        if span is None:\n",
    "            print(\"Skipping Entities\")\n",
    "        else:\n",
    "            ents.append(span)\n",
    "    doc.ents = ents\n",
    "    db.add(doc)\n",
    "    \n",
    "db.to_disk(\"./validation_data.spacy\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "✔ Auto-filled config with all values\n",
      "✔ Saved config\n",
      "config.cfg\n",
      "You can now add your data and train your pipeline:\n",
      "python -m spacy train config.cfg --paths.train ./train.spacy --paths.dev ./dev.spacy\n"
     ]
    }
   ],
   "source": [
    "!python -m spacy init fill-config base_config.cfg config.cfg"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "✔ Created output directory: output\n",
      "ℹ Saving to output directory: output\n",
      "ℹ Using CPU\n",
      "\u001b[1m\n",
      "=========================== Initializing pipeline ===========================\u001b[0m\n",
      "✔ Initialized pipeline\n",
      "\u001b[1m\n",
      "============================= Training pipeline =============================\u001b[0m\n",
      "ℹ Pipeline: ['tok2vec', 'ner']\n",
      "ℹ Initial learn rate: 0.001\n",
      "E    #       LOSS TOK2VEC  LOSS NER  ENTS_F  ENTS_P  ENTS_R  SCORE \n",
      "---  ------  ------------  --------  ------  ------  ------  ------\n",
      "  0       0          0.00     99.73    0.00    0.00    0.00    0.00\n",
      " 66     200       3111.09   2145.70   41.94   52.00   35.14    0.42\n",
      "131     400          0.00      0.00   42.28   53.06   35.14    0.42\n",
      "192     600          0.00      0.00   42.28   53.06   35.14    0.42\n",
      "259     800          0.00      0.00   42.28   53.06   35.14    0.42\n",
      "324    1000          0.00      0.00   42.28   53.06   35.14    0.42\n",
      "398    1200          0.00      0.00   41.94   52.00   35.14    0.42\n",
      "485    1400          0.00      0.00   41.60   50.98   35.14    0.42\n",
      "585    1600          0.00      0.00   42.28   53.06   35.14    0.42\n",
      "753    1800          0.00      0.00   42.28   53.06   35.14    0.42\n",
      "953    2000          0.00      0.00   42.28   53.06   35.14    0.42\n",
      "✔ Saved pipeline to output directory\n",
      "output\\model-last\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[2022-04-09 20:06:15,849] [INFO] Set up nlp object from config\n",
      "[2022-04-09 20:06:15,861] [INFO] Pipeline: ['tok2vec', 'ner']\n",
      "[2022-04-09 20:06:15,865] [INFO] Created vocabulary\n",
      "[2022-04-09 20:06:15,894] [INFO] Finished initializing nlp object\n",
      "[2022-04-09 20:06:16,425] [INFO] Initialized pipeline components: ['tok2vec', 'ner']\n"
     ]
    }
   ],
   "source": [
    "!python -m spacy train config.cfg --output ./output"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "nlp_ner = spacy.load('output/model-best')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "doc = nlp_ner('''سپورٹس ڈائریکٹریٹ خیبر پختونخواہ وزیراعلی خیبر پختونخواہ کی وزارت ہے جن کے پاس کھیلوں کی وزارت اور سیاحت کی ڈیپارٹمنٹ کیلئے اتنا وقت ہے کہ وہ اپنے سوشل میڈیا کے پیج پر کھیلوں کی تصاویر شیئر کرتے ہیں باقی وہ یا تو جانتے بوجھتے انجان بنتے ہیں یا پھر واقعی بقول پنجاب کے علیم خان کے \" چول \" ہیں‘ خیر ہم تو چول نہیں کہہ سکتے یہ ان کے اپنی پارٹی کے لیڈر کی بات ہے جو اب منخرف ہو چکے ہیں لیکن یہ بات کہہ سکتے ہیں کہ وزیراعلی خیبر پختونخواہ اپنے ڈیپارٹمنٹ کے معاملے میں اللہ میاں کے گائے ہیں‘ انہیں بیورو کریسی جو کرنے کو دیتی ہیں اسی پر دستخط کرتے ہیں آگے پیچھے دیکھنے کی شائدان کے پاس وقت نہیں کہ پتہ کرے کہ ان کے ڈیپارٹمنٹ میں کتنے افسران و اہلکاروں کی کمی ہے اور کتنے ایسے اہلکار جو بیورو کریسی کے ناک کے بال بن کر دو دو جگہوں پر ڈیوٹی کررہے ہیں‘ ان کی پسند کی جگہوں پر لوگوں کے تبادلے بھی کروائے جاتے ہیں کیونکہ نئے آنیوالے ڈائریکٹر جنرل سپورٹس کو بھی انڈسٹریز کی طرز پر چلانے کی کوششوں میں مصروف ہیں. غریب کھلاڑیوں کے پاس تو عزت نفس ہوتی ہیں اگر ان کے پاس عزت نفس بھی نہ ہو نہ ان کے مسائل حل ہوں تو پھر سپورٹس کو ان لوگوں نے چاٹنا ہے کیا‘ ویسے بھی وہ سپورٹس جس کے کھیلوں کے ڈیپارٹمنٹس کو \" ایک آمر \"نے صرف اس لئے بند کرنے کے احکامات دئیے ہیں کیونکہ پاکستان اولمپک ایسوسی ایشن میں ووٹ لینا ان کیلئے مسئلہ تھا. بات کہیں اور نکل گئی غریب عوام کے ٹیکسوں پر پلنے والے سپورٹس ڈائریکٹریٹ کے ان افسران سے پوچھنے کی کوئی جرات کرسکتا ہے کہ گذشتہ دو سالوں کی کارکردگی کیا تھی‘ پرانے ڈی جی نے کتنا کام کیا‘ ڈویلپمنٹ کی مد میں‘ کھیلوں کی مد میں‘ اور نئے ڈائریکٹر جنرل کی کارکردگی کیا ہے‘ مستقبل کیلئے کیا منصوبے ہیں کیا ڈائریکٹریٹ میں بیٹھے بڑے بڑے افسران صرف تنخواہیں لینے پر ہی قادر ہیں.‘ گذشتہ چار ماہ سے تو سوائے تبادلوں کے سپورٹس ڈائریکٹریٹ میں کچھ بھی نہیں‘ وہ بھی مخصوص شخصیت کے کہنے پر''')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<span class=\"tex2jax_ignore\"><div class=\"entities\" style=\"line-height: 2.5; direction: ltr\">سپورٹس ڈائریکٹریٹ \n",
       "<mark class=\"entity\" style=\"background: #ddd; padding: 0.45em 0.6em; margin: 0 0.25em; line-height: 1; border-radius: 0.35em;\">\n",
       "    خیبر پختونخواہ\n",
       "    <span style=\"font-size: 0.8em; font-weight: bold; line-height: 1; border-radius: 0.35em; vertical-align: middle; margin-left: 0.5rem\">REGION</span>\n",
       "</mark>\n",
       " وزیراعلی \n",
       "<mark class=\"entity\" style=\"background: #ddd; padding: 0.45em 0.6em; margin: 0 0.25em; line-height: 1; border-radius: 0.35em;\">\n",
       "    خیبر پختونخواہ\n",
       "    <span style=\"font-size: 0.8em; font-weight: bold; line-height: 1; border-radius: 0.35em; vertical-align: middle; margin-left: 0.5rem\">REGION</span>\n",
       "</mark>\n",
       " کی وزارت ہے جن کے پاس کھیلوں کی وزارت اور سیاحت کی ڈیپارٹمنٹ کیلئے اتنا وقت ہے کہ وہ اپنے سوشل میڈیا کے پیج پر کھیلوں کی تصاویر شیئر کرتے ہیں باقی وہ یا تو جانتے بوجھتے انجان بنتے ہیں یا پھر واقعی بقول پنجاب کے علیم خان کے &quot; چول &quot; ہیں‘ خیر ہم تو چول نہیں کہہ سکتے یہ ان کے اپنی پارٹی کے لیڈر کی بات ہے جو اب منخرف ہو چکے ہیں لیکن یہ بات کہہ سکتے ہیں کہ وزیراعلی \n",
       "<mark class=\"entity\" style=\"background: #ddd; padding: 0.45em 0.6em; margin: 0 0.25em; line-height: 1; border-radius: 0.35em;\">\n",
       "    خیبر پختونخواہ\n",
       "    <span style=\"font-size: 0.8em; font-weight: bold; line-height: 1; border-radius: 0.35em; vertical-align: middle; margin-left: 0.5rem\">REGION</span>\n",
       "</mark>\n",
       " اپنے ڈیپارٹمنٹ کے معاملے میں اللہ میاں کے گائے ہیں‘ انہیں بیورو کریسی جو کرنے کو دیتی ہیں اسی پر دستخط کرتے ہیں آگے پیچھے دیکھنے کی شائدان کے پاس وقت نہیں کہ پتہ کرے کہ ان کے ڈیپارٹمنٹ میں کتنے افسران و اہلکاروں کی کمی ہے اور کتنے ایسے اہلکار جو بیورو کریسی کے ناک کے بال بن کر دو دو جگہوں پر ڈیوٹی کررہے ہیں‘ ان کی پسند کی جگہوں پر لوگوں کے تبادلے بھی کروائے جاتے ہیں کیونکہ نئے آنیوالے ڈائریکٹر جنرل سپورٹس کو بھی انڈسٹریز کی طرز پر چلانے کی کوششوں میں مصروف ہیں. غریب کھلاڑیوں کے پاس تو عزت نفس ہوتی ہیں اگر ان کے پاس عزت نفس بھی نہ ہو نہ ان کے مسائل حل ہوں تو پھر سپورٹس کو ان لوگوں نے چاٹنا ہے کیا‘ ویسے بھی وہ سپورٹس جس کے کھیلوں کے ڈیپارٹمنٹس کو &quot; ایک آمر &quot;نے صرف اس لئے بند کرنے کے احکامات دئیے ہیں کیونکہ پاکستان اولمپک ایسوسی ایشن میں ووٹ لینا ان کیلئے مسئلہ تھا. بات کہیں اور نکل گئی غریب عوام کے ٹیکسوں پر پلنے والے سپورٹس ڈائریکٹریٹ کے ان افسران سے پوچھنے کی کوئی جرات کرسکتا ہے کہ گذشتہ دو سالوں کی کارکردگی کیا تھی‘ پرانے ڈی جی نے کتنا کام کیا‘ ڈویلپمنٹ کی مد میں‘ کھیلوں کی مد میں‘ اور نئے ڈائریکٹر جنرل کی کارکردگی کیا ہے‘ مستقبل کیلئے کیا منصوبے ہیں کیا ڈائریکٹریٹ میں بیٹھے بڑے بڑے افسران صرف تنخواہیں لینے پر ہی قادر ہیں.‘ گذشتہ \n",
       "<mark class=\"entity\" style=\"background: #bfe1d9; padding: 0.45em 0.6em; margin: 0 0.25em; line-height: 1; border-radius: 0.35em;\">\n",
       "    چار ماہ\n",
       "    <span style=\"font-size: 0.8em; font-weight: bold; line-height: 1; border-radius: 0.35em; vertical-align: middle; margin-left: 0.5rem\">TIME</span>\n",
       "</mark>\n",
       " سے تو سوائے تبادلوں کے سپورٹس ڈائریکٹریٹ میں کچھ بھی نہیں‘ وہ بھی مخصوص شخصیت کے کہنے پر</div></span>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "spacy.displacy.render(doc, style='ent')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "interpreter": {
   "hash": "37721641327674084b208e452fb6a40a0d8cc8b2bb2567351299f7bbd55e62eb"
  },
  "kernelspec": {
   "display_name": "Python 3.9.7 ('dplearning')",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.7"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}