[Dacon Summarization] TextRank.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "textrank_summarization.ipynb",
      "provenance": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "WOcFuerNZmWO"
      },
      "source": [
        "### AI 기반 회의 녹취록 요약 경진대회\n",
        "- https://dacon.io/competitions/official/235813/overview/description\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "EfyWp4D3IFH_"
      },
      "source": [
        "import pandas as pd\n",
        "import numpy as np\n",
        "import json\n",
        "import os\n",
        "import random\n",
        "from tqdm import tqdm\n",
        "import re"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "EotcOFNAJ-5e",
        "outputId": "1394e70f-60f3-4601-dbc1-cf9a0af483b9"
      },
      "source": [
        "from google.colab import drive\n",
        "drive.mount('/content/drive')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Mounted at /content/drive\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "XGfBauoRJHEM"
      },
      "source": [
        "import torch\n",
        "from torch import nn\n",
        "\n",
        "import warnings\n",
        "warnings.filterwarnings(action='ignore')"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "SH12IdV1JI0k"
      },
      "source": [
        "def seed_everything(seed: int = 42):\n",
        "    random.seed(seed)\n",
        "    np.random.seed(seed)\n",
        "    os.environ[\"PYTHONHASHSEED\"] = str(seed)\n",
        "    torch.manual_seed(seed)\n",
        "    torch.cuda.manual_seed(seed)  # type: ignore\n",
        "    torch.backends.cudnn.deterministic = True  # type: ignore\n",
        "    torch.backends.cudnn.benchmark = True  # type: ignore"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uqugq-PhJJ6b"
      },
      "source": [
        "seed_everything(11)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "lKdjZrkUTZ8l"
      },
      "source": [
        "> data upload"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nOkgoOOIJK0C"
      },
      "source": [
        "TEST_SOURCE = os.path.join(\"test.json\")"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WbC-68bPJLj-"
      },
      "source": [
        "with open(TEST_SOURCE) as f:\n",
        "    TEST_DATA = json.loads(f.read())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "-fP3XvU_VzZA"
      },
      "source": [
        "submission = pd.read_csv(\"sample_submission.csv\")"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "RhcI58iaTbkl"
      },
      "source": [
        "> json to dataframe"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "vhZlDIiiJMX8"
      },
      "source": [
        "test = pd.DataFrame(columns=['uid', 'title', 'region', 'context'])\n",
        "uid = 2000\n",
        "for data in TEST_DATA:\n",
        "    for agenda in data['context'].keys():\n",
        "        context = ''\n",
        "        for line in data['context'][agenda]:\n",
        "            context += data['context'][agenda][line]\n",
        "            context += ' '\n",
        "        test.loc[uid, 'uid'] = uid\n",
        "        test.loc[uid, 'title'] = data['title']\n",
        "        test.loc[uid, 'region'] = data['region']\n",
        "        test.loc[uid, 'context'] = context[:-1]\n",
        "        uid += 1"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "pdoNoX2yJNVm"
      },
      "source": [
        "test['total'] = test.title + ' ' + test.region + ' ' + test.context"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "txT9bJdPJQA7",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 288
        },
        "outputId": "0aca6de0-0816-446a-891f-de788714db85"
      },
      "source": [
        "test.head()"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>uid</th>\n",
              "      <th>title</th>\n",
              "      <th>region</th>\n",
              "      <th>context</th>\n",
              "      <th>total</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>2000</th>\n",
              "      <td>2000</td>\n",
              "      <td>제235회    본회의 제1차(2012.06.21.)</td>\n",
              "      <td>음성</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 지금부터 음성군의회 제235회 ...</td>\n",
              "      <td>제235회    본회의 제1차(2012.06.21.) 음성 의석을 정돈하여 주시기 ...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2001</th>\n",
              "      <td>2001</td>\n",
              "      <td>제235회    본회의 제1차(2012.06.21.)</td>\n",
              "      <td>음성</td>\n",
              "      <td>의사일정 제1항, 음성군의회 제235회 제1차 정례회 회기결정의 건을 상정합니다. ...</td>\n",
              "      <td>제235회    본회의 제1차(2012.06.21.) 음성 의사일정 제1항, 음성군...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2002</th>\n",
              "      <td>2002</td>\n",
              "      <td>제235회    본회의 제1차(2012.06.21.)</td>\n",
              "      <td>음성</td>\n",
              "      <td>의사일정 제2항, 회의록 서명의원 선출의 건을 상정합니다. 제235회 제1차 정례회...</td>\n",
              "      <td>제235회    본회의 제1차(2012.06.21.) 음성 의사일정 제2항, 회의록...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2003</th>\n",
              "      <td>2003</td>\n",
              "      <td>제235회    본회의 제1차(2012.06.21.)</td>\n",
              "      <td>음성</td>\n",
              "      <td>의사일정 제3항, 예산결산특별위원회 구성의 건을 상정합니다. 예산결산특별위원회 구성...</td>\n",
              "      <td>제235회    본회의 제1차(2012.06.21.) 음성 의사일정 제3항, 예산결...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2004</th>\n",
              "      <td>2004</td>\n",
              "      <td>제235회    본회의 제1차(2012.06.21.)</td>\n",
              "      <td>음성</td>\n",
              "      <td>의사일정 제4항, 환경분야 현지확인 특별위원회 구성결의안을 상정합니다. 대표발의하신...</td>\n",
              "      <td>제235회    본회의 제1차(2012.06.21.) 음성 의사일정 제4항, 환경분...</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "       uid  ...                                              total\n",
              "2000  2000  ...  제235회    본회의 제1차(2012.06.21.) 음성 의석을 정돈하여 주시기 ...\n",
              "2001  2001  ...  제235회    본회의 제1차(2012.06.21.) 음성 의사일정 제1항, 음성군...\n",
              "2002  2002  ...  제235회    본회의 제1차(2012.06.21.) 음성 의사일정 제2항, 회의록...\n",
              "2003  2003  ...  제235회    본회의 제1차(2012.06.21.) 음성 의사일정 제3항, 예산결...\n",
              "2004  2004  ...  제235회    본회의 제1차(2012.06.21.) 음성 의사일정 제4항, 환경분...\n",
              "\n",
              "[5 rows x 5 columns]"
            ]
          },
          "metadata": {},
          "execution_count": 11
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DF3QTDepJP7y",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "f663a693-ef24-4350-c3f9-7ac1c13a3a8f"
      },
      "source": [
        "test.shape"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(506, 5)"
            ]
          },
          "metadata": {},
          "execution_count": 12
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fZGGMn8oMtJh"
      },
      "source": [
        "test = test[['context']]"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9YxPMnoMJwTB",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 204
        },
        "outputId": "2aa4f657-89fa-408b-a9fa-e5ed63040cb0"
      },
      "source": [
        "test.head()"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>context</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>2000</th>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 지금부터 음성군의회 제235회 ...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2001</th>\n",
              "      <td>의사일정 제1항, 음성군의회 제235회 제1차 정례회 회기결정의 건을 상정합니다. ...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2002</th>\n",
              "      <td>의사일정 제2항, 회의록 서명의원 선출의 건을 상정합니다. 제235회 제1차 정례회...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2003</th>\n",
              "      <td>의사일정 제3항, 예산결산특별위원회 구성의 건을 상정합니다. 예산결산특별위원회 구성...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2004</th>\n",
              "      <td>의사일정 제4항, 환경분야 현지확인 특별위원회 구성결의안을 상정합니다. 대표발의하신...</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                                context\n",
              "2000  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 지금부터 음성군의회 제235회 ...\n",
              "2001  의사일정 제1항, 음성군의회 제235회 제1차 정례회 회기결정의 건을 상정합니다. ...\n",
              "2002  의사일정 제2항, 회의록 서명의원 선출의 건을 상정합니다. 제235회 제1차 정례회...\n",
              "2003  의사일정 제3항, 예산결산특별위원회 구성의 건을 상정합니다. 예산결산특별위원회 구성...\n",
              "2004  의사일정 제4항, 환경분야 현지확인 특별위원회 구성결의안을 상정합니다. 대표발의하신..."
            ]
          },
          "metadata": {},
          "execution_count": 14
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "HITetwnTTenI"
      },
      "source": [
        "> textrank 사용하기"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "yQcGL-97Jnfo",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "bcad4126-9ffd-40e5-c9d0-0cec1c0e337b"
      },
      "source": [
        "!pip install git+https://github.com/lovit/textrank.git"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Collecting git+https://github.com/lovit/textrank.git\n",
            "  Cloning https://github.com/lovit/textrank.git to /tmp/pip-req-build-frth873h\n",
            "  Running command git clone -q https://github.com/lovit/textrank.git /tmp/pip-req-build-frth873h\n",
            "Building wheels for collected packages: textrank\n",
            "  Building wheel for textrank (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Created wheel for textrank: filename=textrank-0.1.2-py3-none-any.whl size=11171 sha256=438c1e691a6c26c6c05da66f4c83156b75eadf4488140b080839d00892d6a752\n",
            "  Stored in directory: /tmp/pip-ephem-wheel-cache-w60wztxc/wheels/92/77/3d/d596fd63962c68b352c2e39170c2cbe21b9fca35e89aafdf87\n",
            "Successfully built textrank\n",
            "Installing collected packages: textrank\n",
            "Successfully installed textrank-0.1.2\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "iTR0wcD7J5wj",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "2f6bf89c-c231-44a3-e8cc-657b9378e9fe"
      },
      "source": [
        "! git clone https://github.com/SOMJANG/Mecab-ko-for-Google-Colab.git"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Cloning into 'Mecab-ko-for-Google-Colab'...\n",
            "remote: Enumerating objects: 91, done.\u001b[K\n",
            "remote: Counting objects: 100% (91/91), done.\u001b[K\n",
            "remote: Compressing objects: 100% (85/85), done.\u001b[K\n",
            "remote: Total 91 (delta 43), reused 22 (delta 6), pack-reused 0\u001b[K\n",
            "Unpacking objects: 100% (91/91), done.\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "w4vuJSN1KKuR",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "5fae640c-2df8-4d48-8e3a-5a03cf9179b8"
      },
      "source": [
        "cd Mecab-ko-for-Google-Colab/"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "/content/Mecab-ko-for-Google-Colab\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "lYqp8zSwKL97"
      },
      "source": [
        "%%capture\n",
        "! bash install_mecab-ko_on_colab190912.sh"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WvnuUC8Ae9k2"
      },
      "source": [
        "from konlpy.tag import Komoran, Okt, Mecab\n",
        "from textrank import KeysentenceSummarizer\n",
        "from textrank import KeywordSummarizer\n",
        "import textrank"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "U1KimXKsbjvJ"
      },
      "source": [
        "komoran = Komoran()\n",
        "def komoran_tokenizer(sent):\n",
        "    words = komoran.pos(sent, join=True)\n",
        "    words = [w for w in words if ('/NN' in w or '/XR' in w or '/VA' in w or '/VV' in w)]\n",
        "    return words\n",
        "\n",
        "summarizer = KeysentenceSummarizer(\n",
        "    tokenize = komoran_tokenizer,\n",
        "    min_sim = 0.3,\n",
        "    verbose = False\n",
        ")"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "L5sfthN8KZzu",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "48403e79-2dcf-44a2-8387-85da31c4f7c2"
      },
      "source": [
        "summary = []\n",
        "for text in tqdm(test['context']):\n",
        "    keysents = summarizer.summarize(list(test['context']), topk=3) \n",
        "    summary.append(keysents)"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "100%|██████████| 506/506 [6:06:17<00:00, 43.43s/it]\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "n3_IZZfYYuLY"
      },
      "source": [
        "extractive = []\n",
        "for n in range(test.shape[0]):\n",
        "    result = summary[n][0][2] + '\\n' + summary[n][1][2] + '\\n' + summary[n][2][2]\n",
        "    extractive.append(result)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "IIt3YWcaYwNp",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 418
        },
        "outputId": "f697c3e0-e44c-432e-e6f7-71ad790afcd8"
      },
      "source": [
        "submission['summary'] = extractive\n",
        "submission.to_csv(\"summary_text.csv\", index=False)\n",
        "submission"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>uid</th>\n",
              "      <th>summary</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>id_2000-AGENDA_1</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>id_2000-AGENDA_2</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>id_2000-AGENDA_3</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>id_2000-AGENDA_4</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>id_2000-AGENDA_5</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>...</th>\n",
              "      <td>...</td>\n",
              "      <td>...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>501</th>\n",
              "      <td>id_2096-AGENDA_2</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>502</th>\n",
              "      <td>id_2096-AGENDA_3</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>503</th>\n",
              "      <td>id_2096-AGENDA_4</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>504</th>\n",
              "      <td>id_2096-AGENDA_5</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>505</th>\n",
              "      <td>id_2096-AGENDA_6</td>\n",
              "      <td>의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "<p>506 rows × 2 columns</p>\n",
              "</div>"
            ],
            "text/plain": [
              "                  uid                                            summary\n",
              "0    id_2000-AGENDA_1  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "1    id_2000-AGENDA_2  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "2    id_2000-AGENDA_3  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "3    id_2000-AGENDA_4  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "4    id_2000-AGENDA_5  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "..                ...                                                ...\n",
              "501  id_2096-AGENDA_2  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "502  id_2096-AGENDA_3  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "503  id_2096-AGENDA_4  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "504  id_2096-AGENDA_5  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "505  id_2096-AGENDA_6  의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "\n",
              "[506 rows x 2 columns]"
            ]
          },
          "metadata": {},
          "execution_count": 31
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Pzf23GjPKQ1t"
      },
      "source": [
        "submission.to_csv(\"/content/drive/My Drive/submission_1014.csv\")"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "KHT18dcKfekv",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "36958bf7-0b80-47dc-ae07-79bee6a7e12b"
      },
      "source": [
        "submission.info()"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "<class 'pandas.core.frame.DataFrame'>\n",
            "RangeIndex: 506 entries, 0 to 505\n",
            "Data columns (total 2 columns):\n",
            " #   Column   Non-Null Count  Dtype \n",
            "---  ------   --------------  ----- \n",
            " 0   uid      506 non-null    object\n",
            " 1   summary  506 non-null    object\n",
            "dtypes: object(2)\n",
            "memory usage: 8.0+ KB\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "VY3EJs47fhRg"
      },
      "source": [
        "summary = submission['summary'].drop_duplicates(keep='first')"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "lT0TPcQ7fnzh",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "a134d17b-f1f6-4893-cd68-139666f48bb1"
      },
      "source": [
        "summary"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "0    의석을 정돈하여 주시기 바랍니다. 성원이 되었으므로 제254회 완주군의회 임시회 제...\n",
              "Name: summary, dtype: object"
            ]
          },
          "metadata": {},
          "execution_count": 40
        }
      ]
    }
  ]
}