08_자연어처리의_전처리_03_토치텍스트_튜토리얼(kor).ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "08.자연어처리의 전처리 - 03.토치텍스트 튜토리얼(kor).ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "authorship_tag": "ABX9TyNVpKbQSOjkyCIHUBLF3WN/",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/threegenie/studying_pytorch/blob/main/08_%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC%EC%9D%98_%EC%A0%84%EC%B2%98%EB%A6%AC_03_%ED%86%A0%EC%B9%98%ED%85%8D%EC%8A%A4%ED%8A%B8_%ED%8A%9C%ED%86%A0%EB%A6%AC%EC%96%BC(kor).ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Vgq0QOuDHyYP"
      },
      "source": [
        "import spacy\n",
        "import torch\n",
        "import pandas as pd\n",
        "import numpy as np\n",
        "import seaborn as sns\n",
        "import matplotlib.pyplot as plt\n",
        "import os, sys\n",
        "import urllib.request"
      ],
      "execution_count": 1,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9IcIgiZUMc9X"
      },
      "source": [
        "%%capture\n",
        "!set -x \\\n",
        "&& pip install konlpy \\\n",
        "&& curl -s https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh | bash -x"
      ],
      "execution_count": 2,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "bivh150QMeFr"
      },
      "source": [
        "import konlpy\n",
        "from konlpy.tag import Mecab"
      ],
      "execution_count": 3,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "3oLe4awKNDtI"
      },
      "source": [
        "%%capture\n",
        "!pip install torchtext"
      ],
      "execution_count": 4,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "2MJ5PrMSRqkH"
      },
      "source": [
        "from torchtext.legacy.data import TabularDataset"
      ],
      "execution_count": 5,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "K-0A176OWN78",
        "outputId": "57f70319-e865-4de0-f53d-3f11d35ab59f"
      },
      "source": [
        "urllib.request.urlretrieve(\"https://raw.githubusercontent.com/e9t/nsmc/master/ratings_train.txt\", filename=\"ratings_train.txt\")\n",
        "urllib.request.urlretrieve(\"https://raw.githubusercontent.com/e9t/nsmc/master/ratings_test.txt\", filename=\"ratings_test.txt\")"
      ],
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "('ratings_test.txt', <http.client.HTTPMessage at 0x7f612f8a1d90>)"
            ]
          },
          "metadata": {},
          "execution_count": 6
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fDXo-_0pWYOz"
      },
      "source": [
        "train_df = pd.read_table('ratings_train.txt')\n",
        "test_df = pd.read_table('ratings_test.txt')"
      ],
      "execution_count": 7,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "PeCrlvinWeAM"
      },
      "source": [
        "# from torchtext import data # torchtext.data 임포트\n",
        "from torchtext.legacy import data\n",
        "from konlpy.tag import Mecab"
      ],
      "execution_count": 8,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "-lMPeupEWfJr"
      },
      "source": [
        "# Mecab을 토크나이저로 사용\n",
        "tokenizer = Mecab()"
      ],
      "execution_count": 9,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 220
        },
        "id": "5TQZuUgmXEq2",
        "outputId": "0fe21f67-da69-4100-cb65-183eb2446d4c"
      },
      "source": [
        "train_df.head()"
      ],
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>id</th>\n",
              "      <th>document</th>\n",
              "      <th>label</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>9976970</td>\n",
              "      <td>아 더빙.. 진짜 짜증나네요 목소리</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>3819312</td>\n",
              "      <td>흠...포스터보고 초딩영화줄....오버연기조차 가볍지 않구나</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>10265843</td>\n",
              "      <td>너무재밓었다그래서보는것을추천한다</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>9045019</td>\n",
              "      <td>교도소 이야기구먼 ..솔직히 재미는 없다..평점 조정</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>6483659</td>\n",
              "      <td>사이몬페그의 익살스런 연기가 돋보였던 영화!스파이더맨에서 늙어보이기만 했던 커스틴 ...</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "         id                                           document  label\n",
              "0   9976970                                아 더빙.. 진짜 짜증나네요 목소리      0\n",
              "1   3819312                  흠...포스터보고 초딩영화줄....오버연기조차 가볍지 않구나      1\n",
              "2  10265843                                  너무재밓었다그래서보는것을추천한다      0\n",
              "3   9045019                      교도소 이야기구먼 ..솔직히 재미는 없다..평점 조정      0\n",
              "4   6483659  사이몬페그의 익살스런 연기가 돋보였던 영화!스파이더맨에서 늙어보이기만 했던 커스틴 ...      1"
            ]
          },
          "metadata": {},
          "execution_count": 10
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "RiUdQ3j4Rwrp"
      },
      "source": [
        "\n",
        "필드(Field)\n",
        "- 실제 텍스트를 위한 TEXT 객체\n",
        "- 레이블 데이터를 위한 LABEL 객체\n",
        "> 필드 인자 정리\n",
        "```\n",
        "sequential : 시퀀스 데이터 여부. (True가 기본값)\n",
        "use_vocab : 단어 집합을 만들 것인지 여부. (True가 기본값)\n",
        "tokenize : 어떤 토큰화 함수를 사용할 것인지 지정. (string.split이 기본값)\n",
        "lower : 영어 데이터를 전부 소문자화한다. (False가 기본값)\n",
        "batch_first : 미니 배치 차원을 맨 앞으로 하여 데이터를 불러올 것인지 여부. (False가 기본값)\n",
        "is_target : 레이블 데이터 여부. (False가 기본값)\n",
        "fix_length : 최대 허용 길이. 이 길이에 맞춰서 패딩 작업(Padding)이 진행된다.\n",
        "```\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "oAwlCv2CWlAX"
      },
      "source": [
        "# 필드 정의\n",
        "\n",
        "# id\n",
        "ID = data.Field(sequential = False,\n",
        "                use_vocab = False) # 실제 사용은 하지 않을 예정\n",
        "\n",
        "# document\n",
        "TEXT = data.Field(sequential=True,\n",
        "                  use_vocab=True,\n",
        "                  tokenize=tokenizer.morphs, # 토크나이저로는 Mecab 사용.\n",
        "                  lower=True,\n",
        "                  batch_first=True,\n",
        "                  fix_length=20)\n",
        "\n",
        "# label\n",
        "LABEL = data.Field(sequential=False,\n",
        "                   use_vocab=False,\n",
        "                   is_target=True)\n",
        "\n",
        "#네이버 영화 리뷰 데이터는 3개의 열로 구성되어 있으므로 3개의 필드를 정의"
      ],
      "execution_count": 11,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "dhuIj3yur8GV"
      },
      "source": [
        "train_data, test_data = TabularDataset.splits(\n",
        "        path='.', train='ratings_train.txt', test='ratings_test.txt', format='tsv',\n",
        "        fields=[('id', ID), ('text', TEXT), ('label', LABEL)], skip_header=True)"
      ],
      "execution_count": 12,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ZumTTD24sZqU"
      },
      "source": [
        "→ TabularDataset : tsv형태 데이터를 불러와서 데이터셋의 형식으로 바꿔줌 - split 메서드를 통해 필드 분리\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Y2QDEQy0tKuI",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "e1b46a4d-6686-4346-e66f-37318f3bd195"
      },
      "source": [
        "#분리한 샘플 중 하나 확인\n",
        "\n",
        "vars(train_data[0])"
      ],
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "{'id': '9976970',\n",
              " 'label': '0',\n",
              " 'text': ['아', '더', '빙', '.', '.', '진짜', '짜증', '나', '네요', '목소리']}"
            ]
          },
          "metadata": {},
          "execution_count": 13
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "pxFSx0Pgz8uL"
      },
      "source": [
        "TEXT.build_vocab(train_data, min_freq=10, max_size=10000)"
      ],
      "execution_count": 14,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "7Yn_XThJz-Eu"
      },
      "source": [
        "→ build_vocab 사용해서 단어 집합 생성\n",
        "- min_freq : 단어 집합에 추가 시 단어의 최소 등장 빈도 조건을 추가.\n",
        "- max_size : 단어 집합의 최대 크기를 지정."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "wYmp-zyB0JyE",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "7c45e871-3a4c-40c2-cf9f-a2ba6d282612"
      },
      "source": [
        "# 단어 집합 내 단어 확인\n",
        "\n",
        "TEXT.vocab.stoi"
      ],
      "execution_count": 15,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "defaultdict(<bound method Vocab._default_unk_index of <torchtext.legacy.vocab.Vocab object at 0x7f6132569150>>,\n",
              "            {'<unk>': 0,\n",
              "             '<pad>': 1,\n",
              "             '.': 2,\n",
              "             '이': 3,\n",
              "             '는': 4,\n",
              "             '영화': 5,\n",
              "             '다': 6,\n",
              "             '고': 7,\n",
              "             '하': 8,\n",
              "             '도': 9,\n",
              "             '의': 10,\n",
              "             '가': 11,\n",
              "             '은': 12,\n",
              "             '에': 13,\n",
              "             '을': 14,\n",
              "             '보': 15,\n",
              "             '한': 16,\n",
              "             '..': 17,\n",
              "             '게': 18,\n",
              "             ',': 19,\n",
              "             '들': 20,\n",
              "             '!': 21,\n",
              "             '지': 22,\n",
              "             '를': 23,\n",
              "             '있': 24,\n",
              "             '없': 25,\n",
              "             '?': 26,\n",
              "             '좋': 27,\n",
              "             '나': 28,\n",
              "             '었': 29,\n",
              "             '만': 30,\n",
              "             '는데': 31,\n",
              "             '너무': 32,\n",
              "             '봤': 33,\n",
              "             '적': 34,\n",
              "             '안': 35,\n",
              "             '정말': 36,\n",
              "             '로': 37,\n",
              "             '음': 38,\n",
              "             '으로': 39,\n",
              "             '것': 40,\n",
              "             '아': 41,\n",
              "             '네요': 42,\n",
              "             '재밌': 43,\n",
              "             '어': 44,\n",
              "             '점': 45,\n",
              "             '같': 46,\n",
              "             '지만': 47,\n",
              "             '진짜': 48,\n",
              "             '했': 49,\n",
              "             '에서': 50,\n",
              "             '기': 51,\n",
              "             '네': 52,\n",
              "             '않': 53,\n",
              "             '거': 54,\n",
              "             '았': 55,\n",
              "             '수': 56,\n",
              "             '되': 57,\n",
              "             '면': 58,\n",
              "             'ㅋㅋ': 59,\n",
              "             '과': 60,\n",
              "             '말': 61,\n",
              "             '연기': 62,\n",
              "             '인': 63,\n",
              "             '잘': 64,\n",
              "             '최고': 65,\n",
              "             '주': 66,\n",
              "             '내': 67,\n",
              "             '~': 68,\n",
              "             '평점': 69,\n",
              "             '이런': 70,\n",
              "             '어요': 71,\n",
              "             '던': 72,\n",
              "             '와': 73,\n",
              "             '할': 74,\n",
              "             '왜': 75,\n",
              "             '1': 76,\n",
              "             '겠': 77,\n",
              "             '해': 78,\n",
              "             '스토리': 79,\n",
              "             '습니다': 80,\n",
              "             'ㅋㅋㅋ': 81,\n",
              "             '...': 82,\n",
              "             '드라마': 83,\n",
              "             '생각': 84,\n",
              "             '아니': 85,\n",
              "             '더': 86,\n",
              "             '그': 87,\n",
              "             '싶': 88,\n",
              "             '사람': 89,\n",
              "             '듯': 90,\n",
              "             '감동': 91,\n",
              "             '때': 92,\n",
              "             '함': 93,\n",
              "             '배우': 94,\n",
              "             '본': 95,\n",
              "             '까지': 96,\n",
              "             '좀': 97,\n",
              "             '뭐': 98,\n",
              "             '볼': 99,\n",
              "             '알': 100,\n",
              "             '만들': 101,\n",
              "             '내용': 102,\n",
              "             '감독': 103,\n",
              "             '보다': 104,\n",
              "             '라': 105,\n",
              "             '재미': 106,\n",
              "             '그냥': 107,\n",
              "             '지루': 108,\n",
              "             '시간': 109,\n",
              "             '재미있': 110,\n",
              "             '중': 111,\n",
              "             '년': 112,\n",
              "             '잼': 113,\n",
              "             '10': 114,\n",
              "             '재미없': 115,\n",
              "             '였': 116,\n",
              "             '쓰레기': 117,\n",
              "             '사랑': 118,\n",
              "             '못': 119,\n",
              "             '냐': 120,\n",
              "             '서': 121,\n",
              "             '2': 122,\n",
              "             '라고': 123,\n",
              "             '야': 124,\n",
              "             '니': 125,\n",
              "             '면서': 126,\n",
              "             '번': 127,\n",
              "             '다시': 128,\n",
              "             '나오': 129,\n",
              "             '작품': 130,\n",
              "             '이거': 131,\n",
              "             '하나': 132,\n",
              "             '줄': 133,\n",
              "             '해서': 134,\n",
              "             '개': 135,\n",
              "             '남': 136,\n",
              "             '정도': 137,\n",
              "             '마지막': 138,\n",
              "             '끝': 139,\n",
              "             '이건': 140,\n",
              "             '임': 141,\n",
              "             '액션': 142,\n",
              "             'ㅋ': 143,\n",
              "             '3': 144,\n",
              "             '입니다': 145,\n",
              "             '기대': 146,\n",
              "             '건': 147,\n",
              "             '완전': 148,\n",
              "             '라는': 149,\n",
              "             '분': 150,\n",
              "             '다는': 151,\n",
              "             '참': 152,\n",
              "             '많': 153,\n",
              "             '아깝': 154,\n",
              "             '처음': 155,\n",
              "             '장면': 156,\n",
              "             '대': 157,\n",
              "             '다가': 158,\n",
              "             '으면': 159,\n",
              "             '지금': 160,\n",
              "             '모르': 161,\n",
              "             '이렇게': 162,\n",
              "             \"'\": 163,\n",
              "             '편': 164,\n",
              "             '일': 165,\n",
              "             '이게': 166,\n",
              "             '돈': 167,\n",
              "             '최악': 168,\n",
              "             '성': 169,\n",
              "             '느낌': 170,\n",
              "             '시': 171,\n",
              "             '이야기': 172,\n",
              "             '별로': 173,\n",
              "             '된': 174,\n",
              "             '봐도': 175,\n",
              "             '님': 176,\n",
              "             '어서': 177,\n",
              "             '애': 178,\n",
              "             '전': 179,\n",
              "             'ㅠㅠ': 180,\n",
              "             '넘': 181,\n",
              "             '인데': 182,\n",
              "             '다고': 183,\n",
              "             '이해': 184,\n",
              "             '자': 185,\n",
              "             '명작': 186,\n",
              "             '^^': 187,\n",
              "             '그리고': 188,\n",
              "             '역시': 189,\n",
              "             '난': 190,\n",
              "             '여자': 191,\n",
              "             '또': 192,\n",
              "             '이상': 193,\n",
              "             '걸': 194,\n",
              "             '한국': 195,\n",
              "             '에게': 196,\n",
              "             '는지': 197,\n",
              "             '많이': 198,\n",
              "             '부터': 199,\n",
              "             '만든': 200,\n",
              "             '주인공': 201,\n",
              "             '받': 202,\n",
              "             '합니다': 203,\n",
              "             '!!': 204,\n",
              "             '두': 205,\n",
              "             '우리': 206,\n",
              "             '살': 207,\n",
              "             '괜찮': 208,\n",
              "             '길': 209,\n",
              "             '엔': 210,\n",
              "             '기억': 211,\n",
              "             '한다': 212,\n",
              "             'ㅎㅎ': 213,\n",
              "             '연출': 214,\n",
              "             '때문': 215,\n",
              "             '이나': 216,\n",
              "             '요': 217,\n",
              "             '저': 218,\n",
              "             '재': 219,\n",
              "             '꼭': 220,\n",
              "             '랑': 221,\n",
              "             '며': 222,\n",
              "             '현실': 223,\n",
              "             'ㅡㅡ': 224,\n",
              "             '긴': 225,\n",
              "             '무슨': 226,\n",
              "             '마음': 227,\n",
              "             '내내': 228,\n",
              "             '굿': 229,\n",
              "             '결말': 230,\n",
              "             '죽': 231,\n",
              "             '남자': 232,\n",
              "             '세요': 233,\n",
              "             '전개': 234,\n",
              "             '속': 235,\n",
              "             '소재': 236,\n",
              "             '짱': 237,\n",
              "             '인생': 238,\n",
              "             '공포': 239,\n",
              "             '다른': 240,\n",
              "             '아서': 241,\n",
              "             '씨': 242,\n",
              "             '~~': 243,\n",
              "             '짜증': 244,\n",
              "             '은데': 245,\n",
              "             '뿐': 246,\n",
              "             '아요': 247,\n",
              "             '필요': 248,\n",
              "             '별': 249,\n",
              "             '유치': 250,\n",
              "             '가장': 251,\n",
              "             '음악': 252,\n",
              "             ')': 253,\n",
              "             '일본': 254,\n",
              "             '낮': 255,\n",
              "             '아이': 256,\n",
              "             ';;': 257,\n",
              "             '오': 258,\n",
              "             '반전': 259,\n",
              "             '다니': 260,\n",
              "             '매력': 261,\n",
              "             '수준': 262,\n",
              "             '밋': 263,\n",
              "             '웃': 264,\n",
              "             '맞': 265,\n",
              "             '인지': 266,\n",
              "             '가슴': 267,\n",
              "             '없이': 268,\n",
              "             '원작': 269,\n",
              "             'ㄷ': 270,\n",
              "             '높': 271,\n",
              "             '인간': 272,\n",
              "             '데': 273,\n",
              "             'ㅠ': 274,\n",
              "             '(': 275,\n",
              "             '노': 276,\n",
              "             '만드': 277,\n",
              "             '급': 278,\n",
              "             '눈물': 279,\n",
              "             '준': 280,\n",
              "             '보여': 281,\n",
              "             '용': 282,\n",
              "             '찍': 283,\n",
              "             '인가': 284,\n",
              "             '을까': 285,\n",
              "             '코미디': 286,\n",
              "             '마': 287,\n",
              "             '화': 288,\n",
              "             '신': 289,\n",
              "             '여': 290,\n",
              "             '모든': 291,\n",
              "             '쓰': 292,\n",
              "             '5': 293,\n",
              "             '아직': 294,\n",
              "             '추천': 295,\n",
              "             '눈': 296,\n",
              "             '처럼': 297,\n",
              "             '아닌': 298,\n",
              "             '자체': 299,\n",
              "             '4': 300,\n",
              "             '울': 301,\n",
              "             '대박': 302,\n",
              "             '몰입': 303,\n",
              "             '몇': 304,\n",
              "             '스럽': 305,\n",
              "             '실망': 306,\n",
              "             '는다': 307,\n",
              "             '대한': 308,\n",
              "             '죠': 309,\n",
              "             '란': 310,\n",
              "             '그런': 311,\n",
              "             'ㅎ': 312,\n",
              "             '솔직히': 313,\n",
              "             '캐릭터': 314,\n",
              "             '아주': 315,\n",
              "             '모두': 316,\n",
              "             '-': 317,\n",
              "             '가족': 318,\n",
              "             '여운': 319,\n",
              "             '건지': 320,\n",
              "             '전혀': 321,\n",
              "             '연기력': 322,\n",
              "             '나라': 323,\n",
              "             '후': 324,\n",
              "             '다면': 325,\n",
              "             '될': 326,\n",
              "             '뭔가': 327,\n",
              "             '그래도': 328,\n",
              "             ';': 329,\n",
              "             '시리즈': 330,\n",
              "             '근데': 331,\n",
              "             '작': 332,\n",
              "             '표현': 333,\n",
              "             '모습': 334,\n",
              "             '공감': 335,\n",
              "             '계속': 336,\n",
              "             '먹': 337,\n",
              "             '\"\"': 338,\n",
              "             '7': 339,\n",
              "             '제목': 340,\n",
              "             '이랑': 341,\n",
              "             '극장': 342,\n",
              "             '치': 343,\n",
              "             '비': 344,\n",
              "             '이걸': 345,\n",
              "             '진': 346,\n",
              "             '0': 347,\n",
              "             '바': 348,\n",
              "             'oo': 349,\n",
              "             '그렇': 350,\n",
              "             '대사': 351,\n",
              "             '부분': 352,\n",
              "             '개봉': 353,\n",
              "             '대단': 354,\n",
              "             '어디': 355,\n",
              "             '된다': 356,\n",
              "             '작가': 357,\n",
              "             '기분': 358,\n",
              "             '아쉽': 359,\n",
              "             '제': 360,\n",
              "             '진심': 361,\n",
              "             '타임': 362,\n",
              "             '/': 363,\n",
              "             '놓': 364,\n",
              "             '웃기': 365,\n",
              "             '보이': 366,\n",
              "             '해도': 367,\n",
              "             '물': 368,\n",
              "             '이제': 369,\n",
              "             '봐야': 370,\n",
              "             '막장': 371,\n",
              "             '삶': 372,\n",
              "             '친구': 373,\n",
              "             '잔잔': 374,\n",
              "             '씬': 375,\n",
              "             '조금': 376,\n",
              "             '딱': 377,\n",
              "             '억지': 378,\n",
              "             '영상': 379,\n",
              "             '찾': 380,\n",
              "             '같이': 381,\n",
              "             '요즘': 382,\n",
              "             '\"': 383,\n",
              "             '중간': 384,\n",
              "             '구': 385,\n",
              "             '스릴러': 386,\n",
              "             '....': 387,\n",
              "             '가지': 388,\n",
              "             '라도': 389,\n",
              "             '8': 390,\n",
              "             '믿': 391,\n",
              "             '싫': 392,\n",
              "             '아까운': 393,\n",
              "             '나왔': 394,\n",
              "             '점수': 395,\n",
              "             '긴장감': 396,\n",
              "             '부족': 397,\n",
              "             '개인': 398,\n",
              "             '제대로': 399,\n",
              "             '노래': 400,\n",
              "             '이유': 401,\n",
              "             '만큼': 402,\n",
              "             '라면': 403,\n",
              "             '시작': 404,\n",
              "             '구나': 405,\n",
              "             '잇': 406,\n",
              "             '특히': 407,\n",
              "             '한테': 408,\n",
              "             '날': 409,\n",
              "             '아름다운': 410,\n",
              "             '려고': 411,\n",
              "             '제일': 412,\n",
              "             '시대': 413,\n",
              "             'ㅜㅜ': 414,\n",
              "             '어떻게': 415,\n",
              "             '엔딩': 416,\n",
              "             '당시': 417,\n",
              "             '봐': 418,\n",
              "             '하지만': 419,\n",
              "             '나름': 420,\n",
              "             '무섭': 421,\n",
              "             '나온': 422,\n",
              "             '명': 423,\n",
              "             '이것': 424,\n",
              "             '해요': 425,\n",
              "             '사': 426,\n",
              "             '오랜만': 427,\n",
              "             '9': 428,\n",
              "             '니까': 429,\n",
              "             '팬': 430,\n",
              "             '차라리': 431,\n",
              "             '절대': 432,\n",
              "             '세상': 433,\n",
              "             '세': 434,\n",
              "             '던데': 435,\n",
              "             '의미': 436,\n",
              "             '못하': 437,\n",
              "             '따뜻': 438,\n",
              "             '봄': 439,\n",
              "             '욕': 440,\n",
              "             '강추': 441,\n",
              "             '훌륭': 442,\n",
              "             '너무나': 443,\n",
              "             'ㅡ': 444,\n",
              "             '감': 445,\n",
              "             '느끼': 446,\n",
              "             '됨': 447,\n",
              "             '해야': 448,\n",
              "             '빼': 449,\n",
              "             '도대체': 450,\n",
              "             '드': 451,\n",
              "             '어야': 452,\n",
              "             '답답': 453,\n",
              "             '마다': 454,\n",
              "             '준다': 455,\n",
              "             '글': 456,\n",
              "             '놈': 457,\n",
              "             '전쟁': 458,\n",
              "             '수작': 459,\n",
              "             '설정': 460,\n",
              "             '무엇': 461,\n",
              "             '흥미': 462,\n",
              "             '그저': 463,\n",
              "             '만화': 464,\n",
              "             '감정': 465,\n",
              "             '미국': 466,\n",
              "             '행복': 467,\n",
              "             '신선': 468,\n",
              "             '군': 469,\n",
              "             '뻔': 470,\n",
              "             '허접': 471,\n",
              "             '형': 472,\n",
              "             '앞': 473,\n",
              "             '어도': 474,\n",
              "             '6': 475,\n",
              "             '관객': 476,\n",
              "             '배경': 477,\n",
              "             '시절': 478,\n",
              "             '사실': 479,\n",
              "             '초반': 480,\n",
              "             'ooo': 481,\n",
              "             '엄청': 482,\n",
              "             '웃음': 483,\n",
              "             '답': 484,\n",
              "             '더라': 485,\n",
              "             '추억': 486,\n",
              "             '라니': 487,\n",
              "             '자신': 488,\n",
              "             '질': 489,\n",
              "             'b': 490,\n",
              "             'cg': 491,\n",
              "             '캐스팅': 492,\n",
              "             '류': 493,\n",
              "             '멋있': 494,\n",
              "             '첨': 495,\n",
              "             '슬프': 496,\n",
              "             '시나리오': 497,\n",
              "             '어색': 498,\n",
              "             '머': 499,\n",
              "             '소름': 500,\n",
              "             '밖에': 501,\n",
              "             '정신': 502,\n",
              "             'tv': 503,\n",
              "             '분위기': 504,\n",
              "             '멋진': 505,\n",
              "             '힘들': 506,\n",
              "             '오늘': 507,\n",
              "             '어이없': 508,\n",
              "             '졸작': 509,\n",
              "             '봐서': 510,\n",
              "             '잡': 511,\n",
              "             '걍': 512,\n",
              "             '킬링': 513,\n",
              "             '문제': 514,\n",
              "             '위해': 515,\n",
              "             '구성': 516,\n",
              "             '엄마': 517,\n",
              "             '함께': 518,\n",
              "             '이딴': 519,\n",
              "             '잊': 520,\n",
              "             '등': 521,\n",
              "             '집': 522,\n",
              "             '유쾌': 523,\n",
              "             '뻔한': 524,\n",
              "             '스러운': 525,\n",
              "             '결국': 526,\n",
              "             '낫': 527,\n",
              "             '뭘': 528,\n",
              "             '어떤': 529,\n",
              "             '나요': 530,\n",
              "             '한데': 531,\n",
              "             '소리': 532,\n",
              "             '간': 533,\n",
              "             '역사': 534,\n",
              "             '20': 535,\n",
              "             '뭔': 536,\n",
              "             '제발': 537,\n",
              "             '아무리': 538,\n",
              "             '포스터': 539,\n",
              "             '코믹': 540,\n",
              "             '!!!': 541,\n",
              "             '~~~': 542,\n",
              "             '완벽': 543,\n",
              "             '애니메이션': 544,\n",
              "             '맘': 545,\n",
              "             '얼마나': 546,\n",
              "             '난다': 547,\n",
              "             '러': 548,\n",
              "             '주연': 549,\n",
              "             '원': 550,\n",
              "             '♥': 551,\n",
              "             '버리': 552,\n",
              "             '어릴': 553,\n",
              "             '후회': 554,\n",
              "             '진부': 555,\n",
              "             '나올': 556,\n",
              "             '됐': 557,\n",
              "             '장난': 558,\n",
              "             '책': 559,\n",
              "             '보단': 560,\n",
              "             '큰': 561,\n",
              "             '더니': 562,\n",
              "             '영화관': 563,\n",
              "             '개연': 564,\n",
              "             '출연': 565,\n",
              "             '둘': 566,\n",
              "             '극': 567,\n",
              "             '보고': 568,\n",
              "             'ㅅ': 569,\n",
              "             '밖': 570,\n",
              "             '줬': 571,\n",
              "             '충격': 572,\n",
              "             '아름답': 573,\n",
              "             '여기': 574,\n",
              "             '엇': 575,\n",
              "             '잔인': 576,\n",
              "             '얘기': 577,\n",
              "             '평가': 578,\n",
              "             '꺼': 579,\n",
              "             '예술': 580,\n",
              "             '매우': 581,\n",
              "             '봐라': 582,\n",
              "             '갈수록': 583,\n",
              "             '든': 584,\n",
              "             '이리': 585,\n",
              "             '자기': 586,\n",
              "             '위한': 587,\n",
              "             '이후': 588,\n",
              "             '읽': 589,\n",
              "             '반': 590,\n",
              "             '얼굴': 591,\n",
              "             '꽤': 592,\n",
              "             '낭비': 593,\n",
              "             '이쁘': 594,\n",
              "             '티비': 595,\n",
              "             '옛날': 596,\n",
              "             '으나': 597,\n",
              "             '깊': 598,\n",
              "             '별점': 599,\n",
              "             '불쌍': 600,\n",
              "             '못한': 601,\n",
              "             '불': 602,\n",
              "             '겟': 603,\n",
              "             '순수': 604,\n",
              "             '시청': 605,\n",
              "             '라서': 606,\n",
              "             '건가': 607,\n",
              "             '언제': 608,\n",
              "             '머리': 609,\n",
              "             '비디오': 610,\n",
              "             '애니': 611,\n",
              "             '장르': 612,\n",
              "             '+': 613,\n",
              "             '생각나': 614,\n",
              "             '텐데': 615,\n",
              "             '배': 616,\n",
              "             'ost': 617,\n",
              "             '미': 618,\n",
              "             ':': 619,\n",
              "             '그래서': 620,\n",
              "             '다운': 621,\n",
              "             '주제': 622,\n",
              "             '궁금': 623,\n",
              "             '다음': 624,\n",
              "             '다큐': 625,\n",
              "             '아님': 626,\n",
              "             '그렇게': 627,\n",
              "             '누구': 628,\n",
              "             '시키': 629,\n",
              "             '예전': 630,\n",
              "             '크': 631,\n",
              "             '그만': 632,\n",
              "             '동안': 633,\n",
              "             '??': 634,\n",
              "             '뒤': 635,\n",
              "             '감사': 636,\n",
              "             '상황': 637,\n",
              "             '이름': 638,\n",
              "             '인상': 639,\n",
              "             '미친': 640,\n",
              "             '스릴': 641,\n",
              "             '시즌': 642,\n",
              "             '아무': 643,\n",
              "             '오래': 644,\n",
              "             '너': 645,\n",
              "             '집중': 646,\n",
              "             '힘': 647,\n",
              "             '그러': 648,\n",
              "             '본다': 649,\n",
              "             '어느': 650,\n",
              "             '로맨스': 651,\n",
              "             '약간': 652,\n",
              "             '진정': 653,\n",
              "             '나와서': 654,\n",
              "             '마세요': 655,\n",
              "             '식': 656,\n",
              "             '그나마': 657,\n",
              "             '까': 658,\n",
              "             '방송': 659,\n",
              "             '짜리': 660,\n",
              "             '평': 661,\n",
              "             '꿈': 662,\n",
              "             '걸작': 663,\n",
              "             '소설': 664,\n",
              "             '에요': 665,\n",
              "             '여주인공': 666,\n",
              "             '몰': 667,\n",
              "             '존나': 668,\n",
              "             '그대로': 669,\n",
              "             '났': 670,\n",
              "             '인물': 671,\n",
              "             '죽이': 672,\n",
              "             '그것': 673,\n",
              "             '떨어지': 674,\n",
              "             '회': 675,\n",
              "             '케': 676,\n",
              "             '왔': 677,\n",
              "             '만점': 678,\n",
              "             '실화': 679,\n",
              "             '대체': 680,\n",
              "             '해라': 681,\n",
              "             '훨씬': 682,\n",
              "             '~!': 683,\n",
              "             '짓': 684,\n",
              "             '무': 685,\n",
              "             '발연기': 686,\n",
              "             '사회': 687,\n",
              "             '전체': 688,\n",
              "             '구만': 689,\n",
              "             'ㅜ': 690,\n",
              "             '누가': 691,\n",
              "             '비슷': 692,\n",
              "             '30': 693,\n",
              "             '막': 694,\n",
              "             '끝나': 695,\n",
              "             '햇': 696,\n",
              "             '엉성': 697,\n",
              "             '귀엽': 698,\n",
              "             '단': 699,\n",
              "             '여주': 700,\n",
              "             '영상미': 701,\n",
              "             '중국': 702,\n",
              "             '비교': 703,\n",
              "             '초딩': 704,\n",
              "             '감성': 705,\n",
              "             '꿀': 706,\n",
              "             '네이버': 707,\n",
              "             '세계': 708,\n",
              "             '여배우': 709,\n",
              "             '는가': 710,\n",
              "             '더럽': 711,\n",
              "             '망': 712,\n",
              "             'ㅎㅎㅎ': 713,\n",
              "             '순간': 714,\n",
              "             '느껴': 715,\n",
              "             '려는': 716,\n",
              "             ';;;': 717,\n",
              "             '나이': 718,\n",
              "             '상': 719,\n",
              "             '대해': 720,\n",
              "             '첫': 721,\n",
              "             '어렸': 722,\n",
              "             '생': 723,\n",
              "             '입': 724,\n",
              "             '쯤': 725,\n",
              "             '판': 726,\n",
              "             '갔': 727,\n",
              "             '돋': 728,\n",
              "             '가능': 729,\n",
              "             '셨': 730,\n",
              "             '어설픈': 731,\n",
              "             '100': 732,\n",
              "             '학교': 733,\n",
              "             '성룡': 734,\n",
              "             '타': 735,\n",
              "             '느낄': 736,\n",
              "             '아들': 737,\n",
              "             '혼자': 738,\n",
              "             '멋지': 739,\n",
              "             '아야': 740,\n",
              "             '졸': 741,\n",
              "             '.....': 742,\n",
              "             '어린': 743,\n",
              "             '교훈': 744,\n",
              "             '나가': 745,\n",
              "             '바로': 746,\n",
              "             '잘못': 747,\n",
              "             '굳': 748,\n",
              "             '맛': 749,\n",
              "             '한마디': 750,\n",
              "             '길래': 751,\n",
              "             '당신': 752,\n",
              "             '딸': 753,\n",
              "             '존': 754,\n",
              "             '판타지': 755,\n",
              "             '끌': 756,\n",
              "             '삼류': 757,\n",
              "             '티': 758,\n",
              "             '화려': 759,\n",
              "             '아까움': 760,\n",
              "             '땜': 761,\n",
              "             '잠': 762,\n",
              "             '든다': 763,\n",
              "             '차': 764,\n",
              "             '달': 765,\n",
              "             '똥': 766,\n",
              "             '맨': 767,\n",
              "             '빨리': 768,\n",
              "             '목소리': 769,\n",
              "             'good': 770,\n",
              "             '거의': 771,\n",
              "             '당': 772,\n",
              "             '영': 773,\n",
              "             '나온다': 774,\n",
              "             '듣': 775,\n",
              "             '봤었': 776,\n",
              "             '전부': 777,\n",
              "             'ㅉㅉ': 778,\n",
              "             '독특': 779,\n",
              "             '가치': 780,\n",
              "             '다르': 781,\n",
              "             '건데': 782,\n",
              "             '초': 783,\n",
              "             '어른': 784,\n",
              "             '위': 785,\n",
              "             '률': 786,\n",
              "             '상당히': 787,\n",
              "             '씩': 788,\n",
              "             '90': 789,\n",
              "             'sf': 790,\n",
              "             '다만': 791,\n",
              "             '질질': 792,\n",
              "             '넣': 793,\n",
              "             '아버지': 794,\n",
              "             '갑자기': 795,\n",
              "             '줄거리': 796,\n",
              "             '평론가': 797,\n",
              "             '이번': 798,\n",
              "             '한번': 799,\n",
              "             '스타일': 800,\n",
              "             '이러': 801,\n",
              "             '그러나': 802,\n",
              "             '여러': 803,\n",
              "             'ㅂ': 804,\n",
              "             '군요': 805,\n",
              "             '밑': 806,\n",
              "             '의도': 807,\n",
              "             '저런': 808,\n",
              "             '존재': 809,\n",
              "             '허무': 810,\n",
              "             '%': 811,\n",
              "             '대로': 812,\n",
              "             '부': 813,\n",
              "             '각본': 814,\n",
              "             '에선': 815,\n",
              "             '째': 816,\n",
              "             '성우': 817,\n",
              "             '예상': 818,\n",
              "             '지루함': 819,\n",
              "             '버린': 820,\n",
              "             '으면서': 821,\n",
              "             '그녀': 822,\n",
              "             '너무너무': 823,\n",
              "             '화면': 824,\n",
              "             'ㄱ': 825,\n",
              "             '떠나': 826,\n",
              "             '비해': 827,\n",
              "             '예쁘': 828,\n",
              "             '자연': 829,\n",
              "             '담': 830,\n",
              "             '굉장히': 831,\n",
              "             '그런지': 832,\n",
              "             '뻔하': 833,\n",
              "             '평범': 834,\n",
              "             '만나': 835,\n",
              "             '돼': 836,\n",
              "             '슬픈': 837,\n",
              "             '관람': 838,\n",
              "             '못했': 839,\n",
              "             '복수': 840,\n",
              "             '스': 841,\n",
              "             '일단': 842,\n",
              "             '줌': 843,\n",
              "             '낸': 844,\n",
              "             '단순': 845,\n",
              "             '댓글': 846,\n",
              "             '새로운': 847,\n",
              "             '중요': 848,\n",
              "             '갖': 849,\n",
              "             '극장판': 850,\n",
              "             '앗': 851,\n",
              "             '피': 852,\n",
              "             '제작': 853,\n",
              "             '버렸': 854,\n",
              "             '만족': 855,\n",
              "             '선택': 856,\n",
              "             '쉽': 857,\n",
              "             '아빠': 858,\n",
              "             '진행': 859,\n",
              "             '거나': 860,\n",
              "             '불편': 861,\n",
              "             '쓴': 862,\n",
              "             '요소': 863,\n",
              "             '한편': 864,\n",
              "             '항상': 865,\n",
              "             '거기': 866,\n",
              "             '연출력': 867,\n",
              "             '그때': 868,\n",
              "             '잃': 869,\n",
              "             '롭': 870,\n",
              "             '에로': 871,\n",
              "             '한다는': 872,\n",
              "             'd': 873,\n",
              "             '산': 874,\n",
              "             '탄탄': 875,\n",
              "             '발': 876,\n",
              "             '예요': 877,\n",
              "             '나옴': 878,\n",
              "             '한심': 879,\n",
              "             '물론': 880,\n",
              "             '흥행': 881,\n",
              "             '려': 882,\n",
              "             '따라': 883,\n",
              "             '전형': 884,\n",
              "             '지나': 885,\n",
              "             '관계': 886,\n",
              "             '역대': 887,\n",
              "             '이하': 888,\n",
              "             '점점': 889,\n",
              "             '조': 890,\n",
              "             '편집': 891,\n",
              "             '아까워': 892,\n",
              "             '법': 893,\n",
              "             '짧': 894,\n",
              "             '던가': 895,\n",
              "             '따': 896,\n",
              "             '총': 897,\n",
              "             '안타깝': 898,\n",
              "             '충분히': 899,\n",
              "             '아닌가': 900,\n",
              "             '에겐': 901,\n",
              "             '식상': 902,\n",
              "             '화이팅': 903,\n",
              "             '80': 904,\n",
              "             '김': 905,\n",
              "             '몰랐': 906,\n",
              "             '-_-': 907,\n",
              "             '미안': 908,\n",
              "             '자꾸': 909,\n",
              "             '훈훈': 910,\n",
              "             '도록': 911,\n",
              "             '게임': 912,\n",
              "             '멜': 913,\n",
              "             '장': 914,\n",
              "             '곳': 915,\n",
              "             '그게': 916,\n",
              "             '원래': 917,\n",
              "             '몸': 918,\n",
              "             '자극': 919,\n",
              "             '~!!': 920,\n",
              "             '구요': 921,\n",
              "             '삼': 922,\n",
              "             '나쁜': 923,\n",
              "             '사건': 924,\n",
              "             '설명': 925,\n",
              "             '손': 926,\n",
              "             '어쩔': 927,\n",
              "             '간다': 928,\n",
              "             '똑같': 929,\n",
              "             '팔': 930,\n",
              "             '뭔지': 931,\n",
              "             '잖아': 932,\n",
              "             '풀': 933,\n",
              "             '귀신': 934,\n",
              "             '어울리': 935,\n",
              "             '짜': 936,\n",
              "             '과거': 937,\n",
              "             '짐': 938,\n",
              "             '그래픽': 939,\n",
              "             '노력': 940,\n",
              "             '도저히': 941,\n",
              "             '빙': 942,\n",
              "             '황당': 943,\n",
              "             '닿': 944,\n",
              "             '됬': 945,\n",
              "             '아프': 946,\n",
              "             '조차': 947,\n",
              "             '개그': 948,\n",
              "             '듬': 949,\n",
              "             '미치': 950,\n",
              "             '빠': 951,\n",
              "             '죽음': 952,\n",
              "             '중반': 953,\n",
              "             '코메디': 954,\n",
              "             '프랑스': 955,\n",
              "             '홍콩': 956,\n",
              "             '빠져': 957,\n",
              "             '속편': 958,\n",
              "             '취향': 959,\n",
              "             '했었': 960,\n",
              "             '무비': 961,\n",
              "             '무조건': 962,\n",
              "             '역': 963,\n",
              "             '소중': 964,\n",
              "             '짱짱': 965,\n",
              "             '멋': 966,\n",
              "             '이란': 967,\n",
              "             '참신': 968,\n",
              "             '프로': 969,\n",
              "             '헐': 970,\n",
              "             '쳐': 971,\n",
              "             '병맛': 972,\n",
              "             '나쁘': 973,\n",
              "             '좋아하': 974,\n",
              "             '괜히': 975,\n",
              "             '넘치': 976,\n",
              "             '더욱': 977,\n",
              "             '비추': 978,\n",
              "             '빠지': 979,\n",
              "             '아쉬운': 980,\n",
              "             '척': 981,\n",
              "             '특유': 982,\n",
              "             '리': 983,\n",
              "             '진지': 984,\n",
              "             '결혼': 985,\n",
              "             '또한': 986,\n",
              "             '상상': 987,\n",
              "             '상영': 988,\n",
              "             '숨': 989,\n",
              "             '유명': 990,\n",
              "             '전설': 991,\n",
              "             '심리': 992,\n",
              "             '무서운': 993,\n",
              "             '엄청난': 994,\n",
              "             '오히려': 995,\n",
              "             '인듯': 996,\n",
              "             '희망': 997,\n",
              "             '예고편': 998,\n",
              "             '별루': 999,\n",
              "             ...})"
            ]
          },
          "metadata": {},
          "execution_count": 15
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "BZ4WgaMx1-8v"
      },
      "source": [
        "`우리가 학습하고자 하는 데이터 셋에 대해 Dataset 클래스로 정의한뒤, Dataloader 클래스에 인수로 주면 network에서 우리의 데이터를 사용할 수 있다. `\n",
        "- Dataloader 만들기"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tw8LaSpV0tYq"
      },
      "source": [
        "from torchtext.legacy.data import Iterator"
      ],
      "execution_count": 17,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8KCk-bX01MTT"
      },
      "source": [
        "batch_size = 5 #임의로 배치 사이즈 설정"
      ],
      "execution_count": 19,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ylUTue411IJu"
      },
      "source": [
        "train_loader = Iterator(dataset=train_data, batch_size = batch_size)\n",
        "test_loader = Iterator(dataset=test_data, batch_size = batch_size)"
      ],
      "execution_count": 20,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "SczUcYk12MWP",
        "outputId": "41e90a9e-b512-4656-dadd-9ae3d6da11eb",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "print('훈련 데이터의 미니 배치 수 : {}'.format(len(train_loader)))\n",
        "print('테스트 데이터의 미니 배치 수 : {}'.format(len(test_loader)))"
      ],
      "execution_count": 21,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "훈련 데이터의 미니 배치 수 : 30000\n",
            "테스트 데이터의 미니 배치 수 : 10000\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Iz9pp_LR2O51",
        "outputId": "8e7eb571-8023-436a-f75c-9e3d94a89811",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "batch = next(iter(train_loader)) # 첫번째 미니배치\n",
        "print(batch.text)"
      ],
      "execution_count": 22,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "tensor([[7498,   25,   80,    2,    1,    1,    1,    1,    1,    1,    1,    1,\n",
            "            1,    1,    1,    1,    1,    1,    1,    1],\n",
            "        [  36,  235,   12,  170,    3,    6,    1,    1,    1,    1,    1,    1,\n",
            "            1,    1,    1,    1,    1,    1,    1,    1],\n",
            "        [ 867,   14,   44,    3,   25,    4,  622,   13, 2618,   41,  813,   29,\n",
            "            6,    2, 6484,    0,   98,  124,   26,  163],\n",
            "        [1242, 5758, 3421,   16,  607,    2, 3949,    1,    1,    1,    1,    1,\n",
            "            1,    1,    1,    1,    1,    1,    1,    1],\n",
            "        [   0,   11, 3136,    9,    5,   11,    3, 2098,    3,   58,    2,    2,\n",
            "            1,    1,    1,    1,    1,    1,    1,    1]])\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "eunn78jI2Vp7"
      },
      "source": [
        "\n",
        "\n",
        "```\n",
        "배치 크기가 5이기 때문에 5개의 샘플이 출력되는 것을 볼 수 있습니다. 각 샘플의 길이는 20의 길이를 가지는데, 이는 앞서 초기에 필드를 정의할 때 fix_length를 20으로 정해주었기 때문입니다. 다시 말해 하나의 미니 배치의 크기는 (배치 크기 × fix_length)입니다.\n",
        "\n",
        "샘플의 중간, 중간에는 숫자 0이 존재하는데 이는 단어 집합에 포함되지 못한 단어들은 <unk>라는 토큰으로 변환되었음을 의미합니다. 또한 기존 샘플 길이가 20보다 작았던 샘플들은 뒤에 <pad> 토큰의 번호인 숫자 1로 패딩되었습니다.\n",
        "```\n",
        "\n"
      ]
    }
  ]
}