tag_tokenizer.json

"{\"class_name\": \"Tokenizer\", \"config\": {\"num_words\": null, \"filters\": \"!\\\"#$%&()*+,-./:;<=>?@[\\\\]^_`{|}~\\t\\n\", \"lower\": true, \"split\": \" \", \"char_level\": false, \"oov_token\": null, \"document_count\": 33458, \"word_counts\": \"{\\\"in\\\": 82844, \\\"dt\\\": 68977, \\\"nnp\\\": 76236, \\\"cd\\\": 30227, \\\"nn\\\": 111571, \\\"``\\\": 5951, \\\"''\\\": 5811, \\\"pos\\\": 7282, \\\"(\\\": 1153, \\\"vbn\\\": 16727, \\\"nns\\\": 50585, \\\"vbp\\\": 10810, \\\",\\\": 40608, \\\"cc\\\": 20094, \\\")\\\": 1163, \\\"vbd\\\": 24522, \\\"rb\\\": 26198, \\\"to\\\": 18773, \\\".\\\": 33169, \\\"vbz\\\": 18527, \\\"nnps\\\": 2184, \\\"prp\\\": 14776, \\\"prp$\\\": 7055, \\\"vb\\\": 22430, \\\"jj\\\": 51851, \\\"md\\\": 8329, \\\"vbg\\\": 12626, \\\"rbr\\\": 1523, \\\":\\\": 4028, \\\"wp\\\": 2007, \\\"wdt\\\": 3666, \\\"jjr\\\": 2730, \\\"pdt\\\": 299, \\\"rbs\\\": 391, \\\"wrb\\\": 1834, \\\"jjs\\\": 1645, \\\"$\\\": 6044, \\\"rp\\\": 2259, \\\"fw\\\": 219, \\\"ex\\\": 728, \\\"sym\\\": 54, \\\"#\\\": 110, \\\"ls\\\": 34, \\\"uh\\\": 84, \\\"wp$\\\": 150}\", \"word_docs\": \"{\\\"(\\\": 1047, \\\"''\\\": 5332, \\\"pos\\\": 6383, \\\"rb\\\": 17067, \\\"nnp\\\": 21911, \\\"dt\\\": 28216, \\\")\\\": 1052, \\\"vbd\\\": 16870, \\\"in\\\": 29088, \\\"vbn\\\": 12718, \\\"nns\\\": 24111, \\\"vbp\\\": 8509, \\\",\\\": 21360, \\\"``\\\": 5429, \\\"to\\\": 14085, \\\"nn\\\": 30761, \\\".\\\": 32908, \\\"cd\\\": 12689, \\\"cc\\\": 15001, \\\"vbz\\\": 13789, \\\"prp\\\": 10710, \\\"jj\\\": 24647, \\\"nnps\\\": 1865, \\\"prp$\\\": 6091, \\\"vb\\\": 15278, \\\"md\\\": 7345, \\\"vbg\\\": 10029, \\\"rbr\\\": 1441, \\\":\\\": 2953, \\\"wdt\\\": 3452, \\\"wp\\\": 1875, \\\"jjr\\\": 2449, \\\"pdt\\\": 294, \\\"rbs\\\": 385, \\\"wrb\\\": 1740, \\\"jjs\\\": 1570, \\\"$\\\": 4114, \\\"rp\\\": 2155, \\\"fw\\\": 150, \\\"ex\\\": 707, \\\"sym\\\": 54, \\\"#\\\": 84, \\\"ls\\\": 31, \\\"uh\\\": 78, \\\"wp$\\\": 148}\", \"index_docs\": \"{\\\"36\\\": 1047, \\\"25\\\": 5332, \\\"21\\\": 6383, \\\"10\\\": 17067, \\\"3\\\": 21911, \\\"4\\\": 28216, \\\"35\\\": 1052, \\\"11\\\": 16870, \\\"2\\\": 29088, \\\"16\\\": 12718, \\\"6\\\": 24111, \\\"19\\\": 8509, \\\"7\\\": 21360, \\\"24\\\": 5429, \\\"14\\\": 14085, \\\"1\\\": 30761, \\\"8\\\": 32908, \\\"9\\\": 12689, \\\"13\\\": 15001, \\\"15\\\": 13789, \\\"17\\\": 10710, \\\"5\\\": 24647, \\\"30\\\": 1865, \\\"22\\\": 6091, \\\"12\\\": 15278, \\\"20\\\": 7345, \\\"18\\\": 10029, \\\"34\\\": 1441, \\\"26\\\": 2953, \\\"27\\\": 3452, \\\"31\\\": 1875, \\\"28\\\": 2449, \\\"39\\\": 294, \\\"38\\\": 385, \\\"32\\\": 1740, \\\"33\\\": 1570, \\\"23\\\": 4114, \\\"29\\\": 2155, \\\"40\\\": 150, \\\"37\\\": 707, \\\"44\\\": 54, \\\"42\\\": 84, \\\"45\\\": 31, \\\"43\\\": 78, \\\"41\\\": 148}\", \"index_word\": \"{\\\"1\\\": \\\"nn\\\", \\\"2\\\": \\\"in\\\", \\\"3\\\": \\\"nnp\\\", \\\"4\\\": \\\"dt\\\", \\\"5\\\": \\\"jj\\\", \\\"6\\\": \\\"nns\\\", \\\"7\\\": \\\",\\\", \\\"8\\\": \\\".\\\", \\\"9\\\": \\\"cd\\\", \\\"10\\\": \\\"rb\\\", \\\"11\\\": \\\"vbd\\\", \\\"12\\\": \\\"vb\\\", \\\"13\\\": \\\"cc\\\", \\\"14\\\": \\\"to\\\", \\\"15\\\": \\\"vbz\\\", \\\"16\\\": \\\"vbn\\\", \\\"17\\\": \\\"prp\\\", \\\"18\\\": \\\"vbg\\\", \\\"19\\\": \\\"vbp\\\", \\\"20\\\": \\\"md\\\", \\\"21\\\": \\\"pos\\\", \\\"22\\\": \\\"prp$\\\", \\\"23\\\": \\\"$\\\", \\\"24\\\": \\\"``\\\", \\\"25\\\": \\\"''\\\", \\\"26\\\": \\\":\\\", \\\"27\\\": \\\"wdt\\\", \\\"28\\\": \\\"jjr\\\", \\\"29\\\": \\\"rp\\\", \\\"30\\\": \\\"nnps\\\", \\\"31\\\": \\\"wp\\\", \\\"32\\\": \\\"wrb\\\", \\\"33\\\": \\\"jjs\\\", \\\"34\\\": \\\"rbr\\\", \\\"35\\\": \\\")\\\", \\\"36\\\": \\\"(\\\", \\\"37\\\": \\\"ex\\\", \\\"38\\\": \\\"rbs\\\", \\\"39\\\": \\\"pdt\\\", \\\"40\\\": \\\"fw\\\", \\\"41\\\": \\\"wp$\\\", \\\"42\\\": \\\"#\\\", \\\"43\\\": \\\"uh\\\", \\\"44\\\": \\\"sym\\\", \\\"45\\\": \\\"ls\\\"}\", \"word_index\": \"{\\\"nn\\\": 1, \\\"in\\\": 2, \\\"nnp\\\": 3, \\\"dt\\\": 4, \\\"jj\\\": 5, \\\"nns\\\": 6, \\\",\\\": 7, \\\".\\\": 8, \\\"cd\\\": 9, \\\"rb\\\": 10, \\\"vbd\\\": 11, \\\"vb\\\": 12, \\\"cc\\\": 13, \\\"to\\\": 14, \\\"vbz\\\": 15, \\\"vbn\\\": 16, \\\"prp\\\": 17, \\\"vbg\\\": 18, \\\"vbp\\\": 19, \\\"md\\\": 20, \\\"pos\\\": 21, \\\"prp$\\\": 22, \\\"$\\\": 23, \\\"``\\\": 24, \\\"''\\\": 25, \\\":\\\": 26, \\\"wdt\\\": 27, \\\"jjr\\\": 28, \\\"rp\\\": 29, \\\"nnps\\\": 30, \\\"wp\\\": 31, \\\"wrb\\\": 32, \\\"jjs\\\": 33, \\\"rbr\\\": 34, \\\")\\\": 35, \\\"(\\\": 36, \\\"ex\\\": 37, \\\"rbs\\\": 38, \\\"pdt\\\": 39, \\\"fw\\\": 40, \\\"wp$\\\": 41, \\\"#\\\": 42, \\\"uh\\\": 43, \\\"sym\\\": 44, \\\"ls\\\": 45}\"}}"