#52: 修复 end position, 保留导致下一个 epoch 错误的问题

cjopengler · Nov 23, 2021 · 8bee885 · 8bee885
1 parent 2ddd82a
commit 8bee885
Show file tree

Hide file tree

Showing 2 changed files with 7 additions and 11 deletions.
diff --git a/data/dataset/mrc_msra_ner/sample.json b/data/dataset/mrc_msra_ner/sample.json
@@ -1,22 +1,19 @@
 [
 
   {
-    "context": "根 据 选 举 新 闻 中 心 公 布 的 初 步 统 计 结 果 ， 至 夜 晚 ２ ２ 时 ３ ０ 分 投 票 结 束 ， 全 港 共 有 １ ４ ８ ９ ７ ０ ５ 地 区 直 选 选 民 投 票 ， 投 票 率 达 ５ ３ ． ２ ９ ％ ， 比 １ ９ ９ ５ 年 分 别 增 加 近 ５ ７ 万 人 和 １ ７ 个 多 百 分 点 ， 为 香 港 历 史 最 高 纪 录 ； 共 有 ７ ７ ８ １ ３ 功 能 界 别 选 举 选 民 投 票 ， 投 票 率 达 ６ ３ ． ５ ％ ； 选 举 委 员 会 选 举 投 票 选 民 达 到 ７ ９ ０ 人 ， 投 票 率 高 达 ９ ８ ． ７ ５ ％ 。",
+    "context": "各 方 力 量 的 共 同 努 力 ， 使 瑞 金 １ ８ ０ 多 处 不 可 移 动 文 物 绝 大 部 分 得 到 应 有 的 保 护 ， 为 合 理 利 用 革 命 文 物 打 下 了 基 础 。",
     "end_position": [
-      7,
-      129
+      12
     ],
-    "entity_label": "NT",
+    "entity_label": "NS",
     "impossible": false,
-    "qas_id": "13563.3",
-    "query": "组织包括公司,政府党派,学校,政府,新闻机构",
+    "qas_id": "36875.1",
+    "query": "按照地理位置划分的国家,城市,乡镇,大洲",
     "span_position": [
-      "2;7",
-      "125;129"
+      "11;12"
     ],
     "start_position": [
-      2,
-      125
+      11
     ]
   }
 ]
diff --git a/mrc/data/bert_model_collate.py b/mrc/data/bert_model_collate.py
@@ -102,7 +102,6 @@ def __call__(self, instances: List[Instance]) -> MRCModelInputs:
 
                 # 是因为在 offset 中, 对于 index 的设置，就是 [start, end)
                 end_positions = [end_pos + 1 for end_pos in end_positions]
-                instance["end_positions"] = end_positions
 
                 # 因为 query 和 context 拼接在一起了，所以 start_position 和 end_position 的位置要重新映射
                 origin_offset2token_idx_start = {}