疑问：历史消息在训练时可以只作为上文不参与模型的预测吗？~

[ylsdamxssjxxdd]

Reminder

• I have read the README and searched the existing issues.

System Info

~

Reproduction

~

Expected behavior

No response

Others

[
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "output": "模型回答（必填）",
    "system": "系统提示词（选填）",
    "history": [
      ["第一轮指令（选填）", "第一轮回答（选填）"],
      ["第二轮指令（选填）", "第二轮回答（选填）"]
    ]
  }
]

例如以上数据集，模型只预测"模型回答（必填）"，不预测第一轮第二轮回答。

还有就是在历史消息中指令为空的时候，能不能将第n轮回答直接拼到模型将要预测的部分中，这样模型就能直接预测"模型回答（必填）"，就像这个
inputs:
<|im_start|>system
系统提示词（选填）<|im_end|>
<|im_start|>user
人类指令（必填）
人类输入（选填）<|im_end|>
<|im_start|>assistant
第一轮回答（选填）
第二轮回答（选填）
模型回答（必填）<|im_end|>

这样对反思链的训练效果可能要更好~

[maksimstw]

同样希望这个功能可以加入，这个功能对于很多distillation的工作也很有帮助，感谢！

[hanyullai]

+1

[dqgdqg]

+1

目前解决方案是分两次预测