如何处理多选题？

[dongZheX]

在使用MMCU的数据集的时候，发现有很多题是多选题，请问这种情况下是选对一个就算对，还是需要全选对？

当前代码里使用

if label in pred：

来判断是否正确，会不会对多选题造成误判。

参考HELM中对MMLU的处理，只需要选对一个即可。

感谢！

[Felixgithub2017]

你好，我检查了一下评测的日志，在多选题中确实有一些问题造成了误判。幸好占比不多，可能对分数影响不大，但我们还是会再测一遍。
我们的初衷是全选对才算对。
近期将更新代码重新评测一次。

以下这种情况会造成误判：

请阅读以下选择题并给出正确选项，不要解释原因。
某县地税局将个体户沈某的纳税由定额缴税变更为自行申报，并在认定沈某申报税额低于过去纳税额后，要求沈某缴纳相应税款、滞纳金，并处以罚款。沈某不服，对税务机关下列哪些行为可以直接向法院提起行政诉讼？
A. 由定额缴税变更为自行申报的决定
B. 要求缴纳税款的决定
C. 要求缴纳滞纳金的决定
D. 罚款决定
正确答案的序号是：
正确答案:CD
模型预测答案:ABCD
是否答对：True

因一高压线路经过某居民小区，该小区居民李某向某市规划局申请公开高压线路图。下列哪些说法是正确的？
A. 李某提交书面申请时应出示本人有效身份证明
B. 李某应说明申请信息的用途
C. 李某可以对公开信息方式提出自己要求
D. 某市规划局公开信息时，可以向李某依法收取相关成本费
正确答案的序号是：
正确答案:CD
模型预测答案:ABCD 都是正确的。
是否答对：True

以下这些情况可以判断正确：

请阅读以下选择题并给出正确选项，不要解释原因。
《刑事诉讼法》规定，下级法院接到最高法院执行死刑的命令后，发现有关情形时，应当停止执行，并且立即报告最高法院，由最高法院作出裁定。下列哪些情形应当适用该规定？
A. 发现关键定罪证据可能是刑讯逼供所得
B. 判决书认定的年龄错误，实际年龄未满18周岁
C. 提供一重大银行抢劫案线索，经查证属实
D. 罪犯正在怀孕
正确答案的序号是：
正确答案:ABCD
模型预测答案:BD
是否答对：False

请阅读以下选择题并给出正确选项，不要解释原因。
对于犯罪情节轻微，且具有规定情形，依照《刑法》不需要判处刑罚或者免除刑罚的未成年犯罪嫌疑人，一般应当依法作出不起诉决定。下列哪些情形适用该规定？
A. 被胁迫参与犯罪的
B. 是又聋又哑的人的
C. 因紧急避险过当构成犯罪的
D. 有自首或者重大立功表现的
正确答案的序号是：
正确答案:ABCD
模型预测答案:BCD
是否答对：False

[dongZheX]

谢谢。 还有个小问题，在few-shot的prompt中没有多选题的情况下，如何确保模型知道要输出多选呢。 在我评测过程中，设置max-tokens大于1后，模型往往会吐一些除了选项之外的东西，并不会去输出多选。

…

---- 回复的原邮件 ---- | 发件人 | Hui ***@***.***> | | 日期 | 2023年05月06日 14:36 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.***>***@***.***> | | 主题 | Re: [Felixgithub2017/MMCU] 如何处理多选题？ (Issue #2) | 你好，我检查了一下评测的日志，在多选题中确实有一些问题造成了误判。幸好占比不多，可能对分数影响不大，但我们还是会再测一遍。 我们的初衷是全选对才算对。 近期将更新代码重新评测一次。 以下这种情况会造成误判： 请阅读以下选择题并给出正确选项，不要解释原因。 某县地税局将个体户沈某的纳税由定额缴税变更为自行申报，并在认定沈某申报税额低于过去纳税额后，要求沈某缴纳相应税款、滞纳金，并处以罚款。沈某不服，对税务机关下列哪些行为可以直接向法院提起行政诉讼？ A. 由定额缴税变更为自行申报的决定 B. 要求缴纳税款的决定 C. 要求缴纳滞纳金的决定 D. 罚款决定 正确答案的序号是： 正确答案:CD 模型预测答案:ABCD 是否答对：True 因一高压线路经过某居民小区，该小区居民李某向某市规划局申请公开高压线路图。下列哪些说法是正确的？ A. 李某提交书面申请时应出示本人有效身份证明 B. 李某应说明申请信息的用途 C. 李某可以对公开信息方式提出自己要求 D. 某市规划局公开信息时，可以向李某依法收取相关成本费 正确答案的序号是： 正确答案:CD 模型预测答案:ABCD 都是正确的。 是否答对：True 以下这些情况可以判断正确： 请阅读以下选择题并给出正确选项，不要解释原因。 《刑事诉讼法》规定，下级法院接到最高法院执行死刑的命令后，发现有关情形时，应当停止执行，并且立即报告最高法院，由最高法院作出裁定。下列哪些情形应当适用该规定？ A. 发现关键定罪证据可能是刑讯逼供所得 B. 判决书认定的年龄错误，实际年龄未满18周岁 C. 提供一重大银行抢劫案线索，经查证属实 D. 罪犯正在怀孕 正确答案的序号是： 正确答案:ABCD 模型预测答案:BD 是否答对：False 请阅读以下选择题并给出正确选项，不要解释原因。 对于犯罪情节轻微，且具有规定情形，依照《刑法》不需要判处刑罚或者免除刑罚的未成年犯罪嫌疑人，一般应当依法作出不起诉决定。下列哪些情形适用该规定？ A. 被胁迫参与犯罪的 B. 是又聋又哑的人的 C. 因紧急避险过当构成犯罪的 D. 有自首或者重大立功表现的 正确答案的序号是： 正确答案:ABCD 模型预测答案:BCD 是否答对：False — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[Felixgithub2017]

谢谢。 还有个小问题，在few-shot的prompt中没有多选题的情况下，如何确保模型知道要输出多选呢。 在我评测过程中，设置max-tokens大于1后，模型往往会吐一些除了选项之外的东西，并不会去输出多选。
…
---- 回复的原邮件 ---- | 发件人 | Hui @.> | | 日期 | 2023年05月06日 14:36 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [Felixgithub2017/MMCU] 如何处理多选题？ (Issue #2) | 你好，我检查了一下评测的日志，在多选题中确实有一些问题造成了误判。幸好占比不多，可能对分数影响不大，但我们还是会再测一遍。 我们的初衷是全选对才算对。 近期将更新代码重新评测一次。 以下这种情况会造成误判： 请阅读以下选择题并给出正确选项，不要解释原因。 某县地税局将个体户沈某的纳税由定额缴税变更为自行申报，并在认定沈某申报税额低于过去纳税额后，要求沈某缴纳相应税款、滞纳金，并处以罚款。沈某不服，对税务机关下列哪些行为可以直接向法院提起行政诉讼？ A. 由定额缴税变更为自行申报的决定 B. 要求缴纳税款的决定 C. 要求缴纳滞纳金的决定 D. 罚款决定 正确答案的序号是： 正确答案:CD 模型预测答案:ABCD 是否答对：True 因一高压线路经过某居民小区，该小区居民李某向某市规划局申请公开高压线路图。下列哪些说法是正确的？ A. 李某提交书面申请时应出示本人有效身份证明 B. 李某应说明申请信息的用途 C. 李某可以对公开信息方式提出自己要求 D. 某市规划局公开信息时，可以向李某依法收取相关成本费 正确答案的序号是： 正确答案:CD 模型预测答案:ABCD 都是正确的。 是否答对：True 以下这些情况可以判断正确： 请阅读以下选择题并给出正确选项，不要解释原因。 《刑事诉讼法》规定，下级法院接到最高法院执行死刑的命令后，发现有关情形时，应当停止执行，并且立即报告最高法院，由最高法院作出裁定。下列哪些情形应当适用该规定？ A. 发现关键定罪证据可能是刑讯逼供所得 B. 判决书认定的年龄错误，实际年龄未满18周岁 C. 提供一重大银行抢劫案线索，经查证属实 D. 罪犯正在怀孕 正确答案的序号是： 正确答案:ABCD 模型预测答案:BD 是否答对：False 请阅读以下选择题并给出正确选项，不要解释原因。 对于犯罪情节轻微，且具有规定情形，依照《刑法》不需要判处刑罚或者免除刑罚的未成年犯罪嫌疑人，一般应当依法作出不起诉决定。下列哪些情形适用该规定？ A. 被胁迫参与犯罪的 B. 是又聋又哑的人的 C. 因紧急避险过当构成犯罪的 D. 有自首或者重大立功表现的 正确答案的序号是： 正确答案:ABCD 模型预测答案:BCD 是否答对：False — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

更新了代码，优化了对多选题答案的判断。
是否能生成答案，需要你在模型训练上想想办法。在我们评测过程中，最小的模型 bloomz 560m 也可以顺利生成答案

[dongZheX]

谢谢回答.

…

---- 回复的原邮件 ---- | 发件人 | Hui ***@***.***> | | 日期 | 2023年05月12日 16:40 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.***>***@***.***> | | 主题 | Re: [Felixgithub2017/MMCU] 如何处理多选题？ (Issue #2) | 谢谢。 还有个小问题，在few-shot的prompt中没有多选题的情况下，如何确保模型知道要输出多选呢。 在我评测过程中，设置max-tokens大于1后，模型往往会吐一些除了选项之外的东西，并不会去输出多选。 … ---- 回复的原邮件 ---- | 发件人 | Hui @.> | | 日期 | 2023年05月06日 14:36 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [Felixgithub2017/MMCU] 如何处理多选题？ (Issue #2) | 你好，我检查了一下评测的日志，在多选题中确实有一些问题造成了误判。幸好占比不多，可能对分数影响不大，但我们还是会再测一遍。 我们的初衷是全选对才算对。 近期将更新代码重新评测一次。 以下这种情况会造成误判： 请阅读以下选择题并给出正确选项，不要解释原因。 某县地税局将个体户沈某的纳税由定额缴税变更为自行申报，并在认定沈某申报税额低于过去纳税额后，要求沈某缴纳相应税款、滞纳金，并处以罚款。沈某不服，对税务机关下列哪些行为可以直接向法院提起行政诉讼？ A. 由定额缴税变更为自行申报的决定 B. 要求缴纳税款的决定 C. 要求缴纳滞纳金的决定 D. 罚款决定 正确答案的序号是： 正确答案:CD 模型预测答案:ABCD 是否答对：True 因一高压线路经过某居民小区，该小区居民李某向某市规划局申请公开高压线路图。下列哪些说法是正确的？ A. 李某提交书面申请时应出示本人有效身份证明 B. 李某应说明申请信息的用途 C. 李某可以对公开信息方式提出自己要求 D. 某市规划局公开信息时，可以向李某依法收取相关成本费 正确答案的序号是： 正确答案:CD 模型预测答案:ABCD 都是正确的。 是否答对：True 以下这些情况可以判断正确： 请阅读以下选择题并给出正确选项，不要解释原因。 《刑事诉讼法》规定，下级法院接到最高法院执行死刑的命令后，发现有关情形时，应当停止执行，并且立即报告最高法院，由最高法院作出裁定。下列哪些情形应当适用该规定？ A. 发现关键定罪证据可能是刑讯逼供所得 B. 判决书认定的年龄错误，实际年龄未满18周岁 C. 提供一重大银行抢劫案线索，经查证属实 D. 罪犯正在怀孕 正确答案的序号是： 正确答案:ABCD 模型预测答案:BD 是否答对：False 请阅读以下选择题并给出正确选项，不要解释原因。 对于犯罪情节轻微，且具有规定情形，依照《刑法》不需要判处刑罚或者免除刑罚的未成年犯罪嫌疑人，一般应当依法作出不起诉决定。下列哪些情形适用该规定？ A. 被胁迫参与犯罪的 B. 是又聋又哑的人的 C. 因紧急避险过当构成犯罪的 D. 有自首或者重大立功表现的 正确答案的序号是： 正确答案:ABCD 模型预测答案:BCD 是否答对：False — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***> 更新了代码，优化了对多选题答案的判断。 是否能生成答案，需要你在模型训练上想想办法。在我们评测过程中，最小的模型 bloomz 560m 也可以顺利生成答案 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>