抽一张情景卡,打出一张谬论卡:Argumentum 的每一轮都把两者结合起来,而每一种组合都是一道答案预先可知的题目。CoursIA 项目的“谬误检测”系列由此造出一台覆盖整棵分类树的有标注样本生成器——按该系列的文档所说,这种覆盖是任何自然文本语料库都给不出的。
插图:docs/publication/articles/illustrations/5b-une-manche-deux-cartes.png,Argumentum 仓库,commit 981e5233 —— 由“历史”牌背(Cards/Scenarii/Assets/Scenario-back/img-histoire.png)与谬误牌(Cards/Fallacies/Assets/Fallacy-front/7.3.png)拼合而成 —— 一图呈现游戏的一轮。
一个回合,一道题
情景牌组描述了 167 种情境,分为七大主题——历史、神话、政治、流行文化、亲密关系、个人生活、职业生活——可通过牌背辨认。规则在“花言巧语磨坊”这张牌上这样概括:
每一轮,从随机抽取的一个情景出发,其中一位玩家在限定时间内,针对依次抽到的牌,找出尽可能多的谬误论证来加以说明。
在这个变体中,情景不变而牌会变:每抽一张牌,都需要一个新的论证——它是谬误的,而且是这一种谬误。玩家若试图用抽到的谬误为某个情景辩护,便会在不知不觉中制造出一个带标签的样本:情境是文本,牌是标签。
这恰恰就是分类器训练数据集的形态。分类器是把文本归入某个类别的程序:一批文本,每条都带有它所属类别的标签。
两个尺度
第一个尺度是盒子的尺度。情景有 167 个,谬误牌有 175 张:因此一局游戏提供 29,225 道可玩的题目,彼此各不相同。
第二个尺度是树的尺度。分类体系描述了 1,408 个节点——从大类一直到特殊情形——其中只有 175 个带有牌:并非每个节点都值得印成一张实物牌。每种语言各有一幅思维导图,绘出这棵完整的树。每个情景都与树上的每个节点交叉,每一对的标签事先已知;这种把“一边的每个元素与另一边的每个元素”逐一列举的运算,就是数学家所说的笛卡尔积。
CoursIA 并不止步于谬误:它还把论证美德的节点也交叉进来。每一对都是一个样本,其标签——即节点——由构造本身得知:生成标签毫无难度,因为它就是这一对的第二个因子。
为什么要有美德
在笛卡尔积中,每一对(情景,谬误节点)都带有谬误标签:仅由谬误节点得出的表格,按其构造,不包含任何站得住脚的论证样本。
然而,一个只见过谬误的分类器,无法学会什么是健全的推理:它能叫出各种病名,却从未见过一个健康的病人。这个角色由美德牌组承担——切题的论证、诚实的呈现、用词的准确……——系列文档是这样说的:美德为分类器提供了“健全论证”这一类,没有它,分类器看到的就只有谬误。
CoursIA 如何利用它
CoursIA 项目(公开仓库)用一系列笔记本来研究谬误检测——即“Fallacy Detector”。Jupyter 笔记本是一种把文本与可逐步执行的代码混合在一起的文档;每一步都会显示结果,并可重新运行。数据集构建笔记本配合一个专用脚本,列出全部 272,043 对,再从中抽取三个数据集(测量基于固定在 commit 7eea21eb 的 CoursIA 仓库,日期为 2026 年 11 月 7 日):
| 数据集 |
行数 |
覆盖范围 |
| 训练 |
14,000 |
12,000 条谬误,2,000 条美德 |
| 验证 |
1,629 |
每个节点一对 |
| 测试 |
3,258 |
每个节点两对 |
划分遵循一条防泄漏规则:三个数据集使用互不相同的情景。否则,模型可能认出的是情境而不是推理:它学到的将是情景,而不是谬误。验证集用于调参而不触碰测试集;测试集只在最后一步,用从未见过的数据来衡量。
每次抽样都可复现:随机数生成器的种子、预算和比例都记录在一份清单中,并附有源文件的指纹——Argumentum 的 CSV 文件在其中以 SHA-1 指纹标识,可再生的训练集则以 SHA-256 指纹标识。嵌入 CoursIA 的情景副本连同其许可证与署名一并存放:语料文本仍采用 Creative Commons BY-SA 4.0,署名“Argumentum”。
尚待证明之处
(情景,节点)这一对给出的是标签,而不是文本:说明每道题的论证仍有待撰写。这项工作计划借助语言模型来生成——必须如实说明这一点。在所引用的 commit 中,这一生成工作以及负责检验它的人工测试都被明确标为“即将进行”。所宣布的保障措施沿用了游戏中的做法——多票表决,就像多位玩家共同评判一个论证——外加由项目之外的人员进行的测试。
这里不宣称任何检测性能:目前还没有已发表的测量结果,也没有任何东西被宣布为已经达成。已经达成的是结构:对树上的每个节点,在每个数据集中,都有答案确定的题目——以及一条把抽牌与可验证语料连接起来的路径。
来源:Argumentum 仓库,commit 6da19683(计数取自 Cards/Scenarii/Argumentum Scenarii - Cards.csv、Cards/Fallacies/Argumentum Fallacies - Taxonomy.csv、美德分类体系以及 Cards/Rules/Argumentum Rules - Cards.csv,日期为 2026 年 11 月 7 日)。CoursIA 仓库,commit 7eea21eb:系列 README、构建脚本与划分清单。跟进:Epic CoursIA #10355,外部人工测试 CoursIA #17578。