CrochetBench: Can Vision-Language Models Move from Describing to Doing in Crochet Domain?
CrochetBench: Can Vision-Language Models Move from Describing to Doing in Crochet Domain?
We present CrochetBench, a benchmark for evaluating the ability of multimodal large language models to perform fine-grained, low-level procedural reasoning in the domain of crochet. Unlike prior benchmarks that focus on high-level description or visual question answering, CrochetBench shifts the emphasis from describing to doing: models are required to recognize stitches, select structurally appropriate instructions, and generate compilable crochet procedures. We adopt the CrochetPARADE DSL as our intermediate representation, enabling structural validation and functional evaluation via execution. The benchmark covers tasks including stitch classification, instruction grounding, and both natural language and image-to-DSL translation. Across all tasks, performance sharply declines as the evaluation shifts from surface-level similarity to executable correctness, exposing limitations in long-range symbolic reasoning and 3D-aware procedural synthesis. CrochetBench offers a new lens for assessing procedural competence in multimodal models and highlights the gap between surface-level understanding and executable precision in real-world creative domains. Code is available at https://github.com/Peiyu-Georgia-Li/crochetBench.
CrochetBench：视觉-语言模型能否在钩针领域实现从“描述”到“执行”的跃迁？
我们提出了 CrochetBench，这是一个用于评估多模态大语言模型在钩针领域进行细粒度、低级程序推理能力的基准。与以往侧重高层描述或视觉问答的基准不同，CrochetBench 将重点从“描述”转移到“执行”：模型需要识别针法、选择结构适当的指令，并生成可编译的钩针程序。我们采用 CrochetPARADE DSL 作为中间表示，通过执行实现结构验证和功能评估。该基准涵盖的任务包括针法分类、指令定位，以及自然语言和图像到 DSL 的翻译。在所有任务中，随着评估从表面相似度转向可执行正确性，性能急剧下降，暴露了长程符号推理和 3D 感知程序合成的局限性。CrochetBench 为评估多模态模型的程序能力提供了新视角，并突显了真实世界创意领域中表面理解与可执行精度之间的差距。代码可在 https://github.com/Peiyu-Georgia-Li/crochetBench 获取。
Q1: 这篇论文试图解决什么问题？
论文旨在回答一个核心问题：
多模态大模型能否在钩针（crochet）这一高度结构化、符号化且具身空间推理需求的创意领域，完成从“描述”到“执行”的跃迁？
具体而言，论文聚焦于以下关键痛点：
现有视觉-语言基准侧重高层描述或视觉问答，缺乏对细粒度、可执行步骤的评估，导致模型“会说不会做”。
钩针工艺天然耦合符号语法（缩写、计数、拓扑约束）、长程自然语言（材料、尺寸提示）与视觉证据（成品图、花样图），要求模型具备程序合成级别的符号-空间一致性推理。
传统烹饪类流程任务因需物理验证而难以大规模评估；钩针则提供可编译的 DSL（CrochetPARADE），使自动化、可扩展的功能正确性检验成为可能。
因此，作者提出 CrochetBench，系统性地检验模型在以下递进能力上的表现：
识别：从成品图检测所用针法（multi-label 分类）。
理解：在干扰项中选出与图片匹配的真实指令（4 选 1）。
生成：仅凭图片生成符合领域惯例的自然语言教程。
形式化：将单步或整篇教程翻译为可编译的 DSL，并保证几何/拓扑正确。
通过该基准，论文揭示：
当评估从表面相似度（BLEU/ROUGE）转向可执行正确性（编译通过率）时，所有模型性能急剧下降。
现有 VLMs 在长程符号状态追踪、3D 感知与程序一致性方面存在系统性缺陷，表现为幻觉、计数错误、拓扑断裂等。
简言之，论文首次把“可验证的程序合成”引入创意手工场景，用钩针作为探针，量化多模态模型在真实世界细粒度流程任务上的“动手”能力缺口，并推动研究从“描述世界”走向“生成可执行方案”。
Q2: 有哪些相关研究？
论文在附录 A 中系统梳理了相关研究，并将其归纳为 5 条主线。以下按 markdown 列表呈现，并给出关键文献或数据集示例：
A.1 超越字幕的多模态数据集
传统字幕基准：COCO、Flickr30k
流程类数据集：Recipe1M+（食谱）、YouCook2 / HowTo100M（教学视频）
共同点：侧重语义对齐或检索，不验证可执行性
A.2 视觉推理与流程语言桥梁
装配/组装基准：Assembly101、IKEA-ASM
教学视频理解：InstructionBench、VideoGUI
特点：时序动作-对象-前提建模，但缺乏可编译符号表征
A.3 手工艺与领域专属流程数据
Digital Crochet（Seitz et al.）：图式可视化符号，小规模
Neural Inverse Knitting（Kaspar et al.）：图像→机器编织指令，仅针织
缺口：缺少千级规模、真实社区验证、可执行 DSL 的钩针资源
A.4 程序合成与代码基准
文本→代码：HumanEval、MBPP、APPS、Spider、CoNaLa
视觉→代码：Im2LaTeX-100K、pix2code、CROHME（手写公式）
共同点：以执行通过率为核心指标；CrochetBench 把该范式首次引入创意手工拓扑域
A.5 面向可执行评估的 DSL 基准
先验 DSL 任务：LaTeX、SQL、CAD 脚本
CrochetPARADE 差异：
引入2D/3D 拓扑与几何一致性约束
支持渲染-图像对比进行双重验证
打通人读教程→机器可执行→物理生产的闭环
综上，CrochetBench 在“多模态+流程+可执行”交叉点上填补了创意手工领域的基准空白，把程序合成的评估标准首次扩展到带三维拓扑约束的纤维艺术场景。
Q3: 论文如何解决这个问题？
论文并未提出新的模型架构，而是通过“构建可执行基准 + 编译验证”这一系统工程路线，把“描述→执行”的鸿沟转化为可量化、可迭代的研究问题。具体手段分为四层：
构造可编译领域语言
采用现有 CrochetPARADE DSL 作为中间表征，该语言具备：
上下文无关文法，可解析为抽象语法树
内置拓扑与几何一致性检查（针数平衡、闭环、标签唯一性）
2D/3D 渲染器，可生成虚拟成品图并与真实照片对比
由此将“流程正确性”转化为 pass/fail 的编译信号，避免昂贵物理打样。
建立多模态可执行基准 CrochetBench
6 085 篇真实钩针教程 → 结构化 JSON（符号缩写、行/圈序列、材料、 gauge、图片 URL）
四级递进任务：
A 针法识别（multi-label 图像分类）
B 指令选择（4 选 1 视觉-文本对齐）
C 指令生成（image→自然语言教程）
D 形式化（NL→DSL，分 step-level & project-level）
评价指标从传统 BLEU/ROUGE 切换到 Compilation Success Rate (CSR) 与 Partial Executable Rate (PER)，直接度量“能否跑通”。
提供自动化验证流水线
每段生成的 DSL 即时送入 CrochetPARADE 编译器 → 返回语法/拓扑错误类别（括号、未定义针法、标签冲突等）
未来可叠加 CLIP 相似度：渲染图 vs 真实照片，实现 双因子验证（结构+感知）
基线实验暴露瓶颈
所有 SOTA 模型在 Task D 的 project-level CSR ≤ 21 %，揭示：
长程状态追踪缺失（针数、圈数、引用标签）
3D 几何一致性幻觉（增减针位置错误）
通过细粒度错误分类，为后续工作指明改进方向：
引入显式记忆或符号草稿板（scratchpad）
多模态预训练加入拓扑/装配类数据
神经-符号混合架构，用符号求解器保证每一步可编译
综上，论文把“能不能做出来”变成可自动检验的编译目标，用 CrochetBench 提供定量反馈，从而将多模态模型的“ procedural grounding”研究推向可执行、可迭代的新阶段。
Q4: 论文做了哪些实验？
论文围绕 CrochetBench 的四级任务展开系统实验，覆盖 6 085 份真实钩针花样，评估 7 个主流多模态模型（3 个开源 / 4 个闭源）。实验设计、数据规模与核心结果如下：
实验总览
ID 能力层级 任务 测试集规模 主要指标
A 感知 针法识别（multi-label） 6 009 张成品图 Precision / Recall / F1
B 理解 指令选择（4 选 1） 6 003 样例 Accuracy
C 生成 指令生成（image→NL） 6 009 样例 BLEU / ROUGE-L / ChrF
Dstep 形式化 单步 NL→DSL 119 对 (NL,DSL) CSR（编译通过率）
Dproj 形式化 整篇 NL→DSL 100 篇完整教程 CSR + PER（部分可执行率）
实验结果摘要
Task A – 针法识别
最佳 F1：Claude Sonnet 4 0.609
开源最佳：DeepSeek-VL 0.606
所有模型 Recall 普遍低于 Precision，说明漏检是主要问题。
Task B – 指令选择
最佳 Acc：GPT-4o 58.1 %
开源最佳：Qwen2-VL 42.0 %
随机基线 25 %，表明细粒度视觉-文本对齐仍有很大提升空间。
Task C – 指令生成
最佳 ChrF：Gemini 2.5 Flash-Lite 30.2
绝对分数低（BLEU≤0.05），生成输出常出现幻觉针法、行号错乱。
Task Dstep – 单步 DSL 翻译
最高 CSR：Claude Sonnet 4 52.1 %
开源最佳：Qwen2-VL 35.3 %
错误分布：括号不平衡 > 未定义针法 > 标签引用失败。
Task Dproj – 整篇 DSL 翻译
最高 CSR：Qwen2-VL 21.0 %（反超所有闭源）
闭源最佳：Claude 5.0 %
PER 显示：开源模型能编译平均 30 % 前缀，闭源仅 8 %，说明长程状态追踪是普遍瓶颈。
细粒度错误剖析（Dproj）
错误类型 开源典型比例 闭源典型比例
未定义针法 25–40 % 46–62 %
括号/语法 12–45 % 7–18 %
标签冲突 7–52 % 7–21 %
运行时异常 3–15 % 5–8 %
结论性观察
性能梯度陡峭：A→B 尚可，C 骤降，D 跌倒谷底，说明“会说≠会做”。
闭源精度高，开源结构强：Claude 精度领先，但 Qwen2-VL 在整篇编译上结构性泛化更好。
编译信号敏感：同一生成在 BLEU 上差距 1–2 分，在 CSR 上可差 3–5 倍，凸显执行指标的必要性。
以上实验首次把“可执行正确率”作为多模态创意任务的核心度量，为后续模型迭代提供了可复现、可解释的定量基准。
Q5: 有什么可以进一步探索的点？
以下方向可直接在 CrochetBench/CrochetPARADE 框架上延伸，也可泛化到其它「视觉-语言-执行」三合一任务。
1. 模型层面：显式状态与符号-神经耦合
内存增强架构
在 Transformer 中插入 differentiable memory（如 Memory Transformers、Neural Turing Machines）显式追踪「当前总针数、活动圈号、标签表」等全局变量。
符号草稿板（Scratchpad）
生成 DSL 前先输出「伪代码」行号-针数对照表，再调用外部求解器检查平衡，最后反向微调生成结果。
神经-符号双路径
视觉编码器 → 神经生成候选 DSL；
符号验证器返回编译误差 → 强化学习/拒绝采样微调，形成「生成-验证」闭环。
2. 数据与预训练：拓扑-流程感知的 multimodal corpus
多模态流程语料扩增
将 Assembly101、IKEA-ASM、HowTo100M 的视频帧+字幕转化为「步骤-状态」伪标签，与钩针 DSL 联合预训练，提升长程动作连贯性。
3D 几何预训练
利用 CroPa 渲染出的 3D mesh，对比 CLIP-3D、Point-CLIP，学习「针法-局部曲面」对应，缓解「平面图像→立体结构」幻觉。
设计师隐式知识挖掘
从 Ravelry、YouTube 手工博主抓取「过程照片+行号字幕」，构建部分可对齐的「image-sequence-to-DSL」弱监督数据。
3. 评估协议：从「能编译」到「能复现」
渲染-图像相似度
用 CroPa 将生成 DSL 渲染成 2D/3D 图，与真实照片计算 SSIM+CLIP 分数，建立「结构+感知」双轴评估。
物理样衣 benchmark
随机采样 50 个生成图案，由真人钩织并测量成品尺寸、针数误差，建立「代码-实物」一致性回归曲线，量化「编译通过但尺寸跑偏」案例。
对抗性扰动测试
在 NL 描述里插入「隐形矛盾」（如 gauge 与针数不匹配），测试模型能否检测并拒绝不可行指令，评估「常识-算术」联合推理。
以上实验首次把“可执行正确率”作为多模态创意任务的核心度量，为后续模型迭代提供了可复现、可解释的定量基准。
Q6: 总结一下论文的主要内容
CrochetBench: 让多模态模型从“描述”走向“执行”的首个可验证创意手工基准
1. 问题
现有视觉-语言基准只测“说了什么”，不验“能不能做”
钩针工艺 = 符号语法 + 长文指令 + 3D 拓扑，要求可执行、可编译
烹饪等流程域验证成本极高，亟需自动可检验的创意任务
2. 方案
构建 6 085 篇真实钩针教程 → 结构化 JSON + 成品图
采用可编译 CrochetPARADE DSL（语法+拓扑+3D 渲染）
设计四级递进任务：
针法识别（multi-label）
指令选择（4 选 1）
指令生成（image→NL）
形式化（NL→DSL，step & project 级）
评价从 BLEU/ROUGE 改为 Compilation Success Rate (CSR)——能跑通才算对
3. 实验
测 7 个 VLM（3 开源 / 4 闭源）
低层感知尚可：F1 ≈ 0.6，Acc ≈ 0.6
开放生成骤降：BLEU ≤ 0.05
整篇 DSL 编译通过率 ≤ 21 %（Qwen2-VL 最高）；闭源仅 5 %
错误主因：长程状态丢失、括号/标签冲突、未定义针法
4. 结论
性能随“描述→执行”急剧下跌，暴露符号-空间一致性推理短板
首次量化多模态模型在细粒度可执行创意任务上的能力缺口
CrochetBench + CrochetPARADE 提供自动验证、可迭代的新研究平台
5. 可用资源
数据集、评测脚本、DSL 编译器与渲染器全部开源：
https://github.com/Peiyu-Georgia-Li/crochetBench
阅读全文 →
