# GeoSafety-Bench (NeurIPS 2026 Submission 1172) — 审稿意见汇总

> **论文**：Can Large Vision-Language Models Refuse Synthetic Images in Geo-localization?
> **提交号**：NeurIPS 2026 Submission 1172
> **审稿人**：3 位 Official Reviewer + 1 位 Area Chair
> **整理日期**：2026-07-26

---

## 0. 评分盘面

| 审稿人 | Rating | Confidence | Quality | Clarity | Significance | Originality |
|---|---|---|---|---|---|---|
| 6MnB | 3 · borderline reject | 4 | 2 | 3 | 3 | 3 |
| iTeA | **2 · reject** | 4 | 2 | **1** | **1** | 2 |
| zdDy | 3 · borderline reject | 3 | 2 | 2 | 3 | 3 |
| AC odB2 | Meta Review（负面） | — | — | — | — | — |

三人 Quality 全部打 2。iTeA 是最负面的一份（Confidence 4，Significance 与 Clarity 均为 1），也是意见最长最具体的一份；AC meta review 中的 ［R2］基本对应这份。

zdDy 结尾明确表态：**"动机很有意思。如果作者能充分回应我的顾虑，我愿意提分。"**

---

## 1. 汇总主表（43 条原始意见 → 37 个独立问题）

**严重度**：`阻断` = 不解决必被拒 · `重要` = 影响评分 · `次要` = 不改扣印象分
**成本**：`低` = 改写作 · `中` = 补实验 · `高` = 重做数据
**加粗来源** = 多位审稿人共同提出，不可回避

### I. 任务定义与 benchmark 有效性

| # | 问题 | 来源 | 严重度 | 成本 |
|---|---|---|---|---|
| 1 | "合成 ⇒ 必须拒答"前提过强，保结构编辑仍含有效地理信息 | **6MnB·zdDy·iTeA·AC** | 阻断 | 高 |
| 2 | 检测器 cascade 几乎解决任务 ⇒ benchmark 实为合成图检测 | **6MnB·iTeA·AC** | 阻断 | 高 |
| 3 | 指标把前提写死：拒绝地理有效的合成图也记为正确 | AC | 阻断 | 中 |
| 4 | 四类合成图共用一个 unsafe 标签，语义不自洽 | zdDy | 重要 | 中 |
| 5 | 未与现有 geo-localization benchmark 对比，独特贡献不清 | iTeA | 重要 | 低 |

### II. 缺失 baseline

| # | 问题 | 来源 | 严重度 | 成本 |
|---|---|---|---|---|
| 6 | 检索置信度阈值拒答器（无检测器） | **iTeA·AC** | 阻断 | 中 |
| 7 | LVLM-as-detector cascade（含 few-shot） | **iTeA·AC** | 阻断 | 中 |
| 8 | CoT-Refuse 的 few-shot 消融 | iTeA | 重要 | 中 |
| 9 | 未评估 ISNs、GLOBE 等开源 geo 模型 | iTeA | 重要 | 中 |
| 10 | 无拒答机制的模型如何与 VLM 公平比较 | zdDy | 重要 | 低 |

### III. 可复现性与透明度

| # | 问题 | 来源 | 严重度 | 成本 |
|---|---|---|---|---|
| 11 | Geo-HH-10k 来源/收集/清洗全缺 | **zdDy·iTeA·AC** | 阻断 | 低 |
| 12 | 合成集数字矛盾：3,000 vs "删除 32.3%" | **zdDy·AC** | 重要 | 低 |
| 13 | SFT 输入输出格式 + 训练 prompt 未写 | **zdDy·iTeA** | 重要 | 低 |
| 14 | 去重协议未写（图像/地点/生成模板三级） | zdDy | 重要 | 低 |
| 15 | 检测阈值如何选、验证集是否不相交 | zdDy | 重要 | 低 |
| 16 | T2I 的 prompt 与生成设置未写 | iTeA | 重要 | 低 |
| 17 | 风格迁移实现未写，且样例与所引 [23] 不符 | iTeA | 重要 | 低 |
| 18 | "视觉证据不足"的排除标准未量化（L112–113） | iTeA | 重要 | 低 |
| 19 | VLM 实际输出格式与 pipeline 不明 | zdDy | 重要 | 低 |
| 20 | Table 6(a) 的指标没有定义 | iTeA | 次要 | 低 |

### IV. 数据质量

| # | 问题 | 来源 | 严重度 | 成本 |
|---|---|---|---|---|
| 21 | 真实图仅来自 Im2GPS，预训练污染嫌疑 | **zdDy·6MnB** | 重要 | 高 |
| 22 | 规模小，地理覆盖与场景多样性未分析 | 6MnB | 重要 | 中 |
| 23 | 合成图肉眼可辨、过于假（Fig 2） | iTeA | 重要 | 高 |
| 24 | 结果由检测器域偏差主导，非模型真有安全意识 | zdDy | 重要 | 中 |
| 25 | prompt 敏感性未测（尤其不提"合成"时） | zdDy | 重要 | 中 |

### V. 方法与结论强度

| # | 问题 | 来源 | 严重度 | 成本 |
|---|---|---|---|---|
| 26 | CoT-Refuse 过拒 75%，实际不可用 | **6MnB·zdDy** | 重要 | 中 |
| 27 | SafeGeo-3B 只是 PoC，精度低，只测 3B | **zdDy·6MnB** | 重要 | 中 |
| 28 | 两阶段法只是简单拼接现有检测器，缺系统设计 | 6MnB | 重要 | 中 |
| 29 | §5.3 文字结论与 Table 4 数字相反 | iTeA | 重要 | 低 |

### VI. 写作与规范硬伤

| # | 问题 | 来源 | 严重度 | 成本 |
|---|---|---|---|---|
| 30 | Figure 1 正文从未引用 | iTeA | 次要 | 低 |
| 31 | 文献重复：[53]/[54]、[9]/[10] | 6MnB | 次要 | 低 |
| 32 | 段落重复：L41–43 与 L46–48 | 6MnB | 次要 | 低 |
| 33 | PlaNet/CPlaNet 引成同篇 + 归类错 + GLOBE 非分类法 | iTeA | 重要 | 低 |
| 34 | 分类法自相矛盾（retrieval 本就是 domain-specific） | iTeA | 重要 | 低 |
| 35 | Checklist Item 13 填"无新数据集"但发布了两个 | 6MnB | 重要 | 低 |
| 36 | 对 benchmark 自身局限讨论不足 | iTeA | 重要 | 低 |
| 37 | 摘要四类命名与表格命名不一致 | 作者自查 | 次要 | 低 |

---

## 2. 结构性发现

**分布严重失衡：37 条里只有 6 条真正要命。**

| 严重度 | 条数 | 占比 |
|---|---|---|
| 阻断（#1 #2 #3 #6 #7 #11） | 6 | 16% |
| 重要 | 25 | 68% |
| 次要 | 6 | 16% |

| 成本 | 条数 | 占比 |
|---|---|---|
| 低（纯改写作/补细节） | 21 | **57%** |
| 中（补实验） | 12 | 32% |
| 高（重做数据） | 4 | 11% |

**关键结论：超过一半的问题（21 条）不需要做任何新实验，只是没写清楚。** 这直接解释了为什么 iTeA 给 Clarity = 1、三人 Quality 全给 2 —— 论文实际做的工作可能远比读起来多，但审稿人看不到。这部分是纯亏损。

**多人共提、不可回避的条目**：#1（4/4 全员）、#2、#6、#7、#11（3/4）、#12、#13、#21、#26、#27。

---

## 3. AC 明确给出的评分改变条件

Area Chair 在 meta review 的 (d) 部分自行排了优先级：

1. **打破"合成 = 不可信"的耦合。** 要么补充并评估交叉情形——真实但不可定位、应当拒答的图，以及保留结构、仍应被定位的合成图——要么相应收窄所声称的贡献。这是把该 benchmark 与合成图检测器区分开的关键。
2. **论证或改进依赖"拒绝所有合成图"的指标。** 若保留现设计需明确说明理由，并报告一个不把"拒绝地理有效的合成图"一律算作正确的指标（例如对保结构编辑单独计分）。
3. **补上两个低成本 baseline**：检索置信度阈值拒答器 + LVLM-as-detector cascade。
4. **提供 Geo-HH-10k 训练数据的完整细节**（来源、收集、清洗）。

> AC 原话：*"A convincing response to items 1 and 2 would most affect my assessment; 3 and 4 are important but secondary."*

AC 同时点破了一个结构性困境：*"a reviewer who questions the premise is effectively questioning the metric itself"* —— 前提被写进了指标，因此无法在 rebuttal 层面解释，只能改数据设计。

---

## 4. 修复路线（按依赖顺序，非按严重度）

```
第 1 步：重设计数据          解决 #1 #2 #3 #4 #23
  └─ 补两个交叉格：真实不可定位 3k / 保结构合成 3k
     标签从"是否合成"变为"地理证据是否可信"

第 2 步：补 baseline         解决 #6 #7 #8 #9 #10 #24
  └─ 必须在第 1 步之后做
     此时检测器 cascade 会在交叉格上崩掉，
     从"证明你多余"翻转为"证明任务超出检测能力"

第 3 步：写清楚              解决 #11–#20 #29–#37（共 21 条）
  └─ 与前两步并行，无需等待
     最便宜、收益最直接，专治 Clarity = 1

第 4 步：能补则补            #21 #22 #25 #26 #27 #28
  └─ 补不了的写入 limitations
```

### 关于第 2 步顺序的说明

AC 现在把那两个缺失的 baseline 当作"证明该 benchmark 多余"的武器。但**补完交叉格之后，同样这两个 baseline 会反转为最强的正面证据**：合成图检测器判不出"保结构合成图仍可定位"，也判不出"真实产品图不可定位"。同一组实验，在改完数据设计后结论完全相反。

### 目标数据分类（2×2 地理证据有效性网格）

| | 应该定位 | 应该拒答 |
|---|---|---|
| **真实图** | 有地理线索的真实照片 ✅ 现有 | 真实但无法定位（电商产品图、室内特写、无线索场景）❌ **待补 3k** |
| **合成图** | 保结构的风格迁移 / 轻编辑 ❌ **待补 3k** | 全合成、3D 渲染、幻觉视角 ✅ 现有 |

补上两个空格后，标签语义从"是不是合成"变为"地理证据可不可信"，这正是 AC 所说的 *"what separates the benchmark from a synthetic-image detector"*。

---

## 附录 A：按审稿人的原始意见清单

### A.1 Reviewer 6MnB（Rating 3 / Conf 4）

**Weaknesses**

1. 任务定义的合理性存疑。论文把所有合成图都当作应被拒绝的对象，前提过于粗糙。如果一张图只经过轻微风格迁移、仍完整保留地理语义信息，要求模型拒答是否真的合理？论文缺少对"合成图中的地理信息在什么条件下仍然有效"这一关键问题的深入讨论。
2. benchmark 规模与多样性有限。真实图仅取自 Im2GPS 一个数据集、2,997 张；每类合成图只有 500–1,500 张。未分析地理覆盖是否均衡、场景类型是否够多样。
3. 缓解策略初步、缺乏深度。两阶段方法只是简单组合现有检测器；CoT-Refuse 过拒率 75%、几乎不可用；SafeGeo-3B 只在 3B 模型上评估。更像快速试验而非系统性方法设计。

**Questions**

1. Checklist 第 13 项（New Assets）填 "N/A，未引入新数据集"，与论文不符——至少引入了 GeoSafety-Bench 和 Geo-HH-10k 两个新数据资产。
2. 简单两阶段流水线就能大幅降低 unsafe 率且基本保住定位精度。GeoSafety-Bench 是否主要在评测通用合成图检测，而非 geo-localization 特有的安全能力？请说明哪些方面需要"对地理证据可靠性的推理"。特别是对合成/编辑但仍保留有效地理线索的情况（风格迁移、轻微外观修改），benchmark 应如何处理？
3. 参考文献重复：[53] 与 [54] 是同一篇 CPlaNet（Seo et al., ECCV 2018）；[9] 与 [10] 是同一篇 GeoDecoder（Clark et al., CVPR 2023）。
4. 正文段落重复：L41–43 与 L46–48 几乎逐字相同。

### A.2 Reviewer iTeA（Rating 2 / Conf 4）

**Weaknesses**

1. Figure 1 在正文中从未被引用。
2. benchmark 设计存疑。Fig 2 中 3D Rendering、Fully Synthetic、Style Filters 的样例视觉上明显不真实，容易与真实照片区分，因此不清楚评测的是 geo-safety 还是单纯的合成图检测。此外未与现有 geo-localization benchmark 对比，难以理解独特贡献。
3. L112–113 提到排除"视觉证据不足"的图像，但该标准如何定义/量化不清楚。
4. benchmark 构建缺乏透明度：
   - 4a. Synthetic Images 小节省略大量实现细节，包括 T2I 所用 prompt 和生成设置。
   - 4b. L135 称按 [23] 做 neural style transfer，但实际实现未说明，且样例与所引论文差别很大。
5. 缺少重要 baseline，实验设置与组织需改进：
   - 5a. L169–186 存在事实与组织问题。分类法混乱：Retrieval-Augmented 与 Domain-Specific 并列，但检索方法本身就是 domain-specific。若干方法归类错误：PlaNet 与 CPlaNet 被当作同一篇引用，二者都不属检索类，GLOBE 也不是基于分类的方法。
   - 5b. ISNs、GLOBE 等代表性开源 geo 模型未在该 benchmark 上评估。
   - 5c. 两阶段 baseline 只考虑专用假图检测器（DIRE、AEROBLADE）。值得评估现代 LVLM 配合 prompt（乃至 few-shot）能否充当检测器。
   - 5d. 对检索类方法，是否考虑过用检索置信度阈值拒绝低置信匹配？这种 baseline 可能无需显式假图检测器就缓解不安全定位。
   - 5e. SafeGeo-3B 的训练数据、收集过程、训练流程细节不足。
6. §5 是最有价值的部分，但呈现与实验细节需大幅改进：
   - 6a. Geo-HH-10k（L214）构建描述不足。附录只报告分布，未说明来源、收集与清洗方式。
   - 6b. CoT-Refuse（Table 3）是否考虑过 few-shot 设置（同时给真实图与合成图样例）以缓解 Over-Safety？
   - 6c. SFT 设置文档不足，训练 prompt 未描述（L271），不清楚是否与 CoT-Refuse prompt 相同。
   - 6d. §5.3 讨论与 Table 4 结果不一致。按报告数字，SFT + CoT-Refuse + Geo-5k 取得最佳整体权衡，与文字讨论不符。
   - 6e. 若干指标解释不足，如 Table 6(a) 的指标未充分描述。

**Limitations**

论文承认了部分实验局限（评测的 VLM 与假图检测器数量有限），但对 benchmark 本身的局限讨论不足——合成图各类别的真实感、benchmark 在不同部署场景下的适用性，以及 geo-safety 评测与已有合成图检测任务之间的关系。

### A.3 Reviewer zdDy（Rating 3 / Conf 3）

**Weaknesses**

1. 论文似乎假设所有合成或篡改图都应被拒答，这个假设可能过强。对真实地点照片做风格迁移、保留原有地理结构，模型是否一定要拒绝定位？
2. 真实图用 Im2GPS。作为知名 benchmark，许多模型可能在预训练或以往评测中已间接见过这些图、相似图或相关网络信息，因此定位表现未必反映真实泛化能力。
3. 由 Table 6，DIRE 在 Fully Synthetic 和 Style Filters 上较好，但在 3D Rendering 和 Light Edits 上不稳定。说明安全表现强烈受检测器域偏差影响，而非模型本身具有安全意识。
4. Table 3 中 CoT-Refuse 明显降低 Unsafe 但大幅提高 Over-Safety。说明基于 prompt 的拒答可能并未真正教会模型识别合成图，只是让回答更保守。
5. SafeGeo-3B 虽把 Unsafe 从 100 降到 26.4，但定位精度仍低，更适合视为初步概念验证而非强解法。

**Questions**

1. VLM 的实际输出是什么、pipeline 如何实现？输出 GPS 坐标、城市级地点、自由文本描述，还是拒答回复？
2. Geo-HH-10k 构建说明不足。是从 Im2GPS 派生还是单独收集？应说明来源及真实/合成图的确切数量。
3. 微调的输入输出格式不清楚。输入是图像 + prompt 吗？期望输出是坐标、城市名、拒答文本，还是推理链后接拒答？
4. 称训练集与测试集严格分离，但未描述去重协议。应说明如何在图像级、地点级、生成模板级去除重叠。
5. 不同类型合成图被赋予相同 "unsafe synthetic" 标签，但保留的地理信息量不同，统一标签可能造成评测语义不自洽。
6. 数据规模令人困惑。总计 5,997 张（2,997 真实 + 3,000 合成），但后文称人工质检后删除 32.3% 的合成图。是原始约 4,430 张过滤到 3,000，还是从 3,000 中再删 32.3%？
7. GeoCLIP、GLOBE、PIGEON、G3 本来就总是输出位置、没有拒答机制，unsafe 率必然很高。应说明如何与能够拒答的指令跟随型 VLM 公平比较。
8. VLM 安全性评测高度依赖 prompt。应报告不同 prompt 模板下结果是否稳定，特别是 prompt 未明确提到"合成/篡改"时。
9. 两阶段 baseline 对检测阈值高度敏感。应说明阈值如何选取、是否在验证集上调过、验证数据是否与 benchmark 不相交。

### A.4 Area Chair odB2 — Meta Review

**(c) Weaknesses**

1. 该 benchmark 大体退化为合成图检测而非 geo-safety。现成检测器 cascade 几乎解决任务且不损定位精度（Table 2），不清楚除合成图检测外还测了什么地理可靠性推理。［R2］［R3］
2. "拒绝所有合成图"的前提被写进了指标。风格迁移和轻编辑图可能保留有效地理结构，但拒答记为正确、定位记为不安全。既反直觉，也意味着质疑前提就等于质疑指标本身。［R1］［R3］
3. 可复现细节不完整。Geo-HH-10k 清洗过程说明不足；合成集数字（3,000 vs 删除 32.3%）含糊。［R1］［R2］
4. 缺少有信息量的 baseline：无检测器的检索置信度阈值拒答器、LVLM-as-detector cascade。两者都能直接检验任务是否超出合成图检测。［R2］

**(d) 什么会改变评分**

见本文档第 3 节。

---

*本文档由审稿意见原文整理，未改变原意。第 2–4 节的分析与路线判断为作者方整理时的判断，非审稿人原话。*