大模型技术解析：从SAM看视觉基础模型的Prompt范式革新

1. 从“看图说话”到“指哪打哪”：SAM如何重塑视觉模型的交互逻辑

几年前，我还在用传统的图像分割模型时，那感觉就像在跟一个反应迟钝的助手打交道。你得小心翼翼地准备数据，标注成千上万张图片，训练一个模型，结果它可能只认识你训练过的猫猫狗狗。想让它分割一张新图片里你随手一指的咖啡杯？对不起，它没学过，它不会。整个流程笨重、封闭，而且极度依赖特定数据。直到SAM（Segment Anything Model）的出现，我第一次体验到了什么叫“指哪打哪”的畅快感。你随便在图上点一下，或者画个框，它瞬间就能把目标抠出来，那种交互的直觉性和响应的即时性，彻底颠覆了我对计算机视觉能力的认知。

这背后的核心，就是SAM引入的 “Promptable Segmentation” 理念。你可以把它理解成，给视觉模型装上了一套统一的“指令接收器”。在自然语言处理（NLP）领域，我们早就习惯了用“提示词”（Prompt）来驱动大模型：输入一段文字指令，模型就能生成文章、翻译语言或者回答问题。SAM做的，就是把这种“Prompt范式”成功地搬运到了视觉世界。它让分割这个任务，从一个需要预先定义好类别的“闭卷考试”，变成了一个可以实时接受多种形式指令的“开放问答”。

那么，SAM具体接受了哪些“指令”呢？它主要设计了四种交互方式，我把它叫做“视觉Prompt四板斧”：

• 点（Point）：这是最自然的方式。你在物体上点一个正点（Foreground Point），模型就理解为“我要这个”；在背景处点一个负点（Background Point），模型就理解为“我不要这个”。我实测下来，点的精度非常高，尤其是在物体边界清晰的时候，一点即中。
• 框（Box）：用一个矩形框粗略地框住目标。这个方式特别适合目标比较规整或者你想快速选中一个大区域的情况。SAM会在这个框的范围内进行精细分割，把框内的物体完整地抠出来。
• 掩码（Mask）：你可以提供一个非常粗糙的、低分辨率的掩码草图，SAM能根据这个草图，生成一个高质量、边界精准的掩码。这相当于给了模