zovo.imzovo.im
首页›教程›正文

一个 2B 小模型同时找东西、数数、认字和抠人像:WeVisOne-VL 上手路线

zovo约 4 分钟读完
想从一张客厅照片里框出沙发和台灯,数一数图里有几个人,再把人像抠成带透明边缘的图,以往要拼三四个工具。腾讯微信视觉团队 10 月开源的 WeVisOne-VL 想用一个模型全包,提供 2B 和 4B 两个版本。本文步骤据官方 README 整理,核对于 2026 年 11 月 4 日,命令本站未运行。

先看它和普通看图模型的区别。它是视觉语言模型(能同时看图和读文字的模型),既能回答“框在哪”,也能输出像素级的结果:二值遮罩(这块是不是目标)和 alpha 蒙版(边缘半透明的抠图)。官方说抠图靠的是一个只有 960 万参数的小解码器,不需要另外挂 SAM 这类分割模型。

01能干的八件事,对应八个 task 名

调用时用 task 参数选任务:detection(按类别框物体)、referring(按一句描述找物体,找不到返回 None)、point(给物体打点)、count_box 和 count_point(数数)、ocr 和 ocr_grounding(识别文字和位置)、segmentation(分割)、matting(抠图)。“找不到就说 None”是官方特别强调的一点,目的是不在图里没有目标时硬编一个框。

02装起来:Python 3.10,一条 conda 环境

bash
git clone https://github.com/Tencent/WeVisOne-VL.git && cd WeVisOne-VL
conda create -n wevisone-vl python=3.10 -y && conda activate wevisone-vl
pip install -r requirements.txt && pip install -v -e .

官方没有写显存要求,只说 device 可选 auto、cuda:0、npu:0 或 cpu。我会先用 2B 版本,因为它参数少、对显卡更宽松;README 里 4B 的各项成绩更高,同样条件下值得换。模型权重在 Hugging Face 的 tencent/WeVisOne-VL-2B 和 4B。没有显卡的话,可以先用官方放在 Hugging Face Spaces 上的 2B、4B 在线演示。

03两段官方示例:框家具,再抠人像

python
from PIL import Image
from wevisone_vl import WeVisOneVL
from wevisone_vl.visualization import save_result

model = WeVisOneVL("tencent/WeVisOne-VL-4B", backend="transformers")  # 也可以 backend="vllm"

# 目标检测:列出想找的类别
image = Image.open("demo/examples/images/livingroom.jpg").convert("RGB")
result = model.predict(image, task="detection", query=["sofa", "pillow", "coffee table", "lamp"])
save_result("outputs/detection", image, result)

# 抠图:query 写想抠的对象
image = Image.open("demo/examples/images/seabreeze.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person")
save_result("outputs/matting", image, result)

这是 README 里的原始写法。换成自己的图,只改图片路径和 query;换 2B 就把模型名改成 tencent/WeVisOne-VL-2B。README 还附了三本 Jupyter 笔记(目标级流程、OCR、分割与抠图),在仓库的 tutorials 目录里,想看每个任务的完整参数先读它们。

04官方给的成绩,和该保留的怀疑

按 README 的对比表,4B 版本在 PixMo-Count 计数上准确率 89.6%(对比的最强开源基线 82.8%),在 WeRef-Bench 上对“目标不存在”的拒识率 96.4%(基线 73.0%),在 P3M-500-NP 抠图误差上 7.3(基线 15.4,越低越好)。这些都是团队在自己选定的基准上的结果,其中 WeRef-Bench 和 WeRefMat 还是团队自建的评测集,换成你自己的图效果可能有差距。

另外两点:许可证方面,腾讯自己写的代码是 Apache 2.0,第三方组件保留各自许可证,商用前要逐个看;仓库的 TODO 里“微调代码”一项还没勾上,目前不能指望官方脚本帮你微调。仓库还有一条 mask2alpha 分支,开源了他们制作数据用的“遮罩转抠图”标注工具。

标签:
本文由 zovo 编辑撰写,转载请注明出处。

相关文章