【WIP】【VLA&VLM——InternVL系列】

InternVL 3.0

[paper]https://arxiv.org/pdf/2504.10479

1. 主要的改进点在于：1）是一个“原生”VLM模型，而不是拼接的VIsionEnc+LLM，这个主要会体现在训练手段上；2）采用V2PE编码，支持更长token的位置编码；3）引入SFT和MPO两种post-pretrain手段提升效果；4）test-time scaling优化训练；

主要改进点

1. V2PE
   常规编码对不同模态的token，均按照1去递增位置编码。而V2PE对text token仍保持1递增，而对于图像token，采用小于1的分数进行递增。$\delta$的取值是$\mathrm{1....}\frac{1}{256}$，训练时随机取其中的某一个值，测试时根据seq长度灵活调整；
   笔者理解这样做有个两个好处：1）有效避免pos emb超出限制，并且有助于扩大token上限。2）对于一张图片切分出的tile，编码保持在1以内，有助于更好理解图片不同块之间的关系？但是随机取值，某一个图片的tile还是无法编码在同一个单位内