成本直降！南大与旷视研究院联手破解视觉大模型对齐难题 无需人类或GPT-4打标签

南京大学与旷视研究院的研究人员们携手，为视觉大模型带来了一场革命。他们推出的无监督范式——SeVa，成功解决了视觉语言模型的偏好对齐问题，而且整个过程无需人类或GPT-4的参与，大大降低了对齐成本。

这项技术的核心在于自动化构造偏好数据的pipeline，通过对比偏好对齐前后的模型输出，可以明显看出变化。研究人员们发现，即使是微小的图像增广，也可能让VLM对同一问题产生不同的回答。因此，他们将原始图像的回答作为正样本，增广后的图像回答作为负样本，用于训练。

SeVa的实验结果令人瞩目。仅使用8k构造的无监督数据，就显著提升了VLM的指令遵循能力，降低了幻觉，并在多模态等benchmark上取得了明显提升。更重要的是，这种方法简单易行，成本低廉，不需要任何人类或GPT-4的标注。

在多个benchmark上的测试结果表明，SeVa在提升视觉模型的人类偏好对齐方面具有显著优势。特别是在GPT-4评估的MMVet和LLaVA-bench上，SeVa的表现尤为突出。此外，SeVa还能产生更长、更详细的回答，且每次回答的一致性更高，对不同temperature的扰动具有更强的鲁棒性。

这项研究不仅为视觉大模型的对齐问题提供了一种有效的解决方案，也为AI领域的发展开辟了新的可能性。随着SeVa的开源，我们可以预见，未来将有更多的研究者和开发者利用这一范式，推动AI技术的进一步发展。在这个充满无限可能的时代，让我们共同期待AI技术带来的更多惊喜。