In this paper, we conduct a systematic empirical study comparing the length generalization performance of decoder-only Transformers with five different position encoding approaches including Absolute ...

DINOv3是Meta推出的自监督视觉骨干网络，最大的亮点是你可以把整个backbone冻住不动，只训练一个很小的任务头就能在各种密集预测任务上拿到SOTA结果。这对实际工程应用来说意义重大，因为大部分时候我们并不想重新训练一个几十亿参数的模型。