Meteor: Mamba-based Traversal of Rationale for Large Language and Vision Models Meteor: 基于 Mamba 的大型语言和视觉模型的推理遍历 大型语言和视觉模型 (LLVMs) 的快速发展得益于视觉指令调优的进步。最近，开源的 LLVMs 整理了高质量的视觉指令调优…
PLLaVA : Parameter-free LLaVA Extension from Images to Videos for Video Dense Captioning PLLaVA：图像至视频无参数扩展的 LLaVA 模型，用于视频详细描述 视觉-语言预训练显著提升了各种图像-语言应用的性能。然而，视频相关任务的预训练过程需巨大的计算和数…
AutoCrawler: A Progressive Understanding Web Agent for Web Crawler Generation AutoCrawler: 一个为 Web 爬虫生成的渐进式理解 Web 智能体 Web 自动化是一种重要技术，它通过自动执行常见网页动作来处理复杂的网页任务，从而提高操作效率并减少手动干预。传统…
Pre-training Small Base LMs with Fewer Tokens 使用更少的 Token 对小型基础 LMs 进行预训练 我们研究了一种简单方法来开发一个小型基础语言模型 (LM)，从一个现有的大型基础 LM 开始：首先从较大的 LM 继承一些 Transformer 块，然后在这个较小的模型上使用一个非常小的子集 (0.…
Direct Nash Optimization: Teaching Language Models to Self-Improve with General Preferences 直接纳什优化：教授语言模型通过通用偏好自我提升 本文研究如何利用强大神谕的偏好反馈，对大语言模型 (大语言模型) 进行后训练，以帮助模型迭代地自我改进。传统的大语言模…
Jamba: A Hybrid Transformer-Mamba Language Model Jamba：混合 Transformer-Mamba 语言模型 我们推出了 Jamba，这是一种基于创新的混合 Transformer-Mamba 混合专家 (MoE) 架构的大型基础语言模型。Jamba 特别地将 Transformer 和 Mamb…
Can large language models explore in-context? 大语言模型能进行上下文探索吗？ 我们研究了当代大语言模型（LLMs）在多大程度上能够进行探索，这在强化学习和决策制定中是一个核心能力。我们专注于现有LLMs的本质性能，不借助训练干预。我们在简单的多臂赌博机（multi-armed bandit）环境中部署L…
Uni-SMART: Universal Science Multimodal Analysis and Research Transformer Uni-SMART: 通用科学的多模态分析研究 Transformer 在科学研究及其应用领域，科学文献分析极为重要，它使研究人员得以在前人的基础上发展自己的工作。然而，科学知识的快速发展导致学术文章数…
Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context Gemini 1.5：跨数百万Token实现多模态理解 在本报告中，我们展示了 Gemini 系列最新的模型，Gemini 1.5 Pro，这是一个计算高效的多模态混合专家模型。它能…
VisionLLaMA: A Unified LLaMA Interface for Vision Tasks VisionLLaMA: 视觉任务的统一 LLaMA 接口 大语言模型基于 Transformer 架构构建，主要处理文本输入。其中，LLaMA 是众多开源实现中的佼佼者。那么，相同的 Transformer 能否用于处理 2D 图像呢？…