LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs LongRAG: 使用长上下文大语言模型增强检索增强生成 在传统的检索增强生成 (RAG) 框架中，基本的检索单元通常都很短。常见的检索器如 DPR 通常处理100字的 Wikipedia 段落。这种设计…

XLand-100B: A Large-Scale Multi-Task Dataset for In-Context Reinforcement Learning XLand-100B: 一个大规模多任务数据集用于上下文强化学习 在大规模语言模型和计算机视觉模型中，上下文学习范式取得了巨大成功，最近基于上下文的强化学习领域也迅速崛起。然而，由于缺…

Mixture-of-Agents Enhances Large Language Model Capabilities Mixture-of-Agents 增强大语言模型能力 最近在大语言模型 (LLMs) 方面的进展显示了其在自然语言理解和生成任务中的显著能力。随着LLMs数量的增加，如何利用多个LLMs的集体智慧成为一个令人期待的研究方向。为…

Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality Transformer 是广义模型与高效算法：通过结构化状态空间对偶实现 虽然 Transformer 是深度学习在语言建模成功的主要架构…

Meteor: Mamba-based Traversal of Rationale for Large Language and Vision Models Meteor: 基于 Mamba 的大型语言和视觉模型的推理遍历 大型语言和视觉模型 (LLVMs) 的快速发展得益于视觉指令调优的进步。最近，开源的 LLVMs 整理了高质量的视觉指令调优…