Jamba: A Hybrid Transformer-Mamba Language Model Jamba：混合 Transformer-Mamba 语言模型 我们推出了 Jamba，这是一种基于创新的混合 Transformer-Mamba 混合专家 (MoE) 架构的大型基础语言模型。Jamba 特别地将 Transformer 和 Mamb…

Can large language models explore in-context? 大语言模型能进行上下文探索吗？ 我们研究了当代大语言模型（LLMs）在多大程度上能够进行探索，这在强化学习和决策制定中是一个核心能力。我们专注于现有LLMs的本质性能，不借助训练干预。我们在简单的多臂赌博机（multi-armed bandit）环境中部署L…

Uni-SMART: Universal Science Multimodal Analysis and Research Transformer Uni-SMART: 通用科学的多模态分析研究 Transformer 在科学研究及其应用领域，科学文献分析极为重要，它使研究人员得以在前人的基础上发展自己的工作。然而，科学知识的快速发展导致学术文章数…

Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context Gemini 1.5：跨数百万Token实现多模态理解 在本报告中，我们展示了 Gemini 系列最新的模型，Gemini 1.5 Pro，这是一个计算高效的多模态混合专家模型。它能…

VisionLLaMA: A Unified LLaMA Interface for Vision Tasks VisionLLaMA: 视觉任务的统一 LLaMA 接口 大语言模型基于 Transformer 架构构建，主要处理文本输入。其中，LLaMA 是众多开源实现中的佼佼者。那么，相同的 Transformer 能否用于处理 2D 图像呢？…

MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases MobileLLM: 针对移动设备使用场景优化的亚十亿参数语言模型 本文针对在移动设备上部署高效的大型语言模型（LLMs）的迫切需求进行研究，这一需求源于云计算成本的上升和延迟问题的…

Linear Transformers with Learnable Kernel Functions are Better In-Context Models 具有可学习核函数的线性 Transformer 是更优的上下文学习模型 在自然语言处理领域快速进展之中，发展语言模型（LMs）的次方级别架构至关重要。当前的创新，包括状态空间模型（SSMs…

Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning Aya 数据集：多语言指令微调的公开获取资源 数据集对于现代人工智能的众多重大进展至关重要。许多自然语言处理（NLP）领域的最新成就得益于在多元任务集上进行的预训练模型微调，这一过程使得大语言模型（L…

本文转自苏神的博客 在分析模型的参数时，有些情况下我们会将模型的所有参数当成一个整体的向量，有些情况下我们则会将不同的参数拆开来看。比如，一个7B大小的LLAMA模型所拥有的70亿参数量，有时候我们会将它当成“一个70亿维的向量”，有时候我们会按照模型的实现方式将它看成“数百个不同维度的向量”，最极端的情况下，我们也会将它看成是“七十亿个1维向量”…

Metadata Title: Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning Authors: [[Wenhan Xia]], [[Chengwei Qin]], [[Elad Hazan]] Date: [[2024-01-08]] Ta…