Direct Nash Optimization: Teaching Language Models to Self-Improve with General Preferences 直接纳什优化：教授语言模型通过通用偏好自我提升 本文研究如何利用强大神谕的偏好反馈，对大语言模型 (大语言模型) 进行后训练，以帮助模型迭代地自我改进。传统的大语言模…

翻译完了UDL这本书之后放松了一个多礼拜没有更新文章了，主要最近也在学习一些微调上面的知识，平时晚上还需要跑跑代码看看视频啥的，因此也一直没太有空写文章，UDL的翻译整理成PDF的工作都没空整。（虽然实际最近也花了很长时间在打游戏(。・＿・。)）。又到周末了，再拖着不干点正事我也过意不去了，今天就写点关于最近学习的一些关于微调方面的东西好了，因为我…

Jamba: A Hybrid Transformer-Mamba Language Model Jamba：混合 Transformer-Mamba 语言模型 我们推出了 Jamba，这是一种基于创新的混合 Transformer-Mamba 混合专家 (MoE) 架构的大型基础语言模型。Jamba 特别地将 Transformer 和 Mamb…

本章由 Travis LaCroix 和 Simon J.D. Prince 编写。 人工智能 (AI) 正在成为改变社会的力量，这种改变可能带来好处也可能带来弊端。这些技术在促进社会福祉方面拥有巨大的潜力（Taddeo & Floridi, 2018; Tomašev et al., 2020），尤其体现在医疗保健（Rajpurkar …

本章不同于前面的章节。它不展示已确立的结果，而是探讨了深度学习为何和如何取得显著成功的问题，这些问题在教科书里很少被提及。然而，需明白（尽管本书的标题所示），我们对深度学习的理解还很有限。 我们发现，深度网络之所以易于训练及其泛化能力强，都是令人惊异的现象。接下来，我们将逐一分析这些议题。我们将探讨影响训练成功的各种因素，并讨论深度网络损失函数的已…

Can large language models explore in-context? 大语言模型能进行上下文探索吗？ 我们研究了当代大语言模型（LLMs）在多大程度上能够进行探索，这在强化学习和决策制定中是一个核心能力。我们专注于现有LLMs的本质性能，不借助训练干预。我们在简单的多臂赌博机（multi-armed bandit）环境中部署L…

强化学习（RL）是一个序贯决策框架，智能体在此框架中通过在环境内执行动作来学习，旨在最大化获得的奖励。例如，RL 算法可以控制视频游戏中角色（智能体）的移动（动作），以最大化分数（奖励）。在机器人领域，RL 算法能控制机器人（智能体）在现实世界（环境）内的活动，执行特定任务以赚取奖励。在金融领域，RL 算法或许会控制一个虚拟交易员（智能体），在交易…

第 15 章描述了生成对抗模型（Generative Adversarial Models, GANs），这些模型可以生成逼真样本，但不为数据定义概率分布。第 16 章讨论了归一化流（Normalizing Flows），它们确立了特定的概率分布，但须对网络架构施加限制：每层都必须可逆，且其雅可比矩阵的行列式计算要简便。第 17 章介绍的变分自编码…

Uni-SMART: Universal Science Multimodal Analysis and Research Transformer Uni-SMART: 通用科学的多模态分析研究 Transformer 在科学研究及其应用领域，科学文献分析极为重要，它使研究人员得以在前人的基础上发展自己的工作。然而，科学知识的快速发展导致学术文章数…

生成对抗网络 (Generative Adversarial Networks) 学习了一种机制，可以生成与训练数据 {x_i} 在统计上无法区分的样本。与此相对，像归一化流（normalizing flows）、变分自编码器 (Variational Autoencoders, VAEs) 这类的概率生成模型 (probabilistic gen…