Large Language Diffusion Models 大语言扩散模型 自回归模型 (ARMs) 被广泛认为是大语言模型 (LLMs) 的基础。我们通过引入 LLaDA 来质疑这一观点，LLaDA 是一种在预训练和监督微调 (SFT) 范式下从头开始训练的扩散模型。LLaDA 通过前向数据掩码过程和反向过程来建模数据分布，参数化由一个普通的…

Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach 利用隐式推理扩大测试时间计算的深度：一种循环深度方法 我们研究了一种新型的语言模型架构，该架构能够通过在潜在空间中进行隐式推理来扩展测试时的计算。我们的模型通过迭代一个循环块，在测试时可以展开…

s1: Simple test- time scaling s1: 测试时间缩放研究 测试时间缩放是一种创新的语言建模方法，通过额外的计算资源提升模型性能。近期，OpenAI 的 o1 模型展示了这一技术潜力，但其具体实现细节尚未公开，引发了学术界的广泛关注和复现工作。 本研究旨在探索实现高效推理的最佳实践方案。首先，我们构建了一个高质量数据集 s…

Humanity's Last Exam 人类的最终考试 基准测试是追踪大语言模型(LLM)能力快速进展的重要工具。然而，这些基准测试在难度上并未跟上节奏:如今的 LLMs 在 MMLU 等流行基准测试上的准确率已超过 90%，这限制了对先进 LLM 能力的有根据测量。作为回应，我们介绍了“人类的最终考试”(HLE)，这是一个多模式基准测试，在人类…