MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases MobileLLM: 针对移动设备使用场景优化的亚十亿参数语言模型 本文针对在移动设备上部署高效的大型语言模型（LLMs）的迫切需求进行研究，这一需求源于云计算成本的上升和延迟问题的…
Linear Transformers with Learnable Kernel Functions are Better In-Context Models 具有可学习核函数的线性 Transformer 是更优的上下文学习模型 在自然语言处理领域快速进展之中，发展语言模型（LMs）的次方级别架构至关重要。当前的创新，包括状态空间模型（SSMs…
Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning Aya 数据集：多语言指令微调的公开获取资源 数据集对于现代人工智能的众多重大进展至关重要。许多自然语言处理（NLP）领域的最新成就得益于在多元任务集上进行的预训练模型微调，这一过程使得大语言模型（L…
【转】局部余弦相似度大，全局余弦相似度一定也大吗？
论文分享：Chain of LoRA
本文转自苏神的博客 在分析模型的参数时，有些情况下我们会将模型的所有参数当成一个整体的向量，有些情况下我们则会将不同的参数拆开来看。比如，一个7B大小的LLAMA模型所拥有的70亿参数量，有时候我们会将它当成“一个70亿维的向量”，有时候我们会按照模型的实现方式将它看成“数百个不同维度的向量”，最极端的情况下，我们也会将它看成是“七十亿个1维向量”…
Metadata Title: Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning Authors: [[Wenhan Xia]], [[Chengwei Qin]], [[Elad Hazan]] Date: [[2024-01-08]] Ta…
理解深度学习: 第二章 监督学习
监督学习模型就是将一个或多个输入转化为一个或多个输出的方式。比如，我们可以将某部二手丰田普锐斯的车龄和行驶里程作为输入，预估的车辆价格则是输出。 这个模型其实只是个数学公式；当我们把输入放入这个公式进行计算，我们得到的结果就是所谓的“推理”。这个公式还包含一些参数。改变参数值会改变计算的结果；这个公式其实描述了输入和输出之间所有可能关系的“家族”，…
理解深度学习: 第一章 介绍
OpenAI官方给出的Prompt工程建议
原书地址：https://udlbook.github.io/udlbook/ 人工智能（AI）旨在打造模仿智能行为的系统。它覆盖了众多方法，涵盖了基于逻辑、搜索和概率推理的技术。机器学习是 AI 的一个分支，它通过对观测数据进行数学模型拟合来学习决策制定。这个领域近年来迅猛发展，现在几乎（虽不完全准确）与 AI 同义。 深度神经网络是一类机器学习…
OpenAI在自己的官方网站上之前发布了关于如何进行提示工程的指导文档，这份文档可以帮助我们更好的对AI发起提问，从而得到更有效的答案。以下是针对原文的翻译，主要使用ChatGPT4进行机翻，人工也会做一些微调，主要排版做了一点调整，此外有一些翻译不准确的地方请多见谅，但也希望大家看看原文，一起学习。本文主要提供的六个策略我这里直接列出来，方便大家…
复习一下时间检验奖：Word2Vec
不久前，NeurIPS 官方公布了 2023 年度的获奖论文，其中时间检验奖颁发给了10年前的论文「Distributed Representations of Words and Phrases and their Compositionality」。这篇论文可以看做是Word2Vec的第二篇论文。第一篇是「Efficient Estimatio…
又一个提升大模型反馈效果的思路：黑盒Prompt优化
长期潜水在各个LLM技术群的小透明今天看到了智谱AI和清华团队又整了一篇有意思的论文，叫做Black-Box Prompt Optimization: Aligning Large Language Models without Model Training 主要是解决大模型的"对齐问题"。 啥叫对齐问题呢？指的是确保人工智能（…