模型

今日凌晨，月之暗面推出针对软件工程任务的全新开源代码大模型Kimi-Dev-72B。该模型在SWE-bench Verified编程基准测试中取得了全球最高开源模型水平，以仅72B的参数量，成绩超过了...

权重值是衡量某个因素或变量在整体中所占重要性的一个数值指标。在不同的领域和情境中，权重值的具体含义和计算方式可能有所不同。在统计学中，权重值通常用来表示数据点在总体中的相对重要性，它影响着数据的加权平...

Kubernetes 是为运行分布式集群而建立的，分布式系统的本质使得网络成为 Kubernetes 的核心和必要组成部分，了解 Kubernetes 网络模型可以使你能够正确运行、监控和排查应用程序...

论文标题：Automated 3D Pre-Training for Molecular Property Prediction 论文链接：https://arxiv.org/abs/2306.078...

以 ChatGPT 为代表的大型语言模型（LLM）在各项任务上的高效表现彰显了其广阔发展前景。然而，大模型回复与人类价值偏好经常存在不一致问题。 如何让大模型更好的与人类价值观对齐，理解语言背后的含义...

自 GPT-4 问世以来，人们一直惊艳于它强大的涌现能力，包括出色的语言理解能力、生成能力、逻辑推理能力等等。这些能力让 GPT-4 成为机器学习领域最前沿的模型之一。然而，OpenAI 至今未公开 ...

最近几个月，随着大语言模型的持续火爆，利用其构建 AI 智能体的研究陆续进入人们的视线。AI 智能体这个概念也流行开来，不断突破人们的想象力。 先是斯坦福大学、谷歌的研究者，他们成功构建了一个「虚拟小...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 王小川两个月交卷的大模型，是怎么炼成的？ 现在，这个问题有了更为详细的解。 70亿参数、一经发布就开源可商用，百川智能的中...

如何让AI和人类的价值观对齐？这个问题，曾经难倒了业界的一众大佬。 OpenAI已经预言，超级智能会在10年内降临。为了不让它失控，OpenAI要组建「超级对齐」（Superalignment）团队...

大型语言模型（LLM）已经很强了，但还可以更强。通过结合知识图谱，LLM 有望解决缺乏事实知识、幻觉和可解释性等诸多问题；而反过来 LLM 也能助益知识图谱，让其具备强大的文本和语言理解能力。而如果能...

毫无疑问，我们正在进入一个大模型时代，各种开源或闭源的大模型不断涌现，解决一个又一个的应用，填补一个又一个的空白。而在此之前已经有了许多「足够好的」小模型。于是对于用户来说，要找到合适的模型就更加困难...

2020 年 12 月发布的 CPM-1 是国内首个中文大模型 ；2022 年 9 月发布的 CPM-Ant 仅微调 0.06% 参数就能超越全参数微调效果；2023 年 5 月发布的 WebCPM ...

Midjourney 5.2发布才一周，又迎来了重大更新！ 没想到，新功能「weird」一出，网友们脑洞大开，便在这条路上一发不可收拾。 风格不同搞怪表情包，恐怖大片泉涌，比如这个新版「复仇者联盟...

MBZUAI，上海交通大学，微软亚洲研究院合作完成了一个全面的中文大模型基准——CMMLU。 它涵盖了 67 个主题，涉及自然科学、社会科学、工程、人文、以及常识等，可以全面地评估大模型在中文知识储备...

大数据文摘出品 ChatGPT爆火之后，AI界进行了一场“百模大战”。近日，Huggingface的机器学习科学家Nathan Lambert，在一篇博文中对当前入局大模型的力量，从开源视角进行了梳理...

继羊驼之后，又来了个以动物命名的模型，这次是大猩猩（Gorilla）。 虽说目前LLM风头正旺，进展颇多，在各种任务中的性能表现也可圈可点，但这些模型通过API调用有效使用工具的潜力还亟待挖掘。 即使...

由UC伯克利主导的「LLM排位赛」又双叒更新了！ 这次，最新榜单又迎来新的玩家，PaLM 2（也是就Bard）、Claude-instant-v1，MosaicML MPT-7B，以及Vicuna-7...

最近一段时间，随着大语言模型（LLM）的不断发布，LLM 排位赛也变得火热起来，研究者们试图在新的 LLM 评测系统中不断刷新自家模型的分数。 在这当中，斯坦福发布的全新大语言模型排行榜 Alpaca...

「别太迷信大模型的涌现，世界上哪儿有那么多奇迹？」斯坦福大学的研究者发现，大模型的涌现与任务的评价指标强相关，并非模型行为在特定任务和规模下的基本变化，换一些更连续、平滑的指标后，涌现现象就不那么明显...

夕小瑶科技说 原创 作者 | 小戏、Python 大模型在其巨大体量背后蕴藏着一个直观的问题：“大模型应该怎么更新？” 在大模型极其巨大的计算开销下，大模型知识的更新并不是一件简单的“学习任务”，理想...

LeCun究竟是经过了怎样的思考，才得出了世界模型是AI大模型未来最理想道路的结论？ 很幸运，去年曾听过他在暑假学校关于统计物理和机器学习演讲的学生Ania Dawid，将他的观点仔细地整理和发表出来...

最近，很多关于较小模型的研究取得了令人振奋的对话能力，这让人们想象，是否较小的模型能具有与像 GPT-3.5 这样的大型模型相当的性能。一般来说，语言模型具有多维能力，所以模型之间的相互对比较为困难...

几个月来，ChatGPT、GPT-4 等大模型陆续发布。这些模型表现出了强大的涌现能力，但模型生成的结果是随机的，时好时坏，部分原因与 Prompt 的设计密切相关。 很多人将 Prompt 比喻为大...

LLaMA-Adapter，现在已经完全解锁了。 作为一个通用的多模态基础模型，它集成了图像、音频、文本、视频和3D点云等各种输入，同时还能提供图像、文本和检测的输出。 相比于之前已经推出的LLaMA...

目录： Multiscale Positive-Unlabeled Detection of AI-Generated Texts Towards Revealing the Mystery behi...

虽然大型预训练语言模型（LLM）在一系列下游任务中展现出飞速提升的性能，但它们是否真的理解其使用和生成的文本语义？ 长期以来，AI社区对这一问题存在很大的分歧。有一种猜测是，纯粹基于语言的形式（例如训...

在大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。 比如 OpenAI 的 gpt-3.5-turbo 提供 16k token 的上下文窗口选项...

1、什么是运筹优化 运筹学（Operations Research）作为数学、计算机科学、管理学的交叉学科，最早起源于一战中的防空作战系统，由钱学森先生引入中国，最开始的用途是优化航空／军工等领域。如...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 第十届ASC世界大学生超算竞赛总决赛，终于在中国科学技术大学落下帷幕。 北京大学首次获得ASC决赛冠军，而东道主中国科学技...

最近几个月，ChatGPT 等一系列大语言模型（LLM）相继出现，随之而来的是算力紧缺日益严重。虽然人人都想打造专属于自己的大模型，但是能负担得起上亿参数模型训练的机构却寥寥无几。 在快速发展的人工智...

推荐系统作为一种智能化的信息过滤技术，已在实际场景中得到广泛的应用。然而，推荐系统的成功往往建立在大量的用户数据之上，而这些数据可能涉及用户的私密和敏感信息。在用户信息受到隐私保护限制或无法获取的场景...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 现在，AI绘画完全可以做到指哪打哪了！ 这边哈士奇，那边牧羊犬，背景在下雪天。 啪叽！一幅画就这么完成了。 这个最新Mul...

这几天亚马逊发布了一篇使用大模型做时间序列预测的工作，属于大模型在时序预测中的第一次探索，利用大模型提升金融场景预测中的多模态数据处理能力和可解释能力。这篇文章属于一个比较有意思的探索工作，思路可以借...

如今大型语言模型（如 ChatGPT）风靡全球，其最重要的应用之一就是辅助用户完成各种日常写作，如撰写电子邮件，创作博客文章，都能得到它的有力支持。但是目前包括 ChatGPT 在内的各种大语言模型在...

大型语言模型（LLMs）在各种任务上表现出色，但由于其庞大的模型规模，部署方面存在挑战。 在这篇论文中，来自后摩智能、腾讯 AI Lab、华中科技大学、北京大学、伊利诺伊理工学院的研究人员发现量化大型...

对于多模态基础模型，我们希望其不仅可以处理特定的多模态相关任务，还希望其处理单模态任务时也具有优异的性能。阿⾥达摩院团队发现现有的模型往往不能很好的平衡模态协作和模态纠缠的问题，这限制了模型在各种单模...

视频在当今社交媒体和互联网文化中扮演着愈发重要的角色，抖音，快手，B 站等已经成为数以亿计用户的热门平台。用户围绕视频分享自己的生活点滴、创意作品、有趣瞬间等内容，与他人互动和交流。 近期，大语言模型...

大事不妙，ChatGPT的平替真来了！ 一夜醒来，最大开源社区Hugging Face发布了HuggingChat，有300亿参数。 既开源，还免费，互联网上随随便便就能用。 网址戳这里：hf.co...

我们都知道，大语言模型在生成代码方面，表现出了非凡的能力。然而，在具有挑战性的编程任务（比如竞赛和软件工程师的面试）中，它们却完成得并不好。 好在，很多模型会通过一种自修复工作流来「自省」，来自我纠正...

多任务学习（MTL）存在很多挑战，因为不同任务之间的梯度可能矛盾。为了利用任务之间的关联，作者引入了 Mod-Squad 模型，它是多个专家组成的模块化模型。模型可以灵活优化任务和专家的匹配，针对任务...

继Meta的LLaMA模型开源后，AI界研究人员就在这个模型基础上衍生出许多版本。 前段时间，斯坦福发布了Alpaca，是由Meta的LLaMA 7B微调而来，仅用了52k数据，性能可以与GPT-3...

随着生成式大模型的不断进步，它们生成的语料正逐步逼近人类。虽然大模型正在解放无数文书的双手，它以假乱真的强劲能力也为一些不法分子所利用，造成了一系列社会问题： 来自北大、华为的研究者们提出了一种识别各...

在语音方面，Meta又达到了另一个LLaMA级的里程碑。 今天，Meta推出了一个名为MMS的大规模多语言语音项目，它将彻底改变语音技术。 MMS支持1000多种语言，用圣经训练，错误率仅为Whisp...

这篇论文通过对真实世界决策任务中的Auto-GPT代理进行了全面的基准研究，探索了大型语言模型（LLM）在决策任务中的应用。 论文链接：https://arxiv.org/pdf/2306.02224...

大型语言模型能力惊人，但在部署过程中往往由于规模而消耗巨大的成本。华盛顿大学联合谷歌云计算人工智能研究院、谷歌研究院针对该问题进行了进一步解决，提出了逐步蒸馏（Distilling Step-by-S...

在介绍Transformer前我们来回顾一下RNN的结构 对RNN有一定了解的话，一定会知道，RNN有两个很明显的问题 效率问题：需要逐个词进行处理，后一个词要等到前一个词的隐状态输出以后才能开始处理...

鉴于语言模型预训练成本巨大，因而研究者一直在寻找减少训练时间和成本的新方向。Adam 及其变体多年来一直被奉为最先进的优化器，但其会产生过多的开销。本文提出了一种简单的可扩展的二阶优化器 Sophia...

1、文本任务 这篇文章主要讨论的是生成式文本摘要的方法，如何利用对比学习和大模型实现最新的生成式文本摘要训练范式。主要涉及两篇文章，一篇是BRIO: Bringing Order to Abstrac...

前些天，OpenAI 的 CEO Sam Altman 在全球巡回演讲中，透漏了 OpenAI 近期发展路线，主要分两个阶段，2023 年的首要任务是推出更便宜、更快的 GPT-4，更长的上下文窗口等...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 现在AI圈确实到了拼手速的时候啊。 这不，Meta的SAM刚刚推出几天，就有国内程序猿来了波buff叠加，把目标检测、分割...

在近日举办的微软开发者大会 Microsoft Build 2023 上，OpenAI 联合创始人 Andrej Karpathy 做了一个题为《State of GPT》演讲，其中他首先直观地介绍了...

点击参加51CTO网站内容调查问卷 作者 | Sam Stone 译者 | 朱先忠 审校 | 重楼 什么？要求GPT-4在提示语押韵的同时，证明存在无穷多的素数，那么它的确能够实现（https://a...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 号称ChatGPT“最强竞争对手”的Claude，今天迎来史诗级更新—— 模型记忆力原地起飞，现在1分钟看完一本数万字的小...

在人类的日常交流中，经常会关注场景中不同的区域或物体，人们可以通过说话并指向这些区域来进行高效的信息交换。这种交互模式被称为参考对话（Referential Dialogue）。 如果 MLLM 擅长...

数学推理是人类智能的一项核心能力，但对于机器来说，抽象思维和逻辑推理仍然是一个很大的挑战。大规模预训练语言模型，如 GPT-3 和 GPT-4，在文本形式的数学推理（如数学应用题）上已经取得了显著的进...

在广泛数据集上基于自监督学习的预训练基础模型，已经展现出将知识迁移到不同下游任务的优秀能力。因此，这些模型也被应用到长期推理、控制、搜索和规划等更复杂的问题，或者被部署在对话、自动驾驶、医疗保健和机器...

而在实际探索的过程中，实践者可能会苦于寻找适合自己应用的 AI 模型：是选择 LLM 还是微调模型？如果用 LLM，又该选择哪一种？ 近日，来自亚马逊、德州农工大学、莱斯大学等机构的学者对 ChatG...

由于如Stable Diffusion等视觉生成模型的快速发展，高保真度的人脸图片可以自动化地伪造，制造越来越严重的DeepFake问题。 随着如ChatGPT等大型语言模型的出现，大量假本文也可以容...

​AI模型与人脑在数学机制上并没有什么区别。 只要模型够大、样本够多，AI就可以变得更智能！ chatGPT的出现，实际上已经证明了这点。 1，AI和人脑的底层细节都是基于if else语句 逻辑运算...

深度学习领域已经取得了阶段性重大进展，特别是在计算机视觉、自然语言处理和语音等方面，使用大数据训练得到的大规模模型对于实际应用、提高工业生产力和促进社会发展具有巨大的前景。 不过大模型也需要大算力才能...

虽然 NeRF 能够用不同视角的视图中渲染复杂的 3D 场景，但很少有人致力于探索其在高分辨率设置中的局限性。具体来说，现有的基于 NeRF 的方法在重建高分辨率的真实场景时面临着一些限制，包括大量的...

金融、气象、能源等各行各业每天都会生成大量的异构数据。人们急切需要一个工具来有效地管理、处理和展示这些数据。 近日，浙江大学提出 DataCopilot，通过部署大语言模型 (LLMs) 来自主地管理...

大型语言模型（LLM）正在风靡全球，它们的一个重要应用就是聊天，并在问答、客服和其他许多方面都有应用。然而，聊天机器人是出了名的难以评估。究竟这些模型在什么情况下最好用，我们目前尚不明晰。因此，LLM...

从聊天到编程再到支持各种插件，强大的 ChatGPT 早就不是一个简单的对话助手，而是朝着 AI 界的「管理层」不断前进。 3 月 23 号，OpenAI 宣布 ChatGPT 开始支持各类第三方插件...

进入正文之前，先考虑一下像 ChatGPT 这样的 Transformer 语言模型（LM）的 prompt： 随着每天产生数百万用户和查询，ChatGPT 使用自注意力机制对 prompt 进行反复...

最近，来自谷歌的研究员提出了一种用于描述多事件视频的预训练视觉语言模型——Vid2Seq，目前已被CVPR23接收。 在以前，理解视频内容是一项具有挑战性的任务，因为视频通常包含在不同时间尺度发生的多...

大模型的发展可谓一日千里，指令微调方法犹如雨后春笋般涌现，大量所谓的 ChatGPT “平替” 大模型相继发布。在大模型的训练与应用开发中，开源、闭源以及自研等各类大模型真实能力的评测已经成为提高研发...

指令调优大语言模型的出现标志着 NLP 领域迎来一个重要转折点。从 ChatGPT 这类会话助手到解决复杂问题，这些指令调优大模型的变革能力在应用中瞩目。此类模型还包括 GPT-4，它的精通范围不局限...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 这几天，一张名为“大语言模型进化树”的动图在学术圈疯转： 它清晰梳理了2018到2023五年间所有的大语言模型“代表作...

多模态学习旨在理解和分析来自多种模态的信息，近年来在监督机制方面取得了实质性进展。 然而，对数据的严重依赖加上昂贵的人工标注阻碍了模型的扩展。与此同时，考虑到现实世界中大规模的未标注数据的可用性，自监...

大型 AI 模型正在改变数字世界。基于大型语言模型 (LLM) 的 Turing-NLG、ChatGPT 和 GPT-4 等生成语言模型用途广泛，能够执行摘要、代码生成和翻译等任务。同样，DALL・E...

ChatGPT 的火爆有目共睹，而对于支撑其成功背后的技术，监督式的指令微调以及基于人类反馈的强化学习至关重要。这些技术也在逐渐扩展到其他 AI 领域，包括计算机视觉（CV）。​ 我们知道，在处理计算...

ChatGPT 的出现，使中文社区意识到与国际领先水平的差距。近期，中文大模型研发如火如荼，但中文评价基准却很少。 在 OpenAI GPT 系列 / Google PaLM 系列 / DeepMin...

决定大模型能力的关键因素，到底是模型的参数，还是训练文本的大小？ 谷歌发布的PalM2，似乎选择了后者作为提升的主要路径。 据悉，谷歌用于训练的PaLM2的文本数量几乎是训练其前身模型的5倍。 而且上...

ChatGPT引爆的AI热潮也「烧到了」金融圈。 近来，彭博社的研究人员也开发了一个金融领域的GPT——Bloomberg GPT，有500亿参数。 GPT-4的横空出世，让许多人浅尝到了大型语言模型...

这种丝滑的操作流程简直是职场人的福音！ 近日，来自中科院自动化所、港理工等机构的研究者们造出了一个「表格 AI 助手」SheetCopilot，该智能体能根据用户指令生成操纵表格的解决方案并在特定软件...

论文地址：https://arxiv.org/abs/2305.11147 代码地址：https://github.com/salesforce/UniControl 项目主页：https://sho...

一觉醒来，斯坦福大模型Alpaca 火了。 没错，Alpaca是由Meta的LLaMA 7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。 关键是训练成本奇低，不到600美元。具体花...

近几个月来，OpenAI ChatGPT 的强大生成式对话能力引发了人们对 AI 的新兴趣和投资。随着国内外掀起类 ChatGPT 研发热潮，对话式 AI 及背后的大模型被更多人看好。 但上周在 MI...

Transformer 模型在几乎所有自然语言处理（NLP）任务中都带来了革命，但其在序列长度上的内存和计算复杂性呈二次方增长。相比之下，循环神经网络（RNNs）在内存和计算需求上呈线性增长，但由于并...

ChatGPT 的持续爆火，早已让各大科技公司坐不住了。 就在刚刚过去的一周，Meta「开源」了一个新的大模型系列 ——​​LLaMA​​​（Large Language Model Meta AI...

2023 年，聊天机器人领域似乎只剩下两个阵营：「OpenAI 的 ChatGPT」和「其他」。 ChatGPT 功能强大，但 OpenAI 几乎不可能将其开源。「其他」阵营表现欠佳，但不少人都在做开...

自从 Meta 发布并开源了 LLaMA 系列模型，来自斯坦福大学、UC 伯克利等机构的研究者们纷纷在 LLaMA 的基础上进行「二创」，先后推出了 Alpaca、Vicuna 等多个「羊驼」大模型...

本月初，Meta推出的「分割一切」模型可谓是震撼了整个CV圈。 这几天，一款名为「Relate-Anything-Model（RAM）」的机器学习模型横空出世。它赋予了Segment Anything...

记性差是目前主流大型语言模型的主要痛点，比如ChatGPT只能输入4096个token（约3000个词），经常聊着聊着就忘了之前说什么了，甚至都不够读一篇短篇小说的。 过短的输入窗口也限制了语言模型的...

随着大语言模型（LLM）的不断发展，这些模型在很大程度上改变了人类使用 AI 的方式。然而，实际上为这些模型提供服务仍然存在挑战，即使在昂贵的硬件上也可能慢得惊人。 现在这种限制正在被打破。最近，来自...

自从Meta发布「开源版ChatGPT」LLaMA之后，学界可谓是一片狂欢。 先是斯坦福提出了70亿参数Alpaca，紧接着又是UC伯克利联手CMU、斯坦福、UCSD和MBZUAI发布的130亿参数V...

以下为卢志武教授在机器之心举办的 ChatGPT 及大模型技术大会上的演讲内容，机器之心进行了不改变原意的编辑、整理： 大家好，我是中国人民大学卢志武。我今天报告的题目是《ChatGPT 对多模态通用...

前段时间，OpenAI整出了神操作，竟让GPT-4去解释GPT-2的行为。 对于大型语言模型展现出的涌现能力，其具体的运作方式，就像一个黑箱，无人知晓。 众所周知，语言模型近来取得巨大的进步，部分原因...

本月初，Meta推出的一款可以「分割一切」的模型Segment Anything Model (SAM) 已经引起了广泛的关注。今天，我们向大家介绍一款名为「Segment Any RGBD（SAD...

前段时间，来自LMSYS Org（UC伯克利主导）的研究人员搞了个大新闻——大语言模型版排位赛！ 这次，团队不仅带来了4位新玩家，而且还有一个（准）中文排行榜。 OpenAI GPT-4 OpenAI...

4 月初，Meta 发布了史上首个图像分割基础模型--SAM（Segment Anything Model）[1]。作为分割模型，SAM 的能力强大，操作使用方式也十分友好，比如用户简单地点击来选择对...

大型语言模型性能强大，但为了更好地用于解决实际问题，各式各样的 API 是必不可少的。 近日，加利福尼亚大学伯克利分校和微软研究院造出了一只「大猩猩」Gorilla，该模型能根据用户输入的自然语言为用...

Meta的「分割一切」模型横空出世后，已经让圈内人惊呼CV不存在了。 就在SAM发布后一天，国内团队在此基础上搞出了一个进化版本「Grounded-SAM」。 注：项目的logo是团队用Midjour...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 Stable Diffusion插件、“AI绘画细节控制大师”ControlNet迎来重磅更新： 只需使用文本提示词，就能...

思维链提示（CoT）是大模型涌现中最神秘的现象之一，尤其在解决数学推理和决策问题中取得了惊艳效果。CoT到底有多重要呢？它背后成功的机制是什么？本文中，北大的几位研究者证明了CoT在实现大语言模型（L...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 为应对新一轮技术竞赛，谷歌还在不断出后手。 这两天，一个名叫PaLM-E的大模型在AI学术圈疯狂刷屏。 它能只需一句话，就...

Stable Diffusion （SD）是当前最热门的文本到图像（text to image）生成扩散模型。尽管其强大的图像生成能力令人震撼，一个明显的不足是需要的计算资源巨大，推理速度很慢：以 S...

上个月，马斯克疯狂呼吁叫停超级AI研发6个月。 还没等多久，老马就坐不住了，直接官宣推出一个名为TruthGPT的AI平台。 马斯克曾表示，TruthGPT将是一个「最大的求真人工智能」，它将试图理解...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 我们常常被教育的做事“三思而后行”，充分运用积累过的经验，现在这句话对AI也有所启发了。 传统的决策AI模型由于遗忘效应的...