模型

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 在家用消费级GPU就能跑1760亿参数大模型，推理微调都很快。 还是用BT下载的方式实现。 这事儿可把AI爱好者们新鲜坏了...

目录 Transformer models: an introduction and catalog High-throughout Generative Inference of Large Lan...

进展跟踪链接（Awesome-MLLM，实时更新）：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models 近年来，大型...

在大模型方向上，科技巨头在训更大的模型，学界则在想办法搞优化。最近，优化算力的方法又上升到了新的高度。 大型语言模型（LLM）彻底改变了自然语言处理（NLP）领域，展示了涌现、顿悟等非凡能力。然而，若...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 一张2D证件照，几秒钟就能设计出3D游戏化身！ 这是扩散模型在3D领域的最新成果。例如，只需一张法国雕塑家罗丹的旧照，就能...

Transformer无疑是促进自然语言处理领域繁荣的最大功臣，也是GPT-4等大规模语言模型的基础架构。 不过相比语言模型动辄成千上万亿的参数量，计算机视觉领域吃到Transformer的红利就没那...

训练大型语言模型的最后一步就是「对齐」（alignment），以确保模型的行为符合既定的人类社会价值观。 相比人类通过「社交互动」获得价值判断共识，当下语言模型更多的是孤立地从训练语料库中学习价值观...

这篇文章初版2018年5月就写好了，最近2022年12月才中。四年中得到了老板们的很多支持和理解。 （这段经历也希望给在投稿的同学们一点鼓舞，paper写好肯定能中的，不要轻易放弃！） arXiv早期...

Transformer无疑是过去几年内机器学习领域最流行的模型。 自2017年在论文「Attention is All You Need」中提出之后，这个新的网络结构，刷爆了各大翻译任务，同时创造了多...

最近，来自LMSYS Org（UC伯克利主导）的研究人员又搞了个大新闻——大语言模型版排位赛！ 顾名思义，「LLM排位赛」就是让一群大语言模型随机进行battle，并根据它们的Elo得分进行排名。 然...

最近几个月，要问 AI 界最出圈的模型有哪些，首当其冲应该是 OpenAI 相继发布的 ChatGPT、GPT-4 等模型，这些智能模型极大地改变了人类思考和处理问题的方式，进而可能重塑当今世界。 但...

在 NLP 领域，大型语言模型（LLM）已经成功地在各种自然语言任务中充当通用接口。只要我们能够将输入和输出转换为文本，就能使得基于 LLM 的接口适应一个任务。举例而言，摘要任务输入文档，输出摘要信...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 阿里正式加入ChatGPT战局！ 就在刚刚，阿里版类ChatGPT突然官宣正式对外开放企业邀测。 它叫通义千问，由达摩院开...

大模型的卷，已经不睡觉都赶不上进度了...... 这不，微软亚研院刚刚发布了一个多模态大型语言模型（MLLM）—— KOSMOS-1。 论文地址：https://arxiv.org/pdf/2302...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 万万没想到，以文生图著名的Stable Diffusion，也入局了大语言模型（LLM）之战。 它背后的公司Stabili...

预训练大语言模型（LLM）在特定任务上的性能不断提高，随之而来的是，假如 prompt 指令得当，其可以更好的泛化到更多任务，很多人将这一现象归功于训练数据和参数的增多，然而最近的趋势表明，研究者更多...

ChatGPT最为人诟病的缺陷就是「胡编乱造」了，可以一本正经地讲一段林黛玉倒拔垂杨柳的故事。 对于真正想了解「林黛玉」或「倒拔垂杨柳」的人来说，这段回答可以说是灾难级误导了，但对于专注于「虚构」和...

2 月底，Meta 开源了一个大模型系列 LLaMA（直译为羊驼），参数量从 70 亿到 650 亿不等，被称为 Meta 版 ChatGPT 的雏形。之后斯坦福大学、加州大学伯克利分校等机构纷纷在 ...

当前，生成式大模型已经为学术研究甚至是社会生活带来了深刻的变革，以 ChatGPT 为代表，生成式大模型的能力已经显示了迈向通用人工智能的可能性。但同时，研究者们也开始意识到 ChatGPT 等生成式...

ChatGPT、GPT-4 的火爆，让大型语言模型迎来了迄今为止的高光时刻。但下一步又该往何处去？ Yann LeCun 最近参与的一项研究指出，增强语言模型或许是个极具潜力的方向。 这是一篇综述文章...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 二值量化可以有效节约AI模型消耗的资源。 具体而言，它可以把32位浮点数值压缩到1位，大大降低了存储和运算成本。 然而，此...

还记得火爆全网的图解Transformer吗？ 最近这位大佬博主Jay Alammar在博客上对大火的Stable Diffusion模型也撰写了一篇图解，让你从零开始彻底搞懂图像生成模型的原理，还配...

大型语言模型（LLMs）的性能非常强大，但是现有的模型训练和部署成本都很高。而且在不忘记先前知识的前提，扩展它们去学习新的知识也很困难。也很难针对特定的任务去提取出轻量化的模型。 最近，来自MIT-I...

近年来，清华大学计算机系孙茂松团队深入探索语言大模型参数高效微调方法的机理与特性，与校内其他相关团队合作完成的研究成果 “面向大规模预训练语言模型的参数高效微调”（Parameter-efficien...

图像生成是当前 AIGC 领域最热门的方向之一。近期发布的图像生成模型如 DALL・E 2、Imagen、Stable Diffusion 等等，开创了图像生成的新时代，实现了前所未有的图像质量和模型...

大模型能力涌现，参数规模越大越好？ 然而，越来越多的研究人员声称，小于10B的模型也可以实现与GPT-3.5相当的性能。 真是如此吗？ OpenAI发布GPT-4的博客中，曾提到： 在随意的交谈中，G...

纯文本大模型方兴未艾，多模态领域也开始涌现出多模态大模型工作，地表最强的 GPT-4 具备读图的多模态能力，但是迟迟未向公众开放体验，于是乎研究社区开始在这个方向上发力研究并开源。MiniGPT-4 ...

自 ChatGPT 发布以来，大模型的涌现能力一直被人们称赞，包括强大的语言理解能力、生成能力、逻辑推理能力等。然而，最近一项研究表明，大模型在因果推理方面普遍性能很差，连 GPT-4 都不及格。 这...

文本到图像生成领域近两年取得了很大的突破，从 GAN 到 Stable Diffusion，图像生成的速度越来越快，生成效果越来越好。然而，AI 模型生成的图像在细节上还有很多瑕疵，并且使用自然语言指...

谁能想到，一次意外的LLaMA泄漏，竟点燃了开源LLM领域最大的创新火花。 一系列表现出色的ChatGPT开源替代品——「羊驼家族」，随后眼花缭乱地登场。 开源和基于 API 的分发之间的摩擦，是生成...

符尧（yao.fu@ed.ac.uk），爱丁堡大学 (University of Edinburgh) 博士生，本科毕业于北京大学。 ChatGPT 大火之后，在 2023 年 2 月 24 日，LL...

近年来，人工智能领域对于大型计算机会议审稿机制的诟病与日俱增，这一切背后的矛盾源于论文作者、会议主办方和审稿人三方并不一致的利益： 论文作者希望他们的论文被会议接收； 会议主办方希望接收更多的优质论文...

最新MLPerf训练基准测试中，H100 GPU在所有的八项测试中都创下了新纪录！ 如今，NVIDIA H100几乎已经统治了所有类别，并且是新LLM基准测试中使用的唯一 的GPU。 图片 3,584...

据悉 GPT-4 将于本周发布，多模态将成为其一大亮点。当前的大语言模型正在成为理解各种模态的通用接口，能够根据不同模态信息来给出回复文本，但大语言模型生成的内容也仅仅局限于文本。另一方面，当前的扩散...

生成式 AI 大模型是 OpenAI 发力的重点，目前已经推出过文本生成图像模型 DALL-E 和 DALL-E 2，以及今年初基于文本生成 3D 模型的 POINT-E。 近日，OpenAI 研究团...

我们知道，从谷歌 T5 模型到 OpenAI GPT 系列大模型，大语言模型（LLMs）已经展现出了令人印象深刻的泛化能力，比如上下文学习和思维链推理。同时为了使得 LLMs 遵循自然语言指令和完成真...

前不久，Meta前脚发布完开源大语言模型LLaMA，后脚就被网友放出了无门槛下载链接，「惨遭」开放。 消息一出，圈内瞬间就热闹了起来，大家纷纷开始下载测试。 但那些手头没有顶级显卡的朋友们，就只能望模...

短短五年，Transformer就几乎颠覆了整个自然语言处理领域的研究范式，是划时代产品ChatGPT的基础技术，也促进了计算机视觉、计算生物学等领域的研究进展。 在发展的过程中，研究人员发表了大量论...

近日，国际语音及信号处理领域顶级会议 ICASSP2023 在希腊成功举办。大会邀请了全球范围内各大研究机构、专家学者以及等谷歌、苹果华为、Meta AI、等知名企业近 4000 人共襄盛会，探讨技术...

目录 Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models MiniGPT-4:Enhan...

分子表示学习在 AI 辅助药物发现研究中起着至关重要的作用。在传统药物研发中，常用的分子对接模型需要进行大量的构型采样与优化，并筛选出较为稳定的结构。这类策略效率较低，难以应用于高通量的蛋白质对接任务...

随着 ChatGPT 的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。一方面，开源的 LLM 模型不断涌现，比如 OPT、BLOOM、LLaMA 等，这些预训练模型的推出极大...

最近马毅教授和图灵奖得主Yann LeCun联手在ICLR 2023上发表了一篇论文，描述了一种极简和可解释的非监督式学习方法，不需要求助于数据增强、超参数调整或其他工程设计，就可以实现接近 SOTA...

随着ChatGPT的火爆，大模型受到的关注度越来越高，大模型展现出的能力令人惊叹。 在图片生成、推荐系统、机器翻译等领域，大模型已经开始发挥作用。给定一些提示词，图片生成网站Midjourney生成的...

大型语言模型已经引起了公众的注意，短短五年内，Transforme等模型几乎完全改变了自然语言处理领域。此外，它们还开始在计算机视觉和计算生物学等领域引发革命。 鉴于Transformers对每个人的...

大型语言模型以其强大的性能及通用性，带动了一批多模态的大模型开发，如音频、视频等。 语言模型的底层架构大多是基于Transformer，且以解码器为主，所以无需过多调整模型架构即可适应其他序列模态。 ...

ChatGPT发布后，自然语言处理领域的生态彻底发生了变化，很多之前无法完成的问题都可以利用ChatGPT解决。 不过也带来了一个问题：大模型的性能都太强了，光靠肉眼很难评估各个模型的差异。 比如用不...

ChatGPT 的发布，搅动了整个 AI 领域，各大科技公司、创业公司以及高校团队都在跟进。近段时间，机器之心报道了多家创业公司、高校团队的研究成果。 昨日，又一国产 AI 对话大模型重磅登场：由清华...

项目主页：https://scene-dreamer.github.io/ 代码：https://github.com/FrozenBurning/SceneDreamer 论文：https://ar...

自从Meta开源LLaMA之后，学术界内各种类ChatGPT模型如雨后春笋般开始发布。先是斯坦福提出了70亿参数Alpaca，紧接着又是UC伯克利联手CMU、斯坦福、UCSD和MBZUAI发布的130...

前段时间，谷歌的一份泄密文件引发了广泛关注。在这份文件中，一位谷歌内部的研究人员表达了一个重要观点：谷歌没有护城河，OpenAI 也没有。 这位研究人员表示，虽然表面看起来 OpenAI 和谷歌在 A...

论文地址：https://ieeexplore.ieee.org/document/10089190 代码地址：https://github.com/ChangdeDu/BraVL 数据地址：htt...

OpenAI的ChatGPT能够理解各种各样的人类指令，并在不同的语言任务中表现出色。这归功于一种新颖的大规模语言模型微调方法——RLHF（通过强化学习对齐人类反馈）。 RLHF方法解锁了语言模型遵循...

前段时间，浙大微软团队提出的HuggingGPT在整个科技圈爆火。 这个大模型协作系统利用ChatGPT作为控制器，随意调用HuggingFace中的各种模型，以实现多模态任务。 让ChatGPT当...

随着大规模语言模型的日渐强大，人们对 AI 模型提出了伦理道德方面的更高要求。业界在模型规模扩展方面具有算力资源优势，但要想让模型更规范、可靠，需要学术界的努力。 近日，斯坦福基于 Meta 的 LL...

自微软3月初发布多模态模型 Kosmos-1 以来，一直在测试和调整 OpenAI 的多模态模型，并将其更好地兼容微软自有产品。 果不其然，趁着GPT-4发布之际，微软也正式摊牌，New Bing早就...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 阿里达摩院，又搞事儿了。 这两天，它们发布了一个全新的语音识别模型： Paraformer。 开发人员直言不讳：这是我们...

经过几十年的基础研究，视觉识别领域已经迎来了大规模视觉表征学习的新时代。预训练的大规模视觉模型已经成为特征学习（feature learning）和视觉应用的基本工具。视觉表征学习系统的性能在很大程度...

ChatGPT，这款近期发布的文本生成工具，已经在研究界引起了热烈的讨论。它能写出学生作文、总结研究论文、回答问题、生成可用的计算机代码，甚至足以通过医学考试、MBA 考试、司法考试…… 其中一个关键...

ChatGPT 出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（LLM,Large Language Model）效果能好成这样；惊醒是顿悟到我们对 LLM 的认知及发展理念，距离世界最先进的...

大型语言模型 (LLM) 已通过 In-context Learning 在各种复杂任务上展现出卓越的性能，并且无需针对特定任务进行训练或微调，近期 prompt 和解码方面取得的进展也使 LLM 解...

计算成本是人们打造 ChatGPT 等大模型面临的重大挑战之一。 据统计，从 GPT 进化到 GPT-3 的过程也是模型体量增长的过程 —— 参数量从 1.17 亿增加到了 1750 亿，预训练数据量...

相信不管是学生党，还是上班族，都有为PPT汇报熬夜爆肝的经历...... 光挑选模版和样式就杀死了一堆脑细胞。 而现在，一款能一键自动生成PPT模版和文字可能成为解放生产力的神器，它就是ChatBCG...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 扩散模型的图像生成统治地位，终于要被GAN夺回了？ 就在大伙儿喜迎新年之际，英伟达一群科学家悄悄给StyleGAN系列做了...

2022 年是人工智能生成内容（AI Generated Content，AIGC）爆发的一年，其中一个热门方向就是通过文字描述（text prompt）来对图片进行编辑。已有方法通常需要依赖在大规模...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 只需1张普通照片，就能合成全角度动态3D视频。 眨个眼、动动嘴，都是小case~ 最近AIGC爆火，3D人像模型生成这边也...

假设一个物体你看了几张照片后，能想象出其它角度看上去的感觉吗？人是可以做到的，我们能自行推测出没见过的部分，或者说没见过的角度是什么样的。模型其实也有办法做到，给定一些场景图片，它也能脑补出一些未见过...

扩散模型（ Diffusion Model ）作为深度生成模型中的新 SOTA，已然在图像生成任务中超越了原 SOTA：例如 GAN，并且在诸多应用领域都有出色的表现，如计算机视觉，NLP、分子图建模...

近日，阿里云机器学习PAI关于大模型稀疏训练的论文《Parameter-Efficient Sparsity for Large Language Models Fine-Tuning》被人工智能顶会...

阿里云机器学习平台PAI与华东师范大学高明教授团队合作在SIGIR2022上发表了结构感知的稀疏注意力Transformer模型SASA，这是面向长代码序列的Transformer模型优化方法，致力于...

随着大型文本 - 图像模型的出现，生成一幅吸引人的图像已经变得非常简单，用户需要做的就是动动手指输入简单的 prompt 就可以。通过一系列操作得到图像后，我们不免又会产生这样几个问题：基于 prom...

马库斯和LeCun忽然就握手言和、统一战线了？ 这可奇了，两人过去一向是死对头，在推特和博客上你来我往的骂战看得瓜众们是啧啧称奇。 恭喜LeCun，你终于站到了正确的一边。 其实，这件事是有背景的...

近日，上海数字大脑研究院（以下简称 “数研院”）推出首个数字大脑多模态决策大模型（简称 DB1），填补了国内在此方面的空白，进一步验证了预训练模型在文本、图 - 文、强化学习决策、运筹优化决策方面应用...

随着语言模型变得越来越大（参数数量、使用的计算量和数据集大小都变大），它们的表现似乎也原来越好，这被称为自然语言的 Scaling Law。这一点已经在很多任务中被证明是正确的。 或许，也存在某些任务...

近年来大规模视觉 Transformer 的蓬勃发展推动了计算机视觉领域的性能边界。视觉 Transformer 模型通过扩大模型参数量和训练数据从而击败了卷积神经网络。来自上海人工智能实验室、清华...

还在想方设法注册体验ChatGPT吗？不用那么麻烦了！ 中文NLP社区也迎来了自己的ChatGPT，最近元语智能开发团队训练了一个叫做元语AI（ChatYuan）的模型，它通过对话形式进行交互：可以回...

随着深度学习模型的应用和推广，人们逐渐发现模型常常会利用数据中存在的虚假关联（Spurious Correlation）来获得较高的训练表现。但由于这类关联在测试数据上往往并不成立，因此这类模型的测试...

12月27日，MetaAI 负责视觉和强化学习领域的A 截止27日晚间，这篇推文的阅读量已经达到73.9k。 他表示，仅给出5个演示，MoDem就能在100K交互步骤中解决具有稀疏奖励和高维动作空间的...

文本到图像生成是 2022 年最火的 AIGC 方向之一，被《science》评选为 2022 年度十大科学突破。最近，谷歌的一篇文本到图像生成新论文《Muse: Text-To-Image Gene...

论文简要概述 利用文本对图像进行编辑的相关研究非常火热，最近许多研究都基于去噪扩散模型来提升效果而少有学者继续关注 GAN 的相关研究。本文基于经典的 StyleGAN 和 CLIP 并提出语义调制模...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 “U-Net已死，Transformer成为扩散模型新SOTA了！” 就在ChatGPT占尽AI圈风头时，纽约大学谢赛宁的...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 现在，图像生成领域的半壁江山已经被物理学拿下了。 火出圈的DALL·E 2、Imagen和Stable Diffusion...

本文介绍的是达摩院魔搭社区 ModelScope 近期开源的中文 CLIP 大规模预训练图文表征模型，更加懂中文和中文互联网的图像，在图文检索、零样本图片分类等多个任务中实现最优效果，同时代码和模型已...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 家人们，AI做视频这事今天又被推向了舆论的风口浪尖。 起因是有人在网上发布了这么一只小企鹅的视频： 而这个近50秒视频的诞...

两年前，当 MeliusNet 问世时，机器之心曾发表过一篇技术文章《​​第一次胜过 MobileNet 的二值神经网络，-1 与 + 1 的三年艰苦跋涉​​​》，回顾了 BNN 的发展历程。彼时，依...

论文 1：ClimateNeRF: Physically-based Neural Rendering for Extreme Climate Synthesis 作者：Yuan Li等 论文地址：h...

分子是维持物质化学稳定性的最小单位。对分子的研究，是药学、材料学、生物学、化学等众多科学领域的基础性问题。 分子的表征学习（Molecular Representation Learning）是近年来...

全景分割是一项基本的视觉任务，该任务旨在为图像的每个像素指定语义标签和实例标签。语义标签描述每个像素的类别（例如天空、竖直物体等），实例标签为图像中的每个实例提供唯一的 ID（以区分同一类别的不同实例...

给出一段文字，人工智能就可以生成音乐，语音，各种音效，甚至是想象的声音，比如黑洞和激光枪。最近由英国萨里大学和帝国理工学院联合推出的AudioLDM，在发布之后迅速火遍国外，一周内在推特上收获了近 3...

实现任务通用是深度学习基础模型研究的核心问题，也是近期大模型方向的主要关注点之一。 然而，在时间序列领域，各类分析任务的差别较大，既有需要细粒度建模的预测任务，也有需要提取高层语义信息的分类任务。如何...

当前主流语义分割算法本质上是基于 softmax 分类器的判别式分类模型，直接对 p (class|pixel feature) 进行建模，而完全忽略了潜在的像素数据分布，即 p (class|pix...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 一句话生成3D模型，英伟达也来“秀肌肉”了～ 来看它最新捣鼓出的Magic3D AI，效果是这样儿的。 输入“坐在睡莲上的...

多模态研究的一个重要目标就是提高机器对于图像和文本的理解能力。特别是针对如何在两种模型之间实现有意义的交流，研究者们付出了巨大努力。举例来说，图像描述（image captioning）生成应当能将图...

最近一段时间，「大模型」在 AI 领域的各种应用场景都大放异彩，其中基于 Transformer 的大规模预训练模型是最典型的大模型之一，已经成为了当前基础模型（Foundation Model）的核...

今年五月，MetaAI官宣发布了基于1750亿参数的超大模型OPT-175B，还对所有社区免费开放。 12月22日，该模型的更新版本OPT-IML（Open Pre-trained Transform...

当观察一副图像时，你会先注意图像的哪些内容，或者说图像中的哪些区域会首先吸引你的注意力，机器能否学会人类的这种注意力形式。在来自谷歌的一项研究中，他们开源的注意力中心模型（attention cent...

今天，你的朋友圈一定有这样一则重磅消息： 「GPT 3 有 1750 亿参数，而接下来的 GPT4 的参数高达 100 万亿」。这样一个「大新闻」引爆了 AI 社区，在推特、微信朋友圈引起了极大关注...

近来，文本到图像模型成为一个热门的研究方向，无论是自然景观大片，还是新奇的场景图像，都可能使用简单的文本描述自动生成的。 其中，渲染天马行空的的想象场景是一项具有挑战性的任务，需要在新的场景中合成特定...

近几年，在 Transformer 的推动下，机器学习正在经历复兴。过去五年中，用于自然语言处理、计算机视觉以及其他领域的神经架构在很大程度上已被 transformer 所占据。 不过还有许多图像级...

Transformer 作为 NLP 预训练模型架构，能够有效的在大型未标记的数据上进行学习，研究已经证明，Transformer 是自 BERT 以来 NLP 任务的核心架构。 最近的工作表明，状态...