模型

作为当前全球最负盛名的 AI 学术会议之一，NeurIPS 是每年学界的重要事件，全称是 Neural Information Processing Systems，神经信息处理系统大会，通常在每年 ...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 AI绘画侵权，实锤了！ 最新研究表明，扩散模型会牢牢记住训练集中的样本，并在生成时“依葫芦画瓢”。 也就是说，像Stabl...

大型语言模型（LLM）虽然性能强劲，但动辄几百上千亿的参数量，对计算设备还是内存的需求量之大，都不是一般公司能承受得住的。 量化（Quantization）是常见的压缩操作，通过降低模型权重的精度（如...

图 0 不同种类细胞中基因组构象的差异决定了基因表达的特异性，进而决定不同细胞类型的功能差异。长久以来，从原位杂交到高通量检测如 Hi-C、micro-C 技术，基因组构象检测的实验方法通常耗时耗力...

从单幅自然图像生成图像的技术被广为应用，也因此受到越来越多的关注。这一研究旨在从单幅自然图像中学习一个无条件生成模型，通过捕获 patch 内部统计信息，生成具有相似视觉内容的不同样本。一旦训练完成...

虽然ImageNet早已完成历史使命，但其在计算机视觉领域仍然是一个关键的数据集。 2016年，在ImageNet上训练后的分类模型，sota准确率仍然还不到80%；时至今日，仅靠大规模预训练模型的z...

越来越多的工作证明了预训练语言模型（PLM）中蕴含着丰富的知识，针对不同的任务，用合适的训练方式来撬动 PLM，能更好地提升模型的能力。在 Text-to-SQL 任务中，目前主流的生成器是基于语法树...

自 2017 年提出至今，Transformer 模型已经在自然语言处理、计算机视觉等其他领域展现了前所未有的实力，并引发了 ChatGPT 这样的技术突破，人们也提出了各种各样基于原始模型的变体。 ...

「可解释性」一直是深度学习难以绕过的难题，用户无法理解模型的运行机制，也就无法放心地把模型应用到实际场景中。 最近来自苏黎世联邦理工学院和DeepMind的研究人员提出了一种全新的模型构造工具Trac...

优化器即优化算法，在神经网络训练中起着关键作用。近年来，研究者引入了大量的手工优化器，其中大部分是自适应优化器。Adam 以及 Adafactor 优化器仍然占据训练神经网络的主流，尤其在语言、视觉和...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 就在刚刚，UC伯克利博士、新加坡国立大学校长青年教授尤洋发布最新消息—— 斩获AAAI 2023杰出论文奖（Disting...

2022 年的 AIGC 创业，可以说是冰火两重天。 有人融了 1.01 亿美元，两年时间就打造了一家独角兽公司，估值近 10 亿美元。 有人创立公司仅四个月，就已经预感到了「倒闭」的危险。 就在前几...

ChatGPT原来是拥有心智的？！“原本认为是人类独有的心智理论（Theory of Mind，ToM），已经出现在ChatGPT背后的AI模型上。” 这是来自斯坦福大学的最新研究结论，一经发出就造成...

自然语言生成 (NLG) 技术的最新进展显着提高了大型语言模型生成文本的多样性、控制力和质量。一个值得注意的例子是 OpenAI 的 ChatGPT，它在回答问题、撰写电子邮件、论文和代码等任务中展示...

千亿、万亿参数的超大模型需要有人研究，十亿、百亿参数的大模型同样需要。 刚刚，Meta 首席 AI 科学家 Yann LeCun 宣布，他们「开源」了一个新的大模型系列 ——LLaMA（Large L...

去噪扩散模型是一类新兴的生成神经网络，通过迭代去噪过程从训练分布中生成图像。与之前的方法（如 GANs 和 VAEs）相比，这类扩散模型产生的样本质量更高，且更容易扩展和控制。因此，经过快速发展，它们...

席卷AI世界的下一个突破在哪里？ 很多人预测，是3D模型生成器。 继年初推出的DALL-E 2用天才画笔惊艳所有人之后，周二OpenAI发布了最新的图像生成模型「POINT-E」，它可通过文本直接生成...

继 BERT 之后，研究者们注意到了大规模预训练模型的潜力，不同的预训练任务、模型架构、训练策略等被提出。但 BERT 类模型通常存在两大缺点：一是过分依赖有标签数据；二是存在过拟合现象。 具体而言...

前天，C罗的球迷们伤心惨了。 12月11日的卡塔尔世界杯上，葡萄牙不敌摩洛哥止步八强，C罗的世界杯之旅，就这样画上了遗憾的句号。 #C罗说梦想结束了#的这个热搜下，集结了不知多少心碎的球迷。 葡萄牙对...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 单个GPU，只花一天时间，能把BERT训练成什么样？ 现在，终于有研究人员做这件事了，在有限的计算条件之下看看语言模型的真...

新年伊始，谷歌AI又开始发力文字-图像生成模型了。 这次，他们的新模型Muse（缪斯）在CC3M数据集上达成了新SOTA（目前最佳水平）。 而且其效率远超火爆全球的DALL·E 2和Imagen （这...

近年来，基于 Transformer 的大规模多模态训练促成了不同领域最新技术的改进，包括视觉、语言和音频。特别是在计算机视觉和图像语言理解方面，单个预训练大模型可以优于特定任务的专家模型。 然而，大...

去年年底，OpenAI 向公众推出了 ChatGPT，一经发布，这项技术立即将 AI 驱动的聊天机器人推向了主流话语的中心，众多研究者并就其如何改变商业、教育等展开了一轮又一轮辩论。 随后，科技巨头们...

近年来，NLP 和 CV 领域在方法上突破不断。不只是单模态模型有所进展，而大规模多模态方法也已经成为非常热门的研究领域。 论文地址：https://arxiv.org/pdf/2301.04856v...

虽然谷歌的Bard翻车了，但谷歌的AI实力仍然不容小觑。 自开年以来，由Jeff Dean领衔的Google Research年终总结系列「Google Research, 2022 & be...

论文 1：One Model to Edit Them All: Free-Form Text-Driven Image Manipulation with Semantic Modulations ...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 曾被认为可能“打破标准模型”的μ子，被科学家们摁回去了。 来自欧洲LHCb团队对实验数据进行了严格复核后，承认此前的分析存...

计算图像之间的相似度是计算机视觉中的一个开放性问题。 在图像生成火遍全球的今天，如何定义「相似度」，也是评估生成图像真实度的关键问题。 虽然当下有一些相对直接的方法来计算图像相似度，比如测量像素上的差...

提问：模型大小超过GPU 容量怎么办？ 本文的灵感来自于Yandex数据分析学院教授的“高效深度学习系统”课程。 预备知识：假设读者已经了解神经网络的前传递和后向传递的工作原理，这对理解本文内容至关...

在 iPhone 上运行 Stable Diffusion 到底难不难？今天我们要介绍的这篇文章，作者给出了答案：不难，而且 iPhone 还剩余 50% 的性能。 众所周知，每年苹果都会推出一款声称...

自从 GPT-3 问世，展现出千亿级模型的强大实力以来，NLP 任务面临着规模、样本、Fine-tuning 性能的不可能三角。如何在保证 10 亿参数以下的语言模型可以达到 SOTA 的 Few-S...

此前，ImageNet 因为存在标签错误的问题而成为热门话题，这个数字说出来你可能会大吃一惊，至少有十万个标签是存在问题的。那些基于错误标签做的研究，很可能要推翻重来一遍。 由此看来管理数据集质量还是...

最近一段时间，AI 作画可谓是火的一塌糊涂。 在你惊叹 AI 绘画能力的同时，可能还不知道的是，扩散模型在其中起了大作用。就拿热门模型 OpenAI 的 DALL·E 2 来说，只需输入简单的文本（p...

本综述（Diffusion Models: A Comprehensive Survey of Methods and Applications）来自加州大学 & Google Researc...

在开始端智能技术工程实践的介绍前，有一个无法绕过的问题：端上的计算能力到底如何？虽然我们对神经网络运算加速有所耳闻，也知道不同的移动设备有着不同的加速方案，但没有一个定量的分析很难让我们有一个清晰客观...

蛋白质对生命至关重要，几乎在每个生物过程中都发挥着作用。一方面它们能在神经元之间传递信号、识别微观入侵者并激活免疫反应等。另一方面，蛋白质作为一种治疗介质已经得到广泛研究，成为治疗疾病的一部分。因此...

之前我们介绍了基于 Transformer 和扩散模型（Diffussion Model）的序列建模（sequence modelling）方法在强化学习，特别是离线连续控制领域的应用。这其中 Tra...

赋予机器人对日常物体的 3D 理解是机器人应用中的一项重大挑战。 在未知环境中进行探索时，由于物体形状的多样性，现有的物体位姿估计方法仍然不能令人满意。 最近浙江大学、字节跳动人工智能实验室和香港中文...

我不能创造的，我也不理解 ——费曼 想要创造人工智能，首先要理解人类的大脑因...

根据给定输入创建 3D 内容（例如，根据文本提示、图像或 3D 形状）在计算机视觉和图形领域具有重要应用。然而这个问题是具有挑战性的，现实中通常需要专业艺术家（Technical Artist）耗费大...

本综述（Diffusion Models: A Comprehensive Survey of Methods and Applications）来自加州大学&Google Research的...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 一直以来，很多大模型都由造它们出来的大型私营科技公司垄断着。 比如GPT-3等，对于普通人来说，再香也只能眼巴巴看着。 不...

近来，Stable Diffusion 成为一个新兴的研究方向。一位名为 Matthias Bühlmann 的博主尝试实验探究这种模型的强大功能，结果发现 Stable Diffusion 是一个非...

域适应是解决迁移学习的重要方法，当前域适应当法依赖原域和目标域数据进行同步训练。当源域数据不可得，同时目标域数据不完全可见时，测试阶段训练（Test- Time Training）成为新的域适应方法...

最近，一个叫Xander Steenbrugge的AI研究员兼数码艺术家，上传了一段非常震撼的视频《跨越时间之旅》。 地球上的生物大进化，从原始海洋起始，到远古蜥蜴、恐龙、哺乳动物，再到猴子、猩猩、猿...

稀疏专家模型是一个已有 30 年历史的概念，至今依然被广泛使用，是深度学习中的流行架构。此类架构包括混合专家系统（MoE）、Switch Transformer、路由网络、BASE 层等。稀疏专家模型...

“Making large models smaller”这是很多语言模型研究人员的学术追求，针对大模型昂贵的环境和训练成本，陈丹琦在智源大会青源学术年会上做了题为“Making large mode...

不同于蛋白质领域，RNA 领域的研究往往缺少充足的标注数据，比如 3D 数据只有 1000 多个 RNA。这极大限制了机器学习方法在 RNA 结构功能预测任务中的开发。 为了弥补标注数据的不足，本文展...

1. 摘要 排序模型在广告、推荐和搜索系统中起到了至关重要的作用。在排序模块中，点击率预估技术又是重中之重。目前工业界的点击率预估技术大多采用深度学习算法，基于数据驱动来训练深度神经网络，然而数据驱动...

我们可以将大型语言模型（LLMs）理解为小样本学习者，其能够通过很少的例子就能学习新任务，甚至仅通过简单的说明就能学习，其中对模型参数量和训练数据的大小进行扩展是模型拥有泛化能力的关键。LLMs 的这...

本文解读我们获得 CVPR 2022 最佳学生论文奖的工作《EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points fo...

视频是一种无处不在的媒体内容源，涉及到人们日常生活的许多方面。越来越多的现实世界的视频应用，如视频字幕、内容分析和视频问答（VideoQA），都依赖于能够将视频内容与文本或自然语言联系起来的模型。 ...

深度学习能够取得如此成就，得益于其能够相对轻松地解决大规模非凸优化问题。尽管非凸优化是 NP 困难的，但一些简单的算法，通常是随机梯度下降（SGD）的变体，它们在实际拟合大型神经网络时表现出惊人的有效...

「语言只承载了所有人类知识的一小部分；大部分人类知识、所有动物知识都是非语言的；因此，大语言模型是无法接近人类水平智能的，」这是图灵奖得主 Yann LeCun 对于人工智能前景的最新思考。 昨天，他...

近期 OpenAI 发布的 DALLE-2 和谷歌发布的 Imagen 等实现了令人惊叹的文字到图像的生成效果，引发了广泛关注并且衍生出了很多有趣的应用。而文字到图像的生成属于多模态图像合成与编辑领域...

近年来，多模态学习受到重视，特别是文本 - 图像合成和图像 - 文本对比学习两个方向。一些 AI 模型因在创意图像生成、编辑方面的应用引起了公众的广泛关注，例如 OpenAI 先后推出的文本图像模型 ...

视觉基础模型近两年取得了瞩目发展。从一方面而言，基于大规模互联网数据的预训练已经给模型预置了大量的语义概念，从而具有良好的泛化性能；但另一方面，为充分利用大规模数据集带来的模型尺寸增长，使得相关模型在...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 不得不说，为了让更多人能用上大模型，技术圈真是各出奇招！ 模型不够开放？有人自己上手搞免费开源版。 比如最近风靡全网的DA...

本文探讨了如何在工业界的连续学习的框架下实现跨域推荐模型，提出了连续迁移学习这一新的跨域推荐范式，利用连续预训练的源域模型的中间层表征结果作为目标域模型的额外知识，设计了一个轻量级的Adapter模块...

由于复杂的注意力机制和模型设计，大多数现有的视觉 Transformer（ViT）在现实的工业部署场景中不能像卷积神经网络（CNN）那样高效地执行。这就带来了一个问题：视觉神经网络能否像 CNN 一样...

训练越来越大的深度学习模型已经成为过去十年的一个新兴趋势。如下图所示，模型参数量的不断增加让神经网络的性能越来越好，也产生了一些新的研究方向，但模型的问题也越来越多。 首先，这类模型往往有访问限制，没...

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 前脚美团刚发布YOLOv6， YOLO官方团队又放出新版本。 曾参与YOLO项目维护的大神Alexey Bochkovsk...

​​​ 作者丨崔皓 策划丨孙淑娟 【51CTO.com原创稿件】业务的飞速发展以及变化多端的动态组合一直推着以 IaaS、PaaS 和 SaaS 形式表现的云计算不断发展，随之微服务的实施方案也需要...

​​​​一 前言 Vmo 是我在 18 年发布的一个工具库，用于快速创建数据模型，当时我写了一篇文章《Vmo 前端数据模型设计》得到过一段时间的关注，当时我从事三维装修相关的项目。在图形学的背景基础...

Reactive 编程模型有哪些价值?它的原理是什么?如何正确使用?本文作者将根据他学习和使用的经历，分享 Reactive 的概念、规范、价值和原理。欢迎同学们共同探讨、斧正。 Reactive 和...

JVM简介 JVM（Java Virtual Machine，Java虚拟机）是Java语言的核心，是一个用于解释Java字节码的虚拟计算机。它可以在运行Java程序时自动管理内存、处理异常等。Jav...

近来，多模态大语言模型（Multimodal Large Language Model，MLLM）受到广泛关注，成为一个新兴的研究热点。,MLLM通常以大语言模型（Large Language Mod...

权限管控可以通俗的理解为权力限制，即不同的人由于拥有不同权力，他所看到的、能使用的可能不一样。对应到一个应用系统，其实就是一个用户可能拥有不同的数据权限（看到的）和操作权限（使用的）。,主流的权限模型...

大家好，我是小米，一个热爱技术分享的小编。今天，我要和大家聊一聊在Java中，那些让人听起来很高大上的BIO、NIO、AIO，到底有什么区别呢？让我们一起来深入探索吧！,BIO，全称为Blocking...

最近语言模型在自然语言理解和生成方面取得了显著进展。这些模型通过预训练、微调和上下文学习的组合来学习。在本文中将深入研究这三种主要方法，了解它们之间的差异，并探讨它们如何有助于语言模型的学习过程...

做开发除了需要高效的编码能力，同样也离不开编程思维的指导。作为刚刚进入汽车电子行业的开发小白，本篇博文将总结最近学习到的汽车软件行业开发思维：V模型。,汽车软件开发过程中的V模型对行业内开发者早已是司...

当然，现在我们所有人都知道这个道理了！这篇文章展示了如何将 Python 中开发的机器学习模型作为 Java 代码的一部分来进行预测。,本文假设你熟悉基本的开发技巧并理解机器学习。我们将从训练我们的模...

如果你这么想，说明你被自己的看家本事给局限住了，这种思维方式会让你即便学到了更多好东西，也无可奈何。,程序设计语言之间没那么泾渭分明，多学几门才能打破语言局限，让设计更好落地。可根据项目特点选择合适语...

构建推荐系统最大的入门难点之一是理解推荐系统如何在实际中应用。,目前，关于推荐系统的网络资料大部分关注的是推荐模型本身，而且仅限于介绍一些简单的协同过滤（Collaborative Filtering...

,1、残差连接是目前常用的组件，解决了大规模深度学习模型梯度消失和瓶颈问题。,通常，在10层以上的模型中追加残差连接可能有帮助。,2、标准化用于使模型看到的不同样本更相似，有助于模型的优化和泛化。,以...

译者 | 朱先忠,审校 | 孙淑娟,还记得第一次开始构建一些SQL查询来分析数据吗？相信大多数时候，你只是想看看“有哪些畅销产品”或“每周产品访问次数”。那么，为什么要编写SQL查询，而不只是用自然语...

这篇文章就来解答介绍一下权限系统的设计以及主流的五种权限模型。,权限管控可以通俗的理解为权力限制，即不同的人由于拥有不同权力，他所看到的、能使用的可能不一样。对应到一个应用系统，其实就是一个用户可能拥...

大家好，我是煎鱼。,感觉时间过得很快，Go1.18 发布没太久，泛型还在风风火火，看了看上次的投票结果，绝大部分同学还没有在生产环境应用泛型。,这不，Go1.19 Beta1 已经正式发布了。今天就由...

自然语言处理(NLP)近年来发生了革命性的变化，特别预训练语言模型的开发和使用，在许多应用方面都取得了显著的成绩。预训练语言模型有两个主要优点：一个是可以显著提高许多 NLP 任务的准确性。例如，可以...

,1、手动调参，但这种方法依赖于大量的经验，而且比较费时。,许多情况下，工程师依靠试错法手工调整超参数进行优化，有经验的工程师可以在很大程度上判断如何设置超参数，从而提高模型的准确性。,2、网格化寻优...

作者：仕禄,在上一篇中，我们主要介绍了分布式系统中常见的复制模型，并描述了每一种模型的优缺点以及使用场景，同时阐述了分布式系统中特有的一些技术挑战。首先，常见的分布式系统复制模型有3种，分别是主从模型...

损失函数是一种衡量模型与数据吻合程度的算法。损失函数测量实际测量值和预测值之间差距的一种方式。损失函数的值越高预测就越错误，损失函数值越低则预测越接近真实值。对每个单独的观测(数据点)计算损失函数。将...

哈喽，大家好。,如果将Python代码自动转成其他编程语言，你会尝试吗？,今天给大家分享一个有意思的项目，它能将Python代码自动转成C++代码。这或许对搞算法的同学有点帮助。,该项目是 GitHu...

11月30日，由深度学习技术及应用国家工程研究中心主办、百度飞桨承办的WAVE SUMMIT+2022深度学习开发者峰会如期举行。峰会上，百度AI技术生态总经理马艳军发布了飞桨深度学习平台的最新技术...

译者 | 朱先忠,审校 | 孙淑娟,,语言模型是自然语言处理（NLP）的重要组成部分，而自然语言处理是人工智能（AI）的一个子领域，专注于使计算机能够理解和生成人类语言。ChatGPT和GPT-3都是...

之前做项目基本上公司是用 gRPC 和 echo 这两个框架的组合，后来 Gin 框架在Go圈越来越流行，陆续我在公司接触到的项目也开始有人用 Gin 框架开发了。,因为我也是偶尔开发，像Gin框架里...

作者 | 汪泽远&马彦青,,“设计思维”常常被认为是解决复杂问题, 突出重围并实现创新的有效手段。,世界正趋于“复杂”，问题正趋于“棘手”，这几乎是社会认知的“主旋律”。设计思维的通用性促使它...

领域是一个知识的范畴。它指的是我们的软件所要模拟的业务知识。领域驱动设计的中心是领域模型，它对一个领域的流程和规则有着深刻的理解。洋葱架构实现了这一概念，并极大地改善了代码的品质，降低了复杂性，并且支...

,说明,1、模型集成是指将一系列不同模型的预测结果集成在一起，从而获得更好的预测结果。,2、对于模型集成来说，模型的多样性非常重要。Diversityisstrength.用于集成的模型应尽可能好，同...

许多人称足球为 "不可预测的游戏"，因为一场足球比赛有太多不同的因素可以改变最后的比分。,从某种程度上这是真的.....因此本文仅供学习参考！！,预测一场比赛的最终比分或赢家确实是很难的，但在预测一项...

微软宣布推出一种可以提高大型语言模型性能的新工具 Jigsaw。“大型的预训练语言模型（如 GPT-3、Codex 等），可以被调整为从程序员意图的自然语言规范中生成代码。这种自动化模型有可能提高世界...

一提到特征工程，我们立即想到是表格数据。但是我们也可以得到图像数据的特征，提取图像中最重要的方面。这样做可以更容易地找到数据和目标变量之间的映射。,这样可以使用更少的数据和训练更小的模型。更小的模型可...

Java 内存模型，许多人会错误地理解成 JVM 的内存模型。但实际上，这两者是完全不同的东西。Java 内存模型定义了 Java 语言如何与内存进行交互，具体地说是 Java 语言运行时的变量，如何...

​对于好多刚接触K8S，甚至是接触K8S很长时间的同学，K8S网络模型可以说是个很神秘的东西。那么对于这部分同学，恭喜你发现了本文，只要你花二十分钟的时间，就保证你能轻松掌握K8S网络模型原理。,首先...

线性回归是机器学习中最简单的算法，它可以通过不同的方式进行训练。 在本文中，我们将介绍以下回归算法：线性回归、Robust 回归、Ridge 回归、LASSO 回归、Elastic Net、多项式回归...

作者 | TWInsights,在前文《​​当我们谈论DDD时我们在谈论什么​​》中我们讨论了DDD的战略设计和战术设计。在本文中我们将继续探讨领域模型。,,在实际项目中，模型设计者往往过早陷入具体构...

目前正在出一个Java多线程专题长期系列教程，从入门到进阶含源码解读, 篇幅会较多, 喜欢的话，给个关注️ ~ 本篇内容篇纯理论一点,我们之前给大家讲了多线程的一些知识，首先我们要知道的是在并发编程模...

​译者| 朱先忠,审校 | 孙淑娟,YOLOv8是Ultralytics公司推出的基于对象检测模型的YOLO最新系列，它能够提供截至目前最先进的对象检测性能。,借助于以前的YOLO模型版本支持技术，Y...

损失函数是一种衡量模型与数据吻合程度的算法。损失函数测量实际测量值和预测值之间差距的一种方式。损失函数的值越高预测就越错误，损失函数值越低则预测越接近真实值。对每个单独的观测(数据点)计算损失函数。将...

在您的网络中，可以信任谁？在零信任范式中，答案是否定的。网络安全的零信任方法指出，只有在验证用户后才应授予访问权限，并且只能在执行特定任务所需的范围内授予访问权限。,在本文中，我们将详细介绍实现零信任...