Yann LeCun团队新研究成果：对自监督学习逆向工程，原来聚类是这样实现的
自监督学习（SSL）在最近几年取得了很大的进展，在许多下游任务上几乎已经达到监督学习方法的水平。但是，由于模型的复杂性以及缺乏有标注训练数据集，我们还一直难以理解学习到的表征及其底层的工作机制。此外...
排序
无需人力标注！悉尼大学华人团队提出「GPT自监督标注」范式，完美解决标注成本、偏见、评估问题
一直以来，数据标注都在深度学习流程中扮演了基础且重要的角色。 优质的数据标注直接影响到模型的学习效果，而这无疑是实现高效深度学习的最原始且关键的一步。 与此同时，标注的数据作为groundtruth...
RLHF中的「RL」是必需的吗？有人用二进制交叉熵直接微调LLM，效果更好
近来，在大型数据集上训练的无监督语言模型已经获得了令人惊讶的能力。然而，这些模型是在具有各种目标、优先事项和技能集的人类生成的数据上训练的，其中一些目标和技能设定未必希望被模仿。 从模型非常广泛的知识...
AlphaDev将排序算法提速70%！C语言库作者一文详解DeepMind最新AI
几天前，DeepMind推出了AlphaDev，直接把排序算法提速70%。 这一全新AI系统，便是基于下棋高手AlphaGo打造。 而这项研究恰恰激起了前谷歌研究人员Justine Tunney的兴趣...
刷新20项代码任务SOTA，Salesforce提出新型基础LLM系列编码器-解码器Code T5+
大型语言模型 (LLMs) 最近在代码层面的一系列下游任务中表现十分出彩。通过对大量基于代码的数据 (如 GitHub 公共数据) 进行预训练，LLM 可以学习丰富的上下文表征，这些表征可以迁移到各种...
颜宁新论文突然上线Nature子刊：结构是AI无能为力的
本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 结构生物学家颜宁，新论文突然上线了Nature子刊。 而且颜宁本人在得知此事之后也是有些意外： 立马把citation从i...
三维场景生成：无需任何神经网络训练，从单个样例生成多样结果
多样高质的三维场景生成结果 论文地址：https://arxiv.org/abs/2304.12670 项目主页：http://weiyuli.xyz/Sin3DGen/ 引言 使用人工智能辅助内容生...
重新审视Prompt优化问题，预测偏差让语言模型上下文学习更强
论文链接: https://arxiv.org/abs/2303.13217 代码链接: https://github.com/MaHuanAAA/g_fair_searching 研究介绍 大型语言...
斯坦福训练Transformer替代模型：1.7亿参数，能除偏、可控可解释性强
以 GPT 为代表的大型语言模型已经并还将继续取得非凡成就，但它们也存在着众所周知的问题，比如由于训练集不平衡导致的偏见问题。 针对这一问题，斯坦福大学几位研究者提出了一种新型神经架构 Backpac...
剑桥、腾讯AI Lab等提出大语言模型PandaGPT：一个模型统一六种模态
来自剑桥、NAIST 和腾讯 AI Lab 的研究者近期发布了一项名为 PandaGPT 的研究成果，这是一种将大型语言模型与不同模态对齐、绑定以实现跨模态指令跟随能力的技术。PandaGPT 可以完...
在模型中植入不可检测后门，「外包」AI更易中招
机器学习（ML）正在迎来一个新的时代。 2022 年 4 月，OpenAI 推出文生图模型 DALL・E 2 ，直接颠覆 AI 绘画行业； 11 月，相同的奇迹又发生在这家机构，他们推出的对话模型 C...
Percy Liang等人新研究：新必应等生成式搜索引擎可能没那么好用
生成式搜索引擎通过直接生成对输入查询的回应以及在线引用来满足用户的信息需求（如下图 1）。现有的生成式搜索引擎正在迅速获得用户，微软报告说 "大约三分之一的每日预览用户每天都在使用 Bing 聊天...
斯坦福最新LLM排行榜发布！自家Alpaca垫底，华人团队WizardLM开源第一，GPT-4、Claude稳居前二
前段时间，UC伯克利主导的「LLM排位赛」备受圈内关注。 除了各类开源模型外，还有GPT-4、PaLM 2等众多「闭源」模型，甚至还开设了一个「准中文」排行榜。 最近，来自斯坦福的团队，也发布了一款L...
GPT-4的研究路径没有前途？Yann LeCun给自回归判了死刑
「从现在起 5 年内，没有哪个头脑正常的人会使用自回归模型。」最近，图灵奖得主 Yann LeCun 给一场辩论做了个特别的开场。而他口中的自回归，正是当前爆红的 GPT 家族模型所依赖的学习范式。 ...
复旦发布「新闻推荐生态系统模拟器」SimuLine：单机支持万名读者、千名创作者、100+轮次推荐
理解在线新闻社区的演变对于设计更有效的新闻推荐系统至关重要，但由于缺乏适当的数据集和平台，现有研究在理解推荐系统如何影响社区演化方面存在局限，导致了可能影响长期效用的次优系统设计。 针对这一问题，复旦...
联合NeRF与特征网格，实现超大规模城市渲染，高效且逼真
纯基于 MLP 的神经辐射场（NeRF）由于模型容量有限，在大规模场景模糊渲染中往往存在欠拟合现象。最近有研究者提出对场景进行地理划分、并采用多个子 NeRF，分别对每个区域进行建模，然而，这样做带来...
CREATOR制造、使用工具，实现LLM「自我进化」
自古以来，工具的使用被视为区分人与其他物种的一大区别，也被视为是智能的一种根本体现。而当下，人工智能已不再局限于对工具的简单使用，它们已然能够根据问题创造性地建立自己的工具来寻求解决方案。在思维上，这...
LeCun力挺，马毅教授五年集大成之作：完全数学可解释的白盒Transformer，性能不输ViT
过去十多年，AI的飞速发展主要是工程实践上的进步，AI理论并没有起到指导算法开发的作用，经验设计的神经网络依然是一个黑盒。 而随着ChatGPT的爆火，AI的能力也被不断夸大、炒作，甚至到了威胁、绑架...
浙大重磅研究登Nature：人类也能「光合作用」，让衰老细胞返老还童
你有没有想过，人的细胞也能像植物一样光合作用？ 从菠菜中提取「生物电池」类囊体，让动物细胞也通过光合作用获取能量，从而返老还童，逆转细胞的衰老退变。 这不是天方夜谭，而是浙大团队的最新研究成果。 近...
60年前谜题！哥本哈根大学研究人员解决「单源最短路径」问题
「在一个带权有向图G=(V,E)中，每条边的权是一个实数。另外，还给定V中的一个顶点，称为源。 计算从源到其他所有各顶点的最短路径长度，这就是单源最短路径（SSSP）问题。」 半个多世纪以来，世界各地...
全身追踪、不怕遮挡，CMU两位华人做了个基于WiFi信号的DensePose
过去几年，在自动驾驶和 VR 等应用的推动下，使用 2D 和 3D 传感器（如 RGB 传感器、LiDARs 或雷达）进行人体姿态估计取得了很大进展。但是，这些传感器在技术上和实际使用中都存在一些限制...
放弃高校Offer，加入OpenAI到底值不值得？
对于一位想在计算机科学领域求职的博士生来说，当下的学术界和工业界，怎么选？ 在求职过程中，华盛顿大学博士生 Rowan Zellers 的目标原本是找到一份教职，进入学术界是自己博士期间就定下的路线...
首次将「教导主任」引入模型蒸馏，大规模压缩优于24种SOTA方法
面对越来越深的深度学习模型和海量的视频大数据，人工智能算法对计算资源的依赖越来越高。为了有效提升深度模型的性能和效率，通过探索模型的可蒸馏性和可稀疏性，本文提出了一种基于 “教导主任 - 教师 - 学...
回顾60多种 Transformer 研究，一文总结遥感领域最新进展
遥感成像技术在过去几十年取得显着进步。现代机载传感器在空间、光谱和分辨率上的不断提升，已经能覆盖地球表面大部分范围，因此遥感技术在生态学、环境科学、土壤科学、水污染、冰川学、土地测量和分析等众多研究领...
角速度、线速度之外，描述宇宙还有另一种方式？AI发现新变量登Nature子刊
让 AI 发现物理规律已经不是什么新鲜事，前段我们报道过「给 GNN 一堆数据，它自己就能发现万有引力定律」的消息，但如果我们连变量都不给它呢？哥伦比亚大学的一项研究表明，AI 仅通过摄像机观察现象就...
PNAS最新研究：81%解题率，神经网络 Codex 推开高等数学世界大门
近日，一项新研究发布于PNAS，再次刷新了神经网络的能力。这次神经网络被用来解决了高等数学题，而且还是麻省理工数学课程难度的数学题！ 在这项新研究中，研究团队证明了 OpenAI 的 Codex 模型...
