机器学习

历经三年时间，我们在2022年完成了图灵奖获得者、加州大学洛杉矶分校计算机科学教授，美国国家科学院院士，被誉为“贝叶斯网络之父”的朱迪亚·珀尔大作《因果论：模型、推理和推断》。 这本书原版的第1版写于...

译者 | 布加迪 审校 | 孙淑娟 机器学习（ML）并不是神奇的技术。通常来说，ML适合在拥有庞大数据集的情况下解决范围狭窄的问题，受关注的模式具有高度可重复性或可预测性。大多数安全问题不需要ML，也...

wandb wandb全称Weights & Biases，用来帮助我们跟踪机器学习的项目，通过wandb可以记录模型训练过程中指标的变化情况以及超参的设置，还能够将输出的结果进行可视化的比对...

​译者 | 布加迪 审校 | 孙淑娟 Imputer 如果您的数据集中有一些缺失值，您可能会删除缺失值行甚至列。强烈建议不使用这种方法，因为这会减少数据的大小，而且数据分析可能偏离事实。相反，我们应该...

​1、线性回归的假设是什么？ 线性回归有四个假设： 线性：自变量（x）和因变量（y）之间应该存在线性关系，这意味着x值的变化也应该在相同方向上改变y值。 独立性：特征应该相互独立，这意味着最小的多重共...

最近完成了一篇很满意的论文，不仅整个过程愉快、回味无穷，而且真正做到了「学术有影响，工业有产出」。我相信这篇文章会改变差分隐私（differential privacy；DP）深度学习的范式。 因为这...

​Spark 是一种专门用于交互式查询、机器学习和实时工作负载的开源框架，而 PySpark 是 Python 使用 Spark 的库。 PySpark 是一种用于大规模执行探索性数据分析、构建机器学...

机器学习算法应该理解数据从中提取有用的特征才能够解决复杂的任务。通常训练泛化模型需要大量带注释的数据。这个是非常费时费力的，并且一般情况下都很难进行。 所以各种基于带掩码的自编码器技术就出现了，这种技...

​数据科学和机器学习正变得越来越流行。 进入这个领域的人数，每天都在增长。 这意味着，很多数据科学家在构建第一个机器学习模型时，并没有丰富的经验，所以很容易发生错误。 以下就是机器学习解决方案中一些最...

​译者 | 朱先忠 审校 | 孙淑娟 引言 在许多情况下，我们不仅对估计因果效应感兴趣，而且对不同用户的这种效应是否不同也感兴趣。我们可能有兴趣了解一种药物是否对不同年龄的人有不同的副作用。或者，我们...

目前机器人领域取得了显著进展，这些进展预示着未来机器人可以做更多事情。但是也有让人困扰的事情，因为与生成模型相比，机器人的进展还是有点逊色，尤其是 GPT-3 等模型的出现，这一差距更加突出。 生成模...

译者 | 布加迪 审校 | 孙淑娟 目前，没有用于构建和管理机器学习（ML）应用程序的标准实践。机器学习项目组织得不好，缺乏可重复性，而且从长远来看容易彻底失败。因此，我们需要一套流程来帮助自己在整个...

机器学习(ML)已经使我们实践科学的方式发生了根本性的转变，许多人现在把从数据中学习作为他们研究的重点。随着我们想要研究的科学问题的复杂性的增加，以及当今科学实验产生的数据量的增加，ML正在帮助自动化...

生成式AI是指使用AI和机器学习算法使机器能够创建新的数字视频、图像、文本、音频或代码的技术。生成式AI由算法驱动，这些算法具有识别输入的底层模式、生成类似输出并提供高质量内容的潜力。一种更升级的生成...

1.线性回归 线性回归（Linear Regression）可能是最流行的机器学习算法。线性回归就是要找一条直线，并且让这条直线尽可能地拟合散点图中的数据点。它试图通过将直线方程与该数据拟合来表示自变...

在机器学习领域，有种说法叫做“世上没有免费的午餐”，简而言之，它是指没有任何一种算法能在每个问题上都能有最好的效果，这个理论在监督学习方面体现得尤为重要。 举个例子来说，你不能说神经网络永远比决策树好...

​利用机器学习开发的软件可以通过分析某人眼睛中的静脉和动脉，在不到一分钟的时间内预测某人患心脏病的风险。 这项新研究发表在《英国眼科学杂志》上。如果这项发现在未来的临床试验中得到验证，将为快速、廉价的...

预训练网络通常是在大量数据集上进行训练的大型深度神经网络，迁移学习的优势在于预训练网络已经学会识别数据中的大量模式。这使得学习新任务更快更容易，因为网络已经做了很多基础工作。 迁移学习的缺点是预训练过...

​作为一家大型临床试验服务提供商，WCG对许多药物和医疗设备的市场路径具有相当大的影响。但作为30多家前独立的公司的集合体，很难获得支持这些服务的一致数据。这就是Tamr的数据掌握解决方案提供帮助的地...

​大数据文摘作品 作者：Miggy 对于瘫痪患者来说，最大的苦楚来自无法与外界进行沟通。虽然大脑依然活跃并且希望表达，但是无法驱动发声肌肉，会让这类患者的语言机制逐渐蜕化。 来自加州大学旧金山分校神经...

本文将介绍图机器学习在蚂蚁推荐系统中的应用。在蚂蚁的实际业务中，有大量的额外信息，比如知识图谱、其他业务的用户行为等，这些信息通常对推荐业务很有帮助，我们利用图算法连接这些信息和推荐系统，来增强用户兴...

AI又立功了。 这次一项新的AI机器学习算法「Ikarus」，可破解癌细胞和正常细胞的基因特征差别。 这项研究由MDC生物信息学家Altuna Akalin团队完成，并发表在Nature子刊「Geno...

本文将简要介绍三种常见的异常值以及相应的检测策略。然后将提供基于两个支持的 API 的示例代码：用于开发时间序列异常值检测管道的 TODS API 和用于使用第三方包进行实验的 scikit-lear...

现在，让我们用MultiTrain库训练一个数据集，看看它与传统的测试模型方法相比是如何工作的。 注意:训练结果可作为选择适合您特定情况的最佳模型的参考。为了使模型执行得更好，需要进行更多的超参数调优...

​内置大模型的机器人，在不看地图的情况下，学会了按照语言指令到达目的地，这项成果来自强化学习大牛 Sergey Levine 的新作。 给定一个目的地，在没有导航轨迹的情况下顺利到达，有多难？ 对于方...

机器学习算法只接受数值输入，所以如果我们遇到分类特征的时候都会对分类特征进行编码，本文总结了常见的11个分类变量编码方法。 1、ONE HOT ENCODING 最流行且常用的编码方法是One Hot...

深度学习在图像、语言甚至音频等领域取得了巨大的进步。然而，在处理表格数据上，深度学习却表现一般。由于表格数据具有特征不均匀、样本量小、极值较大等特点，因此很难找到相应的不变量。 基于树的模型不可微，不...

机器学习或深度学习模型的训练的目标是成为“通用”模型。这就需要模型没有过度拟合训练数据集，或者换句话说，我们的模型对看不见的数据有很好的了解。数据增强也是避免过度拟合的众多方法之一。 扩展用于训练模型...

​译者 | 朱先忠 审校 | 孙淑娟 时间序列预测的机器学习概述​ 当前，机器学习正在席卷全球，机器人能够以类似人类的精度完成许多领域中的任务。例如，在医疗领域，智能助手可以随时检查人们的健康状况；在...

近年来，图已被广泛应用于表示和处理很多领域的复杂数据，如医疗、交通运输、生物信息学和推荐系统等。图机器学习技术是获取隐匿在复杂数据中丰富信息的有力工具，并且在像节点分类和链接预测等任务中，展现出很强的...

使用机器学习可以帮助预测列车延误，检测故障的早期迹象，并根据需求变化规划路线，可以在长期和短期内通过减少列车延误和确保高服务质量来改善铁路旅行。 晚点的列车影响着全世界数百万人，而运营商几乎不能做什么...

在本文中，我们将详细介绍决策树和随机森林模型。此外，我们将展示决策树和随机森林的哪些超参数对它们的性能有重要影响，从而使我们能够在欠拟合和过拟合之间找到最佳方案。在了解了决策树和随机森林背后的理论之后...

ML中的一个重要任务是模型选择，或者使用数据为给定任务找到最佳的模型或参数。这也称为调优。可以对单个的估计器(如LogisticRegression​)进行调优，也可以对包括多种算法、特性化和其他步骤...

标签传播算法是一种半监督机器学习算法，它将标签分配给以前未标记的数据点。要在机器学习中使用这种算法，只有一小部分示例具有标签或分类。在算法的建模、拟合和预测过程中，这些标签被传播到未标记的数据点。 L...

其实正则化的本质很简单，就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型出现过拟合。一提到正则化，很多同学可能马上会想到常用的L1范数和L2范数...

距离度量是有监督和无监督学习算法的基础，包括k近邻、支持向量机和k均值聚类等。 距离度量的选择影响我们的机器学习结果，因此考虑哪种度量最适合这个问题是很重要的。因此，我们在决定使用哪种测量方法时应该谨...

1、线性回归 法国数学家勒让德 (Adrien-Marie Legendre) ，一直痴迷于预测彗星的未来位置，鉴于彗星以前的几个位置，他准备创建一种计算其轨迹的方法。 在尝试了几种方法后，终于有了进...

机器学习是人工智能的一个分支，具有最大的未来潜力并为行业带来最大的利益。据相关报告显示，到2025年，机器学习市场规模将达到967亿美元。与2018年的68亿美元相比，这将是一个巨大的增长。 在未来几...

正态（高斯）分布在机器学习中起着核心作用，线性回归模型中要假设随机误差等方差并且服从正态分布，如果变量服从正态分布，那么更容易建立理论结果。 统计学领域的很大一部分研究都是假设数据是正态分布的，所以如...

在过去几年里，机器学习与其他大数据技术和先进计算一起发展，改变了世界各地的行业，农业也不例外。 随着机器学习的进步，农业中的机器学习已经能够解决该行业遇到的许多问题。 企业只有在决策上不断超越竞争对手...

本文的目标受众： 想要对大量数据集执行 Pandas/NumPy 操作的人。 希望使用Python在大数据上执行机器学习任务的人。 本文将使用 .csv 格式的文件来演示 python 的各种操作，其...

译者 | 朱先忠 审校 | 孙淑娟 自组织映射的演变迭代gif动画示意图 1. 简介 自组织映射（SOM）是由芬兰赫尔辛基理工大学的Teuvo Kohonen在20世纪80年代提出的一种无监督机器学习...

机器学习和人工智能（AI）正成为一些威胁检测与响应工具的核心技术。其即时学习和自动适应网络威胁动态的能力令安全团队如虎添翼。 然而，一些恶意黑客也会利用机器学习和AI扩大其网络攻击，规避安全控制措施...

现代工业环境充满了传感器和智能组件，所有这些设备一起产生了丰富的数据。当今大多数工厂尚未深入开发的这些数据，为各种令人兴奋的新应用提供了动力。事实上，据 IBM 称，平均每个工厂每天都会产生 1TB ...

服装数据集 服装数据集和MNIST数据集很像，有需要的可以查看教程《MNIST数据集》，包含70000个灰度图，每个图片28 x 28像素。 时装数据集 在这里将使用60000张图片进行训练，使用10...

译者 | 朱先忠 审校 | 孙淑娟 简介 如今，数据科学被广泛用于创建数字孪生（Digital Twins）——数字孪生是现实世界物理系统或过程的数字对应物，可用于输入行为、监控、维护、规划等的模拟和...

​译者 | 布加迪 审校 | 孙淑娟 数据革命如火如荼。未来五年内创建的数字数据总量将是迄今生成的数据总量的两倍，非结构化数据将定义这个倡导数字体验的新时代。 非结构化数据指不遵循传统模型或不适合结构...

通过细胞图像的标签对模型性能的影响，为数据设置优先级和权重。 许多机器学习任务的主要障碍之一是缺乏标记数据。而标记数据可能会耗费很长的时间，并且很昂贵，因此很多时候尝试使用机器学习方法来解决问题是不合...

​译者 | 朱先忠 审校 | 孙淑娟 位于美国波士顿的病理人工智能技术公司PathAI是病理学（疾病研究）人工智能技术工具和服务的领先供应商。他们开发的平台旨在利用机器学习中的现代方法，如图像分割、图...

​译者 | 崔皓 审校 | 孙淑娟 开篇 一般而言，企业不会主动构建自有的云计算基础设施是有原因的。过去十年，IT 基础架构团队试图构建自己的私有云，因为他们认为与公共云相比，私有云会以性价比更高的方...

无监督学习（Unsupervised Learning）是和监督学习相对的另一种主流机器学习的方法，无监督学习是没有任何的数据标注只有数据本身。 无监督学习算法有几种类型，以下是其中最重要的12种: ...

企业要应对越来越多的数据，无论是在组织内部生成的数据，还是从外部来源收集的数据，如何寻找有效的方法来分析和“操作”所有这些数据从而获得竞争优势，正在变得越来越具有挑战性。 这也推动了数据科学和机器学习...

大家都知道，机器学习（ML）是人工智能的关键技术之一，也是一项逐渐走向成熟的应用技术。具体说来，这一技术可以为未来的数据科学带来变革，能够让应用企业作出基于更多数据分析的驱动决策，从而改善用户的业务体...

​分布式机器学习也称分布式学习，是指利用多个计算节点（也称工作节点，Worker）进行机器学习或者深度学习的算法和系统，旨在提高性能、保护隐私，并可扩展至更大规模的训练数据和更大的模型。 联邦学习可以...

近年来，在封控、供应链中断和能源危机之间，零售商们一定觉得自己像头恐龙，试图躲避小行星雨，避免灭绝。 但与那些巨大的史前爬行动物不同，零售业可以依靠一系列技术创新来更好地应对困难时期的这些挑战。 而最...

麻省理工学院和IBM Watson AI Lab的研究人员创建了一个机器学习模型，用于预测听众在3D空间内的不同位置上会听到什么。 研究人员首先使用这个机器学习模型来了解房间中的任何声音是如何在空间中...

机器学习领域中，有些模型非常有效，但我们并不能完全确定其原因。相反，一些相对容易理解的研究领域则在实践中适用性有限。本文基于机器学习的效用和理论理解，探讨各个子领域的进展。 这里的实验效用是一种综合考...

持续学习是指在不忘记从前面的任务中获得的知识的情况下，按顺序学习大量任务的模型。这是一个重要的概念，因为在监督学习的前提下，机器学习模型被训练为针对给定数据集或数据分布的最佳函数。而在现实环境中，数据...

MTL最著名的例子可能是特斯拉的自动驾驶系统。在自动驾驶中需要同时处理大量任务，如物体检测、深度估计、3D重建、视频分析、跟踪等，你可能认为需要10个以上的深度学习模型，但事实并非如此。 HydraN...

计算的复杂度是一个特定算法在运行时所消耗的计算资源(时间和空间)的度量。 计算复杂度又分为两类: 1、时间复杂度 时间复杂度不是测量一个算法或一段代码在某个机器或者条件下运行所花费的时间。时间复杂度一...

译者​ | 朱先忠 审校 | 孙淑娟 简介 ML模型生命周期开发每个阶段的基本活动之一是协作。从ML模型的概念到部署，需要构建模型所涉及的不同角色之间的参与和交互。此外，ML模型开发的本质涉及实验、工...

​想象一下，你正在网上购物，你发现有两家店铺销售同一种商品，它们的评分相同。然而，第一家只有一个人的评分，第二家有 100 人评分。您会更信任哪个评分呢？最终您会选择购买哪家的商品呢？大多数人的答案很...

机器学习是人工智能的一个分支领域，致力于构建自动学习和自适应的系统，它利用统计模型来可视化、分析和预测数据。一个通用的机器学习模型包括一个数据集(用于训练模型)和一个算法(从数据学习)。但是有些模型的...

​由于几乎每个行业的企业都将人工智能(AI)技术集成到他们的硬件和软件产品中，机器学习(ML)输入和输出正变得越来越广泛地可供客户使用。这自然引起了恶意行为者的注意。 HiddenLayer的首席执行...

异常值（离群值）是指距离其他数据值太远的数据值。数据异常值可能是自然产生的，也可能是由于测量不准确、或系统故障造成的。与缺失值类似，异常值会破坏数据科学项目并返回错误的结果或预测。异常值也可能出现在倾...

机器学习算法需要用户定义的输入来实现准确性和通用性之间的平衡。这个过程称为超参数调整。有多种工具和方法可用于调整超参数。 我们整理了一份用于调整机器学习模型超参数的前八种方法的列表。 1.贝叶斯优化 ...

译者 | 李睿 审校 | 孙淑娟 全球知名的流媒体服务商Netflix公司在2017年将其五星级评级系统更改为“拇指向上”（喜欢）和“拇指向下”（不喜欢）简单的评价系统。该系统可以根据百分比匹配来推荐...

以下是关于 2022 年出现的机器学习趋势的指南： 机器学习操作化管理：机器学习操作化管理或 MLOps 的主要目的是简化机器学习解决方案的开发过程。MLOps 还有助于应对业务运营中出现的挑战，例如...

​介绍 考虑在数据集上创建模型，但它在看不见的数据上失败。我们不能简单地将模型拟合到我们的训练数据中，然后坐等它在真实的、看不见的数据上完美运行。 这是一个过度拟合的例子，我们的模型已经提取了训练数据...

​如今，转换器（Transformers）成为大多数先进的自然语言处理（NLP）和计算机视觉（CV）体系结构中的关键模块。然而，表格式数据领域仍然主要以梯度提升决策树（GBDT）算法为主导。于是，有人...

目前如谷歌新闻等很多应用都将聚类算法作为主要的实现手段，它们能利用大量的未标注数据构建强大的主题聚类。本文从最基础的 K 均值聚类到基于密度的强大方法介绍了 6 类主流方法，它们各有擅长领域与情景，且...

在过去的几年里，区块链技术已经成为主流。 个人可以在该技术实现的分散且高度安全的系统中安全地相互交易。 此外，机器学习有可能克服基于区块链的系统面临的许多限制。 机器学习和区块链技术结合起来可以产生非...

​译者 | 布加迪 审校 | 孙淑娟 数据可谓是机器学习模型的命脉。但是当这种宝贵资源的访问受到限制时会发生什么？正如许多项目和公司开始展现的那样，这时候合成数据就算不是一种出色的选择，也是一种可行的...

​由于神经网络的复杂性，它们常常被认为是解决所有机器学习问题的「圣杯」。而另一方面，基于树的方法并未得到同等重视，主要原因在于这类算法看起来很简单。然而，这两种算法看似不同，却像一枚硬币的正反面，都很...

人的眼睛可以看见数百万种颜色，现在人工智能也可以。 近日，来自美国东北大学的一个跨学科研究团队使用新的人工智能技术构建了一种可以识别数百万种颜色的新设备 A-Eye，这让机器视觉领域迈出了一大步，将被...

对机器学习的评估度量是机器学习核心部分，本文总结分类问题常用的请估指标。 分类问题评估指标 在这里，将讨论可用于评估分类问题预测的各种性能指标。 1. Confusion Matrix 这是衡量分类问...

​​​​一 序 人工智能(AI)是一个自从计算机被发明开始就存在的一个技术领域。从1956年Marvin Minsky、John McCarthy等人在达特茅斯学院的会议中第一次提出人工智能这个概念...