那么你应该用什么术语呢？

• 简答:没那么重要。
• 更长的回答:该领域从业者使用最多的术语是“机器学习”——它比 AI 更具体。

“如果是用 Python 写的，那就是机器学习；如果是用 PowerPoint 写的，那就是 AI。”😅

3.ML 和“普通”软件的区别

机器学习算法也只是软件。那有什么区别呢？

3.1 简短回答

用“普通”软件，我们告诉计算机做什么。通过机器学习，我们告诉计算机如何利用我们提供给它的数据自己找出答案。

来源

3.2 略长的回答

• 普通软件基本上是一套规则，由人类编写，旨在实现特定的输出。
• 机器学习软件自行寻找规则(模式)，并尝试产生某种输出。是写软件的软件。🤯

直观解释:

传统软件与机器学习——来源:作者

4.ML 算法如何学习？

但是机器学习如何在数据中找到正确的模式来进行预测呢？

来自 R2D3 的团队设法可视化了机器学习模型如何学习。任务:“告诉我公寓是在纽约还是旧金山。”

👉他们对机器学习 的交互可视化简直是英雄主义。技术上准确，美观。

来源: R2D3

5.深度学习呢？

谷歌帮你搞定了。忘掉无聊的“网络图”检出 👉 这是一个关于神经网络如何学习的现场互动示例 。

一个学习在蓝色和橙色点之间绘制边界的神经网络。

您甚至可以修改:

• 训练参数，表示算法的配置(nobs)；
• 神经元和层，定义模型可以变得多复杂；
• 任务，这样模型就能学会分离圆形、矩形或者——最难的任务——螺旋形中的点。

对于每个模型，您可以观察它如何随着时间的推移而变得更好(测试损失)。

6.但是神经网络是如何工作的呢？

神经网络有点复杂——但是如果你真的感兴趣，那么没有比这更好的视频来解释它了👉**3 blue 1 brown——什么是神经网络** ，格兰特在这里告诉你神经网络是如何识别数字的。

3Blue1Brown 讲解神经网络！👀

7.怎么分辨是不是机器学习？

这里有一个快速简单的流程图，可以帮助你弄清楚机器学习是否在你所看到的背后:

灵感来自郝凯伦 —来源作者

8.ML 解决方案的要素是什么？

事实是，机器学习只是每个机器学习解决方案的一小部分。大部分工作和代码都进入了围绕它的基础设施:

• 数据:为算法收集、验证、分析、准备数据；
• **基础设施:**部署、托管和服务机器学习模型；
• **监控:**协调工作流程，监控和维护模型。

来源:作者

9.有哪些 ML 算法？

我们有很多算法可以选择。它们大致分为以下几类:

• 经典学习:进一步分为监督学习(通过从例子中学习来预测数字或类别)或无监督学习(在没有任何指导的情况下在数据中寻找聚类)。
• 神经网络和深度学习:基于多层感知器原理的算法，在利用图像、文本、音频、视频和时间序列数据进行预测时非常有用。
• 强化学习:有点像自然进化的算法，在学习周期中改善它们的行为，以获得最大回报。
• **集成学习:**构建大量弱模型并将它们组合成强模型的算法。

来源:瓦斯特里克

摘要

这些视觉效果应该让你很好地掌握所有基本的机器学习概念。要更深入地了解如何在项目中使用机器学习，请查看我们的机器学习指南:项目经理需要知道的事情。

如果遗漏了什么重要的东西，请告诉我:markus@datarevenue.com。

原载于。

什么是机器学习，机器如何学习东西？

原文：https://towardsdatascience.com/what-is-machine-learning-and-how-can-a-machine-learn-something-4f66fa05714b?source=collection_archive---------31-----------------------

机器学习的直观解释

机器如何学习东西？阿瑟尼·托古列夫在 Unsplash 上的照片

在这篇文章中，我给出了一个关于机器学习模型在实践中实际做什么的非常实用的观点。

在这篇文章结束时，你会深刻理解我们如何使用机器学习来预测未知，我会给你一个开始做这件事所需的工具的切入点。

我将集中讨论监督模型。

什么是有监督的机器学习？

在监督机器学习中，目标是使用定义在多个独立变量上的函数来预测目标变量。

监督机器学习的一个非常著名的例子是波士顿房价数据集。该数据集包含许多房屋销售数据，并为每栋房屋列出了房屋的特征和最终销售价格。该练习的目标是建立一个机器学习模型，该模型可以根据房屋的特征预测任何房屋的销售价格。

可用于此预测任务的历史房屋销售数据

理解“函数”的概念

为了得到这样一个模型，我将使用函数的概念，所以让我先解释一下什么是函数以及它们是如何工作的。这将是很好理解机器学习的重要基础。

函数是如何将输入转换成输出的定义。

作为一个简单的起点，假设函数是如何将输入转换为输出的定义。该函数就像一个黑盒操作，每次都以相同的方式工作。这就像一个烹饪食谱，其中输入数字代表配料，函数代表手工工作和烤箱指令，输出代表最终的菜肴。

一个简单的功能:

作为一个简单的起点，假设函数是如何将输入转换为输出的定义。例如，让我们定义一个对任何输入数字都为+1 的函数:

• 我们可以把函数定义写成:
  f(x) = x + 1
• 例如，当我们想对输入数字 3 应用这个函数时，我们有 3 作为输入，所以我们用 3 代替 x:
  f(3)= 3+1
• 现在变得简单了:3 + 1 + 4，所以 f(3) = 4

稍微复杂一点的函数:

为了使它稍微有趣一点，让我们做一个有两个输入 x1 和 x2 的函数。我们称函数 f2(函数 2)

• 该函数输出两个输入的和并加 1:
  f2(x1，x2) = x1 + x2 + 1
• 然后当我们想对输入数字 3 和 5 应用这个函数时，我们有 3 和 5 作为输入，所以我们用 3 代替 x1，用 5 代替 x2:
  F2(3，5) = 3 + 5 + 1
• 现在又变得容易了:3 + 5 + 1 = 9，所以 f(3，5) = 9

如何在房价机器学习示例中使用函数:

现在让我们回到房价的例子来理解为什么我们需要一个函数。房价练习的目标是根据输入数字预测房价。由于我们将有多个输入数和 1 个输出数，这将完全符合我们刚才看到的函数概念。

我们可以做一个函数，把房子的多个特征转换成对房价的预测！

当将这个想法应用到实际案例中时，我们可以说我们的目标是构建一个函数，以房屋的多个特征作为输入，计算房屋价格的正确值！

从功能到模型

我上面讨论的函数有非常精确的映射。3 + 1 等于 4，这是完美的。现在看起来很容易，但是在现实生活中，我们不得不面对以下两个现实 :

要找到正确的函数，我们必须反过来:

在现实生活中，我们还不知道预测函数！

在现实生活中，我们从来没有预测我们想要预测的函数。我们的任务不是将一个函数应用于某些输入数据，而是找到这个函数，它最精确地将一个已知的输入映射到一个未知的输出。方法如下:

• 我们从 x1、x2…和目标变量(输出)的许多值开始。这是我们过去观察和收集的数据。
• 然后，我们试图找到最精确地预测输出的函数，而不真正知道该函数是否应该由加法、减法、除法等构成。这将由机器学习模型来完成。
• 第三步是测试我们已经确定的功能在实践中是否也有效。希望如此，否则我们需要回到第二步。

第二个问题:生活并不精确

对于我们现有的数据来说，完美的函数可能并不存在。最好的函数可能会接近正确答案，但不会这么简单。尽管在很多情况下，接近完美的预测已经非常有用了！只要我们能够测量我们函数的误差，如果它几乎是完美的，我们就会很高兴！

不幸的是，我们不只是输出完美的预测，也会有误差。

真实交易:如何找到这个“神奇”的功能？

现在我们来看监督机器学习的核心目标:找到(隐藏和未知的)函数，该函数允许我们尽可能精确地将正确的输入变量转换为正确的输出变量。

例如，当我们输入我们房子的花园面积、房间数量和建造年份时，我们希望我们的函数输出尽可能接近的房价。

这个功能不太好找！有很多机器学习工具可以解决这个问题，我现在就要进入这个领域。

“尝试”不同类型的功能

我们在实践中要做的是精心设计的“尝试”许多不同类型的“功能”。但不仅仅是随机的，我们需要一个可靠的方法来进行这些试验。

这些模型是一种优化机器，试图找到将输入转换为输出的最佳函数:这将是我们的预测函数。有许多可用的模型，因为每个模型都有自己特定的方法来尝试和优化预测函数的精度。

这些模型中的每一个都将使用不同类型的操作符来定义函数，但是也使用不同类型的映射(例如决策树使用 if/else 语句，而线性模型使用矩阵计算)。

监督机器学习的目标是找到最佳预测函数

测量误差和基准

在上一步中，假设我们能想到的每个模型都构建了一个略有不同的预测函数(输入数据到目标变量的映射略有不同)。

模型创建的下一步是测量每个模型的误差。每个模型都略有不同，因为我们必须接受微小的误差(生活是随机的)。但是我们仍然希望误差尽可能小！

我们将对模型开发中未包括的数据的单独部分测试所有不同的预测函数，预测最接近我们在现实中观察到的数据的模型将是我们保留的最终模型。

我们现在已经建立了一个模型:一个尽可能将输入转化为输出的预测函数！

去哪里找那些机器学习工具？

现在你对监督机器学习有了直观的了解，开始学习一些模型(函数制作工具)是很重要的。

Scikit Learn 是一个常用于机器学习的 Python 库

这里列出了最常见的型号。这会给你一个进一步学习的切入点:

• 线性回归
• 逻辑回归
• 决策图表
• 套索
• 山脉
• 弹性网
• SVM
• 随机森林
• XGboost
• 神经网络

两个很好的参考列表是:

• scikit-learn 网站,上面有 scikit 所有机器学习模型的列表

caret R 包是另一个常用的机器学习库

• R caret 网站，上面有 Caret 所有机器学习模型的列表

机器真的学到东西了吗？

有许多机器学习模型，每个模型都有自己独特的方式，根据输入和输出数据以数学方式找到预测函数。

在实践中，您应用不同的模型并测量部分外部数据的误差。然后选择效果最好的模型，也就是误差最小的模型。然后，您可以将此模型用作预测函数，将输入变量转换为目标变量。这就是你的机器学习模型！

机器已经学习了预测功能

一旦这个过程完成，我们可以说机器已经学习了这个预测函数，因此得名机器学习。

对我的解释做一些扩展:

我们可以不使用房价，而是使用图像作为输入(然后它被称为计算机视觉)，甚至是人类编写的文本(然后它被称为 NLP )。在那些类型的机器学习中，人们更可能称之为人工智能。需要其他类型的模型，通常是神经网络和深度学习，而不是描述的那些。但是过程还是一样的。

我们还可以通过在收到新数据后立即更新学习到的函数来使学习更加强大，这使得预测函数随着时间的推移而改进！这使得学习过程更接近人类的学习过程！

这篇文章的目标是给出有监督机器学习的直观解释。感谢读到这里，希望对你有用！敬请关注更多内容！

机器学习与自闭症

原文：https://towardsdatascience.com/what-is-machine-learning-doing-for-autism-6e86daa3b12a?source=collection_archive---------39-----------------------

在 Unsplash 上由 Alireza Attari 拍摄

关于机器学习如何有助于自闭症诊断和治疗的简要文献综述。

机器学习已经扩展到许多不同的领域和学科。尝试新的领域是成长和学习新事物的最好方式。以下是研究人员如何应用机器学习来诊断和治疗自闭症谱系障碍(ASD)的总结。

论文(按顺序)

所有这些论文都可以在没有任何大学赞助或付款的情况下获得。

1. 基于面孔加工异常识别自闭症谱系障碍儿童:一个机器学习框架
2. 自闭症治疗中机器人情感感知和参与的个性化机器学习
3. 用于低成本和非侵入性测量婴儿自闭症相关行为的计算机视觉工具
4. 使用机器学习来缩短基于观察的自闭症筛查和诊断

眼球运动和自闭症

作者刘文擘、李明和李毅开发了一个 ML 模型，根据看脸时的眼球运动来识别 ASD。

由蔡斯·克拉克在 Unsplash 上拍摄的照片

意识形态

患有自闭症的人在识别人脸和解释面部情绪方面有困难。此外，患有自闭症的人通常有一个非典型的面部扫描模式。作者想知道你是否能根据一个人看脸时看的地方和时间来识别自闭症。

数据

研究中的个体是 29 名自闭症儿童和 29 名非自闭症儿童。本文中使用的数据是从另一项研究中收集的，研究人员在这项研究中观察患有自闭症的儿童是否很难识别不同种族的人。

方法

研究人员使用 K-means 算法将每张脸分成 K 个不同的部分。然后，他们制作了直方图，测量个体看每个不同细胞的频率。这些信息被用来训练 SVM 来预测观众是否患有自闭症。

结果

SVM 能够以 88.51%的准确率预测观众是否患有自闭症。尽管并非不受假阳性和假阴性的影响，但该模型确实支持缺乏眼神交流是自闭症的一个强烈迹象。

机器人增强疗法

麻省理工学院媒体实验室在诊所里放置了一个机器人来帮助自闭症治疗。此外，他们为每个与之互动的孩子制作了专门的模型。

机器人，治疗，T-SNE，深度提升，开放姿势，开放面孔，开放微笑

由法兰克诉在 Unsplash 上拍摄的照片

意识形态

机器人过去曾被用于自闭症治疗，但其有效性仍有争议。每个自闭症儿童都是不同的。

“如果你遇到了一个自闭症儿童，你就遇到了一个自闭症儿童。”

因此，预测情绪的通用模型是行不通的。解决方案是为每个与机器人互动的孩子制作一个专门的模型。这样，机器人就知道什么特征构成了快乐或悲伤。

方法

研究人员让每个孩子和一名临床医生在一个房间里玩耍，同时戴上手表来记录生理数据。临床医生会记录孩子玩耍时的情绪。这些数据，以及视频和音频，被用来训练机器人的模型。

影响

以前，当机器人被部署在临床环境中时，它会模仿治疗师在故事中描述或告诉孩子的情感。现在，机器人可以对孩子的情绪做出反应，并提出建议/问题，如“你为什么难过？”或者“我们休息一下吧。”

计算机视觉辅助房间隔缺损诊断

杜克大学的研究人员设计了一种低成本、非侵入性的计算机视觉(CV)工具来帮助诊断自闭症。

AOSI，评分者间评分，追踪面部特征

Matteo Bernardis 在 Unsplash 上拍摄的照片

方法

这项研究的重点是 7-14 个月大的高危儿童(有兄弟姐妹被诊断患有自闭症的儿童)。所有的儿童都由专业临床医生使用婴儿孤独症观察量表(AOSI)进行评估。一名 AOSI 专业临床医生、一名普通心理学家和两名心理学学生观看了该评估的视频。他们都根据孩子对不同听觉刺激的反应来给孩子打分。

然后，研究人员通过使用 CV 工具来跟踪儿童在观看不同刺激时的面部运动，从而自动化了审查过程。在测量孩子的反应后，他们会给出与人类评估者相同的“通过”、“延迟”和“卡住”分数。

结果

通过只跟踪眼睛、鼻子和耳朵，自动方法在 89%的时间里与专业的 AOSI 临床医生一致，并获得了 75%的优秀评分者间评分。

影响

这项研究应该作为更多心血管辅助 ASD 诊断工具的垫脚石。最初的工作非常有限，但可以扩展到不同的临床测试甚至家庭视频。最终目标是降低房间隔缺损诊断的成本，这项工作为此做出了贡献。

研究人员将最广泛使用的评估自闭症谱系障碍的工具——自闭症诊断观察量表——通用(ADOS ),从 29 个项目缩短到 9 个项目，而准确性没有明显损失。

ADOS，广告树，上采样

照片由paweczerwiński在 Unsplash 上拍摄

数据

研究人员从波士顿自闭症协会(AC)、自闭症遗传资源交易所(AGRE)和西蒙斯基金会获得了 1073 个 ADOS 观察数据。在 1073 个观察结果中，只有 15 个来自没有自闭症的个体。一些观测数据缺失，因此没有使用。考虑到不平衡的类别，研究从 15 个观察值增加到 612 个。

模特们

这篇论文的重点是创建一个机器学习模型，可以帮助临床医生量化 ADOS 评估的结果。在这个过程中，他们开发了 16 个不同的模型，每个模型都有不同程度的成功。

ADTree 模型表现最好，准确率为 100%。除了对给定的每个样本进行正确分类，ADTree 还删除了许多给定的输入。广告树只需要最初 27 个项目中的 9 个就可以达到同样的准确度。

影响

这一减少将临床医生的工作量减少了 66%，从而加快了 ASD 诊断流程。随着更多 ADOS 数据的报告和记录，广告树可能能够将个体分类到光谱上的不同区域。

机器学习和自闭症的下一步是什么？

看到在自闭症早期检测以及儿童新疗法方面所做的所有研究令人兴奋。我最喜欢关于 ADTrees 缩短基于观察的 ASD 筛查的论文，并认为像树修剪这样的策略也可以导致对其他疾病更有效的调查。

我希望看到更多关于 DNA 和自闭症的研究。《自闭症之声》有一篇很棒的文章描述了在该领域已经完成的一些工作。

物体检测中的平均精度(mAP)是什么？

原文：https://towardsdatascience.com/what-is-mean-average-precision-map-in-object-detection-8f893b48afd3?source=collection_archive---------20-----------------------

注意:我们也在博客上发布了什么是地图。在本文中，我们通过解释和图表来分析平均精度指标。

计算机视觉社区已经聚集在公制地图上来比较物体探测系统的性能。在本帖中，我们将深入探究平均精度(mAP)是如何计算的，以及为什么 mAP 成为物体检测的首选指标。

如果您更喜欢以视频形式观看这些内容，我们可以满足您的需求。别忘了订阅我们的 YouTube 频道。

物体检测快速概述

在我们考虑如何计算平均精度之前，我们将首先定义它测量的任务。

对象检测模型试图识别图像中相关对象的存在，并将这些对象分类到相关类别中。例如，在医学图像中，我们可能希望能够计数血液中的红细胞(RBC)、白细胞(WBC)和血小板的数量。为了自动做到这一点，我们需要训练一个对象检测模型来识别这些对象中的每一个，并正确地对它们进行分类。(我在一台 Colab 笔记本电脑上做了这个测试，以比较 EfficientDet 和 YOLOv3 ，这两种最先进的图像检测模型。)

我的笔记本中 EfficientDet(绿色)与 YOLOv3(黄色)的输出示例

这两个模型都预测图片中包围单元的边界框。然后他们给每一个盒子分配一个类别。对于每一项任务，网络都会对其预测的可信度进行建模。您可以在这里看到，我们总共有三个类别(红细胞、白细胞和血小板)。

我们应该如何决定哪种模式更好？查看图像，看起来 EfficientDet(绿色)绘制了一些过多的红细胞框，并错过了图片边缘的一些细胞。基于事物的外观，这当然是它的感觉——但是我们能相信图像和直觉吗？如果是的话，好了多少？(提示:不是——不信直接跳到最下面。)

如果我们可以直接量化每个模型在我们的测试集中的图像上、在不同的类别上以及在不同的置信度阈值下的表现，那就太好了。输入地图！

为了理解平均精度，我们必须花一些有意义的时间来研究精度-召回曲线。

精确回忆曲线

精度是对“w 当你的模型猜对的时候，它猜对的频率有多高？”的度量回忆是一个衡量“T2”的标准，你的模型是否每次都猜到了它应该猜到的东西？“考虑一个有 10 个红细胞的图像。只找到这十个标签中的一个但正确的模型是“RBC ”,它具有完美的精确度(因为它做出的每一个猜测——一个——都是正确的),但具有不完美的回忆(在十个 RBC 细胞中只找到一个)。

包含置信度元素的模型可以通过调整进行预测所需的置信度来权衡精确度和召回率。换句话说，如果模型处于避免假阳性(当细胞是 WBC 时声明 RBC 存在)比避免假阴性更重要的情况下，它可以将其置信度阈值设置得更高，以鼓励模型仅以降低其覆盖量(回忆)为代价仅产生高精度预测。

将模型的精度和召回率绘制为模型的置信度阈值的函数的过程是精度召回率曲线。它是向下倾斜的，因为随着置信度的降低，会做出更多的预测(帮助回忆)和更不精确的预测(损害精确度)。

这样想:如果我说，“说出每一种鲨鱼的名字”，你会从显而易见的开始(高精度)，但你会对你能说出的每一种鲨鱼越来越不自信(精度越来越低，越来越接近完全回忆)。对了，你知道还有牛鲨吗？

我的一个 NLP 项目中不同模型的精确度、召回率和置信度

随着模型变得越来越不自信，曲线向下倾斜。如果该模型具有向上倾斜的精度和召回曲线，则该模型可能在其置信度估计方面存在问题。

人工智能研究人员喜欢度量标准，整个精度-召回曲线可以在单个度量标准中捕获。第一个也是最常见的是 F1，它结合了精确度和召回率来寻找最佳的置信度阈值，其中精确度和召回率产生最高的 F1 值。接下来是 AUC(曲线下面积),它整合了落在精度和召回曲线下的图量。

您真实的精确召回汇总指标草图

最后一个精度-召回曲线指标是平均精度(AP ),也是我们最感兴趣的。它被计算为在每个阈值达到的精确度的加权平均值，从先前阈值开始的召回的增加被用作权重。

AUC 和 AP 都反映了精确召回曲线的整体形状。选择一个或另一个用于对象检测是一个选择的问题，研究社区已经集中在 AP 的可解释性上。

通过并集上的交集度量正确性

物体检测系统根据边界框和类别标签进行预测。

你真实的物体探测草图

实际上，在 X1、X2、Y1、Y2 坐标中预测的边界框肯定会偏离(即使稍微偏离)地面真实标注。我们知道，如果一个包围盒预测是错误的类，我们应该把它算作不正确的，但是我们应该在包围盒重叠的什么地方画线呢？

并集上的交集(IoU)提供了设置此边界的度量标准，测量方法是预测边界框与地面真实边界框重叠的量除以两个边界框的总面积。

你真实的 IoU 度量的图形描述。

为 IoU 指标选择正确的单一阈值似乎有些武断。一位研究人员可能认为 60%的重叠是合理的，而另一位则认为 75%似乎更合理。那么，为什么不在一个单一的指标中考虑所有的阈值呢？输入地图。

绘制地图精确召回曲线

为了计算 mAP，我们绘制了一系列不同难度的 IoU 阈值精确回忆曲线。

由您真实绘制的地图精确回忆曲线草图。

在我的草图中，红色代表对借据的最高要求(可能是 90%)，橙色代表对借据的最宽松要求(可能是 10%)。要绘制的行数通常由挑战设置。例如，COCO challenge 设置了 10 个不同的 IoU 阈值，从 0.5 开始，以 0.05 为步长增加到 0.95。

快到了！

最后，我们为按类类型划分的数据集绘制了这些精确召回曲线。

由你的实物类绘制的地图草图

该指标计算所有 IoU 阈值中每个类别的平均精度(AP)。然后，该度量对所有类别的地图进行平均，以得出最终估计值。🤯

在实践中使用平均精度(mAP)

我最近在一篇帖子中使用了 mAP，比较了最先进的检测模型，EfficientDet 和 YOLOv3。我想看看哪个模型在识别血液中的细胞和识别棋子的任务上做得更好。

在我对测试集中的每张图片进行推理之后，我导入了一个 python 包来计算我的 Colab 笔记本中的地图。这就是结果！

细胞目标检测的效率评估:

78.59% = Platelets AP 
77.87% = RBC AP 
96.47% = WBC AP 
mAP = 84.31%

YOLOv3 对细胞目标检测的评价:

72.15% = Platelets AP 
74.41% = RBC AP 
95.54% = WBC AP 
mAP = 80.70%

**与本文开头的单一推断相反，事实证明 EfficientDet 在模拟细胞对象检测方面做得更好！**您还会注意到，该指标是按对象类别划分的。这告诉我们，白细胞比血小板和红细胞更容易检测，这是有道理的，因为它们比其他细胞更大，更独特。

地图也经常被分成小、中和大对象，这有助于识别模型(和/或数据集)可能出错的地方。

结论

现在你知道如何计算地图，更重要的是，它意味着什么！

为了改善你的模型的地图，看看开始使用一些数据增强技术。

感谢您的阅读，并希望您的平均精确度不断提高🚀

气候变化的 ML 是什么？

原文：https://towardsdatascience.com/what-is-ml-for-climate-change-2fb683c0de25?source=collection_archive---------40-----------------------

2019 年成立的一个新的“子领域”正在掀起波澜，比我最初想象的更容易接近

随着世界秩序的转变，我在寻找积极的、有吸引力的工作，我想知道 a)针对气候变化的机器学习到底是什么，b)是否有合理的途径让我们投入其中并做出贡献？引用我后来大量引用的一篇论文中的行动呼吁:

突破性的技术会产生影响，但对世俗问题的精心构建的解决方案也会产生影响。

照片由来自佩克斯的达莉亚·谢夫索娃拍摄

最近的工作

首先，我知道最近有一堆关于气候变化和机器学习的研讨会(如 ICLR 2020 、 ICML 2019 、 NeurIPs 2019 版)。往这里看，原来是一个 climatechange.ai 的集中群。这对我来说似乎不错，但我希望了解人们实际上在做什么。

我写了一个小脚本来收集研讨会记录的标题和作者，并提出了这个关键词列表(一路上了解了 NLP 和停用词)。

LEARNING, USING, CLIMATE, DEEP, MACHINE, DATA, NETWORKS, CHANGE, SATELLITE, PREDICTION, IMAGERY, NEURAL, WEATHER, POWER, FORECASTING, ENERGY, TOWARDS, MODELS, CARBON, REINFORCEMENT, BASED, DETECTION, ENVIRONMENTAL, MONITORING, FLOW, VIA, DYNAMICS, FRAMEWORK, SOLAR, RISK, CLOUD, GRID, LEARNING-BASED, FOREST, CONSERVATION, SMART, ANALYSIS, OPTIMAL, MAPPING, URBAN, INTELLIGENCE, RENEWABLE

我预料会有一些时髦的词汇，但这几乎没有教我人们在做什么。一些提供洞察力的关键词可能是这个子集(去除数据和学习描述词):

NETWORKS, SATELLITE, WEATHER, POWER, ENERGY, FLOW, SOLAR, DYNAMICS, GRID, FOREST, CONSERVATION, MAPPING, URBAN

它列出了在城市发展、电力系统、能源网、保护和动态系统领域的应用。粗略分析之后，我意识到我实际上需要阅读 100 页的白皮书来初始化这个领域。

我将用于纸张信息的数据放在这里。你可以花 100 美元(25 美元)在注册 2020 年虚拟 NeurIPs 会议，并参加用机器学习应对气候变化研讨会的下一次迭代。

用机器学习应对气候变化——开创性论文

这篇来自 17 个机构的 22 位作者的论文揭开了我提到的研讨会的序幕，并提供了关于人们可以从哪里开始的详细解释。如果你从这篇博客帖子中没有得到任何其他信息，请注意:针对气候变化的机器学习是一场 运动 鼓励基于应用的 机器学习研究，这将有益于地球的长期生态系统(并不是说所有的变化都需要很长时间)。

我将在本文中总结潜在的应用领域，如果读者有兴趣了解更多信息，可以打开文档:

ML 可以通过遥感实现自动监测(例如，通过确定毁林、收集建筑物数据和评估灾后损失)。它可以加速科学发现的进程(例如，为电池、建筑和碳捕获提出新材料)。ML 可以优化系统以提高效率(例如，通过整合货运、设计碳市场和减少食物浪费)。此外，它还可以通过混合建模(例如气候模型和能源调度模型)来加速计算成本高昂的物理模拟。

本质上，遥感、科学发现、能源密集型系统等所有应用领域都有许多未被触及的数据，而机器学习已被证明在任何大数据集中发现模式都非常有用。我把这一点从列表中分离出来，是为了让它变得清晰——单靠计算机科学家无法解决这些问题:

对气候问题采取有意义的行动需要与计算机科学内外的领域进行对话，并可以导致跨学科的方法创新，如改进的物理约束的 ML 技术。

过去十年中开发的机器学习工具在许多领域从数据中提取模式方面取得了令人印象深刻的结果。虽然仍然有许多理由对技术持怀疑态度，但有充分的理由认为一些新工具将在其中一些领域发挥作用。例如，强化学习，通常被认为是不稳定的，难以转移到现实世界，充满了未建模的行为，同时在电网优化中非常有用(示例 1 ，示例 2 )。为什么强化学习在这里起作用:该系统基于非常众所周知的物理学和受约束的变量——所以当 RL 代理做一些奇怪的事情时，它可以很容易地被标记为物理上不可能的，等等(我正在与一些研究生成立一个阅读小组，研究安全或不安全的现实世界 RL 应用的差异，所以如果你是专家，想谈谈，或者有兴趣，请告诉我)。

不过有一个警告，这在考虑如何部署这项技术时至关重要:许多国家没有支撑美国如此多行业的数据基础设施。该论文给出了从美国到印度的能源工厂的不同数据记录的例子——这变成了第二个机器学习问题，即在弄清楚如何优化美国电网之后的 迁移学习 。

它们呼吁采取行动，这很好地总结了我现在的感受。

学。确定你的技能如何有用——我们希望这篇文章是一个起点。

协作。寻找合作者，他们可能是研究人员、企业家、已建立的公司或政策制定者。这里讨论的每个领域都有了解其机会和陷阱的专家，即使他们不一定了解 ML。

听。倾听你的合作者和其他利益相关者所说的需要。突破性的技术会产生影响，但对世俗问题的精心构建的解决方案也会产生影响。

展开。确保您的工作部署在可以实现其影响的地方。

如果你想知道你的专业知识可能重叠的地方，看看这个表格。我认为我们有义务解决世俗的问题，因为它们往往是唾手可得的果实。机器学习的从业者可以看看上面，看看自己的技能在哪里有用，然后参考原论文。其他人可以看看左边，然后它会指出哪些 ML 工具在你的领域中最有用，可以学习和利用。

来源https://arxiv.org/pdf/1906.05433.pdf。

鼓励参与的系统性变革

我们如何鼓励研究人员与实践者合作来解决论文中提到的世俗问题。我知道我的顾问会完全同意我这么做，但顾问和经理的覆盖范围并不一致。我已经谈到了学术系统在激励方面有点破碎，但我想在等式中添加另一个变量:如何鼓励许多学者几乎没有注意到的对社会有益的工作(引用较少，bleh)。

谷歌大脑和脸书人工智能公司的人有动力从事这项工作吗？我应该花 6 个月的时间在这个领域工作，作为一个独立的研究者来占有一些地盘吗？我只是想开启讨论，让人们思考到底是什么限制了在这个领域的花费时间。

创造技术作为研究气候变化的替代方法

在创新气候变化与通过公众认知活动和保护来减缓气候变化的光谱中，你属于哪一种？

2020 年 12 月 11 日或 12 日，用机器学习应对气候变化的研讨会上再见。这是我关于机器人学&自动化、 民主化自动化 的免费时事通讯的一个高峰。

[## 自动化大众化

一个关于机器人和人工智能的博客，让它们对每个人都有益，以及即将到来的自动化浪潮…

robotic.substack.com](https://robotic.substack.com/)

什么是自然语言处理？

原文：https://towardsdatascience.com/what-is-natural-language-processing-86a7123a076b?source=collection_archive---------23-----------------------

首先，我们将简要回顾一下什么是 NLP 以及我们为什么关注它。然后我们将深入研究 NLP 的主要分支及其用例。

图片来自皮查拜

人类有些不寻常的地方。

我们有能力完成难以置信的复杂任务。更令人惊讶的是，大多数对我们来说最简单的事情对机器来说却难以置信地难以学习。

你曾经接住过棒球吗？或者在你的衣柜里挑了一件你最喜欢的衬衫？或者对朋友说了一句诙谐的话，逗得他大笑？这些是我们的第二天性。

当然，电脑可以在硬盘上进行近乎无限的计算，而我们却难以估算小费。但是如果你让一台电脑讲一个笑话，如果不打扰的话，通常会有点尴尬！

摇滚猴子在 Unsplash 上拍照

低垂的果实

可以理解的是，数学和机器学习领域在有关硬数字的问题上取得了快速进展:

• 考虑到 5 年前这套 2 床 1 卫的房子卖了 10 万美元，它大概值多少钱？
• 假设去年同期有 100 名顾客，那么明天我的餐厅会有多少顾客？

但是，当我们想探究我们主要的交流方式:说和写所面临的问题时，这种轻松就止步了。

我们创造了编码程序来帮助我们像计算机一样进行交流。但是你能想象一个人类用代码互相交流的世界吗？那会非常干燥…

一个程序员去杂货店，他的妻子告诉他，“买一加仑牛奶，如果有鸡蛋，买一打。”

于是程序员去了，买了所有的东西，然后开车回家。

到达后，他的妻子生气地问他:“你为什么买了 13 加仑的牛奶？”程序员说，“有鸡蛋！”

幸运的是，我们将 Python 作为口语的可能性很小。我们可以保留我们所说和所写的语言的美丽和复杂，以及它们的大量词汇、双重含义、讽刺、俚语、缩写和特殊之处！

快速定义

自然语言简单来说就是我们相互交流的方式:语音和文本。

处理指的是让自然语言可用于计算任务。

因此，自然语言处理(NLP)关注的是寻找、消化和理解人类语音和文本。

对于 NLP 从业者来说，自然语言的微妙之处使得 NLP 成为一个非常具有挑战性和非常令人兴奋的领域！

随着时间的变化

NLP 并不总是用人工智能和机器学习来进行的。

解决自然语言问题的最初方法是“硬编码”手写的、基于规则的方法。

例如，英语中的“dog”应该总是翻译成西班牙语中的“perro”。

但是，如果狗是母的呢？好吧，那这个应该翻译成“perra”。

“三伏天”指的是一年中最热的日子吗？“dias de perro”对说西班牙语的人有意义吗？不——在西班牙语中应该是“la canícula”。

我们可以看到手写的规则是如何迅速变得有问题的——这实际上是 20 世纪 NLP 发展短暂停顿的原因。

但是，在大量计算资源和一些数学知识的帮助下，NLP 研究人员设计了解决这些问题的“统计 NLP”方法，这极大地提高了该领域的准确性和实用性。

我们暂时把它留在那里，但要知道这就是为什么 NLP 经常被认为是人工智能/机器学习的一个子领域。

为什么自然语言处理很重要？

如果计算机可以帮助我们理解自然语言，那么我们可以更准确、更便宜地完成大量任务，为人们节省数千小时的繁琐工作。

有一段时间，我在帮助一家大型运输公司做营销工作。每年有数百万人和他们一起去旅行。

该公司对这些旅行者进行抽样调查，通常会问一些问题，范围从 1 到 10(卫生间有多臭？).此外，他们要求自由文本的回答(你的旅行怎么样？还有什么我们应该知道的吗？).

我们收到了成千上万的调查反馈。你能想象作为一名分析师，被指派通读每个回复，试图收集一些有用的信息吗？也许你正坐在一个 Excel 电子表格前，缓慢地记录着一行行的回答，标记着客户是高兴还是生气。

这太糟糕了。

相反，我们使用了一种非常简单但强大的方法来自动推断客户调查响应是高兴还是生气——这种做法被称为“情绪分析”。

更明智地利用时间

以前，工人会在这项任务上花费宝贵的时间。或者，更现实地说，公司会直接扔掉文本数据——浪费客户花在填写上的时间，以及任何等待揭示的有用见解。

现在，在几分钟内，这种分析意味着我们可以从 0%到 100%评价成千上万的顾客在他们的旅行中有多开心或生气。然后，我们可以开始解决导致 80%客户投诉的 20%的问题。

这是一个简单的例子——但是很多时候，少量的 NLP 可以节省无数的时间，并提供大量有价值的见解。

因此，我们对 NLP 可以提供的价值有了一些概念。主要的用例是什么？我们还能如何利用 NLP 让世界变得更美好？

自然语言处理的 5 个主要分支

自然语言处理是一个不断发展的领域，新的应用和突破一直在发生。

这当然使得很难将该领域划分为整齐的类别，但是下面的一个分类有助于我们理解许多不同的 NLP 方法:

1. 句法
2. 语义学
3. 话语
4. 演讲
5. 对话

1-语法

语法是我们认为理所当然的东西。孩提时代，我们大多是通过听别人遵循我们的语言规则，并试图自己遵循这些规则来学习这些规则。除非语法不正确，否则我们通常看不到它。

句法是一套关于如何组织我们的句子、使用正确的时态、标点符号等的规则。换句话说，你的英语老师会因为你在论文中出错而记下你的分数。

注意这些句子中有一句似乎很不对:

• 那只猫一直在寻找那只窜来窜去的老鼠。(好！)
• 猫们被搜寻着，寻找着逃跑的老鼠。(哎哟！)

NLP 的大部分致力于学习、剖析和重用语法规则。

大多数语法任务都是低级的，它们本身并不是目的，而是产生我们将在下面讨论的高级 NLP 任务中使用的信息。

语法任务的示例

一个例子是词性标注。给定一个词，我们想推断它是名词还是动词等:

• 猫 - >名词
• 搜索 - >动词
• 为 - >介词

虽然我们可能并不特别在意“cat”是一个名词，但这一知识对于下游的 NLP 应用程序非常有帮助，比如查找专有名词或总结文本。

与语法相关的 NLP 方法的其他示例包括:

• 寻找“基本”单词的方法(运行->运行)
• 创建一个解析树来表示给定文本的语法
• 分块—例如，将文本分成句子或单词
• 从给定文本中提取相关术语/关键词

允许我们的机器使用语法构成了(在我看来)更酷的 NLP 应用程序的基础！

我们继续。

2 —语义

“我是鸡蛋男。他们是鸡蛋人。我是海象。”

虽然上面的片段包含了完美的语法，遵循了所有的规则，但是它 是什么意思 ？(也许外面有个披头士的粉丝能给我解释一下。)

文本的意义是语义学的关注点。

语义任务的示例

与语义有关的 NLP 方法的一个例子是从文本中挑选专有名词的能力。例如，在下面的句子中:

《隔壁邻居 维克多 作品为 梦工厂 。 梅丽莎 ，他的妻子，供职于 国防部 ”

粗体实体由命名实体识别系统挑选出来，该命名实体识别系统被设计成捕获专有名词。

虽然我们的眼睛很容易识别，但手工编写规则非常困难，尤其是因为系统不仅会找到专有名词，还会标记它们:

• 维克多，梅丽莎-> 人
• 国防部->梦工厂组织

有一段时间，我为一家公司工作，该公司想从成千上万份合同中提取人名。

试图找到一个包含所有可能名字的字典，或者让某人手动通读并高亮显示，很容易出错，而且要花很长时间。使用 NER 快速准确地解决了这个问题。

更多语义！

其他一些与语义相关的 NLP 方法包括:

• 使用数字来表示文本中单词/句子的含义以及它们之间的关系
• 将文本从一种语言翻译成另一种语言
• 从结构化数据(行和列)创建人类可读的文本
• 确定给定图像中的文本(从屏幕截图到 Word 文档)
• 形成关于给定数据集的问题的答案
• 决定一个给定文本的正面或负面情绪
• 将文本分成独立的主题
• 根据上下文判断歧义词的含义(滚动？吃个寿司卷？)
• 举一个上面的例子，我们找到专有名词，找出它们之间的关系(Melissa 是 Victor 的妻子)

语义学是一个蓬勃发展的领域——不用说，在帮助我们的计算机找到文本的意义方面取得了很大进展，反过来帮助我们进行更强大的分析。

3 —话语

怎样才能让某人说服你做某事？

假设你的朋友想去汉堡王。提及以下内容对他们有利:

• 这食物不贵。
• 汉堡很多汁。
• 奶昔有泡沫。

太好了——你的朋友提出了令人信服的论点！

然后另一个朋友想去温蒂餐厅。他们提到:

• 外面天气温和。
• Arby's 在 48 个州都有营业。
• 我的鞋子解开了。

你的第二个朋友有点欠缺。他们的想法和建议彼此之间没有什么关系，或者与手头的主题没有什么关系。他们说的话没有连贯性，所以真的没有什么说服力。

在第一个例子中，你的朋友直接与你的进食欲望对话，他们所说的一切都与汉堡王有关。太好了！

最重要的是，自然语言处理中的话语涉及到一组连贯的句子，以及如何实现高质量的、类似人类的交流。

话语任务示例

自然语言处理中的一个重要方法是文本摘要。

通过文本摘要，机器可以自动将任意长度的文本摘要到您喜欢的长度，无论是句子中的文章摘要，段落中的科学论文摘要，还是页面中的书籍摘要。

例如，经常会有这样的情况，专业人士需要通读一大堆文件，但他们阅读每一个单词并不重要。他们只需要要点。

最重要的是，返回的摘要必须内部连贯——这意味着摘要中的句子在逻辑上简洁明了，并且摘要准确地浓缩了原文的信息。

与话语相关的其他自然语言处理方法包括:

• 哪些提及是指哪些实体？(“他”指的是“维克托”)
• 对文本类型进行分类(它是一个问题，陈述，断言？)
• 对文本的质量和连贯性评分(自动论文评分)

当试图训练聊天机器人与人类良好互动并易于理解时，会使用大量话语。如果你在一个化妆品网站上告诉聊天机器人你正在寻找一种好的润肤霜，机器人问你最喜欢的书是什么是无益的。

4 —演讲

迄今为止，我们讨论的大部分内容都与书面文本数据有关，自然语言也包括口语。

因为机器更容易处理书面文字，所以这一类别的主要任务是语音到文本翻译。

当你与 Alexa 这样的智能扬声器交谈时，软件会将你的语音转换为书面文字，以便机器可以执行我们之前在上面描述的任务。

在另一个方向，给定一段文本，NLP 实践者可以尝试让机器以令人信服的人声阅读文本。

令人惊讶的是，我们与他人的讲话如此合拍——我们通常能很快察觉到一个机器人在和我们说话。

5-对话

当我们彼此交谈时，我们通常有一个我们想要表达的观点(如果我们没有，我们就不会交谈)。也许我们是想逗对方笑，或者想出去杂货店的路，或者向他们要钱，或者发泄自己的情绪。

简而言之，我们有一些目标。

对话试图在人们(或机器人)相互交谈的背景下解释自然语言的目的。另一个术语是会话知识。

例如，总机对话行为语料库包含来自数千个电话的数据。数据集标记了说话者的话语可能具有的多种意图。

*“你为什么不先走”*被归类为“行动指令”——你在告诉某人做某事。

*“你呢？”*是一个“开放式问题”。

“*对不起。”*是“道歉”。

还有我最喜欢的一个:*“嗯哼。”*是一种“承认”。

你可以想象对意图的敏锐理解是如何帮助聊天机器人变得更加自然和令人信服的。这样，它就能说正确的话，让你买润肤霜！

现在是开始学习自然语言处理的最佳时机。我们正在生成比以往任何时候都多的非结构化文本，我们需要回答的问题既复杂又重要。

现在，您已经具备了识别哪些问题属于 NLP 范畴的基础知识。

保持下去！
图片来自 Pixabay

不仅如此，您还知道 NLP 的不同分支，这将允许您集思广益，找出解决问题的不同方法，以及从数据中挖掘价值的不同方法。

如果你是这个领域的新手，一个很好的开始方式是选择一个你感兴趣的方法并深入研究——看看你能用它解决什么问题。

最重要的是，坚持阅读和练习。我也会这么做的！

感谢您的阅读！

什么是自然语言处理？自然语言处理简介

原文：https://towardsdatascience.com/what-is-natural-language-processing-a-gentle-introduction-to-nlp-4ed219a768ad?source=collection_archive---------33-----------------------

自然语言处理导论:它是什么，我们如何使用它，我们面临什么挑战，我们有什么工具。

本文原载于 程序员背包博客 。如果你想阅读更多这类的故事，一定要访问这个博客。

更感兴趣？在 Twitter 上关注我，地址是@ b _ dmarius，我会在那里发布每一篇新文章。

照片由克里斯蒂安·威迪格在 Unsplash 上拍摄

自然语言处理或 NLP 是人工智能研究的一个子领域，专注于开发基于自然语言的人类和计算机之间的交互模型和点。这包括文本，也包括基于语音的系统。

几十年来，计算机科学家和研究人员一直在研究这个话题，但直到最近它才再次成为热门话题，这种情况是由研究界最近的突破造成的。

话虽如此，但在本文结束时，你会学到以下内容。

• 自然语言处理如何工作的基本概述
• 谁使用自然语言处理，用于什么样的问题
• 在您的应用程序或业务中使用自然语言处理有哪些挑战
• 有哪些基本工具可以让你开始使用自然语言处理

自然语言处理是如何工作的

计算机科学中一个普遍接受的事实是，如果我们把复杂的问题分成更小的部分，每个复杂的问题都会变得更容易解决。在人工智能领域尤其如此。对于一个给定的问题，我们构建几个小型的、高度专门化的组件，它们擅长解决一个且仅一个问题。然后，我们将所有这些组件对齐，通过每个组件传递我们的输入，并在线的末端获得我们的输出。这就是我们所说的管道。

在自然语言处理的背景下，一个基本的问题是，对于一个给定的段落，计算机准确地理解它的意思，然后可能相应地采取行动。为此，我们需要经历几个步骤。

句子边界分割

对于给定的文本，我们需要正确地识别每一个句子，以便由此产生的每一个句子在接下来的步骤中都可以提取其含义。似乎从一篇文章的每一句话中提取意思，然后把它们放在一起，比试图确定整篇文章的意思更准确。毕竟，当我们说话(或写作)时，我们不一定只指一件事。我们经常倾向于将更多的想法传达给一个人，自然语言的美妙之处(以及对 NLP 的诅咒)在于我们确实可以做到。

一种简单的方法是只在文本块中搜索句点，并将其定义为句子的结尾。问题是句点也可以用于其他目的(例如缩写)，因此在实践中，机器学习模型已经被定义为正确识别用于结束句子的标点符号。

单词标记化

这一部分包括从上一步中提取一个句子，并将其分解为包含所有单词(和标点符号)的列表。这将在接下来的步骤中用于对每个单词进行分析。

词性标注

这一步包括从上一步中提取每个单词，并根据它所代表的词类进行分类。这是识别文本背后含义的重要一步。识别名词可以让我们弄清楚给定的文本是关于谁或什么的。然后动词和形容词让我们理解实体是做什么的，或者它们是如何被描述的，或者我们可以从文本中获得的任何其他含义。词性标注是一个困难的问题，但它已经得到了很大程度的解决，并且在大多数现代机器学习库和工具中都可以找到它的实现。

命名实体识别— NER

这项任务是指识别句子中的名称，并根据预定义的类别列表对其进行正确分类。这些类别可能包括:人员、组织、地点、时间、数量等。类别列表可能是为您自己的特定用例定制的，但是一般来说，几乎每个人都需要至少这些类别才能被正确识别。

这类问题有许多实现，最近建立的模型已经达到了接近人类的性能。基本上，这一步也分为两个子任务:正确识别句子中的名字，然后根据你的类别列表对每个名字进行分类。

当然，为了在现实世界的应用中使用，NLP 解决了许多其他任务，但是接下来的步骤是为每个用例以及每个业务需求量身定制的。综上所述，前面介绍的步骤是我们能想到的几乎所有用例的基本步骤。

如何使用自然语言处理

在 Unsplash 上由 BENCE BOROS 拍摄的照片

NLP 被用在各种软件中，各种用例已经被确定为可以通过部署 NLP 模型来解决。其中一些例子是:

• **虚拟助理:**为了帮助用户完成任务，大多数现代的、强大的个人助理都采用了大量的自然语言处理技术。Siri、Google Assistant 和许多其他软件已经变得非常高效和熟练，通过使用 NLP 领域的最新突破来帮助他们的用户。这意味着他们背后的公司在开发完美虚拟助手的竞赛中投入大量资源进行进一步研究。虽然直到几年前，这些助手都是华而不实，但现在数百万用户正在使用它们，并能够利用它们的解决方案。
• **机器翻译:**你有没有注意到，最近几年，谷歌翻译在为你翻译文本方面变得更加准确了？这要归功于该领域研究取得的最新进展，谷歌翻译为亿万用户提供了数百种语言的机器翻译。
• 在我们今天生活的快节奏的社会中，我们经常没有时间把我们讨论的所有事情都记录下来，无论是商务笔记、电话、演讲等等。现在有相当多的初创公司帮助我们解决这类问题，即把声音作为输入，并为我们提供文本，我们可以在此基础上继续并采取行动。

使用自然语言处理的挑战

当然，当使用 NLP 技术时，有相当多的挑战。最重要的是从文本中提取上下文。人类非常擅长理解一个句子的上下文，但计算机只使用统计模型来表示这些句子，所以他们很难理解我们的话到底是什么意思。

例如，当我们说“布什”时，我们可能会提到这种植物或美国前总统。对你来说，识别这种差异可能非常容易，但是计算机必须从流水线开始经历几个步骤，直到决定你使用的是哪一个意思。

NLP 的另一个挑战与第一个挑战有关，即寻找足够的数据来训练我们的模型。与任何其他机器学习模型一样，训练 NLP 模型需要大量数据和大量时间，这意味着只有少数足够大的公司有资源来构建涉及 NLP 的真正强大的应用程序。其他较小的公司采用高度专业化的机器学习模型，这意味着它们只解决所有 NLP 问题的一个子集，为此它们需要少得多的数据。

考虑了所有这些因素后，最终我们正确识别 NLP 模型给我们的业务或应用带来的价值是非常重要的。我们需要看看我们设法建立的模型是否能够真正帮助我们和我们的客户，或者它是否只是一个花哨的功能，以便我们可以说我们是一家机器学习公司。

自然语言处理工具

为了开始学习和开发 NLP 模型，有相当多的库可供开发者使用。好的一面是大多数都是开源的。

• NLTK —自然语言工具包是一个主要用于研究和教育的 Python 库。它包括许多准备测试和使用模型的步骤。你可以在他们的网站上开始使用。
• Stanford CoreNLP 是另一个 Python 库，它为理解自然语言提供了广泛的工具。这里可以看到几个例子。
• spaCy 是另一个 Python 库，它利用机器学习和深度学习来帮助你实现许多强大的功能。他们的网站是这里。

摘要

在本文中，我们对自然语言处理领域做了一个简单的介绍。我们已经讨论了构建 NLP 管道的一些基本步骤，然后我们看到了谁以及如何使用自然语言处理来增强他们的业务。然后，我们看了一下使用 NLP 的主要挑战，以及我们可以用来了解 NLP 并可能在我们的应用程序中使用它的一些最佳工具。

更感兴趣？在 Twitter 上关注我，地址是@ b _ dmarius，我会在那里发布每一篇新文章。

什么是神经搜索，我为什么要关心？

原文：https://towardsdatascience.com/what-is-neural-search-and-why-should-i-care-4a6cee6b2249?source=collection_archive---------58-----------------------

人工智能搜索更省力，更灵活

神经搜索？那是什么？

简而言之，神经搜索是一种检索信息的新方法。神经搜索不是告诉机器一套规则来理解什么数据是什么，而是通过预先训练的神经网络来做同样的事情。这意味着开发人员不必编写每一个小规则，节省了时间和麻烦，同时系统会不断训练自己变得更好。其中一家提供开源神经搜索框架的公司是纪娜 T2。

背景

搜索是一项大生意，而且每天都在变大。就在几年前，搜索意味着在文本框中输入一些东西(啊，那是雅虎令人兴奋的日子！和 Altavista)。现在，搜索包括文本、语音、音乐、照片、视频、产品等等。就在千年之交之前，每天只有 350 万次谷歌搜索。今天(根据搜索词2020 google searches per day的最高搜索结果)，这个数字可能高达 50 亿，并且还在上升，超过 1000 倍。更不用说数百万人每天从手机、电脑和虚拟助手上搜索的数十亿篇维基百科文章、亚马逊产品和 Spotify 播放列表。

只要看看谷歌查询的飞速增长就知道了——而且这只是到 2012 年为止！

简而言之，搜索是巨大的 T4。我们将看看搜索方法的卫冕冠军，符号搜索，和勇敢的暴发户竞争者，神经搜索。

资料来源:Unsplash 的背景

**注:**本文基于晓寒在他许可下发表的帖子。如果你想了解更多关于神经搜索的技术介绍，可以去那里看看。

符号搜索:规则就是规则

谷歌是一个巨大的通用搜索引擎。其他公司不能仅仅根据他们的需求对其进行改造并将其插入他们的系统。相反，他们使用像 Elastic 和 Apache Solr 这样的框架，这些符号搜索系统让开发者编写规则并创建搜索产品、人员、信息或公司需要的任何东西的管道。

让我们以 Shopify 为例。他们使用 Elastic 在数百个类别的数百万个产品中进行索引和搜索。这不能开箱即用，也不能用像谷歌这样的通用搜索引擎来完成。他们必须使用 Elastic 并编写特定的规则和管道，根据各种标准对产品进行索引、过滤、排序和排名，并将这些数据转换为系统可以理解的符号。因此得名，符号搜索。这是一家很受欢迎的运动鞋商店:

你我都知道，如果你搜索red nike sneakers你想要红色耐克运动鞋。不过，这些只是典型搜索系统的词汇。当然，如果你输入它们，你就有希望得到你想要的，但是如果那些运动鞋被标记为运动鞋呢？或者甚至被贴上猩红的标签？在这种情况下，开发人员需要编写规则:

• 红色是一种颜色
• 猩红色是红色的同义词
• 耐克是一个品牌
• 运动鞋是鞋类的一种
• 运动鞋的另一个名字是运动鞋

或者，用 JSON 表示为键值对:

这些键值对中的每一个都可以被认为是一个符号，因此命名为符号搜索。当用户输入搜索查询时，系统将其分解成符号，并将这些符号与其数据库中的产品符号进行匹配。

但是如果用户输入的是nikke而不是nike，或者搜索的是shirts(带有一个s)而不是shirt，会怎么样呢？语言中有如此多的规则，人们一直在打破它们。为了获得有效的符号(即知道nikke实际上意味着{"brand": "nike"}，您需要定义许多规则并将它们链接在一个复杂的管道中:

符号搜索的缺点

你必须解释每一个。很少。东西

我们上面的示例搜索查询是red nike sneaker man。但是如果我们的搜索者是英国人呢？英国人会打出red nike trainer man。我们必须向我们的系统解释，运动鞋和运动鞋只是名称不同的一样东西。或者是有人在搜索什么LV handbag？必须告诉系统LV代表Louis Vuitton。

对每一种产品都这样做需要花费永远的时间，而且总有东西会被遗漏。如果你想本地化为其他语言呢？你得从头再来一遍。这意味着大量的辛勤工作、知识和对细节的关注。

它是易碎的

文本是复杂的:正如我们上面解释的，如果用户在red nikke sneaker man中输入，经典的搜索系统必须识别出他们正在搜索一个红色的耐克(纠正拼写的品牌)男式运动鞋(类型)(子类型)。这是通过管道将搜索字符串和产品细节解释为符号来完成的，这些管道可能会有重大问题。

• 链中的每个组件都有一个输出，作为输入提供给下一个组件。因此，在流程的早期出现问题会破坏整个系统
• 一些组件可能从多个前任获取输入。这意味着你必须引入更多的机制来阻止它们相互阻塞
• 很难提高整体搜索质量。仅仅改进一两个组件可能不会导致实际搜索结果的改进
• 如果你想用另一种语言搜索，你必须重写管道中所有依赖于语言的组件，增加了维护成本

神经搜索:(预)训练，不解释

一种更简单的方法是建立一个基于现有数据的搜索系统。如果你事先在足够多的不同场景下训练一个系统(即预训练模型)，它会发展出一种找到匹配输入的输出的通用能力，无论它们是花、南方公园的线还是神奇宝贝。您可以将该模型直接插入您的系统，并立即开始索引和搜索。

代码非常简单。它加载一个“流”,该流又加载一系列模块来处理、索引和查询您的数据:

这样，你就不需要浪费时间为你的用例编写无尽的规则。相反，只要在你的代码中加入一行代码，从“应用商店”下载你想要的模型(就像即将到来的纪娜中心)，然后开始。

与符号搜索相比，神经搜索:

• 移除脆弱的管道，使系统更具弹性和可扩展性
• 找到一种更好的方法来表示产品和搜索查询的底层语义
• 一边学习，一边进步

神经搜索有用吗？

如果搜索能够理解并返回高质量的结果，则该搜索“有效”:

• **简单查询:**如搜索“红色”、“耐克”或“运动鞋”
• **复合查询:**像‘红色耐克运动鞋’

如果它连这些都做不到，那么检查拼写检查和使用不同语言的能力就没有意义了。

总之，少说话，多寻找:

🇬🇧 nike

🇩🇪 nike schwarz (different language)

🇬🇧 addidsa (misspelled brand)

🇬🇧 addidsa trosers (misspelled brand and category)

🇬🇧 🇩🇪 kleider flowers (mixed languages)

所以，你可以看到，神经搜索做得很好！

比较符号搜索和神经搜索

那么，神经搜索与符号搜索相比如何呢？让我们来看看各自的优缺点:

我们并不试图在团队象征和团队神经之间做出选择。这两种方法都有各自的优点，并且可以很好地互补。因此，更好的问题是:哪一个适合您的组织？

自己试试神经搜索

测试一项技术的最佳方式莫过于一头扎进去玩一玩。纪娜提供预先训练好的 Docker 图像和 jinabox.js ，这是一个易于使用的搜索文本、图像、音频或视频的前端。目前还没有产品搜索的例子，但是你可以搜索更多轻松的东西，比如你最喜欢的神奇宝贝或者《南方公园》里的台词。

Geopandas 0.70 有什么新特性？

原文：https://towardsdatascience.com/what-is-new-in-geopandas-0-70-dda0ddc90978?source=collection_archive---------26-----------------------

主要变化和新的改进，带有示例和代码说明。

Geopandas 是用 Python 进行地理空间数据科学的主力，它扩展了 pandas 的数据类型来执行空间数据操作。Geopandas 0.70 于昨天 2 月 17 日刚刚发布，它带来了一些重大的变化和改进。

我在这里重点介绍了 Geopandas 0.70 的一些最佳新特性。

原生剪辑功能

通过将地理数据框裁剪到其他形状的空间范围的固有功能，裁剪变得非常容易。裁剪是最常用的地理空间数据处理功能之一；然而，在以前的版本中，Geopandas 没有执行它的直接函数。如果您想要地理数据的特定区域，您必须执行裁剪以获得感兴趣的区域。

现在有了新的geopandas.clip功能，您可以轻松地按照提供的空间范围裁剪数据。让我们看一个例子。

import geopandas as gpd
import matplotlib.pyplot as plt
from shapely.geometry import Polygon, LineString
gpd.__version__'0.7.0'

我们使用 Geopandas 作为可用的数据集，首都城市，世界边界。此外，我们将非洲划分为子集，并创建一个多边形来标记我们感兴趣的空间范围。

capital_cities = gpd.read_file(gpd.datasets.get_path(“naturalearth_cities”))world = gpd.read_file(gpd.datasets.get_path(“naturalearth_lowres”))africa = world[world[“continent”] == “Africa”]poly = Polygon([(-35, 0), (-35, 60), (60, 60), (60, 0), (0, 0)])polygon = geopandas.GeoDataFrame([1], geometry=[poly], crs=world.crs)

让我们在一个图像中看到所有的数据。

fig, ax = plt.subplots(figsize=(12,10))world.plot(ax=ax)africa.plot(ax=ax, edgecolor=”black”, color = “brown”, alpha=0.5)capital_cities.plot(ax=ax, color=”Red”)polygon.boundary.plot(ax=ax, color=”Red”)

所有数据的映射

首都标为红点，非洲标为绿色。红色矩形显示了我们感兴趣的范围。

现在，如果我们只想从世界边界中裁剪红色矩形的一部分，您可以调用geopandas.clip并提供两个地理数据框。首先，world 世界边界和polygon范围。

clipped = gpd.clip(world, polygon)fig, ax = plt.subplots(figsize=(12,10))clipped.plot(ax=ax, color=”gray”);

如下图所示，你可以看到被剪切的区域，非洲、欧洲和亚洲的部分地区。

剪裁的边界

您不仅可以使用此函数多边形和多边形，还可以使用其他数据类型，如线和点。

读取文件时过滤行

对于当前的大数据集，在读取数据的同时过滤行的能力是必不可少的。想象一下，有一个包含数百万行的数据集，由于内存问题而无法读取。有了这个新功能，您可以在读取数据之前提供行或切片来过滤数据。

让我们看一个例子。

cities_filtered = gpd.read_file(gpd.datasets.get_path(“naturalearth_cities”),**rows=30**)

这将只读取数据的前 30 行。如果想从中间切片，可以加切片。

cities_filtered_slice = gpd.read_file(gpd.datasets.get_path(“naturalearth_cities”),**rows=slice(10,30)**)

只有 10 到 30 之间的行才返回上面的代码。

地块几何图形集合

无法绘制几何图形集合数据，例如不同数据类型(点、线或多边形)的数据。使用当前版本，您可以打印各种几何对象集合。让我们看一个例子。

a = LineString([(0, 0), (1, 1), (1,2), (2,2)])b = LineString([(0, 0), (1, 1), (2,1), (2,2)])x = a.intersection(b)gc = gpd.GeoSeries(x)type(x)shapely.geometry.collection.GeometryCollection

a和b只是普通的 LineString，但是它们的交集返回一个几何图形的集合(线和点)。如果您从 x 中的几何图形集合中创建了一个Geoseries，现在您可以用 Geopandas 绘制它。请参见下面的示例。您在同一个地理数据框中绘制了点和线。

用 Geopandas 绘制的几何图形集合

PROJ 6 号取代 PROJ 4 号

Geopandas 0.70 版本开始使用新的投影接口。PROJ 6 取代了 PROJ4，带来了更好的界面和更多的信息。

以前gpd.crs只返回这样一个字符串。

{'init': 'epsg:4326'}

但是，当前版本带来了大量关于数据地理投影的元数据。

world.crs

返回以下有用信息

<Geographic 2D CRS: EPSG:4326> Name: WGS 84 Axis Info [ellipsoidal]: — Lat[north]: Geodetic latitude (degree) — Lon[east]: Geodetic longitude (degree) Area of Use: — name: World — bounds: (-180.0, -90.0, 180.0, 90.0) Datum: World Geodetic System 1984 — Ellipsoid: WGS 84 — Prime Meridian: Greenwich

例如，如果要访问投影的数据，可以调用。

world.crs.datum

结果只显示了这一部分

DATUM[“World Geodetic System 1984”, ELLIPSOID[“WGS 84”,6378137,298.257223563, LENGTHUNIT[“metre”,1]], ID[“EPSG”,6326]]

还有一些其他的改进或错误修复没有在本文中提及，但是值得一提。Geopandas 中的空间连接现在可以正确处理 Multindex 并保留左侧地理数据框的索引名称。将文件写入磁盘时，如果需要，现在可以保留索引。此版本现在可以绘制缺少数据的 choropleth 地图。

结论

感谢当前版本的所有贡献者。Geopandas 0.70 在地理空间数据科学过程中带来了许多改进。得益于此版本，现在可以在读取和绘制多几何图形数据时进行裁剪、过滤数据。Proj 6 还带来了一个更好的用户界面，其中包含地理空间世界中最不为人所知的主题之一，地理投影。

这篇文章的代码可以在这个 Google Colab 链接中找到。

编辑描述

colab.research.google.com](https://colab.research.google.com/drive/1wPJlGuT4BTISiCo8rYd01BJEG6TC-nBQ)

什么是一键编码以及如何使用熊猫 get_dummies 函数

原文：https://towardsdatascience.com/what-is-one-hot-encoding-and-how-to-use-pandas-get-dummies-function-922eb9bd4970?source=collection_archive---------2-----------------------

一个完整的初学者一键式编码教程

照片由希望之家出版社——皮革日记工作室在 Unsplash 拍摄

我一直在问机器学习中的一些概念以及它们的真正含义，例如，在我以前的一篇文章谷歌实践机器学习的 7 个步骤中，有人问我什么是一键编码，我们应该什么时候使用它？这是一个很好的问题，每个机器学习实践者都需要知道答案，所以让我们来讨论一下这个问题，并使用 Pandas get_dummies()深入了解一些代码。

1.什么是一键编码？

在机器学习的数据处理步骤中，我们通常需要在输入机器学习模型之前以特定的方式准备我们的数据。其中一个例子是对分类数据执行一次性编码。

一种热编码是应用于分类数据的数据处理过程，将其转换成用于机器学习算法的二进制向量表示

为什么以及什么时候我们应该使用一次性编码？

机器学习的一个主要问题是许多算法不能直接处理分类数据。分类数据[1]是可以取有限数量的可能值之一的变量。一些例子是:

• 人的性别 : 女或男。
• 航空旅行舱 : 头等舱，公务舱，经济舱。
• 电脑厂商 : 联想，惠普，戴尔，苹果，宏碁，华硕，其他。

因此，我们需要一种方法来将分类数据转换为数字形式，我们的机器学习算法可以将其作为输入。最广泛使用的编码技术是:

1. 整数编码:将数值编码为整数。
2. 一键编码:将数值编码为二进制向量数组。
3. 虚拟变量编码:同 One-Hot 编码，但少一列。

在上面的例子中，分类变量中的每个值代表一个不同的类别。一些类别可能彼此具有自然关系(称为自然排序)。航空旅行等级变量确实有自然的值排序。这种类型的分类变量被称为 序数变量 。序数变量在机器学习中应该区别对待，因为序数一般都带有某种意义。在航空旅行等级的情况下，更高等级的乘客往往更富有，年龄也更大。整数编码用于将序数变量转换为数值数据，例如

头等舱为 1，公务舱为 2，经济舱为 3

整数编码表示

整数值之间具有自然的有序关系，机器学习算法可以学习这种关系[2]。

对于不存在这种顺序关系的类别变量，整数编码可能会导致较差的性能或意外的结果[2]。幸运的是，一键编码是对抗这种情况的一种方法。一键编码简单地为每个可能的值创建一列，并在适当的列中放置一个1。下面是等效的独热编码表示。

独热编码表示

通过一键编码，二进制向量数组表示允许机器学习算法利用包含在类别值中的信息，而没有由普通性引起的混淆。

虚拟编码变量表示

哑元编码变量 是统计学中避免 哑元陷阱 的标准建议，然而，在机器学习的世界中，更推荐一键编码，因为哑元陷阱在应用正则化时并不是真正的问题[3]。

2.如何使用熊猫 get_dummies()函数？

在我们开始学习教程之前，让我们先来看一个我们可以使用的示例数据集。在本教程中，我们将处理来自 Kaggle 的泰坦尼克号数据集。这是一个非常著名的数据集，通常是学生学习机器的第一步。让我们导入熊猫并加载数据来开始。

import pandas as pd**def load_data():
    return pd.read_csv('data/train.csv')**df = load_data()
df.head()

我们创建了一个函数load_data()来将 train.csv 文件加载到 pandas DataFrame 中。

泰坦尼克号数据预览

数据字典来自 Kaggle

2.1 创建一次性编码变量

假设我们想要为性别列创建一个一次性编码变量。下面是我们如何创建它。

pd.get_dummies(**df.Sex**)

它的作用是为每一个可能的值创建一列，这是性别的两个可能值。它通过在适当的栏中放一个1来告诉你它是雌性还是雄性。

一般来说，如果一个分类变量有K个可能值，我们将得到K列来表示它。

2.2 创建虚拟编码变量

在一键编码中有一些冗余。例如，在上面的性别一次性编码中，一个人要么是男性，要么是女性。所以我们只需要使用这两个伪编码变量中的一个作为预测器。更一般地说，所需的伪编码变量的数量比可能值的数量少一个，这就是K-1。在统计学中，这被称为 虚拟编码变量 ，或虚拟变量。

默认情况下，get_dummies()不做也不做哑编码，而是一键编码。为了从数据帧中产生一个实际的伪编码，我们需要传递drop_first=True

pd.get_dummies(df.Sex, **drop_first=True**)

虚拟编码

2.3 向列名添加前缀

默认情况下，get_dummies()使用变量值作为列名。比如上面性别一栏中的 男 和 女 例子。为了识别虚拟变量的来源，我们可以使用prefix参数。例如:

pd.get_dummies(df.Sex, **prefix='Sex'**)

2.4 对于具有两个以上可能值的变量

现在，让我们试着对一个有两个以上可能值的变量进行一次性编码。例如，有一个开始于列，我们可以做value_counts() 来检查它的不同值。

df.Embarked.**value_counts()****S    644
C    168
Q     77**
Name: Embarked, dtype: int64

让我们用get_dummies()来表示

pd.get_dummies(**df.Embarked**, **prefix='Embarked'**)

2.5 连接到数据框

您可能会想，我们仍然需要将一次性编码变量附加到数据帧上。为此，我们首先将输出分配给一个名为embarked_dummies的变量

**embarked_dummies** = pd.get_dummies(df.Embarked, prefix='Embarked')

然后，我们使用pd.concat()将embarked_dummies连接到数据帧df。

df = pd.**concat**(**[df, embarked_dummies]**, axis=1)

pd.concat()的工作方式是我们可以并排连接列，或者一行接一行。所以在这种情况下，我们沿着列(axis =1)连接df和embarked_dummies。最后，我们改写原来的df。

通过运行df.head()，我们可以看到现在已经有了Embarked_C、Embarked_Q和Embarked_S。

pd.**concat**(**[df, embarked_dummies]**, axis=1)的输出

2.6 将数据帧传递给 get_dummies()

我们已经向get_dummies()传递了一个序列，但我们将传递一个数据帧。

df = load_data() # reset dataframe
df = pd.get_dummies(**df**, **columns=['Sex', 'Embarked']**)

df是一个数据帧。我们传递给columns一个列表，并告诉它性别和已出发是我们想要虚拟的列。

通过运行df.head()，我们可以看到原来的性列和上船列不见了，取而代之的是虚拟列。

好了

感谢阅读。

请在我的 Github 上查看笔记本的源代码。

如果你对机器学习的实用方面感兴趣，请继续关注。

参考

• [1] 维基百科中的分类变量
• [2] 为什么机器学习中的一键编码
• [3] 一键式编码会让你焦头烂额吗

什么是运筹学？

原文：https://towardsdatascience.com/what-is-operations-research-1541fb6f4963?source=collection_archive---------1-----------------------

俯视一个非常优化的停车场。伊万娜·卡金娜在 Unsplash 上的照片

运筹学领域的综合介绍

运筹学导论

运筹学，也称为决策科学或运营分析，是将数学应用于商业问题的研究。作为应用数学的一个子领域，它与数据科学和机器学习等其他领域一样，有着非常有趣的地位。

运筹学回答哪些问题？

在进入运筹学的真正定义之前，让我们看几个应用例子。正如您将看到的，它们都有一些共同点:我们将在后面讨论。

运筹学实例:

1.线性规划

如果你在学校上过数学课，你可能遇到过线性方程，你可能已经学会了如何用纸和笔来解决这些问题。线性规划是一种用线性目标函数解决线性约束系统的优化技术。这是运筹学中最著名的方法。

排队论:避免排长队，也避免人浮于事。照片由哈尔·盖特伍德在 Unsplash 拍摄

2.等待线理论或排队论。

运筹学的第二个课题是排队论。也许没有前面的例子那么明显，但是排队也可以用数学术语完美地描述。一旦做到这一点，排队论允许企业了解并改善客户的排队时间，同时进行劳动力管理。

排队论的另一个重要应用是计算机操作系统的任务调度，尽管这与本文讨论的其他应用相差甚远。

3。库存控制系统

运筹学解决的下一个课题是库存控制。公司的库存控制是复杂的，取决于许多决策，例如采购、仓储、运输、跟踪等等。

库存控制系统重新组合不同的解决方案，解决一个组织的全部库存任务。库存管理最常用的算法是经济订货量(EOQ)、库存生产量(IPQ)和 ABC 分析法。如果你想更深入地了解库存管理，你绝对应该看看这些。

4。更换问题

我希望在这一点上，运筹学中处理的问题类型已经对你越来越清楚了。更换问题与前面的比较:优化更换已知使用一定时间后失效的材料。对于机器、汽车、电脑等昂贵的物品，如果更换得太晚，公司会付出巨大的代价，如果更换得太早，也会付出巨大的代价。因此，这也是一个用运筹学优化的好问题。

5.网络分析

网络分析是一个与前面列出的项目相对不同的主题。

在网络分析中，应用程序被表示为要优化的图。在一般的图论中，图是由节点和边组成的。每个节点是一个点，每条边表示某些不同节点之间是否有联系。这类数据的一个很好的例子是社交媒体网络，其中每个人(个人资料)被表示为一个节点，每个友谊关系被表示为一条边。

道路网络可以用图形来表示。 Denys Nevozhai 在 Unsplash 上拍照。

在运筹学中使用它的一个例子是项目管理。当谈到项目管理时，我们可能都知道著名的甘特图，它允许对项目中的步骤和步骤之间的依赖关系进行更多的概述。

但是每当一个项目非常复杂时，任务之间就会有许多依赖关系:如此多的依赖关系使得确定最佳路径变得复杂。运筹学的两种方法是关键路径法(CPM)和项目评估和评审技术(PERT)法。

借助运筹学，将您的货物摆放整齐。Guillaume Bolduc 在 Unsplash 上拍摄的照片

6.排序问题

我最后想列出排序问题。本主题讨论如何定义大量操作的顺序，以便用有限的资源执行这些操作。在这种情况下，我们可以从许多不同的执行顺序中进行选择，我们希望确保选择最佳顺序。根据所选的成本函数，您可以优化操作的总持续时间或成本或收益。

许多排序方法是先来先服务(FCFS)、最短处理时间(SPC)、最早到期日(EDD)等等。

尽管运筹学的应用越来越多，但我认为总体思路现在已经很清楚了，我将继续对这一主题进行更正式的描述。

运筹学的定义

运筹学使用数学和统计学来回答最优化和模拟问题。每当我们将一个商业问题转化为优化问题时，最基本的是我们有一个最小化成本或最大化收益的清晰定义。

任何运筹学课题的三大关键:

1.算法和统计

我已经在上面写了:运筹学将严重依赖算法、数学和统计学。运筹学中一个非常重要的算法家族是优化算法:在给定一组可能性的情况下，试图找到最大值或最小值的算法。

作为这方面的一个例子，我们可以使用一个优化算法来最小化工厂的人员配备成本，给定一组对所需人员数量的约束，以及对每个员工的约束。

2.最佳化

考虑到潜在的实际限制，找到问题的最佳解决方案。优化可以是在开始之前就决定的成本或收益的最大化或最小化。

优化。照片由艾萨克·史密斯在 Unsplash 拍摄。

有可能有多个目标，在这种情况下，我们可以通过应用不同成本的权重来定义组合成本函数(例如，将两个成本之和最小化可以是组合成本函数的一个示例)。

在这些优化中，第二个经常出现的问题是约束。有时，寻求成本最小化的算法可能会以实际上不可能的方式寻找解决方案。例如，当寻找最佳员工计划时，我们希望约束算法来计划 24 小时轮班的人员，因为这是非法的。

3.模拟

模拟实际上是一项类似于优化的任务。与其问算法什么是最好的员工计划，我们还可以问算法改变计划会有什么影响。这种类型的任务接近优化，因为我们可以简单地使用不同输入配置的优化算法来模拟不同输入的最佳结果。

简而言之，运筹学是将数学应用于商业问题，目标是优化和/或模拟。我希望这篇文章已经为你澄清了一些事情。感谢您的阅读，请不要犹豫，继续关注更多内容！

什么是光学音乐识别？

原文：https://towardsdatascience.com/what-is-optical-music-recognition-6515d8a53e01?source=collection_archive---------33-----------------------

我们能让机器读懂音乐吗？

我一直热衷于获取计算机视觉方面的知识，同样，音乐也是我生活中很重要的一部分。结合起来，它们构成了一个伟大的研究问题！四个月前，我开始了为期四年的博士课程。到目前为止，就我学到的知识和学习更多知识的热情而言，这是一次疯狂的旅程。

由莎拉在 Unsplash 上拍摄的照片

我正在进行的研究问题是光学音乐识别(OMR)，更明确地说，是调查深度学习是否可以帮助提高当前方法的性能。

为了让你们更好地理解这个问题，我将尝试阐明什么是 OMR，所使用的传统方法以及未来需要解决的主要问题。

到目前为止，我们大多数人大概都用过谷歌翻译和它的相机翻译功能。仅仅是拍一张文字的照片，我们就节省了时间，也避免了学习中文或其他语言。现在让我们想想这个特性如何应用于音乐。音乐家仍然在乐谱或白纸上写作。然而，如果他们想分享他们的音乐，他们必须把它转录到电脑里。计算机可读的音乐文件将更容易访问。因此，这项研究背后的动机是允许作曲家、音乐家不仅通过拍摄活页乐谱的照片来转录和编辑音乐，而且最终分享和演奏他们的作品。OMR 还将协助音乐统计，并使搜索符号，类似于搜索文本。

卡尔沃-萨拉戈萨等人对 OMR 给出了一个非常清晰和包容的定义，称之为一个研究领域而不是一个简单的问题。

光学音乐识别是研究如何通过计算读取文档中的音乐符号的研究领域。

定义的第二部分强调了 “通过计算读取文档中的音乐符号” ，假设它是由计算机(而不是人类)执行的，它不涉及音乐符号模型本身，但它建立在这一知识的基础上。此外，它强调了由这些系统捕获的信息，我将在下面的部分中更详细地解释这些信息。

该研究领域于 20 世纪 60 年代末在麻省理工学院建立，使用扫描印刷的乐谱。该领域的先驱是藤永一郎、尼古拉斯·卡特、吴起亚、大卫·班布里奇和蒂姆·贝尔。他们的工作仍然是今天研究的极好基础。OMR 与音乐信息检索、计算机视觉和文档分析等其他领域相关。

根据已开展的研究，形成了反映解决问题方法的标准管道(见图 1)。

图一。标准的 OMR 管道(图片由作者提供)

这个管道的通常输入是打印/手写乐谱的扫描/图片。这些图像然后经受图像处理技术。这些技术包括二值化(黑和白)、模糊、去歪斜(旋转)，并且将有助于减少图像中的噪声。

增强的图像接下来将用于音乐对象识别。在这一步中，算法将尝试识别音乐对象，如谱号、音符头、小节、圆滑线等。在这个阶段，对象是原语，并与它们的语义相分离。

图二。用更快的 R-CCN 检测物体(来源:https://github.com/apacha/MusicObjectDetector-TF

因此，下一步试图重建这些原语之间的关系以及语义。这种方法基于音乐中存在的语法规则重建语义。

最终输出可以表示输入中乐谱的音乐含义和描述，并且是机器可读的。这些文件的常用格式可以是 MIDI、MusicXML、MEI 等。

文件格式输出示例(图片由作者提供)

我们希望利用深度学习(DL)来探索执行这些步骤的新方法。大多数 DL 模型建立在人工神经网络上。这些网络受到生物神经网络的启发。它们由许多层组成，这些层具有所谓的节点；它们包含一个输入层、一个或多个隐藏层和输出层。越深入，模型可以学习和提取的复杂特征就越多。中间的隐藏层通常被称为“黑盒”这是因为我们不容易理解内部发生了什么，尽管新的研究正在关注这一点。

我们计划首先在 OMR 的第二阶段，即音乐对象检测中应用这种方法。要做到这一点，我们需要一个包含乐谱图像的庞大数据集。这个数据集还应该有一个基础事实，以便模型可以从中很好地学习。一部分数据，称为测试数据，不应该被模型看到。通过这种方式，我们可以评估模型在它从未见过的事物上做得有多好。这个模型应该根据实验的性质、输入和期望的输出来设计。我们还建议将输入、输出及其评估的格式标准化。

参考资料:

A.雷贝洛、I. Fujinaga、F. Paszkiewicz、A. R. S. Marcal、C. Guedes 和 J. S. Cardoso，“光学音乐识别:最新技术和开放问题”， Int J Multimed Info Retr ，第 1 卷，第 3 期，第 173-190 页，2012 年 10 月。【在线】。可用信息:http://link . springer . com/10.1007/s 13735–012–0004–6

J.Calvo-Zaragoza，J. Hajicˇ Jr .，A. Pacha，《理解光学音乐识别》，arXiv:1908.03608【cs，eess】，2019 年 8 月，arXiv:1908.03608。【在线】。可用:【http://arxiv.org/abs/】T41908.03608

帕查、亚历山大、扬·哈吉和豪尔赫·卡尔沃-萨拉戈萨。"深度学习的一般音乐对象检测的基线."应用科学 8.9 (2018): 1488。

p 值是什么的简称？

重命名那个讨厌的小数字，并重新学习如何使用它

p 代表概率吗？

从技术上讲， p 值代表概率值，但是由于所有的统计都是关于处理概率决策，这可能是我们能给它的最没用的名字。

相反，这里有一些更有趣的候选人名字供你娱乐。

痛苦值:他们让你在课堂上计算，没有给你适当的解释；难怪你的大脑会受伤。这一类的荣誉奖还包括困惑值、困惑值和惩罚值。

讨厌的值/有问题的值:统计学家已经厌倦了看到无知的人滥用 p 值，他们中的一些人希望看到 p 值被废除。他们希望他们可以震撼人们，大喊，“这是个人决策的工具，而不是你认为的那种其他的东西！”

**说服价值:**我一会儿会解释，试图用 p 值来说服某人是一个危险的赌注，你的受害者比你更无知。如果你打算诉诸 p 值来增加你的信息的趣味，我可以建议你用拉丁文重写你所有的论点吗？

**可发表的价值:**说到滥用 p 值的方法，如果你是那些“科学家”中的一员，毫无悔意地折磨(“p-hacking”)你的数据，直到它承认你认为会给学术期刊的审稿人留下深刻印象的那种 p 值，你就是问题的一部分，而不是解决方案。

如果你认为学术界是唯一一个你的薪水取决于你创造好看的 p 值的地方，那你再想想吧！

**妙语值:**经典统计推断归结为问 “我们收集的证据是否让原假设看起来很可笑？”p 值是笑点，用一个小数字总结了这个大测试问题的答案。

**似真值:**p 值越高，你的证据看起来就越可信，在这个世界里，我们不会完全疯狂地坚持我们的默认行为。请注意，这是关于你的证据在一个特定的世界中的合理性…而不是那个世界本身的合理性！

**被动值:**你的 p 值越高，你改变主意的理由就越少。继续做你被动计划要做的事情。要了解原因，请继续阅读。(但请记住，缺乏证据与缺乏证据并不是一回事。无声烟雾报警器并不总是意味着没有火灾。)

如果你喜欢视频，这里是第一部分:什么是 p 值？这可能会让你认为 p 可能是“小狗”的简称…

p 代表笑点！

还记得我们如何把统计推断归结为一句话吗？那是:

我们收集的证据让我们的零假设看起来可笑吗？

p 值是这个问题的笑点。它用一个小数字总结了答案。p 值越低，零假设看起来越荒谬！

那么，我们如何把答案变成是或不是呢？我们只是提前设定了一个门槛，来表明什么事情可笑到足以改变我们的想法。该阈值的别称是 显著性水平 。如果 p 值低于它，那就改变你的想法。如果没有，继续做默认情况下你乐意做的事情。

它是什么和它做什么

p 值的一个奇妙之处在于，它们使用起来很简单，而且相对安全……如果你为你的零假设和假设选择了正确的测试。(这是一个很大的如果！)但是不要忘记，你刚刚学到的是他们做的事，而不是他们是的事。

不要犯试图在简洁的一行程序中理解它们是什么的错误。

它们是一些奇怪的东西:关于一个特定假想宇宙中样本的概率陈述。它们绝对不是你想要它们成为的那种直截了当的东西；它们不是为了直观解释或简洁描述而设计的。它们是用来读取假设检验的输出的。

那么，他们是什么*？要明白这一点，你需要理解我们是如何计算它们的。我已经在我的其他文章中写过，例如这里，所以我将坚持在这里总结一下。*

总结:如何获得 p 值？

计算 p 值有五个步骤。

1. 选择默认动作。
2. 陈述零假设。
3. 陈述关于零假设所描述的世界如何运作的假设。
4. 制作一个世界模型(使用方程式或模拟)——这是统计学家的主要工作。
5. 找出这个世界咳出证据的概率至少和我们在现实生活数据中看到的一样糟糕。

第 2 部分:如何获得 p 值？

总结:你如何使用 p 值？

如何使用 p 值来获得假设检验的结果。(没有人会怀疑我的 xkcd 是山寨货。缺乏幽默不会引起任何人的警觉。)

第 3 部分:如何使用 p 值？

总结:简短说明

争议值/极化值: 如果你想了解关于 p 值争议 并阅读我对 p 值原因的所有情绪的看法，请查看本系列的下一篇文章: 为什么 p 值像针一样？

第 4 部分:用这个总结来检验你的理解！

使用 p 值的最安全方式

为了解释 p 值，您必须了解假设和零假设的每个细节。如果你得不到这些信息，那么对低 p 值的唯一有效解释就是:“有人对某事感到惊讶。”如果你不太了解正在讨论的某人或某事*，让我们都来思考一下这能告诉你多少。*

将低 p 值解释为:“某人对某事感到惊讶。”

试图用 p 值来说服某人是一个危险的赌注，你的受害者比你更无知。那些明白这是什么的人可能不会欣赏你试图侮辱他们的智慧。

感谢阅读！人工智能课程怎么样？

如果你在这里玩得开心，并且你正在寻找一个为初学者和专家设计的有趣的应用人工智能课程，这里有一个我为你制作的娱乐课程:

与凯西·科兹尔科夫联系

让我们做朋友吧！你可以在 Twitter 、 YouTube 、 Substack 和 LinkedIn 上找到我。有兴趣让我在你的活动上发言吗？使用表格取得联系。

什么是流程挖掘？

原文：https://towardsdatascience.com/what-is-process-mining-8afae06b5c33?source=collection_archive---------25-----------------------

弗兰基·查马基在 Unsplash 上拍摄的照片

一种分析方法，旨在基于事实数据构建详尽客观的流程愿景

背景和问题

在企业环境中，许多业务流程部分甚至完全由 IT 系统支持:流程的数字化代表越来越多的活动，由越来越多的系统支持，产生越来越多的数据。

话虽如此，询问研究过程的传统方法是否仍然足够是合理的:

• 记录目标流程的愿景是否足以让流程在实践中得以实施？
• 当察觉到与模型的偏差时，从主观角度寻求团队一致意见是否是最佳选择？
• 是否可以测量流程从开始到结束的实际执行速度？

过程挖掘提供了一种新的方法来考虑这些因素。

第一个定义

流程挖掘是一种分析方法，旨在基于事实数据构建详尽且客观的流程愿景。

流程挖掘处于数据挖掘和业务流程管理的十字路口

因此，过程挖掘是一种高附加值的方法，当涉及到建立一个过程的实际实施的观点，并确定与理想过程的偏差，瓶颈和潜在的过程优化时。

它是如何工作的？

无论流程的性质如何，一旦得到数字工具的支持，信息就会被相应的 it 系统 (ERP、业务应用程序等)创建和存储。)，尤其是通过应用程序日志。这些存储的信息通常具有相似性，并使得**有可能在不同的时间通过不同的阶段来追踪“物体”**的路径。

流程挖掘基于工具，这些工具使用这些数字足迹来重建、可视化和分析流程，从而为真实流程提供透明度和客观性。

流程分析基于应用程序日志

所需数据

为了可用，这些数字足迹必须至少包括:

• Object :在整个流程中被跟踪的实例，具有唯一的标识符。这个对象的选择影响了所研究过程的范围
• 活动:学习过程中的一个步骤。活动的选择会影响流程的粒度
• 日期:决定活动的顺序和时间

此外，根据流程收集额外数据可能会很有趣，例如:供应商、产品类型、位置、人员/管理、渠道、价值……这些将允许进一步调查。

过程可视化和分析

从这些数据中，可以看到理想过程的表示和所有偏差**。这样可以及早发现流程中潜在的低效率。**

除了过程的表示，还可以查看每个步骤的执行时间，或者查看更有限的范围，以便识别过程在哪里、何时以及为什么偏离其理想版本。

采购流程示例

对于由 4 个步骤组成的简化采购流程(“记录订单”、“接收货物”、“记录发票”和“支付发票”)，订单遵循的流程可从 ERP 中留下的数字**足迹**中追溯。

剥削数字脚印:

过程可视化:

您会很快注意到，与遵循理想流程的**订单 1** (黑色)相比，其他两个订单出现了偏差:

• **订单 2** (紫色)之后是一个额外的步骤:“更改价格”。
• **顺序 3** (蓝色)遵循正确的步骤，但顺序不理想

使用案例和优势

流程挖掘有三个主要用例:

1. 发现:在没有先验模型的情况下，构建现有流程的愿景
2. 验证正确实施和分析与先前模型的偏差
3. 流程改进

在所有这三种情况下，基于客观和详尽的数据的对过程的实际实现的理解，使得过程挖掘方法更有价值。

此外，该方法代表了流程管理领域的改进:

• 加速研究(限制花费的时间和访谈次数)以建立现有流程的代表性
• 在测量中考虑更多的数据，甚至数据的穷尽性
• 一旦设计了新流程，就有机会确保有效管理其使用并看到改进

流程挖掘并不致力于特定的活动领域:这种方法将能够在流程被实施和研究的任何地方带来价值。在一家公司内，几个职能部门可能对这种方法感兴趣:

• 卓越运营团队:补充已经使用的方法(精益、六适马等)。)
• 数据科学家:数据的可视化表示以产生新的见解
• 流程经理:补充其专家视野的事实分析
• CIO:系统使用的远景和相应的用户路径
• 审计或内部控制:更快的分析和依赖案例的详尽性而不是样本的可能性

关键成功因素

为了获得好的结果，流程挖掘计划的启动需要一些预防措施。可以注意到，重要的是:

• 从一开始就确定增值目标:降低成本、改善用户/客户体验…
• 从过程角度定义明确的研究范围
• 在固定的总时限内，用短周期分析反复操作和
• 确保研究所依据的数据的质量。要做到这一点，与所用系统的 it 专家以及所研究流程的业务专家合作是必不可少的
• 在目标过程重新定义的情况下，伴随的改变

此外，Process Mining 进行的分析本身并不是目的，而是作为进一步流程研究的实际起点。重新引入人的方面，例如通过使用设计思维方法，使得通过考虑最终用户来深化通过流程挖掘获得的结果成为可能。

来源

PyTorch 是什么？

原文：https://towardsdatascience.com/what-is-pytorch-a84e4559f0e3?source=collection_archive---------13-----------------------

想想 Numpy，但是有强大的 GPU 加速

介绍

PyTorch 是一个 Python 程序库，方便构建深度学习项目。我们喜欢 Python，因为它易于阅读和理解。PyTorch 强调灵活性，允许深度学习模型用惯用 Python 表达。

简单一句话，想想 Numpy，但是有强大的 GPU 加速。更好的是，PyTorch 支持动态计算图，允许你动态改变网络行为，不像 Tensorflow 等框架中使用的静态图。

为什么是 PyTorch？

GPU 上类似 NumPy 的数组

-动态计算图

-是蟒蛇皮！

检索自 PyTorch Github

入门指南

PyTorch 可以在 macOS 上安装和使用。为了利用 PyTorch 的 CUDA 支持的全部能力，建议但不要求使用 NVIDIA GPU。

用 Anaconda 安装

conda install pytorch torchvision -c pytorch

使用 pip 安装

pip3 install torch torchvision

如果你在安装上有任何问题，在这里找到更多关于安装 PyTorch 的不同方法。

如果你的电脑中没有 NVIDIA GPU，那么使用 Google Colab 来利用其免费的 GPU 功能吧！点击左上方的新笔记本开始。

记得在运行笔记本之前将运行时类型更改为 GPU

想想 Numpy 但是有强大的 GPU 加速！

你熟悉 Numpy 吗？太好了！您只需要将使用 on Numpy 的语法转换为 PyTorch 的语法。如果你不熟悉 Numpy，PyTorch 的编写方式非常直观，你可以在几秒钟内学会。

导入两个库以比较它们的结果和性能

import torchimport numpy

张量

PyTorch 张量类似于 NumPy ndarrays，可以选择在 GPU 上运行。

>>> numpy.array([[0.1, 1.2], [2.2, 3.1], [4.9, 5.2]])array([[0.1, 1.2],
       [2.2, 3.1],
       [4.9, 5.2]])>>> torch.tensor([[0.1, 1.2], [2.2, 3.1], [4.9, 5.2]])tensor([[0.1000, 1.2000],
        [2.2000, 3.1000],
        [4.9000, 5.2000]])

我们在这里看到了什么？tensor代替了array.还记得我们喜欢的np.empty()、 np.random.randn()、np.zeros()、np.ones()吗？PyTorch 可以应用相同的函数和语法

w = torch.empty(3, 3)
print(w,'**\n**', w.shape, '**\n**')x = torch.randn(3, 3, 7)
print(x,'**\n**', x.shape, '**\n**')y = torch.zeros(3, 3)
print(y,'**\n**', y.shape, '**\n**')z = torch.ones(3, 3)
print(z,'**\n**', z.shape, '**\n**')[0., 0., 3., 0., 0.],         
        [4., 0., 5., 0., 0.],         
        [0., 0., 0., 0., 0.]

形状和视图

用view()方法改变形状

>>> x = torch.rand(100,50)
>>> print(x.shape)
torch.Size([100, 50])>>> y=x.view(20,5,50)
>>> print(y.shape)
torch.Size([20, 5, 50])>>> z=x.view(-1,5,50)
>>> print(z.shape)
torch.Size([20, 5, 50])

CPU 和 GPU 中的张量

GPU(图形处理单元)由数百个更简单的核心组成，这使得训练深度学习模型的速度快得多。下面是 GPU 和 CPU 的快速对比。

来源

无论我们决定使用 GPU 还是 CPU，PyTorch 都可以让我们轻松地在两者之间切换

cpu=torch.device("cpu")
gpu=torch.device("cuda:0") # GPU 0# Create tensor with CPU
x=torch.ones(3,3, device=cpu)
print("CPU:",x.device)x=torch.ones(3,3, device=gpu)
print("GPU:",x.device)x=torch.ones(3,3).cuda(0)
print("CPU to GPU:",x.device)x=torch.ones(3,3, device=gpu).cpu()
print("GPU to CPU:",x.device)

比较 CPU 和 GPU 的时间

CPU 时间

>>> import time
>>> x=torch.rand(10000,10000)
>>> y=torch.rand(10000,10000)>>> t = time.time()
>>> z=x@y
>>> t = time.time()-t
>>> print(t)6.999474763870239

GPU 中的时间

>>> yc=y.cuda(0)
>>> t = time.time()
>>> z=xc@yc
>>> t = time.time()-t
>>> print(t)0.4787747859954834

对于简单的矩阵乘法，它比 Numpy 快 15 倍！

NumPy 呼叫 PyTorch

既然 NumPy 和 PyTorch 真的很像，那么有没有方法可以把 NumPy 数组改成 PyTorch 数组，反之亦然？是啊！

a = np.ones(5)#From NumPy to Torchb = torch.from_numpy(a)print('a:',a)print('b:',b)

PyTorch 的亲笔签名

什么是亲笔签名？还记得在你的微积分课上，你需要计算一个函数的导数吗？梯度类似于导数，但是是矢量形式。计算神经网络中的损失函数是很重要的。但是由于维数很高，通过求解数学方程来计算如此大的复合函数的梯度是不切实际的。幸运的是，PyTorch 可以在几秒钟内找到这个梯度的数值！

假设我们想求下面向量的梯度。我们期望 y 的梯度为 x，用张量求梯度，检查是否得到正确答案。

厉害！梯度是 x，和我们预期的一样。分解上述代码:

• requires_grad = True允许有效的梯度计算。如果我们知道我们将计算基于 x 的梯度，我们需要为输入设置.requires_grad = True。点击了解更多关于亲笔签名的工作方式。
• y.backward()数值计算梯度
• x.grad()返回 y 在 x 点的梯度

例子

让我们通过一个分类示例来了解如何使用 PyTorch。我们的任务是找到一个点是否在黄色或紫色的簇中

首先构建一个用于构建神经网络的 PyTorch 模块的子类nn.Module,。

将数据分为训练集和测试集

训练数据

预测和评估预测

结论

恭喜你！您刚刚学习了 PyTorch 是什么以及如何使用它。本文只是对 PyTorch 的一个委婉的介绍。我希望你从这篇文章中获得的是，深度学习可以通过这个工具变得简单高效。要了解更多关于如何将 PyTorch 用于您的深度学习项目，我推荐查看这本伟大的书: 用 PyTorch 进行深度学习 *，*了解 PyTorch 的最佳资源之一。

在这个 Github repo 中，您可以随意使用本文的代码。

我喜欢写一些基本的数据科学概念，并尝试不同的算法和数据科学工具。你可以在 LinkedIn 和 Twitter 上与我联系。

如果你想查看我写的所有文章的代码，请点击这里。在 Medium 上关注我，了解我的最新数据科学文章，例如:

[## 用美丽的声音抓取维基百科

关于如何使用 Beautiful Soup 的分步教程，这是一个用于 web 抓取的简单易用的 Python 库

towardsdatascience.com](/step-by-step-tutorial-web-scraping-wikipedia-with-beautifulsoup-48d7f2dfa52d) [## 如何用 Word2Vec 解决类比问题

美国之于加拿大，就像汉堡之于 _？

towardsdatascience.com](/how-to-solve-analogies-with-word2vec-6ebaf2354009) [## 如何用 Faker 创建假数据

您可以收集数据或创建自己的数据

towardsdatascience.com](/how-to-create-fake-data-with-faker-a835e5b7a9d9) [## 如何用 Python 对 Tweets 进行标记

我们应该选择 TweetTokenizers 还是其他 4 种常见的 Tokenizers？

并控制您的阵列

towardsdatascience.com](/boost-your-efficiency-with-these-6-numpy-tricks-29ca2fe81ecd)

什么是推理？

布雷特·乔丹在 Unsplash 上的照片

(这是人工智能推理系列的第一部分)

前阵子我在 AI 写了一篇关于 六个容易和不那么容易的棋子的文章。推理是我不太容易完成的清单上的第一项。在这一系列文章中，我将仔细研究推理——它是什么，为什么它很重要，以及它与当前流行的机器学习有何不同。沿着这条路，我追溯了计算推理的历史，并强调了一些今天仍然相关的重要思想和系统。

从 20 世纪 60 年代开始，人工智能研究分成了两个阵营——基于规则的系统和机器学习等经典方法。早期的优势属于古典技术。但是，特别是在过去几十年里，这一趋势几乎完全逆转，机器学习成为人工智能重大进步的主要来源。ML 是如此的成功，以至于它成为了视觉、听觉和语言应用的主流。但是，像推理这样更复杂的任务仍然远远超出了今天可能实现的舒适区。另一方面，经典方法几乎只关注像推理这样的高阶问题。我相信我们现在正处于一个拐点——经典和机器学习方法已经足够发展，将它们结合在一起可以将人工智能推向下一个水平。

人工智能现在可以做一些惊人的事情。它可以回答我们的问题，驾驶我们的汽车，让世界领导人唱歌，从一张照片中创作电影，甚至创作艺术。所有这些能力都是预测的例子——以图像、音频或文本作为输入，并返回类别、文本或控制命令作为输出。这些类型的预测不是微不足道的，可以是任意复杂的管道的结果，并使用控制系统、传统机器学习和深度学习的方法的组合。但在所有情况下，这些管道中的步骤都是固定的(尽管它们可能被跳过)，并且产生的模型(或管道)针对非常狭窄的问题(问题回答、图像分类、控制车辆)。你不能让一个问答模型来控制一辆汽车，或者让一个玩游戏的模型来检测核磁共振成像中的肿瘤。今天的每个人工智能都是专门构建的，并经过大量训练来实现那一个(狭窄的)功能。

现在将这与人类大脑的工作方式进行比较——我们可以开车、煮咖啡、回答问题、玩视频游戏，最重要的是，学会做非常不同的新事物。我们甚至可以学习用不同的方式完成旧的任务。我们从很少的例子中学会做这些工作，同时在不断做的过程中不断变得更好。

那么推理有什么不同呢？

最简单地说，推理可以被认为在复杂性上至少比预测高一个级别——如果预测是在给定正确的架构和管道的情况下训练模型，那么推理就是找出架构和管道本身。换句话说，如果问题的解决方案是一系列预测(和其他工程)步骤，那么推理就是构建这些步骤序列的能力。推理可以应用于许多不同类型的任务。当你思考如何做某事时，这被称为解决问题。当你对某事为什么会发生进行推理时，这被称为因果推理。

为什么推理比预测更难？

直觉上，在训练这个序列的基础上构建一个步骤序列比训练本身更困难是有道理的。但是为了理解推理有多困难，我们必须使用一个类比…考虑制作咖啡的问题。给定咖啡机、牛奶、咖啡豆、研磨机、起泡器和一套操作说明，制作拿铁咖啡只是找到每种成分的正确用量的问题(咖啡的量、研磨机上的毛刺、使用多少牛奶、起泡多长时间、牛奶与泡沫的比例等等)。这一步需要一些尝试和错误，但经过几次尝试后，你就可以做对了。预测也差不多。你会得到一堆资源和如何使用它们以及使用顺序的说明，而预测是找到每种成分的正确用量的过程。

现在想象一下，你只是得到了制作咖啡的原料和工具。你不能把水倒在豆子上。你加热水，研磨咖啡豆，把咖啡放在杯子上的过滤器里，然后把水倒在咖啡豆上。你不能简单地独立于牛奶运行起泡机，你必须确保起泡机在牛奶中才能产生泡沫。这个问题肯定更难，是关于 autoML 工作的水平。

但是如果你连原料和工具都没有呢？有人给你指了一家咖啡店(或超市)的方向，让你去煮咖啡。你必须选择正确的原料，正确的工具，正确的设置，并找到每种原料的正确数量，才能在堆满东西的咖啡馆(或仓库)里制作咖啡。这就是推理的复杂性。

那么，什么是推理呢？

我将谈论推理的技术方面，包括表示和问题空间、策略、奖励和损失函数，当然还有 AutoML。但是现在，我想保持它的简单，并提供一个技术/算法/模型应该满足的四个品质来作为一个推理系统。

推理系统的四个品质:

1. 它是一个独立的模型或系统
2. 可以解决新问题
3. 从有限数量的试验来看
4. 同时通过练习变得更好。

所谓自包含，我只是说它不需要为不同的任务进行外部修改(由建模师/程序员/用户/科学家)。它可以是模型、算法或系统的集合，只要它在学习新任务时不被触及。

它应该能够解决以前从未见过的问题，无论是通过例子，或指令，甚至是试错法。

它应该在有限的时间范围内从少量的例子中解决这些新问题

最后，它应该通过实践变得更好。我们之前没有谈到这个质量，但这是必要的，因为质量 1-3 可以通过反复试验来实现(对于大值的 *limited)* 。

预测、推断和推理之间有什么区别

预测就是模式匹配。给定大量数据，预测学会将输入映射到输出。

推理是产生新信息的过程。这是一个没有目标的自动过程。它就像一台机器，接受输入，然后简单地把新信息作为输出。

推理是有目标的(或目标导向的)推理，其中输入被仔细地选择、组织，并且推理机制被创造性地用于产生期望的结果。

为什么专注于推理？

机器学习已经非常擅长预测任务，尤其是当问题定义明确并且有大量数据可用时。但是这些系统非常脆弱，容易受到敌对攻击，并且不能优雅地降级。让他们更有弹性的一个方法是通过识别和从失败中恢复的方法来增强他们的能力，这涉及到在没有外部机构的情况下尝试解决新出现的问题。

晁盖艾怎么了？

针对我上面列出的每一个品质，ML 中正在进行研究——终身学习以建立一个学习多项任务的单一模型，一次和零次学习以从有限的数据中解决新问题，各种各样的 RL 技术允许代理通过重复变得更好，autoML 技术试图学习最有效的管道来解决问题，等等。但事实仍然是，在这些系统目前的能力和构建能够推理的系统所需的能力之间存在巨大差距。

几十年来，经典人工智能一直在研究这个问题，并且有许多系统可以在比 ML 更大的领域中进行推理。更重要的是，经典 AI 和 ML 优势互补。经典人工智能擅长处理离散的信息单元，但无法将这些单元与像素和音频世界联系起来。ML 擅长将像素、音频流和字符转换成其他离散的信息单元，但不擅长操作它们。缺少的是这些系统彼此之间不能很好地交流。深度神经网络等 ML 技术产生的离散单元不是经典技术使用的那种单元。

鉴于经典人工智能在推理方面的成功和 ML 在感知和行动方面的成功，现在似乎是从经典人工智能的角度重新审视推理的好时机，看看我们可以从以前的成功和失败中学到什么。

这个系列的下一步是什么？

我知道我想在哪里结束这个系列——通过介绍目前正在做的结合这两种方法的一些工作，但是我不清楚我想在这里和那里之间走哪条路。在经典人工智能中，我想谈论的话题很少，包括表示、不同种类的推理、逻辑系统、物理符号系统和认知架构。我希望在接下来的几篇文章中，从经典人工智能的简史开始，浏览这些主题。

免责声明:本文表达的观点是我个人的，不一定代表我的雇主的观点。

你可以在我很少发帖子的 Medium 上关注我，也可以在我很少发微博的 Twitter (@manashastram)上关注我。:)

使用岭、套索和弹性网回归进行正则化

概述 3 种常见正则化技术的差异-山脊、套索和弹性网。

你已经训练了一个回归模型，你的 R 回来了，看起来很好——几乎好得不能再好了。当然，下一个合乎逻辑的步骤是看看测试数据集的进展如何。剧透警告:它不会有接近成功的训练集。

与计算机打交道有一种让我们脱离现实的方式，过度拟合/欠拟合模型就是证明。例如，在建筑中，计算机辅助设计(CAD)使绘图员能够画出极限公差，例如 0.001 英寸。如果你画一个平面图，告诉挖掘机挖一个 34.963 英寸深的沟渠，你真的能指望重型机械有那种精度吗？你能指望一个在野外工作的木匠把木材切割到 0.001 英寸吗？凭经验我可以告诉你，这是不会发生的。沟渠大约有 36 英寸(3 英尺)深，木板可能会被修圆到最接近的 1/8 英寸，或者如果你幸运的话，1/16 英寸。这是一个现实世界中经常发生的过度拟合计算机模型计算的例子。

一个真实世界的欠拟合例子是一个煤气炉，它只有两个输入设置，最大热和关。因为你产出的食物要么被烤焦了，要么还是生的，所以你几乎不可能把任何东西都煮熟。

你可能会问*所有这些与正规化有什么关系？*答案是一切。通过降低模型对训练数据中某些噪声的敏感度，向模型中添加适量的偏差有助于做出更准确的预测。

点击图片阅读更多 Sci-Kit Learn

在蓝点上方的图中，是来自现实世界的样本数据点。这些样本与黄线的距离，即“真实函数”，被称为数据的“噪声”。样本点到蓝线的距离被称为我们模型的“误差”。

# Equation of True Function
**def** true_fun(X):
    **return** [np.cos](https://docs.scipy.org/doc/numpy/reference/generated/numpy.cos.html#numpy.cos)(1.5 * [np.pi](https://docs.scipy.org/doc/numpy/reference/constants.html#numpy.pi) * X)

欠拟合模型的预测根本不能解释真实函数的样本数据。真实函数比一个一次的简单线性方程更复杂。如果你需要复习如何确定多项式函数的次数，请参考这个网站。

这个模型的一个很好的类比是，在多项选择测试中，每个问题的答案都是“C”。当然，你可能会在几个问题上走运，但你会答错绝大多数。

过度拟合模型的预测线几乎完美地描述了真实函数——甚至更多。该模型的预测输出是一个超级复杂的 15 次多项式函数。随着模型的复杂性(程度)增加，模型开始不太关心其预测的误差，而更关心预测它所获得的训练数据的值。花点时间沿着过度拟合模型的预测线追踪，看看它离真正的函数有多远。

继续我们的考试类比，过度拟合模型找到了我们考试的答案并记住了那个答案。当我们给模型一个没有答案的考试会发生什么？很有可能它会悲惨地失败。

合适的模特在金发区。它既不太简单也不太复杂。作为一个 8 次多项式函数，该模型仍然具有复杂性，但该模型在看穿样本数据中的噪声方面做得很好。这允许模型极大地减少来自过度拟合模型的误差，并且更准确地预测真实函数值。这个模型拟合的黄金地带就是我们试图通过正则化来实现的。

正则化技术

岭和套索回归技术扩展了简单的线性回归。在继续之前，让我们回顾一下 OLS 的倒退:

使用 RSS 作为成本函数的多变量 OLS 回归

成本函数衡量模型输出与实际数据之间的差异。线性回归有多个成本函数，如 RSS 、 MSE 、 RMSE 。在上例中，成本函数是 RSS(y _ actual-y _ predicted)。预测值可以用你的回归线方程代替。您的特征系数，也称为斜率，是(mⱼ).这些特征系数是我们用正则化技术处理的对象。

注意:在这篇文章中，我将预测器和特征作为同义词使用。预测值是模型中使用的独立变量(x 变量)。如果您正在构建一个身体质量指数估计器，高度很可能是您的预测因素之一。

在构建模型时，无论是哪种类型，您都必须执行适当的数据清理和探索技术，以完全理解您的数据。本博客中的所有正则化技术都应用了基于预测系数的惩罚。这意味着你必须在应用这些算法之前标准化你的数据。

这些技术的假设取决于应用正则化技术的模型的类型。如果你需要重温一下 OLS 模型的假设，请看看我之前的博文。

里脊回归

岭回归是 OLS 成本函数的一个小扩展，随着模型复杂性的增加，它会给模型增加一个惩罚。数据集中的 predictors(mⱼ越多，r 值就越高，模型过度拟合数据的可能性就越大。岭回归通常被称为 L2 范数正则化。

岭成本函数-请注意λ(λ)乘以预测值的平方和

请记住，目标是最小化成本函数，因此惩罚项(λ * sum(mⱼ)越大，模型的性能就越差。此函数会因您的模型有太多或太大的预测值而惩罚您的模型。岭回归的目的是减少这些预测因子的影响，从而降低数据过度拟合的几率。如果我们设置λ = 0，那么这将是一个正常的 OLS 回归。

岭回归最常见的用途是抢先解决过度拟合问题。当您必须保留所有预测值时，岭回归是处理多重共线性的好工具。它通过缩小预测值的大小来解决共线性问题，但从未消除它们。

如果有许多大约相同量级的预测值，岭回归效果很好。这意味着所有预测器预测目标值的能力相似。

套索回归

当你看着下面的等式，心里想“这看起来几乎和岭回归一样”嗯，你大部分都是对的。Lasso 不同于岭回归，它对预测值(mⱼ)的绝对值求和，而不是对平方值求和。

套索成本函数-请注意λ(λ)乘以预测值的绝对值之和

Lasso 是首字母缩略词，代表“最小绝对收缩和选择算子”由于罚项不是平方，有些值可以达到 0。当预测器系数(mⱼ)达到 0 时，该预测器不会影响模型。

由于 Lasso 的要素选择属性，它非常适合多重共线性。解决两个预测变量的共线性的最有效方法之一是删除其中一个。然而，移除是有代价的。可能存在变量集合共线的情况，并且仍然提供进行估计的价值。Lasso 将任意选择一个预测器进行预测，并放弃另一个。

如果很少有重要的预测因素，并且其他因素的大小接近于零，那么 Lasso 往往表现良好。换句话说**，**一些变量是比其他预测值更好的目标值预测值。

弹性净回归

那么，如果我不想选呢？如果我不知道自己想要什么或需要什么怎么办？弹性净回归是作为对套索回归的批判而产生的。虽然它有助于功能选择，但有时您不希望主动删除功能。正如你可能已经猜到的，弹性网是套索和脊回归的结合。因为我们已经知道了岭和套索回归是如何起作用的，所以我就不赘述了。请参考 sci-kit learn 的文档。

λ₁是套索罚分(L1)，λ₂是岭回归罚分(L2)

如上图所示，现在有两个λ项。λ₁是回归套索部分的“alpha”值，λ₂是岭回归方程的“alpha”值。当使用 sci-kit learn 的弹性网络回归时，阿尔法项是λ₁:λ₂.的一个比率**当设置比率= 0 时，它作为岭回归，当比率= 1 时，它作为套索回归。介于 0 和 1 之间的任何值都是脊线和套索回归的组合。**

如何使用这些回归技术

套索回归

下面是我用来构建下图结果图的代码。这个模型是使用 Sci-Kit Learn 的波士顿住房数据集创建的。

from sklearn.model_selection import GridSearchCV# Create an array of alpha values to test
# Start np.linspace value is 10**-10 because a value of 0 throws warnings
alphas = np.logspace(-10, 1, 1000,base=10)# Create dictionary key,value pair of alpha values
tuned_parameters = [{'alpha': alphas}]# Specify number of folds for cross_validation
n_folds = 5# Create grid search instance using desired variables
clf_lasso = GridSearchCV(lasso, tuned_parameters, cv=5, refit=True)
clf_lasso.fit(x_train_scaled, y_train)
lasso_scores = clf_lasso.cv_results_['mean_test_score']# Plot the results
plt.figure().set_size_inches(8, 6)
plt.plot(alphas, lasso_scores)
plt.xlabel('Alpha Value')
plt.ylabel('Model CV Score')
plt.title('Lasso Regression Alpha Demonstration')
plt.axvline(clf_lasso.best_params_['alpha'], color='black', linestyle='--')
print(f'The optimal alpha value is :{clf_lasso.best_params_["alpha"]}')

波士顿住房数据的优化 Lasso 回归

请注意，最佳 alpha 值是 0.0106，而不是 0。这证明了添加这一点 alpha 比纯线性回归产生了更高的交叉验证分数。从这张图表中很容易看出，随着 alpha 值的增加，CV 值接近并达到 0。

在 alpha 值为 1 时，几乎 2/3 的特征被移除，并且测试 R 仅降低了大约 0.1！

上图显示值为 1 时，套索回归移除了 8 个特征，在总共 13 个预测因子中只剩下 5 个。随着特征的去除，模型的预测强度下降，但是现在模型更简单了。这让我们对好的特性选择的力量有了一点了解。

里脊回归

再次，像套索回归这里是代码和下图产生。

from sklearn.model_selection import Ridge# Create an array of alpha values to test
alphas = np.logspace(-1, 1.5, 500,base=10)# Create a Ridge regression model instance
ridge = Ridge(random_state=0, max_iter=10000,alpha=alphas)# Create dictionary key,value pair of alpha values
tuned_parameters = [{'alpha': alphas}]# Specify number of folds for cross_validation
n_folds = 5# Create grid search instance using desired variables
clf_ridge = GridSearchCV(ridge, tuned_parameters, cv=5, refit=False)
clf_ridge.fit(x_train_scaled, y_train)
ridge_scores = clf_ridge.cv_results_['mean_test_score']# Plot the Figure
plt.figure().set_size_inches(8, 6)
plt.plot(alphas, ridge_scores)
plt.xlabel('Alpha Value')
plt.ylabel('Cross Validation Score')
plt.title('Ridge Regression Alpha Demonstration')
plt.axvline(clf_ridge.best_params_['alpha'], color='black', linestyle='--')
print(f'The optimal alpha value is: {clf_ridge.best_params_["alpha"]}')

Sci-Kit Learn 波士顿住房数据的岭回归优化

与套索回归不同，我们可以在这里看到随着 alpha 值的增加，该值是如何接近 0 的。如果你愿意，你可以在 GitHub 笔记本上增加 alpha 值，看看它永远不会达到 0。

在岭回归图中，我们看到 alpha 值为 2.97 时，我们的模型比值为 0 时有更好的性能。请记住，alpha 值为 0 等于正态回归。这证明了适量的偏差可以改善你的模型，防止过度拟合！

结论

就是这样！现在，您可以使用优化的 alpha 值来运行您选择的回归。下面是我们讨论内容的简要总结:

什么是正则化 :对抗过拟合和提高训练的技巧。

弹性网——脊和套索的混合物

如何使用正则化:

1. 分割和标准化数据(只标准化模型输入，不标准化输出)
2. 决定哪一个回归技术脊，套索，或弹性网，你希望执行。
3. 使用 GridSearchCV 优化超参数 alpha
4. 用你现在优化的 alpha 构建你的模型并进行预测！

谢谢你花时间阅读我的博客。在我的 GitHub 库中可以找到该笔记本的全部细节。如果您有任何问题或有建设性的批评，请随时联系我！

领英:【www.linkedin.com/in/blake-samaha-54a9bbaa

推特:@Mean_Agression

什么是强化学习？

奖励和惩罚

在 Unsplash 上 NeONBRAND 拍摄的照片

机器学习是 IT 界讨论最多的领域之一。随着图像和语音识别、自动驾驶汽车、产品推荐和欺诈检测的大范围普及，机器学习无处不在。

ML 的一个子领域专注于通过自学发现问题的解决方案。这里，我们可以以电子游戏为例。当来自一家名为 Deepmind 的公司的一小组研究人员发表了一篇关于用强化学习玩雅达利的论文时，这个领域受到了很多关注。以至于谷歌后来花了一大笔钱收购了该公司。

当 AlphaGo 在围棋比赛中击败世界冠军时，强化学习的力量不再被忽视。读完这篇文章后，你将对强化学习及其应用有一个基本的了解。

强化学习

照片由克里斯里德在 Unsplash 拍摄

强化学习是对机器学习模型的训练，以针对给定场景做出一系列决策。

在其核心，我们有一个自主代理，如人、机器人或深度网络学习来导航不确定的环境。这个代理的目标是最大化数字奖励。

体育就是一个很好的例子。让我们考虑一下我们的经纪人在网球比赛中需要处理的事情。

代理人将不得不考虑其行动，如发球和截击。这些行为改变了游戏的状态。换句话说，当前设定的分数和领先的玩家。

每一个行动都是有回报的。代理人必须赢得一分才能赢得一局、一盘和一场比赛。

我们的球员需要遵循一定的规则和策略，以最大限度地提高最终得分。

为了在此基础上建立一个模型，它必须将一个状态和一个动作作为输入，然后将其转换为最大可能的回报。该模型还必须提前考虑，并考虑此类行动的长期结果。

这个过程因任务而异，这并不奇怪。建立一个可以打网球的模型和 Atari 是完全不同的。

监督学习与强化学习

照片由 Unsplash 上的延斯·勒列拍摄

强化学习不仅仅是监督学习的一种聪明说法。监督学习侧重于根据历史实例来理解环境。

然而，这并不总是合适的。一个常见的例子是在交通中驾驶。

想象一下，根据前一天的观察来做这件事，当时几乎没有任何汽车。这和开车时只看后视镜一样有效。

强化学习就是收集奖励。代理专注于正确转弯，必要时发出信号，以及不违反速度限制。此外，机器人可能会因危险行为而被扣分，例如超速行驶。

目标是在给定当前交通状态的情况下最大化点数。这里强调的是，一个动作导致状态的改变，而监督学习并不关注这一点。

探索与开发

照片由摄影爱好在 Unsplash 上拍摄

假设我们把一个全新的机器人放在一个房间里。他的目标是找到螺栓和螺丝钉。这里的机器人是智能体，房间是环境。他有四种可能的动作:向左、向右、向前或向后移动。

机器人的状态由几个东西组成，是他当前的位置和以前的位置。如果他移动，状态会改变，但是我们还不知道这个移动是对还是错。

所以我们让机器人探索房间。走了一会儿后，我们的机器人终于找到了一些螺丝钉。机器人因为做了正确的事情而获得奖励。

现在，我们的机器人必须遵循的政策是积分最大化。他知道，通过再次采取同样的路线，他一定会达到目标，并得到一些积极的反馈。

然而，这条路径远非最佳，任何类型的机器人都只能一次又一次地沿着同一条路径前进。探索和探索之间的权衡来了。

如果我们的机器人遵循同样的道路，他将利用他所学到的知识，并最终达到目标。然而，如果我们让机器人四处游荡寻找更好的路径，他将利用探索。

假设我们给我们的机器人 10 个回合来了解环境并找到更好的路线。过了一段时间，他找到了一条路径，只需要以前一半的步骤。然而，在这个过程中，他也走了一些不好的路。

在这种情况下，如果我们让另一个机器人跑 10 圈，并且只使用他找到的第一条路径，这个机器人可能会收集更多的螺栓和螺钉。

这是研究人员在开发强化学习模型时必须处理的权衡问题。

现实生活中的例子

Bram Van Oost 在 Unsplash 上拍摄的照片

强化学习模型必须经过良好的训练和优化，以适应现实生活中的情况。代理周围的场景和环境每次都会发生变化。

例如，我们在一辆自动驾驶汽车内，我们希望汽车在安全性方面得到优化。然后，如果我们看到前面汽车的刹车灯，可能是时候减速了。然而，如果我们在路上看到一块巨大的岩石，我们预计汽车会停下来。

另一个令人印象深刻的项目旨在制造假腿，它将能够识别行走模式并做出相应的调整。作为原型，研究人员已经开发了一种可以自主学习的虚拟跑步者。

我们已经知道，强化学习是一个具有很大潜力的强大工具。唯一的事情是，我们需要大量的数据和训练，才能驾驭现实世界的情况。

在大规模计算领域已经有了一些令人乐观和印象深刻的成果。这些系统可以探索具有大量状态的大规模环境，例如大型视频游戏中的环境。

最后的想法

强化学习简单而强大。鉴于最近的发展和快速进步，它有可能成为深度学习领域的一支重要力量。然而，重要的是要记住，强化学习只是解决现实世界问题的许多现有方法之一，它有其优点和缺点。

正如我们在 AlphaGo 的例子中看到的那样，强化学习有可能让机器变得更有创造力。这个领域的入门很简单，只需参加一个短期课程或开发一个小程序，例如机器人寻找螺栓。

参考

[1] Bajaj，P. (2020 年)。强化学习。2020 年 9 月 16 日检索，来自https://www . geeks forgeeks . org/what-is-reinforcement-learning/

[2]奥辛斯基，b .，&布德克，K. (2018)。什么是强化学习？完全指南。检索于 2020 年 9 月 16 日，来自https://deep sense . ai/what-is-reinforcement-learning-the-complete-guide/

什么是研究？

原文：https://towardsdatascience.com/what-is-research-e119da986a96?source=collection_archive---------55-----------------------

作者拍摄

通过我们的思想发现自然

下面分享的所有观点都是基于我的经验和我的信念。这不是绝对的事实，而是我所想的一种天真的看法。

什么是研究？

一些有趣的定义:

研究是“为增加知识储备而进行的创造性和系统性工作，包括人类、文化和社会的知识，以及利用这些知识储备来设计新的应用。”它包括信息的收集、组织和分析，以增加我们对一个主题或问题的理解。(来源:维基百科)

科学研究是一种收集数据和利用好奇心的系统方法。这项研究为解释世界的本质和属性提供了科学信息和理论。它使实际应用成为可能。(来源:维基百科)

对我来说，研究是想要对未知做出反应的生物之间的一种普遍想法。如果我们看看过去，学者们掌握着知识，想要了解世界。每个人都有自己的愿景，这些愿景可以转化为基本问题，他们通过假设进行测试。
研究不是，找到答案，还是找不到答案。使假设无效的结果本身就是一个结果，因为它允许其他人不走这条路，并允许他们测试其他假设。研究是对未知事物提出科学问题的艺术。创造一个有问题的问题，并且能够用一系列的假设来测试它，并且能够向其他人解释路径，以便他们跟随你并且帮助你。

如果我们看看量子物理学的创建，来自所有国家的一群研究人员只花了几年时间，他们每年只聚会一次，交流他们的进展，以创建一个解释无限小的有限理论。今天所有的微电子工作都要归功于这个理论。尼尔斯·玻尔说:“如果量子力学还没有深刻地震撼你，你还没有理解。”

我觉得对于研究来说也是一样的，“如果你觉得不是为了遇见未知，那就是你还没想通”。

目前，研究并不性感。大多数研究人员花费超过一半的时间寻找资金。研究人员正在为发表论文而疯狂地竞争**，如果你想有一个好名声，一个好的 H 指数你必须每年发表 **2 到 3 篇论文**。大多数实验室都在战争中，无论是为了资金，为了招聘还是为了诋毁其他实验室的论文。**

疯狂的出版竞赛破坏了研究的本质，即回答未回答的问题，探索未知环境的系统空间。做好研究需要时间，通过证明和测试假设来充分回应。

今天，如果你在主要期刊或会议上发表了 X 篇论文，你就是一名研究员。但是做研究员不就是一种生活方式吗？一种观察和预测世界的方式？在别人会经过的地方提问？用天真的眼光去看未知的地方？

做研究意味着大部分时间生活在失败中，也就是承认当我们找到一个答案时，其他研究人员可用的时间使它变得无用和无用。但美丽的是发现快乐瞬间的火花，为科学做出哪怕是最小的贡献。就像一个刚找到一盒巧克力的孩子。发现的喜悦。不幸的是，这很快就会被一个繁琐的过程所玷污，让你证明自己是你所声称的那样。

很久以前，我的一位论文导师对我说“我们做研究不是为了赚钱”我笑了很久，对自己说这太荒谬了，在爬上所有的文凭之后，薪水必须与之相称。但是最后，我明白了，这几句话包含了我可能永远不会拥有的金玉良言。研究不是一份工作，而是一种生活方式，一种激情，它让你每天早上起来的唯一目的就是发现这个世界。成为未知领域的探险家。

出版物的数量每年都在激增，这使得一个人不可能面面俱到。另一个问题是，目前大多数发表的研究结果是错误的[2]，这很正常，我们是人，但我希望大多数错误不是故意犯下的，以在出版物中显示结果。此外，复制危机是研究中的一大重要偏见(科学研究很难或不可能复制或再现[3])。

大概是天真率真的眼光。然而，我愿意相信这是科学的目标。我没有研究员的身份，因为我没有发表的可能性。我攻读了天体物理学博士学位，现在在“人工智能公司工作。我将我的知识和科学方法应用于它，但没有发表，我不断地在文献、出版平台或研究人员的博客中寻找答案，以找到问题的解决方案，或者通过我的研究找到答案，感谢这种方法让我们探索未知。也许真正的研究人员会向我扔石头，但有多少人在做研究呢？我的意思是，有多少人足够幸运，能够不用浪费时间去找工作就能做研究？

现在在哪里做研究？

几年前，研究只在学院和大学里进行，现在这种趋势正在改变。公司越来越多地通过专门的研究和开发团队获得他们的位置(R&D)，非常大的公司有巨大的部门专门从事各种研究。GAFAMs 和其他跨国公司每年投资数十亿美元进行研究，以揭示秘密和创新。

大多数公司已经意识到，如果他们想保持对竞争对手的竞争优势，他们必须超越他们所拥有的知识。获取新知识需要研究来产生智力资本。

如何成为一名研究员？

大多数人会回答你需要博士学位，拿了博士学位才能成为研究员。这是真的，但不是全部，博士学位培养你成为一名研究员，但对于招聘医生来说，有几个级别的“博士”。第一类是研究人员，他们开始了他们的论文主题，发展了解决问题的直觉。他们尝试假设，比较方法，获得本领域和相关领域的知识。他们已经解决了他们的课题，甚至更多。他们是充满热情的人，渴望无穷无尽的知识。

第二种情况是读博士学位的人，因为这是他们学业的延续或其他人的影响。他们发现自己在一个主题中，他们在等待一个程序，被告知该做什么。我记得数据科学家职位的两个候选人，其中一个曾告诉我“为什么要做文学和技术调查？我有博士学位，我什么都知道”另一个人向我介绍了他的课题，这个人使用了算法，然后我问他为什么只选择神经网络和决策树，他的回答是“我被要求测试它们，并且它有效，所以我们没有看任何其他东西”。

所以不，有博士学位不一定就能成为研究员。我遇到过本科生或硕士生，他们研究对他们来说很重要的课题，一些他们在科学文献、书籍或博客中没有找到满意答案的基本问题。他们已经确立了他们的研究课题。最糟糕的是，大多数人从来不想读博士，因为他们认为这会影响他们的创造力。

我和工程师们一起工作，他们更多的是研究人员而不是工程师，他们想通过自觉地应用科学方法来推进他们的领域。
做研究员不是文凭，也不是发表名单；这是一种存在的方式，一种想要解决问题的方式。一种知道如何将一个问题分成子部分来建立假设、数据、模型、测试的方法。

一个博士教我们什么？

很多事情。上班时间和工作时间？不，因为当你累的时候，你会犯更多的错误，而且要花很多时间来纠正它们。在我读博士期间，我记得我花了三天时间在我的代码中寻找一个 bug，直到我找到它才能睡觉。筋疲力尽的我上床睡觉，第二天，睡了个好觉后，重读一遍代码，错误就完美地出现在我面前。疲劳什么也教不了。

所以，博士教给我们很多东西:

• 多角度思考一个问题
• 不要被卡住
• 阅读、理解并对他人的工作做出直觉判断
• 专注和集中
• 当你没有问题时，回到根本上来
• 制定一个有问题的
• 提问
• 创建假设
• 创造和测试事物
• 自由
• …
• 可选:专业知识

我想我不能阐述一个博士能带给你的所有东西，但这是值得的。但是，这取决于你，取决于你的主管，取决于你的实验室，取决于你手头的资源，取决于你周围的人。

对我来说，攻读博士学位是最好也是最糟糕的事情。最好是因为它教会了我日常使用的东西，而且我从来没有被卡住过，我总是在寻找解决方案。更糟糕的是，因为它需要大量的工作，你会失败，无论你的水平或你的天才，你将不得不失败。没有失败就没有成功。你会精疲力尽的。

很多时候，当你开始读博士学位的时候，你不知道它是什么，你不能教论文是什么或者你要做什么。我们从未为此做好准备。这么多学生第一年就止步不前或者转科，大概就是这个原因吧。我向那些想深入了解这一点的人推荐这篇文章。

应用 vs 研究 vs 数据，科学家

随着时间的推移，随着数据科学家职业的减少，这三种工作名称越来越多。那么它们之间的区别是什么呢？差别可能在于这些职位所需的知识深度。

• 数据科学家:总体来说，寻找、清理和结构化、分析、建模、可视化、呈现数据(这个职位可以远离研究，更多的是了解业务)
• 研究科学家:顾名思义，他们是做研究的。他们不关注业务、渠道或产品。他们专注于寻找不存在的答案。阐明假设，证明它们是否正确。研究人员研究的问题通常更深入，投入的时间比需要立即回报的商业项目更重要(研究需要几年，数据科学需要几周或几个月)。
• 那么，什么是应用科学家？这种情况越来越普遍。这是研究科学家角色的延伸，但是，它需要更多的软件知识来大规模应用解决方案(分布式或并行计算等，需要具有研究背景的 SDE 知识)。研究科学家更专注于科学发现，而应用科学家似乎对现实生活中的问题更感兴趣。

如何开始一个研究项目？

这是一个很好的问题，老实说，我没有完美的答案，因为我总是试图找出它。学术界或企业你最需要的东西“对某事的兴趣”，**你最感兴趣的是什么？**你热爱什么？这里有感兴趣的领域或应用。

从哪里开始？

不同的方式:

1-阅读文学

这是最常用的开始研究的方式，因为每个博士生都会以“文献综述开始他的论文，一般由“调查论文结束。这是一个缓慢的过程，非常缓慢，阅读科学论文并不容易，但随着时间的推移会变得容易。有利有弊，尽管 99.9%的研究人员对此深信不疑。

这种方法的优点是:

• 你在你的领域获得了专业知识
• 你知道有什么突破吗
• 你可以找到直觉，并发现在哪里搜索，在哪里你可以产生影响，有哪些问题没有答案(潜在的研究项目)
• 你有写论文的相关材料，因为你知道年表
• 你知道所有论文中使用的所有方法

缺点是:

• 到头来，你被过程带偏了。你只看到别人做什么，只看到他们想让你看到的
• 你知道人们如何做研究，你会复制同样的模式，同样的思考方式
• 文献有错误，可能难以复制
• 重新创建算法或数据的困难
• 不会帮助你发展自己的思维方式
• 文章的数量每年都在爆炸

2 —开始你的想法

与第一点相反。你有了一个想法，你就为之努力，直到你解决了它，而不需要做文献综述。从好的方面来看，你不会被文献中呈现的思维方式所偏见，你会阐明假设，找到验证或反驳它们的方法。你是这个过程的主人。不利的一面是，这个问题可能已经解决了不止一次，而且比你的解决方案更优雅。当文献已经给了你线索或解决方案时，缺乏专业知识会让你绕几个月的圈子。

3——学习导师给的科目

很可能是混合方法。你的导师是经验丰富的研究人员，他们对该领域有着完善的知识。他们知道什么可行，什么不可行。他们发现即将出现的潜在主题或问题。他们知道什么是有希望的，什么将产生很少。担心的通常不是你的想法。你信任那些对你感兴趣并让你解决他们问题的人。廉价劳动力。

4 -费曼方法

• 找到你感兴趣的主题
• 了解一下
• 教它，收集评论
• 努力克服你推理中的弱点
• 如果你还没有找到答案，回到第二步
• 对于新项目，回到步骤 1

我想，找了很久又找了一遍，没有完美的答案。这完全取决于地区，你能投入到项目中的时间。你可以建立的关系(联系可以帮助你的研究人员)。兴趣或领域的出现。

人工智能的领域非常广阔，似乎不可能掌握一切。但是，领域越广，寻找感兴趣的研究课题的空间就越大。无论如何要小心，大公司都在赌它，因此它是一个发展非常迅速的领域。

结论

不要害怕事情的消极面。得到警告并做好准备比发现自己被关在你不想去的地方要好？我坚信，作为一名研究人员是一种职业，一种思维方式和好奇心。发表不发表不重要，研究的本质在于你如何看待这个世界。
激情，疯狂，渴求答案，去冒险。

参考

什么是基于搜索的分析？

原文：https://towardsdatascience.com/what-is-search-based-analytics-a1097704ba91?source=collection_archive---------40-----------------------

那些不知道的人将被遗忘在尘埃中

在 Unsplash 上由 Balázs Kétyi 拍摄的照片

什么是基于搜索的分析？

什么是基于搜索的分析？

您可以将基于搜索的分析视为公司数据的搜索引擎。基于搜索的分析能够提出诸如“我们上个季度的净收入是多少”或“告诉我过去 30 天有多少人下载了我们的应用程序，按周排序”等问题，并获得可操作的数据和图表。

为什么需要基于搜索的分析？

在过去的十年中，商业智能工具赋予了业务用户创建自己的仪表板和可视化的能力。这有助于高管和部门主管做出数据驱动的决策，以支持公司目标。但是，利用这些控制面板和可视化的能力受到数据治理、数据孤岛和数据蔓延以及单个用户能力等问题的限制。

您可以将基于搜索的分析视为公司数据的搜索引擎

不仅如此，为了使用数据分析仪表板，必须首先创建仪表板。必须引入数据，必须选择和应用可视化，必须以能够回答特定业务问题的方式设计仪表板。这个过程可能需要几个小时甚至几天。

另一方面，基于搜索的分析允许企业用户用简单的英语提问，并立即得到可操作的数据和可视化结果。

使用基于搜索的分析来分析新冠肺炎数据(视频由作者使用知识制作)

但是建立一个有效的基于搜索的分析平台是有挑战的。例如，为了使其有效工作，基于搜索的分析平台需要理解诸如“比较”、“多少”、“平均”和“总数”等术语。他们还需要理解特定于业务的术语，如“增长”、“保持”、“流失”和“成本”。同样至关重要的是，他们能够解释许多表示日期或时间跨度的不同方式，例如“从九月到十二月”、“上个季度”、“按月显示”和“去年”。这是通过自然语言处理完成的。

自然语言处理

自然语言处理(NLP)最早出现在 20 世纪 50 年代，但直到最近才达到该技术广泛应用的程度。你可以想象，让一台计算机理解人类语言是一个主要障碍——想想英语的复杂性和细微差别。

NLP 工作是将人类语言的问题转换成分析引擎可以理解的查询

在过去十年中，这种情况发生了显著变化。谷歌搜索、Wolfram Alpha、亚马逊 Alexa 和苹果的 Siri 都在使用 NLP 为人们提供真正的服务方面取得了长足的进步。

在基于搜索的分析中，这可能会更加复杂。有许多方法可以要求特定类型的数据或可视化。NLP 的工作是将人类语言的问题转换成分析引擎可以理解的查询。

对物联网地理空间数据使用基于搜索的分析(作者使用知识制作的视频)

为特定用例定制基于搜索的分析

除了将 NLP 应用于数据以创建基于搜索的分析所带来的一般挑战之外，还有特定于用例的挑战。

如果你调查 100 家公司如何使用商业智能工具，你可能会得到 100 个不同的答案。这是因为所有行业都使用不同的数据。甚至同一个行业中的单个公司也可能跟踪不同的度量和 KPI(关键性能指标)。许多行业也有不同的术语和特定领域的知识，当包含在自然语言查询中时，必须理解这些术语和知识，至少粗略地理解一下。

这就是为什么在这种情况下，提供商针对客户的特定使用情形定制基于搜索的分析部署至关重要。这个过程通常包括向 NLP 库中添加自定义术语和同义词、映射关系、调整变量名以及自定义可视化选择逻辑。

示例:这在实践中是什么样子的？

想象一下，一家冷藏卡车运输公司使用 GPS 和 IoT(物联网)温度传感器将监控数据输入其商业智能平台。他们会想知道他们的卡车在哪里，速度有多快，冷藏室的温度是多少。

这意味着基于搜索的分析平台需要理解诸如“告诉我亚利桑那州所有卡车的位置和温度”、“5 号钻井平台有多冷”和“有没有高于冰点的单位？”。第一个查询可能现成可用，但第二个和第三个示例可能需要一些定制才能正确解释。

在 Slack 中使用基于搜索的分析(作者使用知识制作的视频)

真的像谷歌搜索一样简单吗？

简短的回答:没有。但是更好的回答可能是“还没有”如果你还记得网络爬虫、Alta Vista 和 Excite 的时代，你就会知道早期的搜索引擎并不擅长准确地找到人们想要的东西。

为数据建立搜索引擎是一个更加困难的挑战，特别是因为——如上所述——不同的公司有很大的不同。

然而，还是有希望的。当基于搜索的分析解决方案为特定的业务或用例定制时，可以实现类似 Google 的简单性能和准确性。这需要一点前期工作，但结果可能会改变游戏规则。

什么是情感分析，如何使用？

原文：https://towardsdatascience.com/what-is-sentiment-analysis-and-how-is-it-used-217074887277?source=collection_archive---------35-----------------------

我们将了解什么是情感分析，它来自哪里，以及它能为我们做什么。让我们开始吧！

图片来自 Pixabay 的科琳·奥戴尔

你最后一次坐飞机是什么时候？你还记得吗？

也许你坐在一个哭闹的婴儿旁边…或者你得到了免费的升级，享受了更多的腿部空间。

可能是空乘把咖啡洒到你身上了……也可能是他们很讨人喜欢，让你觉得很自在。

或者你甚至不记得你的最后一次飞行，因为没有什么值得纪念的事情发生——这可能是一件好事！

照片由 Unsplash 上的 NeONBRAND 拍摄

作为“客户之声”的调查

不管你的经历如何，你都可能会收到航空公司发出的调查问卷。他们想知道从你的角度来看这次飞行怎么样。

一些调查问题可能会要求您从 1 到 10 对服务进行评分，如空乘人员的帮助程度，或浴室的清洁程度。

他们可能还会问一些开放式的问题— “告诉我们你的经历以及我们可以改进的地方。”

再来看美联航的例子。根据他们最近的情况介绍，联合航空公司去年有 1 . 62 亿乘客。

如果我们可以假设他们的营销部门随机向每 30 个人发出一份调查，得到的回复率为 5%，那么:

1.62 亿乘客/30 = 540 万被调查乘客 x 5% = 每年 27 万份调查反馈

数据真多啊！这是一个电子表格中的 270，000 个单元格，用自由文本回答了联合航空公司可以做些什么来改善他们的服务。

这些数据中包含的观点对管理层来说非常有价值，有助于他们找出让乘客更快乐的方法。

不幸的是，对许多公司来说，下一步就是让一屋子实习生分头搜索电子表格。或者更糟的是，电子表格被推到一个黑暗的角落里，再也看不到了。

然而，为了拯救实习生的理智和等待被揭示的洞察力，我们可以利用情绪分析的迷人方法。

简短的定义

情绪简单地描述了对某事的观点——无论是你在新闻中读到的事件，你从亚马逊上买的书，还是当你的狗在地毯上弄得一塌糊涂后你对它的感觉。

我们或许可以把这种做法叫做意见分析，但这听起来并不容易记住，不是吗？

观点的反复无常

观点可能转瞬即逝，千变万化。你的宠物前一分钟还是一只毁坏地毯的野兽，下一分钟就变成了一个可爱的能量球。

在我们的航空公司的例子中，在任何给定的航班上，可能有数百种意见分散在乘客中。

为了解决大众分散的观点，自然语言从业者已经改进了情感分析来从无组织的和难以置信的多样化的观点数据中获取意义。

情感分析对我们有什么用？

情感分析可以用各种方式标记我们的数据，使我们更容易从杂乱的非结构化数据中获得洞察力。

极性

第一个也是最常用的度量是极性。

极性简单来说就是指语言是阳性、阴性还是中性。很多情感分析都是将文本浓缩成一个数字——比方说，在-10 到+10 之间，表示一个陈述的极性。

当*“这些花生是咸的”可能记录为 0(中性)，我们可能期望“这些奇妙的花生拯救了我的婚姻”*可能记录为+10(正极)。

同时，“*这些馊花生真恶心”*引出 a -8(负极性)。

主观性/客观性

情感分析也可以将文本标注为主观或客观。

主观文本意味着有观点的文本——不一定是可证明的或基于事实的。关于胡萝卜蛋糕好坏的观点就属于这一类。

另一方面，客观性涵盖了不受个人观点影响的基于事实的语言，比如“胡萝卜蛋糕里有胡萝卜”。

在分析客户反馈或评论时，过滤主观性尤其有用。我们不关心飞机起飞，我们想知道起飞是怎么起飞的。

基于特征的分析

最后是基于特征的情感分析。考虑以下产品评论:

注意这篇文章中有一些矛盾的观点。如果我们试图把极性作为一个整体来总结，我们可能会得出一个相当中性的结论。

然而，当我们将文本分解成它的特征，我们可以更清楚、更有用地了解这个客户喜欢什么、不喜欢什么。

基于特征的(或基于方面的)情感分析关注于发现谁是意见持有人，被评估的对象是什么，以及实际的意见是什么。

在上面的例子中，这个方法或许可以挑出这个顾客喜爱耐克 品牌，并且认为这些鞋子可爱舒适。然而，系统也看到可怕的水泡和浪费金钱是与鞋子相关的负面因素。

通过打破这些特征，我们可能更有可能预测一星评论。我们甚至可以推荐其他可爱舒适的耐克鞋，其中“无水泡”是我们从评论中提取的特征。

情感分析从何而来？

鉴于意见的分散性，以及书面语言的普遍混乱，我们应该向那些最先开始试图理解混乱的勇敢者致敬。

一项关于情感分析历史应用的研究表明，99%的情感分析论文都是在 2004 年之后发表的。这在很大程度上是由于计算能力的提高。

上图来自谷歌趋势，显示了自 2004 年以来的搜索量。红色是客户反馈，蓝色是情绪分析。

当客户反馈作为一个重要话题一直享有突出地位的时候，情绪分析已经迅速赶上甚至超过了它。

这项研究的一些有趣的历史发现揭示了使用情感分析的一些最初尝试:

• 第一篇论文是 1940 年的，作者试图用手工*“划掉技术”*——计算极性关键词的数量来衡量不同主题的公众意见。
• 1945 年和 1947 年，两位作者试图衡量二战期间遭受苦难的国家的公众舆论。

情感分析的现代方法

概括地说，现代情感分析在 21 世纪初占据了主导地位。第一个跨领域应用于许多问题的通用工具之一被称为“ General Inquirer ”。该工具最初是在 20 世纪 90 年代由美国资助开发的，并在 2002 年左右广泛应用于学术研究。

《普通问询者》是一套手工编码技术，包括将单词映射到各种类别。最大的一类是负面(有类似可怕、可怕、骇人等词汇。).

进一步进入 2010 年，上面引用的研究显示了从情感分析论文形成的词云。下半部分代表 2013 年之前的关键词，上半部分代表 2013 年以来的关键词:

情感分析的一个重大变化

从“网络”到“社交”有一个明显的转变，并转向像神经网络这样的深度学习技术。这些最先进的模型把我们带到了今天。

基于知识与统计的情感分析

一些早期的尝试，包括普通问询者，使用了“基于知识”的技术，如创建一个自定义的硬编码单词字典，具有“明确的影响”。

换句话说，这些技术关注的是很少具有双重含义的单词。这些词几乎总是表示好的或坏的，像“开心”、“伤心”、“害怕”、“无聊”。你也可以看到这些被称为基于词汇的方法。

基于知识的技术的一个缺点是，根据数据集的上下文，一般的基于知识的字典可能会遗漏重要的单词。

例如，一篇关于癌症的文章可能会谈到“不可阻挡的增长”。在这种背景下，这是不好。

图片来自 Pixabay 的erikawittleb

但是在一篇关于创业的文章中，“不可阻挡的增长”被认为是好的。

为了使用基于知识的方法获得每种类型数据的高度准确的结果，您可能需要定制硬编码的字典。这可能是时间密集型的。

有一些基于知识的技术方法尝试自动查找特定于上下文的关键字。一个例子依赖于像“和或者“*但是”*这样的连词。

假设我们看到一句关于*“病人恶化* 和 不可阻挡的增长”的话。因为恶化在负面字典中找到，我们可以推断不可阻挡的增长也是负面的。

单词的这种接近性(这也暗示了它们是如何相关的)也被称为共现。

统计法

基于知识的技术与后来更复杂的“统计”技术和机器学习方法形成对比。这些方法更依赖于通过大量文本获得的推理。

如果可以手动从文本中找出共现，或者可以使用基于规则的自动方法进行推断，那么可以以更加自动化的方式利用统计方法，该方法可以扩展到数十亿个数据点。

通过这种统计方法，我们使用大量数据相对快速地对共现做出推断。

如果一个单词经常出现在极性为正的单词中，我们也给这个单词分配一个正极性。否定词也一样。

我们不断迭代和训练大量的文本——比如维基百科中的所有文章。最终，结果是英语中大多数单词的权重，然后我们可以用它来预测新文本的情感。

请注意，这也适用于特定于上下文的自然语言。在我们早期的医学文本示例中，我们将仅在医学文献的语料库上训练我们的模型，以捕捉特定于主题的关键词的极性。

用于情感分析的深度学习

大部分统计方法仍然依赖于单个单词的意思——为给定文本的情感保留一种记分牌。

但是我们也必须考虑单词之间的相互作用。当考虑较长短语或句子中许多单词的含义时，语义分析模型更加准确。当然，这意味着我们必须训练更复杂的模型，这些模型使用更多的计算资源，运行时间更长。

图片来自 Pixabay 的

“一个 的朋友 告诉我我会喜欢这种三明治。

即使 我平时爱吃好的花生酱，这里用的那种不够奶油。

果冻是好的 但是 就是不够。”

这篇 PB&J 评论传递了许多含混不清的信号。如果我们只关注单词本身，而不关注使用它们的短语，我们会给它分配一个相对积极的极性。例如，有很多“爱”和“好”。

虽然对神经网络的深入探讨超出了本讨论的范围，但重要的是要知道，这些模型可以保存和权衡关于文本的数百万个特征，以便最终提供对极性的预测。

例如，经过训练的神经网络可以逐句逐句地分析文本。

如果在句子的前面使用了“即使”,该模型可能会对句子的其余部分不考虑积极情绪。同样，“不错，但是”可能会打折扣，“喜欢这个三明治”可能会正确地归因于顾客的朋友，而不是顾客自己。

继续练习

做得好！如果你已经做到了这一步，你已经很好地理解了什么是情绪分析以及它如何在幕后工作以提取极其有价值的见解。

图片来自 WikimediaImages 来自 Pixabay

不用说，NLP 正在迅速发展和变化——情感分析也是如此。在我发表这篇文章的时候，可能会有另一个方法论上的突破，允许更高的准确性。

同时，如果你有兴趣学习更多关于情感分析的知识，你可以做的最好的事情之一就是开始探索和实践。想出一个你认为可以用我们上面描述的方法解决的问题，然后开始编码！

感谢您阅读。

你知道什么是香农熵吗？

原文：https://towardsdatascience.com/what-is-shannons-entropy-5ad1b5a83ce1?source=collection_archive---------12-----------------------

完整全面的指南

来自 Pexels 的摄影记者拍摄的

熵构成了宇宙和宇宙中一切事物的基础*。为什么深度学习应该有所不同？它在信息论中被高度使用(这里使用的熵的变体是香农熵)，并且也已经进入深度学习(交叉熵损失和 KL 散度)。让我们来理解一下香农熵的概念。*

熵是什么？

通俗地说，你把熵描述为:

你得到的最基本的例子是一枚公平的硬币:当你扔它的时候，你会得到什么？正面 (1)或反面 (0)。

因为两个事件的概率是一样的(1/2)。没办法讲。所以，如果你在电话上玩抛硬币游戏。然后，你必须告诉对方一个结果，或者你需要一个比特(0 或 1)来传达这个信息。

让我们考虑一个完全偏向硬币的情况(总是正面朝上):

你需要告诉其他人结果吗？简单的答案是不。因为你们两个都知道答案(如果你没有作弊的话😄).因此，你什么也不用说。你一点也没用。

直观地消化熵

为了直观地理解熵，让我们再次重温它的定义:

它的数学定义是:

来源:作者

有一件中肯的事要注意，这个词**‘系统’**在外行人的定义和概率术语中出现两次虽然不同。

让我们重温一下概率的定义。概率是什么？事件发生的可能性。概率的定义讲的是单个事件，不是整个系统。因此，概率能给我们的是局部的图景，是整个系统的有限图景。

概率给出了整个系统的局部图像

为了让我们对整个系统有所了解，我们需要想出一种方法来告诉我们整个系统的全局情况。我们需要评估系统的各个部分，看看它们的总体效果。

你如何评价系统的一部分对系统的随机性的贡献？

熵公式中的 pᵢ部分告诉我们关于事件在整个系统中的重要性。怎么会？概率值的分子告诉事件发生的次数，就是这样。

对于下一部分，让我们从一个新的角度来看熵的公式:

来源:作者

**我们可以将熵公式的第二部分转化为概率的倒数。**这会给我们带来什么？如果概率告诉你确定性，它的反义词意味着什么？不确定性。

因此，熵的公式可以解释为:

这就是，熵可以被解释为一个事件的重要性和这个事件的不确定性的乘积。系统中的事件越重要，它可以引入系统的不确定性(即随机性)就越多。因此，如果我们推导出每个事件的随机性并将其相加，我们就可以理解整个系统的随机性。

数学上消化熵

香农熵的数学公式是:

来源:作者

这里，c 是你拥有的不同类的数量。以硬币为例，我们有正面(1)或反面(0)。因此，c = 2。

所以，一枚公平硬币的熵是:

来源:作者

因此，公平硬币情况下的**熵为 1** 。完全不确定性(记住，熵的外行定义)。我们对结果完全没有把握。

现在，让我们考虑一下完全偏向硬币的情况。对它来说，熵就是:

来源:作者

首先，所有关于熵的计算中的 0log(0)都假设为 0 。现在，我们已经平息了，在这种情况下可以观察到，熵是 0。无论如何，我们对结果完全有把握。

硬币没有完全偏向的时候呢？

让我们画出得到人头的概率在 0 和 1 之间时的合成熵。

来源:作者

我们看到熵在概率 1/2 时变得最大。

一般情况下，任何系统的熵的最大值都是 log₂c 。这发生在概率为 1/2 的时候。为什么？

对此有两种解释。让我们看看。

直观解释:

因此，在硬币的情况下，最大熵将是 log₂2 = 1 比特。

当一切都是同等可能性(概率为 1/2)时，熵最高，因为你不知道会发生什么。

为了表达硬币可以采取的所有状态，即 0 或 1，你需要 1 位。

数学解释:

如果不感兴趣，可以跳过这个。

记住如何找到给定函数值最大的值。

如果没有，我们修改一下:

第一步:对函数进行求导，并使其等于零，得到的值将是该函数的最小值或最大值。如何知道找到的值是最小值还是最大值？

第二步:你对函数取的双导数，然后代入上一步得到的值。如果二阶导数的值小于 0，那么，该值将是函数的最大值，如果它大于 0，那么，该值将是函数的最小值。

现在，让我们把这个过程应用于香农熵的公式。

香农熵的导数是:

来源:作者

将导数等于 0，

来源:作者

最后一步，我们把两边都提高到 2 的幂，2 的幂 log₂x 就是 x

现在，让我们验证该值是最大值还是最小值。首先，我们找到熵的二阶导数:

来源:作者

现在，我们把导数等于 0 的值代入这个二重导数，

来源:作者

最后，我们得到的双导数的值是负的，因此，证实了熵的最大值是在概率 1/2 处。

因此，我们证明熵的最大值出现在概率 1/2 处。

摘要

在这篇文章中，我们从数学和直觉上理解了香农熵。我们知道香农熵的数学界限是什么。我们还导出了香农熵最大的概率。然后我们直观地理解了熵的概念。

什么是辛普森悖论？

和第二波冠状病毒病例有什么关系？

从未经汇总的数据中得出结论的危险

最近几周，人们越来越怀疑病例数上升和新冠肺炎死亡人数稳定或下降之间的差异。有几个解释流传着。首先，由于显而易见的原因，死亡是一个滞后指标。死亡高峰通常在病例高峰后约一个月出现。

然而，我们可能要考虑到我们一开始就看错了这些数字。美国是一个大国，怀俄明州发生的事情与德克萨斯州奥斯汀发生的事情没有什么联系。我们看的是整个国家的数字，为了获得准确的画面，我们需要深入到各个州、地区或城市，以更好地了解不同社区的情况。不幸的是，这些数据讲述了一个不同的故事。

输入:辛普森悖论

辛普森悖论(Simpson's Paradox)是指一种趋势出现在几组不同的数据中，但当这些组组合在一起时就消失或逆转的现象。

为了说明这一点，我创建了一些模拟数据，其中有两组数据，它们都显示出 X 和 Y 之间的正相关性(引入了随机性，但在这两种情况下，X 每增加一个单位，Y 就增加 4 个单位)。

用模拟数据说明辛普森悖论【来源:原创】

单独考虑每一组时，两组的最佳拟合线都明显向上倾斜。但是，当您将这些组放在一起时，参数估计值会变为负值。

一个著名的现实世界的例子是伯克利性别偏见研究。在 1975 年《T4 科学》杂志的一篇文章中，研究人员观察到了柏克莱大学研究生院男女录取率的巨大差异。

从表面上看，这可能意味着学校可能存在性别歧视。然而，当研究人员深入挖掘 85 个不同部门的数据时，他们发现了一个不同的故事。

在特定的院系中，研究人员只发现了少数几个男生比女生更有可能被录取的院系(反之亦然)。然而，更重要的趋势是，妇女更有可能申请最具选择性的部门。由于选择部门的申请人中女性所占的比例比男性大，所以他们在接受率上似乎有很大的差异，即使个别部门没有发现男性比女性更受青睐。

国家新冠肺炎数据

如果你看看美国的全国趋势，死亡人数的下降趋势是显而易见的，即使在过去一个月里病例有所增加。

美国新冠肺炎确诊病例和死亡病例

然而，肯定有一些州的数据不符合这一趋势。例如，在亚利桑那州，从 6 月初开始病例激增，6 月底和 7 月死亡人数明显增加。

亚利桑那州新冠肺炎确诊病例和死亡病例

在佛罗里达州，死亡人数从 4 月到 6 月保持稳定(而全国范围内，死亡人数正在下降)，最近 7 月 9 日和 10 日是疫情最糟糕的两天。

佛罗里达州新冠肺炎确诊病例和死亡病例

同样，德克萨斯州在 6 月份开始经历病例增加，现在可能也开始看到死亡人数增加。

得克萨斯州新冠肺炎确诊病例和死亡病例

为什么这没有在国家数据中显示出来？

如果在多个州有稳定或上升的趋势，为什么我们仍然看到全国范围内的死亡率稳步下降？

还记得伯克利性别偏见的例子吗？大多数项目都同样或更频繁地接纳妇女。然而，更多的女性申请人申请了最具选择性的项目，导致她们的人数在汇总时看起来更糟。

以纽约为例。虽然它是第一波死亡人数中受灾最严重的城市之一，但它也恰好是该国人口最多的城市之一。

纽约州新冠肺炎确诊病例和死亡病例

在 4 月份的几个星期里，纽约州(主要在纽约市)每天的死亡人数稳定在 800 人左右，但现在平均每天超过 10 人。

纽约在控制疫情方面所做的努力当然应该受到称赞。然而，当查看我们的国家数据时，我们应该记住，这个国家人口最多的城市每天减少约 800 例死亡。不幸的是，虽然最近几周 COVID 死亡人数肯定会激增，但提到的 3 个州中没有一个在一天内死亡人数超过 150 人。纽约和其他在 4 月份遭受重创的州下降了 800 点，足以让我们在较小的州开始看到的任何飙升相形见绌。

当分析 COVID 数据或任何组间存在较大差异的数据时，要小心不适当的合并。虽然我很愿意相信全国范围内死亡人数下降所隐含的故事，但再看一下各个州就会发现，这可能过于乐观了。

参考

[2]研究生入学中的性别偏见:来自伯克利的数据。https://home page . stat . ui OWA . edu/~ MBO gnar/1030/比克尔-柏克莱. pdf

[3]新冠肺炎·疫情数据/美国各州医疗案例。https://en . Wikipedia . org/wiki/Template:新冠肺炎 _ 疫情 _ 数据/美国 _ 医疗 _ 病例 _ 按州

扫雪机简介

原文：https://towardsdatascience.com/what-is-snowplow-and-do-i-need-it-cbe30fcb302b?source=collection_archive---------6-----------------------

Snowplow 自称是“同类最佳数据收集平台”。我们探索这意味着什么，讨论扫雪机做什么和不做什么。了解 Snowplow 的架构，以及它是否是您需要的工具。

图片来自 Pixabay 的 skeeze

这里有一个常见的场景:你运行一个网站，想知道你的用户如何使用它。你调查谷歌分析 360。您想为您的企业提供更好地了解客户所需的工具吗？你当然知道！对原始事件数据的访问，基于所有信息而非一小部分信息的见解？听起来不错！当您准备注册时，您注意到了 Analytic 的价格标签—起价为 15 万美元/年。大口喝。现在怎么办？当然，并不是所有的企业都能证明如此惊人的高价是合理的。

经常出现的谷歌分析的替代品是 Snowplow。Snowplow 是由 Snowplow Analytics 积极开发的一个数据收集平台。Snowplow 可以“收集”多种遥测数据，但它在点击流数据方面有着特殊的地位，提供了许多与开箱即用的网络跟踪相关的功能。

Snowplow Analytics 以各种形式提供其平台，包括一项名为 Snowplow Insights 的托管服务。它的所有核心组件都是开源的，可以以一种自己构建、自我管理的方式免费使用。您可以在公共云中运行自己的生产就绪、可扩展的实时数据接收管道，每月花费大约 200 美元。较小的部署或开发部署也是可能的(使用 Snowplow Mini ),每月大约 40 美元。

Snowplow 可以“收集”各种各样的遥测数据，但它在点击流事件中有一个特殊的位置

当然，Snowplow 和 Google Analytics 这么简单的基于价格的比较是没有用的。这些产品之间的重叠部分实际上非常小。作为一个刚刚将 Snowplow 部署到 Google Cloud 的人，我知道我花了一段时间才弄清楚 Snowplow 是否满足了我们的需求。这个故事向你介绍了什么是扫雪机，以及它是否对你有用。

与其他帖子相比，如媒体系列的 Snowplow，这个故事通过深入研究其架构和部署，而不是专注于其追踪器生成的数据的价值，来强调 Snowplow 实际上做了什么。对这个架构有了很好的理解，你就可以自己拿主意，决定扫雪机是否也应该成为你的数据分析工作的一部分！

数据收集平台

一个数据采集平台到底是什么？在其核心，Snowplow 由一个处理管道组成，该管道通过对 HTTP 端点的调用来捕获、清理、丰富和保存所有呈现给它的信息。GET 和 POST 请求进入管道，然后输出 blob 存储或可查询数据库中的结构化数据。Snowplow 还附带了许多实用程序，如 JavaScript web tracker和 tracking SDK和将生成这些 HTTP 调用，以响应用户在您的网站或应用程序中采取的操作，例如响应页面浏览或页面点击。

HTTP 请求进入管道，输出可查询的结构化数据

记住:平台≠平台，管道≠管道

扫雪机做什么

Snowplow 最初是一个网络分析平台，仅支持使用他们的网络追踪器和自己的追踪器协议进行追踪。现在，它的目标是成为您所有活动数据收集工作的一站式商店。想要将订阅事件捕获到 MailChimp 支持的邮件列表中吗？扫雪机覆盖了吗！捕获您自己的应用程序生成的自定义事件？那也没问题！当你想到所有你可能得到的物联网(IoT)数据时，网站跟踪似乎很无聊。Snowplow 允许你定义和使用自定义事件模式。它接受来自任何地方的数据，同时提供对它收集的每一位原始数据的直接访问。Snowplow 每秒钟可以轻松收集数千个事件。

收集邮票是出，收集数据是入。来源

扫雪机不做的事

然而，从这些原始的结构化数据中获得“洞察力”需要你付出一些努力。Snowplow 很少处理它为您接收的数据，如果您希望它为您提供易于理解的图表或有启发性的统计数据，您可能会失望。开源 Snowplow 的一个基本安装收集数据非常好，但是除了以结构化格式收集、清理和保存数据之外，几乎没有做什么。

外出时，不要忘记储备大灯液体。来源

扫雪机没有 GUI 。在收集点击流数据时，它只是为你提供原子事件，如页面点击、页面查看或页面 ping 事件；没有“用户流量”或类似滚动深度的衍生统计数据。知道 Snowplow 不仅限于获取点击流数据是有意义的。因此，Snowplow 也不是 Google Analytics 的真正替代品。事实上，并行运行 Snowplow 和 Google Analytics 完全有意义！

Snowplow 不是 Google Analytics 的真正替代品

你也不会完全放任自流。Snowplow 确实有一些分析软件开发工具包，可以帮助你分析它生成的数据。还有一个 Snowplow web 数据模型项目，通过将原子跟踪事件分组到浏览会话中，专门帮助分析点击流数据。

扫雪机的加工流水线

因此，Snowplow 收集所有类型的事件数据，对它们进行处理，然后通过让数据流经“管道”来保存它们。让我们把这个过程变得更具体一些。Snowplow 处理管道如下所示:

扫雪机加工流水线。

本节讨论数据如何在管道中流动，以及什么接口连接管道的不同组件。

收集器组件

由 Snowplow tracker(例如snow plow JavaScript tracker)、web hook 或来自 Snowplow tracker SDKs 之一的调用产生的数据命中收集器组件。收集器是一个对 HTTP 请求开放的基本 web 服务器，它编码并在消息总线上发布所有传入的数据。如果请求不包含标识用户的 cookie，它还会将随机生成的 cookie 嵌入到Set-Cookie HTTP 响应头中。

浓缩成分

富集组件是实现 Snowplow 富集过程的该消息总线的订户。在这个过程中，Snowplow 验证输入的数据，验证它是在它理解的协议中指定的。然后，它提取事件属性并丰富事件。在丰富过程结束时，事件遵循 Snowplow 规范事件模型。丰富的事件发布在另一条消息总线上。

浓缩组件无疑是 Snowplow 最复杂和有趣的部分。如果你想了解更多，可以看看我的后续报道:

[## 扫雪机中的富集和批处理

细看 Snowplow 的浓缩组件及其批处理管道的弃用

medium.com](https://medium.com/datamindedbe/enrichment-and-batch-processing-in-snowplow-6b5258096c9b)

存储组件

存储组件订阅浓缩组件发布的消息总线。它将消息保存在 blob 存储或可查询的数据存储中，如 BigQuery 或 Redshift。如果目标存储是一个(结构化)数据库，事件属性将映射到列上。

组件实现

组件有多个兼容的实现，允许你使用那些最适合你需求的。一些实现使用特定于特定公共云的云原生技术，例如存储组件 Snowplow BigQuery Loader 与 GCP 上的 BigQuery 接口，并在云数据流上运行。其他的构建在开源技术上，可以很容易地部署在你自己的硬件上，比如运行在 JVM 上的 Scala 流收集器，它不仅可以向 AWS Kinesis 或 Cloud Pub/Sub 推送消息，还可以向 Apache Kafka 推送消息。

组件接口

用于组件间通信的消息看起来像什么？

• 收集器接口可以说是最重要的一个，因为它是面向外的。收集器接受所有的 HTTP 请求，但是只有实现了已知协议的请求才能通过浓缩完成。这些是由 Snowplow tracker 协议描述的格式，Snowplow 提供的收集器适配器或 任何格式本机支持的格式之一，您为其实现了自己的远程 HTTP 适配器。其中，Snowplow 为 Google Analytics 使用的自描述 JSON 和 Google 的测量协议提供了适配器。
• 收集器和浓缩组件之间的接口由 Apache Thrift 使用嵌入在这个自描述 JSON 模式中的有效载荷方案编码的 HTTP 头和有效载荷组成。
• 丰富组件和存储组件之间的接口由以 TSV (制表符分隔值)格式编码的规范事件组成(没有节俭！);有些值包含 JSON。这个接口大多没有文档记录。要了解 Beam Enrich 如何对消息进行编码，请查看[EnrichedEvent](https://github.com/snowplow/snowplow/blob/3b8d9cc839e4af0b97c68477fb1c9f484de233e2/3-enrich/scala-common-enrich/src/main/scala/com.snowplowanalytics.snowplow.enrich/common/outputs/EnrichedEvent.scala)和的代码，Beam Enrich 中的实用程序方法将这些事件转换为 TSV 。您还可以查看解析 TSV 记录的分析项目内部(例如 Python Analytics SDK 中的这个测试)。

流还是不流

一些 Snowplow 组件没有实现上述的(流)接口。这些组件成批处理数据。它的缺点是，你应该忽略批处理实现，只需费心了解上面介绍的流式处理管道，因为 Snowplow 的 批处理管道已被弃用 。如果您出于某种原因仍然想了解更多关于批处理的知识，请查看我的故事。

Snowplow 批处理已被否决

扫雪机产量

Snowplow 丰富的规范事件可以存储到 blob 存储器或结构化数据库中。管道中数据的精确格式取决于您使用的存储组件。组件实现针对目标数据存储的属性进行了优化。

Snowplow 在 BigQuery 中的输出

将数据转储到 BigQuery 时，所有事件都被转储到一个大的events表中。在初始化之后，甚至在添加单个事件之前，这个events表已经有大约 128 个属性了！

事件表模式的一部分

如你所见，所有的房产都标有NULLABLE。(事实上，有些是我所有记录中的遗产和等价物NULL。在 Snowplow 开始使用可扩展的事件类型方案之前，他们只是在一个胖表中添加与 web 分析相关的列。这个胖表的列定义了现在的“原子事件”。)因为 BigQuery 是一个列式数据存储，所以总是NULL的列实际上不需要任何成本:添加列不会增加表的大小或降低查询速度。添加新类型的事件会向events表中添加更多的列。

在接收新类型的数据(链接点击和焦点表单事件)后，事件表中添加了其他列/字段类型

对于所有较旧的数据，新列将是NULL,对于所有插入的但属于另一种类型的新记录，新列将是NULL。

Snowplow 在其他数据存储中的输出

并非所有数据存储都具有与 BigQuery 相同的属性。因此，并非所有数据存储都使用与 BigQuery 存储组件相同的“胖表”方法。

例如，在 AWS 上将数据存储在 Redshift 中时，每个事件都会在 a 表 [atomic.events](https://raw.githubusercontent.com/snowplow/snowplow/7738c6de42674ced61141481f1300c7b43eee09e/4-storage/redshift-storage/sql/atomic-def.sql)中产生一条记录。插入新类型的数据会导致创建新表；该表中的条目可以连接到atomic.events。Snowplow 将这种事件分裂过程称为粉碎。

为什么要铲雪

Snowplow 接收 HTTP 请求，并近乎实时地将它们保存到数据存储中。这听起来并不特别令人兴奋；许多云数据存储也有 HTTP 前端，难道不能自动将发布/订阅事件转储到云存储吗？为什么要用扫雪机？

将 Snowplow 与其他产品进行比较

验证很重要。来源: Lukas 对像素

与一般的遥测数据收集产品 相比，如亚马逊 Kinesis(数据分析)或Azure Application Insights，Snowplow 为您提供了验证和丰富输入数据的优势。只有干净的数据才能进入您的数据库！当跟踪网络应用程序时，Snowplow 还会在你自己的域上设置来自服务器端的 cookies，允许在浏览会话之间进行可靠的跟踪。然而，Snowplow 的安装和运行更复杂，如果您处理的事件很少，它的成本也相对较高。

通过验证输入的数据，Snowplow 确保只有干净的数据进入您的数据库

与提供高级数据处理类型 的应用相比，Snowplow 为你提供定制的扩展性，访问原始数据，摄取多种不同类型数据的能力，以及低价。专门服务的例子有用于网络分析的 Google Analtyics 或 Matomo ，以及用于应用监控的 New Relic 、 Datadog 或 honeycomb.io 等应用。然而，与这些专门的程序不同，Snowplow 并不真正进一步处理或分析你的数据；它甚至没有为你提供一个图形用户界面。将这些程序与 Snowplow 进行比较并不总是有用的。

使用扫雪机的一些理由

• 你想收集遥测数据，但也要让保持对你的处理流水线的控制。您喜欢 Snowplow 是开源的，并且不想将自己与特定于云的产品捆绑在一起。
• 没有一个特定于数据类型的产品能完全满足您的需求。你要全定制。你想要原始数据。扫雪机为您提供了一个良好的基础。
• 您希望使用 Snowplow 出色的 JavaScript 跟踪器执行 web 跟踪，并利用 Snowplow 的事件模型，该模型非常适合 web 跟踪事件。
• Snowplow 在**(近)实时**中接收、丰富和存储数据。如果您将收集的数据用于欺诈检测或类似的应用，这将特别有用。
• 您希望执行自定义丰富，但不需要成熟的流处理平台(如 Apache Flink 或 Apache Beam)的全部功能和复杂性。Snowplow 通过实现一个 JavaScript 函数或者通过实现一个 HTTP(微)服务使得构建你自己的 enrichment变得相对容易。
• 你想继续使用 Google Analytics ，但又想访问所有原始数据而无需每年支付 15 万美元。你可以通过使用 Snowplow 的谷歌分析跟踪器插件将你发送给谷歌的所有数据抽取到你的 Snowplow 收集器来非常容易地做到这一点，因为谷歌的测量协议是由snow plow 适配器支持的协议之一。
• 你喜欢使用许多编程语言中都有的 分析 SDK来分析你的数据。

不使用扫雪机的一些理由

• 您不愿意部署自己的基础设施，要么是因为您没有专业知识，要么是因为您不想维护它。您仍然可以使用 Snowplow，但应该考虑使用托管 Snowplow 平台 Snowplow Insights 。
• 你没有专业知识、时间或兴趣去分析你的数据。就其本身而言，Snowplow 生成的原始数据并不十分有用。你可以研究更专业的应用程序，比如 Matomo 或谷歌网络追踪分析。在 Looker 中也有分析扫雪机数据的支持。
• 扫雪机只收集事件数据，不收集其他类型的遥测数据。New Relic 将遥测数据分为四类:度量、事件、日志和痕迹，简称为 M.E.L.T 。要使用 Snowplow 收集指标，您需要自己负责聚合。要进行(分布式)跟踪，您需要自己向事件添加跟踪上下文。不建议向 Snowplow 发送原始日志。

展开扫雪机

那么，扫雪机的部署实际上是什么样子的呢？

我们对谷歌云平台的部署

我们当前的部署如下所示:

我们目前在 GCP 部署的扫雪机

让我们看一下这张图:

• 我们唯一的数据源(目前)是 Snowplow JavaScript tracker，嵌入在我们的一个网站上。该组件根据 Snowplow Tracker 协议向收集器发出 HTTP 请求。

使用 JavaScript tracker 就像在你的网站上嵌入一个跟踪标签一样简单

• 我们部署了 Scala 流收集器 到 云运行 ，这是一个完全托管的无服务器计算平台，让我们不必担心可扩展性或可用性。请注意，当接收大量事件时(平均每天数百万)，在 App Engine 或 Compute 上运行收集器会便宜很多。
• 当 HTTP 请求到达收集器时，它将消息发布到发布/订阅主题collector_good。
• 我们用 光束充实实现 **，它运行在数据流上。**数据流也是一种托管服务，提供开箱即用的自动扩展。
• 在 Beam Enrich 中通过验证的消息被丰富，然后发布到enriched_good。从collector_good读取的没有通过验证的消息被发布到enriched_bad。我们目前从来没有读过坏的话题。
• 我们使用存储组件实现big query Loader，它也运行在数据流上。Loader 订阅了enriched_good，并将事件插入到 BigQuery 的一个大表中，events。它还将事件类型(~事件中属性的名称和类型)发布到 PubSub 主题types上。当 BigQuery 中的插入失败时，事件发布在发布/订阅主题bq_bad_rows上
• 插入通常会失败，因为事件的属性在events表中不存在。运行在计算实例上的 Scala 应用程序 BigQuery Mutator 监视types主题，并在必要时向events表添加列。我们可以，但目前不会重新处理bq_bad_rows中的事件；因此，新类型的前几个事件总是会丢失。

你自己的部署

如果你想自己在 GCP 部署 Snowplow，官方安装说明和Simo Avaha的这篇博客文章是极好的资源。您可能还想查看一下这个或这个部署脚本集合。我决定放弃这些脚本，转而支持与我自己的一些自定义脚本相结合的 Terraform。

还有在 AWS 上安装扫雪机的指南。目前，Azure 没有官方支持，也没有特定于 Azure 的组件实现。

如果我们的部署对您来说看起来复杂或昂贵，或者如果您只是想探索 Snowplow 的功能，您应该看看 Snowplow Mini 。Mini 在单个映像中实现了所有必需的组件(以及更多组件),该映像可以部署到单个虚拟机上。它可以让你在 GCP 运行一个完整的雪犁栈，大约每月 40 美元。不建议将 Snowplow Mini 用于生产，因为它既不可扩展也不具备高可用性。

你觉得我错过了什么错误或事情吗？请在评论中告诉我！

我在 Data Minded 工作，这是一家独立的比利时数据分析咨询公司，在这里我记录并分享了我在 Publiq 部署 Snowplow 的心得。

Publiq 是一个非营利组织，管理着比利时佛兰德的活动数据库。作为一个令人兴奋的项目的一部分，该项目将使 Publiq 更加数据驱动，我们研究使用点击流数据来提高推荐的质量。

什么是 Sparsemax？

原文：https://towardsdatascience.com/what-is-sparsemax-f84c136624e4?source=collection_archive---------17-----------------------

softmax 的一个有用变体

格雷格·罗森克在 Unsplash 上的照片

在机器学习中，有几个非常有用的函数，比如 sigmoid，relu，softmax。后者作为神经网络的输出层广泛用于多类分类问题:

这个函数有一个有用的特性:它的元素之和是 1，这使得它对概率建模非常有用。它也是处处可微的，并且导数决不为零，这使得它在反向传播算法中很有用。相比之下，调用 softmax 替换的 argmax 函数的导数始终为零。另一个有用的特性是，该函数保留了后验概率分布的支持，因为输出概率决不为零，无论它们可能是多么小的值。

但是有时候你想有一个稀疏的输出，只保留几个非零概率的值。对于这种情况，André F. T. Martins 和 Ramón F. Astudillo 在他们的论文从 Softmax 到 sparsemax:注意力和多标签分类的稀疏模型中提出了一个名为 sparsemax 的新函数。

其思想是将 z 的最小值的概率设置为零，并且仅保持 z 的最高值的概率，但是仍然保持函数可微，以确保反向传播算法的成功应用。该功能定义为:

这里 τ(z) 称为阈值函数，它定义了包含 p 的所有非零索引的支持函数 S(z) 。sparsemax 函数的 python 实现如下:

在相同的值上运行它和 softmax，我们确实可以看到它将一些概率设置为零，而 softmax 将它们保持为非零:

np.around(sparsemax([0.1,  1.1, 0.2, 0.3]), decimals=3)array([0\. , 0.9, 0\. , 0.1])np.around(softmax([0.1,  1.1, 0.2, 0.3]), decimals=3)array([0.165, 0.45 , 0.183, 0.202])

有趣的是，在二维情况下，这两个函数有什么不同。在这种情况下，softmax 变成了一个 sigmoid 函数，sparsemax 可以用以下形式表示:

下图说明了它们的不同之处:

注意，sparsemax 函数并不是处处可微的(但 relu 也不是)，但它在哪里是一个简单的计算:

这里 |S(z)| 是支撑 S(z)中元素的个数。

讨论

sparsemax 的明显问题是渐变消失。你可以看到，一旦 z 变大，导数变为零。作者承认这个问题，甚至提出了一个新的损失函数来代替交叉熵损失。然而，我认为 sparsemax 的主要优势不在输出层，而是在神经网络的中间，例如在注意力机制中。

你可以在我的 github 库中找到这篇文章的代码。

时间序列中的平稳性是什么，为什么要关注它

原文：https://towardsdatascience.com/what-is-stationarity-in-time-series-and-why-should-you-care-f3b45082356b?source=collection_archive---------8-----------------------

距离我上一篇关于时间序列分析的文章已经有一段时间了。到目前为止，我已经讲述了关于熊猫的基础知识，比如日期处理、时间转换和重采样:

1. 用 Python 从头开始进行时间序列分析:第 1 部分
2. Python 中从头开始的时间序列分析:第二部分

M. B. M. 在 Unsplash 上拍摄的照片

在阅读这篇文章之前，阅读那些文章不是必须的，但是如果你是时间序列分析的新手或者你有点生疏，我会推荐你。然而，今天我想换个方式，深入到statsmodels库，更准确地说，处理时间序列数据中的平稳性。

但是什么是平稳性呢？

让我们来看看我不久前找到的一些定义:

平稳性意味着，无论起点如何，取相同大小的连续数据样本应具有相同的协方差。

我知道没那么容易处理，但是我们来分析一下。上面的定义是所谓的弱形式平稳性或“协方差平稳性”的定义，如一些参考资料中所述。存在另一种类型的平稳性，称为严格平稳性，它意味着相同大小的样本具有相同的分布。这种形式限制性很强，我们很少观察到，所以为了做 TSA，用“平稳性”这个术语来描述协方差平稳性。

好的，我明白了，但是时间序列是平稳的意味着什么呢？ 这个容易。对于一些被归类为平稳的时间序列(协方差平稳性)，必须满足 3 个条件:

1. 常数平均值
2. 恒定方差
3. 相同距离周期之间的常数协方差

最后一个可能一开始有点难以理解，所以让我们更深入地探讨一下。它只说明了相同长度的时间段之间的协方差(假设 10 天/小时/分钟)应该与相同长度的其他时间段的协方差相同:

现在这就清楚了，但是为什么我们还需要平稳性呢？ 2 个理由(*最重要的*)，我的朋友:

1. 平稳过程更容易分析
2. 大多数算法都假设平稳性

你能给我举一个平稳和非平稳时间序列的例子吗？ 确定，在这里:

好了，我希望这已经很清楚了，我可以继续了(只剩下一点理论了)。

平稳性测试

不久前，两个名叫大卫·迪基和韦恩·富勒的好家伙开发了一个平稳性测试。你可能会猜到，它被称为迪基-富勒测试，简称 DF 测试。一段时间后，考虑到时间依赖性，该测试的改进版本被开发出来，它被称为增强的 Dicky Fuller 测试 (ADF-test)。

整个测试可以归结为一个简单的假设测试，其中:

• H0: 时间序列不是平稳的
• **哈:**时间序列是平稳的

这意味着我们可以很容易地计算测试统计量，并将其与临界值进行比较。如果检验统计量低于临界值，我们可以拒绝零假设，宣布时间序列是平稳的。

Python 的statsmodels库中的 ADF-test 将返回以下内容:

• 检验统计
• p 值
• 使用的滞后数
• {1%、5%和 10%的临界值}
• 对最大化信息标准的估计(基本上越低，就越容易做出未来预测)

为了简单起见，我将比较测试统计值和 p 值，但是如果你愿意，你可以稍后将它和 1%临界值进行比较。事不宜迟，我们开始吧！

导入和数据集

关于您需要的库，其中两个是常见的——Numpy和Pandas——但是您还需要从statsmodels库导入statools:

现在，您可以从提供的 URL 中读入数据集，并进行一些设置，使一切都符合需要:

如果你以前做过时间序列分析，我相信你对这个数据集很熟悉。对于那些不是的人来说，这是前几行的样子:

让我们也做一个快速的可视化，只是为了吸引眼球，如果时间序列在默认情况下是稳定的:

只要快速看一下，就很容易确定这个时间序列是而不是平稳的。平均值会随着时间的推移而变化，并且季节性周期中的峰值似乎只会变得更大。

然而，通过分析来确定平稳性是很好的。这是下一节将要讨论的内容。

执行 ADF 测试

还记得您从statsmodels库中导入的内容吗？我们现在要用它来测试平稳性。statools包含adfuller方法，您可以将时间序列数据传递给它:

嗯，情况不是很好。正如预期的那样，时间序列不是平稳的，这一点 p 值(0.99)也证实了。让我们探索一种将区分序列的方法——因此用前一个值减去当前值。这个方法叫做diff()，在这个方法中，您可以传递订单—默认为 1:

在对微分时间序列执行相同的测试后，您可以看到 p 值仅略高于通常的显著性水平—还不太令人满意。

如果您想知道为什么我们要删除丢失的值，原因如下:

正如您所看到的，您不能从第一个值中减去，因此会导致缺少值。如果提供了缺失数据的时间序列，ADF-Test 将会失败，请记住这一点。

我们可以很容易地使用不同的微分顺序来查看 p 值是否会下降。让我们用 order = 2 来试试:

p 值现在低于显著性水平，因此时间序列可以被声明为平稳的。

手动完成整个过程可能会很乏味，如果必须处理大量时间序列数据，甚至会难以管理。假设您想要自动化时间序列模型训练的某个部分，如果您要使用需要平稳序列的算法，这将是一个很好的起点。

这就是为什么我决定做一个函数来为你处理这个过程。这里就不多解释了，恰如其分的评论:

现在可以轻松使用声明的函数了:

为了快速验证结果，我们将测试假定平稳的时间序列的平稳性:

看起来一切都很好，微分阶是 2(手动计算的*)，时间序列是稳定的——通过 p 值。*

下一步是什么

这只是时间序列分析的第一步。对于大多数算法，序列必须是稳定的，以便进行分析和预测。

这也是我认为这一步需要自动化的主要原因——手工测试很多差异化订单很繁琐。

现在您有了继续进行的工具。感谢阅读。

* [## 通过我的推荐链接加入 Medium-Dario rade ci

作为一个媒体会员，你的会员费的一部分会给你阅读的作家，你可以完全接触到每一个故事…

medium.com](https://medium.com/@radecicdario/membership)*

数据科学顾问面对客户的技能:奢侈品还是必需品？

原文：https://towardsdatascience.com/what-is-takes-to-be-a-top-data-science-consultant-part-1-client-facing-skills-7803f5c8974c?source=collection_archive---------34-----------------------

成为成功的数据科学顾问需要什么

照片信用。faux els @ Pexels.com

曾经有一段时间，我认为你可以通过拥有优秀的核心技术技能，如机器学习、数据分析和软件工程，成为一名顶级的数据科学顾问。当我开始从事数据科学咨询工作时，我很高兴能成为一家知名全球品牌的顾问。我非常积极地将我在学术和创业生涯中学到的解决方案(通过研究论文、阅读代码库和参加在线课程)应用于大型企业。

我花了几年时间才成为一名经验丰富的数据科学顾问，能够在面向客户的环境中独立工作。

但是很快，现实出现了，我明白我并不具备成为一名成功的数据科学顾问所需的技能。我花了几年时间才成为一名经验丰富的数据科学顾问，能够在面向客户的环境中独立工作。在这些过渡时期，大部分的学习都是在我的项目面临困难，从同事和上级那里得到建设性的或批评性的反馈时进行的。经过这些学习，我开始明白如何作为数据科学顾问成功地为您的客户服务。

除了技术技能之外，成为一名成功的数据科学顾问所需的最关键的技能是你面对客户的技能。简而言之，有许多面向客户的技能，如积极倾听、沟通、换位思考、目标导向的解决问题和奉献精神。在这里，我们重点关注数据科学咨询职业生涯中最关键的一点，即以目标为导向的问题解决。

咨询公司大多是面向客户的专业服务公司，而不是不做产品的公司。这些公司中的大多数人都在从事开发外包解决方案的项目，并最终将它们交付给最终客户。虽然一些团队正在开发产品，但是在面向客户的环境中工作在那些公司中是优先的。

作为一名新入职的数据科学顾问，您可能对您在教育和早期职业生涯中学到的解决方案和技术非常感兴趣。你可能会为自己从事这么多很酷的技术而感到非常自豪，你应该感到自豪。你可能会非常兴奋地向其他人展示你在一些学术论文或教程中读到的见解。你想将你在实践中从新的在线课程中学到的知识应用于你的一个大客户。

你很快就会明白，你项目中的其他人与客户有了更多的接触。也许，他们比你或销售人员高级得多。他们可能会开始告诉你，你提出的解决方案不是客户想要的。或者你把解决方案搞得太复杂了。毕竟，他们比你更了解客户的实际需求。这时候你会开始觉得自己真的不被重视，甚至不受欢迎。

你意识到以客户为中心是咨询公司游戏的重要组成部分。

相信我，我理解。你可能会觉得咨询行业不适合你，你不得不离开，重新开始。但是你需要意识到，以客户为中心，也就是说，把客户的需求，以及项目利益相关者放在第一位，是咨询公司游戏中的一个重要部分。大多数时候，你需要关注企业为解决问题而努力实现的最终目标；最终，你解决了客户的问题，而他们并不了解数据科学或人工智能。他们只想解决他们的业务问题。

通常在你早期的咨询生涯中，你提供的解决方案过于复杂，客户难以理解，甚至你的上司也难以解释。这些可能是你最近在一篇论文中读到的一些复杂的深度学习解决方案，并发现它很有趣。你很快就会意识到，在大多数情况下，最好的解决方案是最直接的解决方案，你可以很快向客户展示它们的价值。一旦您的解决方案的总体方向得到批准，您就可以在此基础上构建更复杂的级别，直到达到所需的级别。

除了您提供的解决方案之外，作为管理顾问，您将拥有的一般职业礼仪是您作为数据科学顾问角色的重要组成部分。记住，如果你在一家大型咨询公司工作，你的客户雇佣你的公司为他们提供世界一流的服务。客户最有可能希望得到高质量、高专业水平的工作。

在咨询中，客户永远是对的。

你如何对待你的咨询客户必须是以客户为中心和坚持“客户永远是对的”这一信念的最好例子在为客户提供咨询服务时，你需要高度的同理心、奉献精神和积极的倾听，这是这个行业的精髓。

总之，在咨询公司工作时，你需要非常实际地对待项目要求和解决问题。此外，请记住，作为一名面向客户的数据科学顾问，意味着您始终需要将客户和项目利益相关方的需求和要求置于您希望如何解决业务问题的偏好之上。

关于作者:

Pouyan R. Fard 是 Fard 咨询公司首席执行官&的首席数据科学家。Pouyan 在数据科学、人工智能和营销分析方面拥有多年的公司咨询经验，从初创公司到全球公司。他曾与医药、汽车、航空、运输、金融、保险、人力资源和销售&营销行业的财富 500 强公司合作。

Pouyan 也在指导活跃在大数据行业的初创公司和人才。他的热情是通过职业培训培养下一代数据科学家，并帮助他们找到数据科学领域的顶级工作机会。

Pouyan 已经完成了消费者决策预测建模的博士研究工作，并对开发机器学习和人工智能领域的最先进解决方案保持兴趣。

什么是贝叶斯定理？

原文：https://towardsdatascience.com/what-is-the-bayesian-theorem-a9319526110c?source=collection_archive---------47-----------------------

数据科学、贝叶斯统计、机器学习

贝叶斯有助于对不确定感进行决策。

由凯蒂·穆姆在 Unsplash 上拍摄的照片

贝叶斯是多个变量之间概率交互的交互表示。

“现在，记住贝叶斯定理的作用:它帮助我们根据新的证据更新假设。”― 丹·莫里斯

贝叶斯定理在第二次世界大战期间被著名地用于解决纳粹恩尼格玛密码，今天它通过研究、技术、医学和许多其他手段来管理模糊性。

那么它是如何工作的呢？

照片由Tj·霍洛韦丘克在 Unsplash 上拍摄

第一个例子

假设我需要看看上帝是否存在。

最初，我不得不同意一些技术来量化它。比如“如果上帝存在，那么和谐的可能性应该是战争的数倍”。这就是众所周知的似然函数。

有了这个可能性函数，我可以逐个国家地检查是否有战争或和谐。我需要世界状况的绝对可能性，这是每个国家可能性的结果。模型中，C 中有三个国家 A、B，它们处于战争、战争与和谐之中:

如果上帝存在，可能性是 0.20.20.8

如果上帝不存在，可能性是 080.80.2

在数学中，证明上帝存在的几率是 2 比 8

第二，你制造了一个潜在的猜想或推测。就像，我赌二比一上帝不存在。这就是所谓的先验概率。就像我的信仰一样，我以 10 比 1 的赔率打赌上帝存在。所以:

上帝存在:0.9

上帝不存在:0.1

第三，你利用 B ayes 定理把两者联系起来。你看过数据后的信念是:

p(上帝|数据)= k×似然×先验 p(上帝|数据)= k×似然×先验

这就给出了两种潜在客户的贝叶斯概率:

p(上帝=是|数据)= K*(0.20.20.8)*0.9 = 0.0288

p(God = No | Data)= K (0.8 * 0.8 * 0.2) 0.1 = 0.0128

k 只是一些归一化常数，以使总和为 1，同时保持幅度。最后的结局明白无误地是:

p(上帝=是|数据)= 0.5

p(God = No | Data) = 0.5

沿着这些思路，你开始时是一个有信仰的人，认为(9 比 1)上帝确实存在，你结束时是一个自由思想者！

贝叶斯概率类似于概率的基本原理，我们从最终定罪之前的初始假设出发，通过作为可能性的前提和作为信息的观察。

另一个例子，与在地面上相比，你在高楼顶部被闪电击中的可能性很高。随后，关于该区域的数据改变了可能性。

贝叶斯试图破译这些关于概率的额外数据。鉴于你所在的地区，我们可以比任何地区更准确地预测某个事件发生的可能性。

另一个例子

假设你在一个没有窗户的房间里。你意识不到外面是倾盆大雨还是阳光明媚。因此，今天有暴风雨的几率相当于晴天的几率。

你需要一些推理要么是暴风雨，要么今天是晴天。今天没有理由讨论它发光的可能性。这种可能性就是当某件事即将发生时，你做出一个估计。

因此，相对于陈述它有多大机会发光，我们谈论今天你接受多少是明亮的，这经常被称为贝叶斯理解。我们只是用一种意想不到的方式来表达。

现在你的同伴去了你的房间。假设他带了一把伞。在你的同伴到来之前，你认为狂风大作的程度等同于你认为阳光灿烂的程度。

然而，在看到一把伞之后，你会想它可能是因为其他什么原因而落下来的，我的同伴会带着一把伞吗？

你还不确定气候，但现在你的信念更倾向于暴风雨。

话又说回来，如果你的同伴戴着一顶帽子，可能它在外面会发光。目前，你更相信它光明的外表，而不是狂风大作。

你简单地做了一个贝叶斯更新。你提到了一个客观事实，看到你的同伴带着一把伞或一顶帽子，并利用这个数据来更新你对当前气候的看法。这被称为贝叶斯更新。

你可以继续观察。如果你多次做同样的观察，你的信念倾向于偏向一边。

在看到你的同伴拿着一把伞之后，假设你对外面正在下雨的信念有 75%来自于潜在的一半。此时，假设你的姐妹在你的同伴离开后进来。

她也有一把伞。目前，当外面真的很亮的时候，你的同伴和你的姐妹都带着伞出现的几率非常低。

所以现在你更确定外面在下大雨。可能现在你的信念状态是 85%倾倒对 15%辐射。

这实际上是一个在隐马尔可夫模型中观测更新的例子，在这种情况下，你不能合理地看到气候，但你可以提到依赖于气候的客观事实。

同样，你可以把你对之前气候的更新放在一起，而不是放在一个同伴身上。假设在你的城市连续两天下雨真的很少见。

你还在你的房间里，然而有人来告诉你，它昨天就下来了。所以也许今天天气很好。

在意识到昨天是狂风大作的一天之前，你确信外面正下着倾盆大雨，就相当于你确信天气晴朗。

然而，在意识到它昨天已经下降之后，你相信它是明亮的，而不是它正在下降。

这通常被称为进度更新。你从一天前进到第二天，你利用前一天的数据来推测今天的情况。

具体来说，贝叶斯推理将概率解释为一个人是否可能或有可能因为特定原因而出现的比例。

由凯利·西克玛在 Unsplash 上拍摄

结论

我们可能对某个场合有更早的信念；然而，随着新证据的公布，我们的信念可能会改变。

贝叶斯观点为我们提供了一个清晰的实证工具来强化我们先前的信念，并提供证据来创造新的后来的信念。

现在，把你对TwitterLinkedin，以及Github！！**

同意 还是 不同意 与 Saurav Singla 的观点和例子？想告诉我们你的故事吗？

他乐于接受建设性的反馈——如果您对此分析有后续想法，请在下面评论或联系**

推文@ SauravSingla _ 08，评论Saurav _ Singla，还有明星SauravSingla马上！

到底什么是偏差-方差权衡，为什么它很重要？

原文：https://towardsdatascience.com/what-is-the-bias-variance-tradeoff-c3fda9897fff?source=collection_archive---------36-----------------------

数据科学概念

它们彼此有多么不同

亚历克斯在 Unsplash 上的照片

W 当谈到数据科学时，人们必须确保他们的机器学习模型“恰到好处”。每一个机器学习模型都有不同的两面: 偏差 和 方差 。作为数据科学家，我们必须寻找一种在两者之间达到完美平衡或至少接近完美平衡的模型。就像《金发姑娘和三只熊》中的金发姑娘一样，我们必须寻找一个既不“太热”也不“太冷”的模型。

这就是“偏差-方差权衡”的总体概念。偏差和方差是机器学习模型中的误差。当我们构建和训练我们的机器学习模型时，我们的目标是尽可能减少错误。在理想情况下，我们能够将模型中的偏差和方差都降低到零。然而，如果偏差减少到零，那么方差将增加，反之亦然。因此，为了优化我们的模型，我们必须能够在两者之间找到一个平衡点，这样我们就可以同时减少偏差和方差。

在这里注册一个中级会员，可以无限制地访问和支持像我这样的内容！在你的支持下，我赚了一小部分会费。谢谢！

什么是偏见？

偏差是机器学习模型中的一个错误。该误差是模型预测值和实际值之间的差异。

在统计学中，偏差是低估或高估一个参数的趋势。偏差可以以多种不同的形式出现，如 采样偏差 或 选择偏差 。

照片由罗姆森·普里查维特在 Unsplash 上拍摄

什么是方差？

方差也是机器学习模型中的一个误差。这次的错误是模型对数据的敏感性。如果它太敏感，那么模型可能会看到实际上并不存在的信号和模式。

在统计学上，方差是数据集中每个变量与所有变量的平均值或均值之间的距离。它测量数据集的分布以及每个变量之间的距离。

偏差与方差

在偏倚和方差之间，哪个误差应该减少得最多？如果你选择减少一个错误而不是另一个，会发生什么呢？错误就是错误，所以总的来说，有一个或另一个并不更好。

欠拟合和过拟合

如果我们优先考虑减少一个误差，那么我们将得到一个模型，要么 过度拟合，要么 数据不足。这意味着模型不会为任何新数据提供可用的结果。在拟合不足的情况下，模型无法拟合训练数据，因此将无法概括新数据。过度拟合将导致模型对训练数据建模得太好；检测数据中实际不存在的模式和噪声。这可能会对任何新数据的建模结果产生负面影响。

减少两者

由于优先减少一个错误的影响，我们必须同时减少两个错误。这将引导我们达到我们希望的最好结果。

偏差-方差权衡的准确性

看一下四个目标的图像以及偏差和方差对精确度的影响。随着偏差的增加，结果完全偏离目标，尽管是一致的。随着方差的增加，结果有时会接近标准，但过于分散。如果偏差和方差都很高，那么结果是分散的，完全偏离目标，如右上方的目标所示。最好的选择是偏差和方差最小的目标，其结果始终如一地准确。

为了获得最佳模型，偏差和方差都必须尽可能地降低。

最佳模型

降低偏差和方差意味着减少模型中的总误差。这也意味着创建一个不太简单也不太复杂的模型。当考虑偏差和方差时，我们也要考虑模型的复杂性。太复杂的模型是过度拟合的模型，太简单的模型是拟合不足的模型。这也与偏差和方差的方向相关。

观察误差和模型复杂性的图像，我们可以看到实现最佳模型的点。

绘制偏差-方差权衡图

想象上面的图像是一个大山谷。即使到达山顶可能更令人钦佩，但在偏差-方差权衡的情况下，我们希望到达谷底。谷底或最低点是我们在创建机器学习模型时希望偏差、方差和总误差保持不变的地方。

一旦我们能够实现最低可能的偏差和方差，那么我们就实现了最佳的机器学习模型。

结束语

正如您已经看到的，当涉及到偏差和方差时，减少一个比另一个更好的方法并不可取。偏差是实际值和模型预测值之间的误差。方差也是一个误差，但是来自模型对训练数据的敏感性。

如果我们的目标只是减少两者中的一个，那么另一个就会增加。偏差优先于方差将导致模型过度拟合数据。区分差异的优先级将使模型不符合数据。这两种结果都不被看好。然而，有一个点，我们可以在不影响另一个的情况下减少偏差和方差，这就是我们正在寻找的点。

为了实现最佳的机器学习模型，我们必须平衡两者的缩减。这将给我们一个既不太简单(数据欠拟合)也不太复杂(数据过拟合)的模型。这两种误差减少的平衡将使我们达到最佳的模型复杂度。这是偏差-方差权衡的总体概念。

在 Twitter 上关注我:@Marco_Santos

我们需要的数据架构是什么？

原文：https://towardsdatascience.com/what-is-the-data-architecture-we-need-72606e71ba0c?source=collection_archive---------7-----------------------

照片通过 Pixabay

在大数据和数据科学的新时代，对于企业来说，拥有一个与业务流程一致的集中式数据架构至关重要，这种架构可以随着业务增长而扩展，并随着技术进步而发展。一个成功的数据架构提供了数据各个方面的清晰性，这使得数据科学家能够高效地使用可信的数据，并解决复杂的业务问题。它还通过利用新兴技术帮助组织快速利用新的业务机会，并通过管理整个企业中复杂的数据和信息交付来提高运营效率。

与信息体系结构、系统体系结构和软件体系结构相比，数据体系结构相对较新。数据架构师的角色也很模糊，落在了高级业务分析师、ETL 开发人员和数据科学家的肩上。尽管如此，我将使用数据架构师来指代那些为组织设计数据架构的数据管理专业人员。

当谈到建筑时，我们经常会想到与建筑的类比。传统的建筑建筑师规划、设计和审查建筑的建造。设计流程包括与客户合作，充分收集需求，了解当地的法律和环境限制，并与工程师、测量员和其他专家合作，以确保设计切实可行且在预算范围内。这项工作的复杂性确实非常类似于数据架构师的角色。然而，这两种架构师角色之间有一些基本的区别:

• 建筑架构是自顶向下设计的，而数据架构通常是可能已经存在的组件或系统的集成过程。
• 建筑设计师在建造建筑之前，必须了解所有的要求并定义整个范围。数据架构的范围很广，很容易改变。因此，一个成功的数据架构应该设计得灵活，并能预见未来的变化。
• 建筑建筑师有严格的教育和专业要求，应该拥有商业、艺术、结构物理和建筑材料方面的深入知识。另一方面，大多数数据架构师都有 IT 背景，在一些公司或行业有专业经验，对业务的了解有限。因此，他们应该意识到他们的设计可能会有偏差，他们需要根据组织中业务和技术专家的反馈进行调整。
• 建筑设计几乎总是为新建筑从头开始。因此，建筑建筑师可以完全根据新要求和新材料进行规划和设计。数据架构师没有这种奢侈。他们很少能从零开始，但在设计未来时需要了解现有的平台和数据库。

考虑到所有这些差异，数据架构师仍然可以向建筑架构师学习，特别是采用他们自顶向下的方法来改进数据架构设计。在许多组织中，缺乏系统的、集中的、端到端的数据架构设计。下面列出了一些主要原因:

• 一家公司有多个 IT 部门，他们各自使用自己的数据标准和架构。
• 应用程序和流程是基于单个业务需求构建的，没有数据架构标准可循。
• 数据架构师的角色只关注有限数量的技术领域，并且拥有有限的数据业务知识。
• IT 项目的管理没有将数据架构作为设计阶段的一部分来考虑；数据科学家和工程师在没有一致的数据管理流程的情况下编写代码。

由于这些不足，我们经常看到公司的数据系统脱节，团队和部门之间存在差距。这种差异导致系统性能不佳，移交次数多，出现生产数据问题时需要很长时间进行故障排除，缺乏跨系统达成正确解决方案的责任感，以及缺乏评估变更影响的能力。最后，当迁移或重新设计到下一代平台时，脱节的系统可能会导致大量的分析和研究工作。

鉴于所有这些，一个成功的企业需要有一个基于业务流程和操作设计的自顶向下的一致的数据架构。特别是，就像建筑架构师所做的那样，在将技术应用到详细的应用程序设计和实现之前，企业数据架构师需要首先在概念和逻辑级别构建蓝图。

1。基于业务流程和操作的概念级数据架构设计

在现代 IT 中，业务流程由数据实体、数据流和应用于数据的业务规则支持和驱动。因此，数据架构师需要有深入的业务知识，包括财务、营销、产品和业务流程的特定行业专业知识，例如健康、保险、制造商和零售商。然后，他或她可以通过设计代表每个业务领域的数据实体和分类法，以及业务流程下的数据流，在企业级正确地构建数据蓝图。特别是，在此概念阶段需要考虑和规划以下方面:

• 核心数据实体和数据元素，如关于客户、产品、销售的数据实体和数据元素。
• 客户和顾客需要的输出数据。
• 要收集、转换或引用的源数据，以生成输出数据。
• 每个数据实体的所有权，以及基于业务用例应该如何消费和分配它。
• 应用于每个数据实体的安全策略。
• 数据实体之间的关系，例如引用完整性、业务规则、执行顺序。
• 标准数据分类和分类学。
• 数据质量、运营和服务水平协议(SLA)的标准。

这个概念级的设计由支持每个业务功能的底层数据实体组成。蓝图对于企业和系统架构的成功设计和实现及其未来的扩展或升级至关重要。在许多组织中，这种概念设计通常嵌入到由单个项目驱动的业务分析中，而没有从企业端到端解决方案和标准的角度进行指导。

2。逻辑级数据架构设计

通过考虑使用哪种类型的数据库或数据格式，这种级别的设计有时被称为数据建模。它将业务需求与底层技术平台和系统联系起来。然而，考虑到数据建模者的孤立角色，大多数组织只在特定的数据库或系统中设计数据建模。通过考虑适用于每个数据库或系统的标准，以及这些数据系统之间的数据流，一个成功的数据架构应该用一种集成的方法来开发。特别是，需要以协同方式设计以下 5 个领域:

命名约定和数据完整性

数据实体和元素的命名约定应该一致地应用于每个数据库。此外，如果相同的数据必须驻留在多个数据库中，应该加强数据源及其引用之间的完整性。最终，这些数据元素应该属于数据架构中的概念设计中的数据实体，然后可以基于业务需求对其进行协同和准确的更新或修改。

数据归档/保留政策

数据归档和保留策略通常直到生产的后期才被考虑或建立，这导致了资源浪费、不同数据库之间的数据状态不一致，以及数据查询和更新的低性能。为了加强数据完整性，数据架构师应该根据操作标准在数据架构中定义数据归档和保留策略。

隐私和安全信息

隐私和安全成为逻辑数据库设计的一个重要方面。虽然概念设计已经定义了哪个数据组件是敏感信息，但是逻辑设计应该将机密信息保存在一个数据库中，该数据库具有受限的访问权限、受限的数据复制、特定的数据类型和安全的数据流来保护信息。

数据复制

数据复制是考虑三个目标的关键方面:1)高可用性；2)避免通过网络传输数据的性能；3)解耦以最小化下游影响。然而，过多的数据复制会导致混乱、数据质量差和性能差。任何数据复制都应该由数据架构师检查，并按照原则和规则进行应用。

数据流和流水线

不同数据库系统和应用程序之间的数据流应该在这个层次上明确定义。同样，这个流程与业务流程和数据架构师概念层次中的流程是一致的。此外，数据接收的频率、管道中的数据转换以及针对输出数据的数据访问模式应该在逻辑设计的集成视图中加以考虑。例如，如果上游数据源是实时的，而下游系统主要用于具有大量索引的聚集信息的数据访问(例如，频繁更新和插入的开销很大)，则需要在两者之间设计数据管道来优化性能。

3。数据治理是数据架构持续成功的关键。

由于数据架构反映并支持业务流程和流，因此每当业务流程发生变化时，数据架构也会随之变化。随着底层数据库系统的改变，数据架构也需要调整。因此，数据架构不是静态的，而是需要不断地管理、增强和审计。因此，应该采用数据治理，以确保在每个新项目启动时，企业数据架构的设计和实现都是正确的。

结论

在一个成功的数据架构中，基于业务流程的概念设计是最重要的组成部分，其次是强调所有数据库和数据管道的一致性、完整性和效率的逻辑设计。一旦建立了数据架构，组织就可以看到哪些数据驻留在哪里，并确保数据得到保护、高效存储和准确处理。此外，当一个数据库或一个组件发生更改时，数据架构可以让组织快速评估影响，并指导所有相关团队进行设计和实现。最后，数据架构是企业系统的活文档，它保证是最新的，并给出清晰的端到端的描述。总之，反映端到端业务流程和运营的整体数据架构对于公司在经历重大变革(如收购、数字化转型或向下一代平台迁移)的同时快速高效地发展至关重要。

SQL 中的 having 子句和 where 子句有什么区别？

一个常见的面试问题解释

在 SQL 中，其中子句和 having 子句用于过滤数据。这里的子句相当简单，但是有子句就有点复杂了。 Where 子句按表中的形式过滤数据。相比之下，具有子句的在分组和聚合之后过滤数据。另一种说法是， where 作用于单个记录，而have作用于分组记录。

在这个故事中，我将描述 where 子句和 having 子句。然后，我将使用《吸血鬼猎人巴菲》中的角色，通过一个使用了 where 子句的示例和一个 having 子句的示例。

https://imgs.xkcd.com/comics/query_2x.png

场景

剧透警报

这个场景提到了《吸血鬼猎人巴菲》中的故事情节，所以如果你还没有看过，也不想知道会发生什么…停止在这里阅读。然而，鉴于它开始于 1997 年，结束于 2003 年，我认为我们可能是相当安全的😜

巴菲和她的朋友住在地狱口的阳光谷。巴菲是吸血鬼猎人，但其他角色也有助于猎杀吸血鬼和恶魔。

假设我们有一个包含在地狱之口收集的数据的表。这张表叫做吸血鬼 _ 被杀，显示了生活在阳光谷的所有角色杀死的吸血鬼数量。它也给每个人一个他们所属的类别标签，包括杀戮者，吸血鬼，平民和守望者。

在整个系列中，巴菲死了两次。第一季有一次主人淹死了她。她复活了，之后继续杀吸血鬼。她第二次死是在第五季的最后一集，她从一座塔上跳下，进入一个传送门，代替她的姐姐道恩死去。在第六季开始时，她的朋友们用巫术把她从死亡中带了回来，她也回去猎杀吸血鬼。

由于她死了两次，巴菲实际上在吸血鬼 _ 被杀表中有三个条目。

这些数字不是真实的。我编造了这些故事来猜测每个角色一生中会杀死多少吸血鬼。没错，我现在正在狂看《魔法奇兵》的整个 7 季，但我不会坐在那里统计所有死去的吸血鬼。

如果你想知道每个角色在屏幕上被杀死的实际次数，你可以在这里找到。我没有在我的例子中使用这些数字，因为这些数字偏向于那些有更多屏幕时间的主要角色。

问题是

费思和巴菲在吵架。他们一直有竞争，但这场争论是关于谁杀了最多的吸血鬼。费思认为只有她杀了 1000 多个吸血鬼，而巴菲还没有达到这个数字。巴菲不同意，并认为她已经杀死了 1000 多个吸血鬼。

为了解决他们的争吵，贾尔斯使用了吸血鬼 _ 被杀的记录。

CREATE TABLE vampires_slain (
    name varchar(255),
    hellmouth_category varchar(255),
    slay_count int
);
INSERT INTO vampires_slain (name, hellmouth_category, slay_count)
VALUES
    ('Buffy', 'slayer', 104),
    ('Willow', 'civilian', 65),
    ('Xander', 'civilian', 89),
    ('Buffy', 'slayer', 886),
    ('Angel', 'vampire', 1397),
    ('Giles', 'watcher', 673),
    ('Kendra', 'slayer', 1260),
    ('Spike', 'vampire', 1108),
    ('Faith', 'slayer', 1421),
    ('Buffy', 'slayer', 957)
;

吸血鬼 _ 被杀

环境

解决方案

为了解决巴菲和菲斯之间的争论，贾尔斯想要过滤掉**吸血鬼 _ 被杀的表格。**他想只显示那些 slay_count 大于 1000 的个体。他试图使用一个 where 子句来实现。

Where 子句

其中在 SQL 中是一个简单的过滤器。如果满足查询的 where 条件，则在结果中返回该行数据。就这么简单。

在查询中， where 子句最常用在 from 之后。您可以在 where 子句中使用许多不同的运算符，包括 =、>、<、> =、< =、！=，之间，像中的和**。注意，在 MySQL 中要么**！=** 或 < > 可以用来表示‘不等于’。**

select *
from
vampires_slain
where
slay_count > 1000
order by 
slay_count desc;

费思很惊讶，她不是唯一一个杀死了 1000 多个吸血鬼的人。安吉尔、肯德拉和斯派克也在 slay_count 大于 1000 的名单中。

巴菲惊讶地发现她不在名单上。就连年纪轻轻就被杀的肯德拉也有 1000 以上的 slay_count 。

当巴菲买下肯德拉时，贾尔斯意识到当巴菲死了，肯德拉被召唤成为一名杀手时，巴菲的记录可能会一分为二。然后他想起她为了救 Dawn 第二次死了，并得出结论，Buffy 在表中有 3 个条目。

为了合并这三个记录，Giles 决定使用一个具有子句的**。这样他就能看到巴菲三个条目的和是否大于 1000，以及她杀死的吸血鬼数量是否大于费思。**

Having 子句

where 关键字不能与聚合函数一起使用。这就是有了的的用武之地。 Having 只能通过子句与组结合使用。SQL 中一些最常见的聚合函数有 min ， max ， ave ， count 和 sum 。

当在查询中使用具有的时，只返回满足具有条件的的组**。**

贾尔斯用一个 having 子句解决了巴菲两次进入吸血鬼 _ 被杀表的问题。他按名称对条目进行分组，这样 Buffy 的两个条目将合并为一个。她名下的两个条目将使用 having 子句中的 sum 聚合函数进行求和。

然后，他可以再次使用 > 符号来过滤数据集，以仅包含总和 slay_count 大于 1000 的分组条目。

select name, hellmouth_category, sum(slay_count)
from
vampires_slain
group by 
name
having
sum(slay_count)>1000
order by sum(slay_count) desc;

因此，一旦 Giles 使用了 having 子句，就会对每个个体的 slay_counts 进行求和，然后过滤生成一个表，该表只包含 sum(slay_count) 大于 1000 的个体。结果表像以前一样包含了费思、安吉尔、肯德拉和斯派克，但它也包含了具有 1947 年 sum(slay_count) 的巴菲。

因此，贾尔斯解决了争论。巴菲和费思的总死亡数都超过了 1000。信仰是错误的。巴菲不仅杀死了 1000 多只吸血鬼，而且她在 1947 年杀死的吸血鬼总数比费思的 1421 只还多。

我如何使用 where 和 having 子句

我不得不承认，在我的日常数据库查询中，我倾向于不太使用 having 子句。相反，我通常会创建中间表，其中的项目被分组。然后，如果需要的话，我会使用一个 where 子句来过滤中间表。我想我经常分组字段或者过滤它们，但很少同时两者。

我之所以会创建中间表而不是使用带有子句的来创建中间表，主要是因为我所处理的数据都在非常大的表中。当使用具有子句的时，会在内存中创建一个临时表。这意味着，对于大型数据集，使用具有子句的的查询会花费很长时间。

然而， having 从句在科技面试中经常被用作问题。这是因为它们是需要正确使用的比较棘手的 SQL 子句之一。因此，即使你很少在实践中使用它们，了解它们的工作原理并对它们感到舒适也是值得的。

我希望这个例子有助于澄清 SQL 中的 where 和 having 之间的区别。

我写过的关于 SQL 的其他文章:

[## SQL 中的内部连接和外部连接有什么区别？

SQL 中的内部连接、完全外部连接、左外部连接和右外部连接使用来自以下领域的示例进行解释…

towardsdatascience.com](/what-is-the-difference-between-an-inner-and-an-outer-join-in-sql-5b5ec8277377)

我写的关于数据科学的文章:

[## 我如何在 6 个月内从零编码技能成为数据科学家

我用来自学数据科学的 4 个工具没有花一美元

towardsdatascience.com](/how-i-went-from-zero-coding-skills-to-data-scientist-in-6-months-c2207b65f2f3)

SQL 中的内部连接和外部连接有什么区别？

SQL 中的内连接、全外连接、左外连接和右外连接用哈利波特世界中的例子来解释

SQL 中的连接用于组合不同表的内容。您可以通过多种方式指定希望如何联接表中的数据，其中一种方式是联接类型。有四种主要的联接类型:内部联接、完全外部联接、左外部联接和右外部联接。

内部联接和外部联接的主要区别在于，内部联接导致两个表的交集，而外部联接导致两个表的并集。

在这个故事中，我将描述内部连接、完全外部连接、左外部连接和右外部连接之间的区别。然后，我将通过一个使用《哈利·波特》中人物的例子来展示这些不同之处。

可视化连接

一个维恩图是一个可视化内部连接和外部连接之间差异的有用方法。

内部联接和完全外部联接

内部连接导致两个数据集的维恩图的重叠部分，而对于完全外部连接，维恩图的外部部分也将被返回。

对于内部联接，只返回两个表共有的行。但是，对于完全外部连接，将返回两个表中的所有行。

数据库中名为 Table_1 和 Table_2 的两个表

**内部连接:**内部连接的结果将只包含 Table_1 和 Table_2 重叠的黄色部分

**完全外部连接:**外部连接的结果将包含所有黄色部分，包括整个 Table_1 和 Table_2，而不仅仅是两个圆重叠的地方

左右外部联接

如果您希望从一个表中获取所有值，但从另一个表中只获取与该表匹配的行，则左右外部联接非常有用。

因此，在左外连接中，将返回左表中的所有行以及右表中共有的行。相比之下，对于右外连接，将返回右表中的所有行以及左表中共有的行。

**左外连接:**左外连接的结果将包含 Table_1 和 Table_2 重叠的黄色部分，以及包含 Table_1 其余部分的黄色部分

**右外连接:**右外连接的结果将包含 Table_1 和 Table_2 重叠的黄色部分，以及包含 Table_2 其余部分的黄色部分

例子

环境

为了运行这个例子中的代码，我在 SQL Fiddle 中使用了 PostgreSQL 9.6。如果您想尝试在不设置复杂环境的情况下运行代码，请随意使用。我已经简化了示例中表格的输出，删除了重复的列，只是为了让它更清晰、更容易理解，所以如果您尝试了一下，看起来有点不同，不要惊慌。对于这个故事，我使用 PostgreSQL 而不是 MySQL，因为 MySQL 不使用完全外连接。

哈利·波特场景

让我们假设您正试图连接霍格沃茨魔法学校的两个学生成绩表。这些桌子被称为魔药 _ 类和魔咒 _ 类。每个表格都有两列，包含学生姓名和成绩。

CREATE TABLE charms_class(
student_namevarchar(255),
charms_gradevarchar(255)
);INSERT INTO charms_class (student_name, charms_grade)
VALUES
    ('Harry', 'C'),
    ('Ron', 'D'),
    ('Hermione', 'A'),
    ('Luna', 'B'),
    ('Neville', 'B')
;CREATE TABLE potions_class(
student_namevarchar(255),
potions_gradevarchar(255)
);INSERT INTO potions_class (student_name, potions_grade)
VALUES 
    ('Harry', 'A'),
    ('Ron', 'C'),
    ('Hermione', 'B'),
    ('Ginny', 'A'),
    ('Draco', 'D')
;

charms_class

魔药课 _ 课堂

内部联接示例

想象一条龙威胁着霍格沃茨城堡。只有同时参加魔药课和魔法课的学生才能和老师一起出去保卫学校。

要找出哪些学生同时上了 charms 课和魔药课，以及他们在每门课中的成绩，可以使用 charms_class 和魔药课表中的内部联接。

select * 
from 
charms_class INNER JOIN potions_class 
on 
charms_class.student_name=potions_class.student_name;

生成的表如下所示:

在这个内部连接的例子中，只有哈利、罗恩和赫敏同时参加了魔咒和魔药课，所以他们两个班级的成绩都在结果中返回。请注意，只注册了一个班而没有注册另一个班的学生不会出现在结果中。

因此只有哈利、罗恩和赫敏被允许面对龙。

完全外部连接示例

魔法部只雇佣完成了魔咒课和魔药课的毕业生。然而，没有足够的学生具备担任所有角色所需的先决条件，所以魔法部想要一份已经注册了一个班级的学生名单。

要找出哪些学生在魔法班或魔药班，可以使用一个完整的外部连接。请注意，如果学生没有注册魔药课，魔药等级值将为空，同样地，如果学生没有注册魔药课，魔药等级值也将为空。

所以任何一个成绩栏中有空值的学生都是魔法部想要联系的人。

select * 
from 
charms_class FULL OUTER JOIN potions_class 
on 
charms_class.student_name=potions_class.student_name;

生成的表如下所示:

在这个完全外部连接的示例中，所有学生都包含在结果表中。只有哈利、罗恩和赫敏同时参加了魔法和魔药课，所以他们这两门课的成绩都在结果中返回，并且在他们的行中没有空值。

金妮和德拉科只有魔药课的成绩，因为他们没有使用符咒，所以他们的符咒成绩被指定为空值。卢娜和纳威只有魔法等级，因为他们没有学过魔药，所以他们的魔药等级被赋值为空值。

因此金妮、德拉科、卢娜和纳威都是可以选修额外课程的学生，以便毕业后能够在魔法部工作。

左外部联接示例

校长办公室搞了一场恶作剧，邓布利多教授的所有家具都漂浮在天花板上。参加魅力课程并获得 C 级或更高成绩的学生受到怀疑。然而，上魔药课的学生不可能是罪犯，因为恶作剧发生时他们的班级正在进行实地考察。

为了找出哪些学生在 charms 班的成绩为 C 或更高，而没有在魔药班注册，我们将使用左外连接来连接 charms_class 表和魔药 _class 表。请注意，如果学生没有注册魔药课，魔药课成绩值将为空。

select * 
from 
charms_class LEFT OUTER JOIN potions_class 
on 
charms_class.student_name=potions_class.student_name;

生成的表如下所示:

只有哈利、罗恩和赫敏同时参加了魔法和魔药课，所以他们这两门课的成绩都在结果中返回，并且在他们的行中没有空值。

卢娜和纳威只有魔法等级，因为他们没有学过魔药，所以他们的魔药等级被赋值为空值。

金妮和德拉科没有服用魔咒，所以他们没有包括在这个结果表中。

因此，校长办公室恶作剧的嫌疑人是卢娜和纳威。他们在魔法课上都得了 B，而且事发时都不在魔药课上。

右外部联接示例

斯内普教授经营着一个魔药俱乐部，在魔法课上同时开会。只有注册了魔药课但没有注册魔药课的学生才可以参加俱乐部。

要找出哪些学生上了魔药课，哪些没上魔药课，你可以使用一个右外连接。请注意，如果学生没有注册 charms 类，charms_grade 值将为空。

select * 
from 
charms_class RIGHT OUTER JOIN potions_class 
on 
charms_class.student_name=potions_class.student_name;

生成的表如下所示:

在这个右外连接的例子中，只有哈利、罗恩和赫敏同时参加了魔咒和魔药课，所以他们两个班的成绩都在结果中返回，并且他们的行中没有空值。

金妮和德拉科只有魔药课的成绩，因为他们没有使用符咒，所以他们的符咒成绩被指定为空值。

卢娜和纳威没有服用魔药，所以他们没有被包括在这个结果表中。

因此只有金妮和德拉科可以加入魔药俱乐部，因为他们不上魔法课。

我如何使用联接

作为一名数据科学家，我使用最多的连接是左外连接。例如，我曾经处理过健康数据，并且经常会按位置汇总程序编号。在这种情况下，我会将位置表放在左边，然后进行左连接。这是因为可能有一些位置我没有任何过程，如果我做了一个内部连接，我会丢失这些位置。当您只需要完整的数据集，而不需要添加外部联接带来的空值时，内部联接会更有用。我很少使用完全外连接，除非需要保留被连接的两个表中的所有数据。完全外连接最终可能会产生非常大的结果表，尤其是在要连接的表之间没有太多重叠的情况下。

如果你想解释不同的 SQL 方法，请在下面留下评论。

[## 通过我的推荐链接加入 Medium-Kate Marie Lewis

想了解更多关于数据科学的知识吗？今天就成为会员吧&不要错过凯特的帖子，直接交会员费…

medium.com](https://medium.com/@katemarielewis/membership)

如果您想了解更多关于我如何成为数据科学家的信息，请访问:

[## 我如何在 6 个月内从零编码技能成为数据科学家

我用来自学数据科学的 4 个工具没有花一美元

我是如何展示自己得到这份工作的

towardsdatascience.com](/interview-strategy-that-landed-me-my-first-data-science-job-bdd5e77bfb49) [## 愤怒退出癌症研究

为什么我从神经科学家变成了数据科学家

towardsdatascience.com](/rage-quitting-cancer-research-5e79cb04801)

CNN 和 RNN 的区别是什么？

原文：https://towardsdatascience.com/what-is-the-difference-between-cnn-and-rnn-719dba4fd5a5?source=collection_archive---------43-----------------------

卷积神经网络和递归神经网络是当今 ML 中常用的方法。然而，它们通常用于完全不同的用例。

作者图片

在机器学习中，每种类型的人工神经网络都是为某些任务量身定制的。本文将介绍两种类型的神经网络:卷积神经网络(CNN)和递归神经网络(RNN)。使用流行的 Youtube 视频和视觉辅助工具，我们将解释 CNN 和 RNN 之间的区别，以及它们如何用于计算机视觉和自然语言处理。

CNN 和 RNN 的区别是什么？

CNN 和 RNN 的主要区别在于处理时序信息或数据的能力，比如一个句子。此外，卷积神经网络和递归神经网络用于完全不同的目的，并且神经网络本身的结构存在差异以适应那些不同的使用情况。

CNN 在卷积层中使用滤波器来转换数据。然而，rnn 重用序列中其他数据点的激活函数来生成序列中的下一个输出。

虽然这是一个经常被问到的问题，但是一旦你看了这两个神经网络的结构并理解了它们的用途，CNN 和 RNN 之间的区别就变得很明显了。

首先，让我们看看 CNN 以及它们是如何被用来解读图像的。

什么是卷积神经网络？

卷积神经网络是在计算机视觉中用于识别图像中的对象和模式的最常见的神经网络类型之一。它们的定义特征之一是在卷积层中使用滤波器。

卷积层
CNN 有独特的层，称为卷积层，将它们与 rnn 和其他神经网络分开。

作者图片

在卷积层中，输入在被传递到下一层之前被转换。CNN 通过使用过滤器来转换数据。

卷积神经网络中的滤波器是什么？

CNN 中的过滤器只是一个随机数值矩阵，如下图所示。

作者图片

过滤器中的行数和列数可以变化，这取决于用例以及正在处理的数据。在一个卷积层中，有许多过滤器在图像中移动。这个过程被称为卷积。过滤器卷积图像的像素，在将数据传递到 CNN 的下一层之前改变它们的值。

过滤器是如何工作的？

为了理解过滤器如何转换数据，让我们看看如何训练 CNN 识别手写数字。下面是来自 MNIST 数据集的数字 7 的 28 x 28 像素图像的放大版本。

图像取自 MNIST 数据集

下面是相同的图像转换成它的像素值。

作者图片

过滤器移动或“卷积”通过每个 3×3 像素矩阵，直到所有像素都被覆盖。然后，每个计算的点积用作下一层的输入。

最初，过滤器中的值是随机的。因此，第一次通过或卷积作为一个训练阶段，最初的输出不是很有用。每次迭代后，CNN 使用损失函数自动调整这些值。随着训练的进行，CNN 不断调整过滤器。通过调整这些过滤器，它能够区分边缘，曲线，纹理，以及图像的更多模式和特征。

虽然这是一个惊人的壮举，但为了实现损失函数，CNN 需要以标记训练数据的形式给出正确输出的例子。

当迁移学习无法应用时，许多卷积神经网络需要过量的标记数据。

你还不明白 CNN 吗？下面是杰瑞米·霍华德在 fast.ai 上的一个精彩但冗长的视频讲座。视频详细说明了 CNN 的工作原理:

CNN 的不足之处

CNN 擅长解释视觉数据和没有顺序的数据。然而，它们不太擅长解释时间信息，如视频(本质上是一系列单独的图像)和文本块。

文本中的实体提取是序列中不同部分的数据如何相互影响的一个很好的例子。对于实体，句子中实体前后的单词对它们的分类有直接影响。为了处理时间或序列数据，如句子，我们必须使用算法，这些算法被设计为从序列中的过去数据和“未来数据”中学习。幸运的是，循环神经网络正是这样做的。

什么是递归神经网络？

递归神经网络结构—图片 via colah.github.io

递归神经网络是设计用于解释时间或顺序信息的网络。rnn 使用序列中的其他数据点进行更好的预测。它们通过接收输入并重用序列中前面或后面节点的激活来影响输出。如前所述，这在实体提取等任务中非常重要。以下面这段文字为例:

罗斯福总统是美国历史上最有影响力的总统之一。然而，曼哈顿的罗斯福街并不是以他的名字命名的。

在第一句话中，罗斯福应该被称为一个人实体。而在第二句中，它应该被标记为街道名称或位置。如果不考虑前面的单词“总统”和后面的单词“街道”，就不可能知道这些区别。

自动更正的 RNNs

为了更深入地了解 rnn 是如何工作的，让我们看看它们是如何用于自动更正的。基本上，自动更正系统将您键入的单词作为输入。使用该输入，系统预测拼写是正确的还是不正确的。如果这个单词与数据库中的任何单词都不匹配，或者不符合句子的上下文，系统就会预测正确的单词可能是什么。让我们想象一下这个过程如何与 RNN 一起工作:

作者图片

RNN 将接受两个输入源。第一个输入是您键入的字母。第二个输入将是与您之前键入的字母相对应的激活功能。假设您想输入“网络”，但却错误地输入了“networc”。系统接收前面字母“网络”和您输入的当前字母“c”的激活功能。然后它吐出“k”作为最后一个字母的正确输出。

这只是一个简单的例子，说明了 RNN 的拼写纠正系统是如何工作的。今天，数据科学家使用 rnn 做更多不可思议的事情。从生成文本和图像字幕到创作音乐和预测股票市场波动，rnn 有无穷无尽的潜在用例。

希望这篇关于 CNN 和 RNNs 的简介能帮助你理解这两种神经网络的区别。虽然处理时间或顺序数据的能力是主要区别之一，但网络本身的结构及其用例也有很大不同。

要获得更多机器学习指南、新闻和采访，请查看下面的相关文章，别忘了在 Medium 上关注我。

原创文章经许可转贴。

物体检测和图像分割有什么区别？

原文：https://towardsdatascience.com/what-is-the-difference-between-object-detection-and-image-segmentation-ee746a935cc1?source=collection_archive---------17-----------------------

以及何时使用哪个？

目标检测和图像分割是计算机视觉的两种方法。阿曼达·达尔比约恩在 Unsplash 上拍摄的照片

人工智能中的图像处理

人工智能对图像处理有不同的任务。在本文中，我将介绍对象检测和图像分割之间的区别。

在这两个任务中，我们都希望找到图像上感兴趣的某些项目的位置。例如，我们可以有一组安全摄像机图片，在每张图片上，我们想要识别图片中所有人的位置。

通常有两种方法可以用于此:对象检测和图像分割。

对象检测—预测边界框

当我们谈论物体检测时，我们通常谈论包围盒。这意味着我们的图像处理将识别照片中每个人周围的矩形。

边界框通常由左上角的位置(2 个坐标)以及宽度和高度(以像素为单位)来定义。

来自开放图像数据集的带注释的图像。一家人堆雪人 by mwvchamber 。由 2.0 许可在 CC 下使用的图像。

如何理解物体检测方法？

如果我们回到任务:识别图片上的所有人，就可以理解通过边界框进行对象检测的逻辑。

解决方案的第一直觉可以是将图像切割成小部分，并在每个子图像上应用图像分类，以表明该图像是否是人。对单幅图像和目标检测进行分类是一项更容易的任务，因此，他们采取了这种循序渐进的方法。

目前来说，YOLO 模型(你只看一次)是一个解决这个问题的伟大发明。YOLO 模型的开发人员已经建立了一个神经网络，它能够一次完成整个包围盒方法！

对象检测的当前最佳模型

• YOLO
• 更快的 RCNN

图像分割—预测遮罩

一步一步扫描图像的合理选择是远离绘制框，而是逐个像素地注释图像。

如果你这样做，你会有一个更详细的模型，这基本上是一个输入图像的转换。

如何理解图像分割方法？

这个想法很基本:即使在扫描产品上的条形码时，也有可能应用一种算法来转换输入(通过应用各种过滤器)，以便除了条形码序列之外的所有信息在最终的图片中变得不可见。

左:https://commons . wikimedia . org/wiki/File:Image-segmentation-example . jpg。右:https://commons . wikimedia . org/wiki/File:Image-segmentation-example-segmented . png。这两个文件都可以在知识共享 CC0 1.0 通用公共领域专用下获得

这是在图像上定位条形码的基本方法，但类似于图像分割中发生的情况。

图像分割的返回格式称为遮罩:与原始图像大小相同的图像，但对于每个像素，它只具有一个布尔值，指示对象是否存在。

如果我们允许多个类别，它可以变得更复杂:例如，它可以将海滩景观分成三个类别:空气、海洋和沙滩。

当前图像分割的最佳模型

• 屏蔽 RCNN
• Unet
• Segnet

简言之，这种比较

目标检测

• 输入是一个矩阵(输入图像),每个像素有 3 个值(红色、绿色和蓝色),如果是黑色和白色，每个像素有 1 个值
• 输出是由左上角和大小定义的边界框列表

图象分割法

• 输入是一个矩阵(输入图像),每个像素有 3 个值(红色、绿色和蓝色),如果是黑色和白色，每个像素有 1 个值
• 输出是一个矩阵(遮罩图像),每个像素有一个值，包含指定的类别

我希望这篇短文对你有用。感谢阅读！

总体和样本有什么区别？

罗兰·德内斯拍摄的照片

介绍

人们经常无法正确区分总体和样本。然而，它在任何统计分析中都是必不可少的，从描述性统计开始，根据我们面对的是样本还是总体，它有不同的方差和标准差公式。

此外，统计学的一个分支叫做推断统计学通常被定义为从对人口的代表性样本的观察中得出关于人口的结论的科学。因此，正确区分这两个概念至关重要。那么，总体和样本的区别到底是什么？

样本与总体

总体与样本。资料来源:towardsdatascience.com

群体包括来自特定群体的所有成员，所有感兴趣的可能结果或测量。确切的人数将取决于研究的范围。例如，假设您想知道在比利时数据科学家的具体案例中，工作表现和每周在家工作的时间是否有关联。在这种情况下，人口可能是比利时的数据科学家。但是，如果研究的范围更窄(例如，研究的重点是居住在离工作地点至少 30 公里以外的讲法语的比利时数据科学家)，那么人群将更具体，只包括符合标准的员工。关键是人口应该只包括那些结果适用的人。

样本由从总体中抽取的一些观察值组成，因此是总体的一部分或子集。样本是实际参与研究的一组元素。

成员和元素是在广义上定义的。可能是人类。例如，人口可能是"所有居住在比利时的人"，样本可能是"一些居住在比利时的人"。也可以是其他任何东西。假设你正在测试一种新肥料对农作物产量的影响。所有的庄稼地代表您的人口，而您测试的 10 块庄稼地对应于您的样本。因为样本是总体的子集，所以样本总是小于总体。 1 注意，人口不一定要多。可能的情况是，你研究的人群如此狭窄(例如，你大学的一年级男学士学生，他们在 6 月份通过了统计学考试，他们的父母已经离婚超过 5 年)，人群的规模实际上相当小。

为什么是样本？

正如本文开头所提到的，统计学的一个主要关注点是能够从代表性样本中得出关于总体的结论。为什么使用人口样本而不是直接使用人口样本？一般来说，对整个研究人群进行测量几乎总是不可能的，因为:

• 人口太多了。例如:孕妇人口。如果我们想对世界上所有的孕妇进行测量，很可能要么需要太长时间，要么花费太多
• 人口是虚拟的。在这种情况下,“虚拟”人口被理解为“假设的”人口:它的规模是无限的。在一项实验研究中，我们关注的是接受新疗法治疗的前列腺癌患者。我们不知道有多少人将接受治疗，所以人口是变化的，在目前是无限的和不可计数的，因此是虚拟的
• 这些人不容易接触到。例如:比利时无家可归者的人口

由于这些原因，测量是在群体的一个观察子群上进行的，即在我们的群体样本上进行的。然后，使用这些度量得出关于感兴趣人群的结论。使用适当的方法和足够大的样本量，从样本中获得的结果通常几乎与从总体中获得的结果一样准确。

代表性样品

选择研究人群代表性样本的金标准是选择一个随机样本。随机样本是从总体中随机选择的样本，以便总体中的每个成员都有均等的机会被选中。随机样本通常是无偏样本，即其随机性不存在疑问的样本。

在某些情况下(例如，在医学中)，获取群体的随机样本是复杂的，甚至是不可能的。在这种情况下，重要的是要考虑所得样品的代表性。

成对样品

最后但并非最不重要的是，成对样本是这样的样本，其中各组(通常是成对的)实验单元通过相同的实验条件联系在一起。例如，可以在服用安眠药之前测量 20 个人的睡眠时间(形成样本 A)，然后在这些人服用安眠药之后对他们重复测量(形成样本 B)。

每个人的两个测量值(服用安眠药前后的睡眠时间)和两个样本当然是相关的。存在说明样本之间关系的统计工具，在这种情况下应该优先使用。

结论

总的来说，样本是参与研究的个人群体，而总体是研究结果将适用的更广泛的群体。对整个人口的测量过于复杂或不可能，因此使用代表性样本来得出关于人口的结论。基于随机选择的样本通常是最具代表性的样本。

感谢阅读。我希望这篇文章能帮助你理解总体和样本之间的区别。

和往常一样，如果您有与本文主题相关的问题或建议，请将其添加为评论，以便其他读者可以从讨论中受益。

相关文章:

• 我的数据符合正态分布吗？关于最广泛使用的分布以及如何检验 R 中的正态性的注释
• 手工卡方独立性检验
• 手工描述性统计
• 一个闪亮的手工推断统计应用

信息论中的“信息”是什么？

原文：https://towardsdatascience.com/what-is-the-information-in-information-theory-d916250e4899?source=collection_archive---------15-----------------------

马库斯·斯皮斯克在 Unsplash 上的照片

打破信息的基本概念。

你可能听说过或读过一个例子，信息论与机器学习算法结合使用，要么解释它们，要么证明算法优化了正确的事情等等。

在这篇文章中，我想尝试用简单的语言来解释这一点:从基本概率出发的信息是什么？

信息论中的一个基本术语是熵。这可能是一个误导性的术语，因为熵是和混乱联系在一起的:主要是无序。在信息论中，熵告诉我们一个观察到的事件 x 中包含的信息量。一个事件当然有它的概率 p(x) 。

那么，我们所说的信息是什么意思呢？我发现直观地理解这个术语不是很简单。“信息”的数量实际上与存储有关。信息以位的形式存储。在信息论中，我们考虑用于将一些事件从一端传递到另一端的有噪声的通信信道。噪音现在并不重要。这些事件需要以某种方式编码，更具体地说，它们需要编码成比特(正如计算机科学理论家所看到的)。理想情况下，我们不希望使用太多的比特来通过通信信道传递这些事件，因为比特耗费能量。我们希望将大部分比特花在罕见事件上，因为它们通过信道发送的频率较低，因此成本较低。

阿德里安·达斯卡尔在 Unsplash 上拍摄的照片

什么是罕见事件？嗯，当然是小概率的一个 p(x) 。这已经暗示了一些东西，我们希望一个事件的信息对于概率较低的事件来说更大。所以这个函数，我们姑且称之为 h(x)，应该会返回事件 x 所包含的信息量，低概率事件高，高概率事件低。现在，让我们来看看下面的h(x)

这似乎是正确的做法:概率越低，信息越高。它还有另一个很好的特性:如果我们获取同时发生的两个独立事件的信息，我们会得到以下结果:

这源于对数的简单操作，因为在 x 和 y 是独立的情况下(可能为了练习而检查它)，以下成立:

这是 h 函数的一个很好的特性，它意味着我们可以把独立事件的信息加起来，但也意味着我们不能把相关事件的信息加起来。对数本身是机器学习、数学、物理中经常出现的函数。简而言之，它在计算上如此之好是因为它允许我们将乘积写成和，导出函数的良好界限等等。

现在，如果我们想要测量随机变量的信息，我们需要查看其所有实现(事件)的预期信息。是的，我们对 h(x) 取期望值，如果我们假设处理的是一个离散的随机变量，它看起来像下面这样:

而这正是熵的定义！让我们假设 p(x) 是一个伯努利分布，这意味着有两个事件( x 和 y )可能发生，它们有各自的概率，那么我们可以写为 p(x) =1-p(y) ，因为事件空间上的概率需要总和为 1。在这种情况下，我们可以画出熵作为**p(x)**的函数，然后我们会注意到一些东西:

我们注意到，当 p(x) 取值为 0.5 时，它最大。这意味着所有事件的概率相等，因此在伯努利分布的情况下携带相同数量的信息。反过来，让我们说，我们有一些其他的系统，其中我们看到两个随机变量 X 和 Y 以及它们各自的分布 p 和 q 。我们可以看看他们的**互信息。**这是机器学习中经常使用的一个量，尤其是在大肆宣传的解纠缠领域，我们希望学习包含独立因素的潜在表示(即最小化独立因素之间的互信息)。无论如何，它归结为下面的等式:

让我们思考一下这个问题。我们知道，在随机变量 x 和 y 相互独立的情况下，我们可以写出联合分布 **p(x，y)=p(x)p(y)。**在它们不独立的情况下，我们必须服从贝叶斯法则， p(x，y)=p(x)p(y|x) 。如果独立性成立，对数中的比率变为 1，因此表达式等于 0，0 互信息。这是有意义的，因为通过独立性，我们知道一个事件的发生不会影响另一个事件的发生。在另一种情况下，我们会得到非零的互信息。

信息论对于机器学习实践者来说是一个非常有用的概念，因为它允许他们从信息论的角度来看待学习算法。信息论的更多乐趣即将到来！敬请关注。

马库斯·斯皮斯克在 Unsplash 上拍摄的照片

K 近邻是什么？

原文：https://towardsdatascience.com/what-is-the-k-nearest-neighbor-862a6a30e5dc?source=collection_archive---------38-----------------------

Python 示例简介

乔恩·泰森在 Unsplash 上的照片

k-最近邻算法

k-最近邻(KNN)是一种容易理解，但基本的和广泛适用的监督机器学习技术。要理解 KNN 背后的直觉，看看下面的散点图。该图显示了两个任意维度 x 和 y 之间的关系。蓝色点代表 A 组的成员，橙色点代表 b 组的成员。这将代表 KNN 的培训数据。

现在假设一个新的、未分类的数据点出现并绘制到图表上。KNN 将基于 K 个最近点(或最近邻居)对其进行分类，采取多数投票，并据此进行分类。注意 K 是事先设定好的，代表投票要拿多少分。

例如，如果 K= 1，KNN 将查看最近的数据点，并将新的数据点归类为相同的类别。在下面的例子中,“X”代表分类的新数据点。因为 X 最接近组 B 中的已知数据点，所以“X”也将被分类为组 B。

现在假设 K = 3。KNN 将查看 3 个最近的数据点，并投票进行分类。如果两个或两个以上的最近邻属于一个组，则新的数据点按多数分类。

在下面的例子中，新的数据点“X”移动。在最近的 3 个点中，2 个属于 A 组，1 个属于 b 组。因为大多数点属于 A 组，所以新的数据点“X”被分类为 A 组。

如果出现平局(这可能发生在 K=2 的情况下)，则从 K-1 个最近的邻居中取得多数。

KNN 的优点

• 非参数: KNN 对基础数据不做任何假设。因此，它可以应用于广泛的问题，而不需要担心数据的属性。
• **懒惰学习:**算法没有训练阶段。相反，它会在分类时进行计算。这使得 KNN 成为一种非常动态的机器学习技术，允许添加额外的数据，而无需重新训练它。
• **高度非线性数据:**因为没有对数据进行假设，也没有计算正式模型，KNN 可以很好地预测高度非线性数据。
• **多类问题:**不像其他一些算法需要对涉及 2 个以上类的分类进行调整，KNN 可以推广到任意多的类。
• **直观:**即使对于非技术观众来说，该算法也相对容易理解和解释。

KNN 的缺点

• **内存密集型:**由于一个新的数据点必须与训练数据中的每隔一个数据点进行比较，KNN 经常使用大量的处理能力来进行分类，尤其是在较大的数据集上。
• **维度的诅咒:**像其他使用距离作为度量的算法一样，KNN 很难预测具有大量输入变量的数据。
• 对异常值敏感:异常值给 KNN 带来了一个根本性的问题。通过简单地选择最近的邻居，不管它们有多远，离群值都可能扭曲它的预测。
• 缺失数据: KNN 没有处理缺失数据的方法。如果缺少任何东西，就不能准确预测整个数据点。

选择最佳 K

因为 K 是唯一要调整的参数，所以应该非常小心地选择一个好的值。一般来说，有两个基本的建议:一个估计和肘方法。

作为一个很好的参考点，有时建议将观察次数的平方根作为 K。例如，如果将 100 个观测值输入 KNN，K = 10 将作为快速估计。请注意，这更多的是一个经验法则，而不是一个严格的方法。

然而，更经验性的方法是肘法。基于边际收益递减的原则，这个想法是在测试数据上运行 KNN，逐步增加 K 值，并查看它如何影响模型性能。

如果直观地完成，那么在图的“肘”处(用更专业的术语来说是拐点)，K 的优化值表示在成本超过收益之前返回最佳性能的点处。下图中的红圈展示了这一原理。

然而，真实世界的数据并不总是那么清晰。如果数据变得更嘈杂，在局部最小值处选择最小的可能 K 是可行的选择。

Python 中的演示

与许多其他机器学习算法一样，Scikit-Learn 模块提供了一个很好的 KNN 实现。

from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
import numpy as np

除了 KNN 模块之外，还导入了 StandardScaler 来标准化数据，并导入了 pandas 和 numpy 来处理数据。

# Store the data in a dictionary
data = {
    "X1": [1,1,3,4,5,2,0,4,0.5,3.3,1.1,4.7,0.2,2,4.5,3.3,2.5],
    "X2": [1,2,4,4,6,1,1,5,0.5,4.2,1.4,5.2,2,0.03,5.1,4.8,2.5],
    "Member": [A,A,B,B,B,A,A,B,A,B,A,B,A,A,B,B,A]
}# Convert the data into a dataframe
df = pd.DataFrame.from_dict(data)

接下来，数据集被生成并放入字典中。这组数字实际上是用来生成本文开头的例子的。为了方便起见，字典然后被转换成数据帧。

# Separate the the independent and dependent variables
features = df_sample.filter(["X1", "X2"])
category = df_sample["Member"]scaler = StandardScaler()
scaler.fit(features)
scaled_features = scaler.transform(features)

因为 KNN 使用距离作为度量单位，并且因为输入不一定使用相同的比例，所以调用标准缩放器来归一化数值数据。这是防止数据中单位偏差的重要步骤。

k = 5knn = KNeighborsClassifier(n_neighbors=k)
knn.fit(scaled_features, category)

实际拟合 KNN 的最后一步只是调用函数，并将缩放后的要素和类别用作参数。请注意参数 n_neighbors，它表示要使用多少个 K 近邻。

然而，如果应该使用弯头方法，则需要稍微不同的方法。

# Separate the data into training and test data sets
X_train, X_test, Y_train, Y_test = train_test_split(scaled_features, color_category, test_size=0.30)# Import Matplotlib for visualization
import matplotlib.pyplot as plt# Create an empty list to catch the error rate
error_rate = []# Iterate through K = 1-20
for i in range(1,20):

    knn = KNeighborsClassifier(n_neighbors=i)
    knn.fit(X_train,Y_train)
    pred_i = knn.predict(X_test)
    error_rate.append(np.mean(pred_i != Y_test))# plot the error rate 
plt.figure(figsize=(10,6))
plt.plot(range(1,20),error_rate,color='blue', linestyle='dashed', marker='o', markerfacecolor='red', markersize=10)
plt.title('Error Rate vs. K Value')
plt.xlabel('K')
plt.ylabel('Error Rate')

首先，数据被分成训练和测试子集(这应该是标准的过程)。接下来，针对 K = 1、K = 2 等等的测试数据对模型进行训练和评估，直到 K = 20。最后，结果会以图表的形式返回。

结论

KNN 是一种简单但强大的监督机器学习技术。其稳健的方法允许其应用于各种各样的问题。此外，单个参数 K 使得参数调整相对容易。Python 中一个简单易用的实现使得使用 KNN 只需几行代码。

机器是如何处理你的数据的？你怎么能相信它？

你每天都要和很多机器智能打交道。你知道他们实际上在用你的数据做什么吗？他们是如何做出预测的？你如何信任他们？

作为消费者，我们已经习惯于接受服务，而不是质疑这些服务的工作方式，并信任这些服务，即使它们是巨大的黑匣子。然而，黑盒是棘手的，因为根据定义，它们是秘密的，而不仅仅是私人的。在 ML 和开源的十字路口建立的东西可以增加你对机器学习数据使用的信任。

图片由本·怀特

我们每天都在生成和消耗越来越多的数据。我们的处理能力也在同步发展，新的机器学习技术可以以新的方式取悦用户，无论是更好的推荐引擎，更优化的购物体验，还是更智能(更便宜！)定价。

随着性能的进一步发展，我们也必须要求机器学习模型的内部工作有更多的发展。

机器学习的民主化有两个有趣的方面。一个是通过开源增加代码库的可见性，另一个是通过透明性和可解释性。可以说，这两者都是必要的和重要的，但是让我们看看实践中的那些以及它们有什么含义。

ML 中的透明性和可解释性

机器学习并不新鲜，但即使作为软件开发人员或数据分析师，它也是一个高门槛领域。当用大量原始数据训练模型时，这种数据的使用也可能引发许多围绕固有偏见和成见的不信任问题，即使这种意图从未存在过(只要看看我们如何与系统性种族主义作斗争)。

可解释性是理解哪些数据点是机器做出预测的因素，以及如何发现数据集中任何过度或不足表示的关键。一个领域越复杂，理解基础知识就越重要，并且能够追溯到前面的结果。

例如， EazyML 就是这样通过让机器“解释给你听”来解决这个方程的。

EazyML 解释了工作满意度的机器学习预测模型中的局部预测。

开源是基础资源

除了作为一个蓬勃发展的市场和未来软件的基础构件，开源机器学习库也已经成为值得信赖的机器学习和人工智能软件的基石。

商业开源中有很多结构，比如 MorphL 已经公开发布了其“社区版“电商 AI 引擎”。然而，基本原则是，通过将代码发布到公共领域，您可以在看到软件的内部工作时获得额外的安慰，并且还可以解决供应商锁定的问题，任何人都可以派生软件并在其上进行构建。

当然，除了透明性之外，还有无数其他的好处，比如开放的协作仅仅是为了生产更好的软件和更多经得起未来考验的技术模型。

在我们在 Prifina 围绕用户持有和用户控制的数据所做的事情中，以及用于生成合成数据的开源工具的出现中，有许多与 ML/AI 相关的有趣切线。他们都有能力尊重用户的数据，并在构建最复杂的模型和结果来为个人创造价值时将数据放在一边。

在未来，我们将能够只使用合成数据来构建模型，这些数据是在用户端创建的，允许直接的一对一交互。

我们将会使用越来越多的数据丰富的应用。我们需要能够信任他们。我们需要以值得的方式建设它们。

大多数 ML 项目失败的主要原因是什么？

原文：https://towardsdatascience.com/what-is-the-main-reason-most-ml-projects-fail-515d409a161f?source=collection_archive---------13-----------------------

来源:https://www.4freephotos.com/Castle-of-cards-perspective-1517.html

你可能把曼梯·里当成了替罪羊…

是的，ML 可能很难。是的，大多数公司仍然不知道应用 ML 和 ML 研究是两个完全不同的学科。是的，从实验到生产仍然存在技术摩擦。是的，管理大规模数据可能会很痛苦。是的……许多 ML 项目失败是因为上述一个或多个原因。

但是当你开始从根本上解决真正的问题时，我发现在大多数情况下，这都归结于决策的分形本质:

业务目标定义不明确。

…最终映射到易变的产品策略、技术问题定义、技术选择和实现。

好吧……但是机器学习有什么特别的？非 ML 软件项目不都是这样吗？

每一天！

但是，我在双方都工作过，并为试图从非 ML 转向 ML 的公司提供过建议，我逐渐意识到，在业务层面为糟糕的定义付出的代价在 ML 方面要高得多。根据我的经验，两个因素是最大的贡献者:

1)迭代的成本

因为传统的的透明的、可解释的、基于规则的本质，非 ML 软件，变化的需求和移动的目标不一定会阻止你构建、发布和维护一些功能性的东西。您可以相对快速地修复、添加和删除，而且非常精细。变更的生命周期可以是几小时/几天。在 Applied ML-land 中，即使模型的预期输出行为、准确性或性能发生很小的变化，也会迫使您从头开始重新设计数据表示、模型架构、重建训练集、重新训练、重新部署，同时无法保证新目标能够实现。一个*(显然)小的、增量的规范的生命周期可能会变得复杂、耗时且有风险，很容易让你处于一两个月的试验模式。那些由于模糊的目标而在不断变化的需求下“侥幸”构建和发布软件的公司(很少被认为是失败……)，将最终陷入慢性 实验模式(但这是...)在尝试构建基于 ML 的解决方案时。*

2)准备就绪的定义

对于非 ML 软件，这通常归结为一组明确的确定性行为和相关的性能需求。在应用 ML 中，就绪度由一个问题决定: “多好才算够好？” ，因为从‘这不行’到‘这行得通’的旅程是一个连续的函数(而且是非线性的，受收益递减规律支配！)如此苛求确定性的行为对于‘这行得通’来说是一场败仗。这个被高度忽视的问题不仅决定了你应该在一个给定的设计上投资多少，也影响了设计选择本身，只有在你的 ML 魔法之上的产品层上有了“这行得通”的明确定义，才能得出这个问题的答案。“这行得通”应该与一个具体的、切实的价值点联系起来，基于一个预期的业务成果，你要努力发掘、实现和衡量这个价值点。当这些映射模糊或不明确时，很可能甚至没有人问过这个问题，而且我大多数时候看到的是，ML 项目将最终陷入某种 准确性鼠轮 中，没有人做出“好了，这足够好了”调用，同时产生严重的所有权问题。

这是不是意味着你应该避免迭代你的 ML 模型，或者为“这行得通”设置一个低门槛？绝对不行！这只是意味着在应用 ML-land 中:

1。枢轴可能非常昂贵。太多，太频繁，你就出局了。

2.游戏名字叫 “多好才算够好？”，为了能够发挥它，你需要不断了解你的业务环境。 只有这样你才能找到答案。

数据科学从业者、业务和产品决策者以及他们之间的所有人:在构建 ML 解决方案时，定期缩小范围并提出问题是你们联合的责任:

“我们在这里试图解决的业务问题是什么？”

你会惊讶地发现，有多少公司，无论是初创公司还是老牌公司，在进入 Tensorflow 之前，都没有深入研究这个基本问题…

如果你是一名数据科学从业者，请暂时离开这个新的 Python 库，开始熟悉一些概念，如产品市场适合度、价值主张、MVP、客户发现、KPI和其他相关业务指标。相信我，它会给你的日常工作带来巨大的变化。如果你是一个商业决策者或者是一个从事 ML 工作的中间人，提醒你自己和其他人保持你的业务 映射 的一致和更新，当你决定要构建什么、如何构建以及是否应该首先构建它的时候…**

你可能会发现自己一直在不知不觉中把曼梯·里当作替罪羊…

您可能会发现有一种更简单、数据更少、风险更低的方法来解决您的 ML 解决方案…

你可能会发现你根本不需要 ML:|

如果您已经做到了这一步，请随意分享您自己构建基于 ML 的产品的经验。

使用机器学习分析增加研究生院录取机会

原文：https://towardsdatascience.com/what-is-the-most-important-factor-to-graduate-admission-e75de7a538d6?source=collection_archive---------28-----------------------

查尔斯·德洛耶在 Unsplash 上的照片

在本文中，我们将使用各种机器学习方法对最近的研究生入学数据进行分析，以分析 GRE 分数和 CGPA 等因素的最佳组合，从而提高研究生院的录取机会。

主要见解

• CGPA 是目前研究生招生中最重要的因素。
• GRE 多加一分，研究生录取几率增加 0.14%左右。
• 托福多一分，研究生录取几率增加 0.28%左右。
• 只有在大学评级较低的情况下，进行研究才有一定的益处。
• 高托福成绩无法抵消中/低 GRE 成绩；只有当 GRE 分数足够高时，托福考试才开始对录取机会产生显著的统计影响。

本文将深入探讨这些结果是如何使用以下机器学习技术实现的:

• 创建一个逻辑回归模型来预测录取的机会，分析和可视化的系数。
• 使用排列重要性和决策树回归模型来寻找特征重要性。
• 单变量和轮廓部分相关图(PDP ),以了解单个或多个变量如何影响录取机会。

数据

数据可以在 Kaggle 这里找到。

数据头:

GRE 成绩、托福成绩、大学评级、SOP、LOR、CGPA、研究是预测录取机会的特征。

我们可以用熊猫的内置。描述():

逻辑回归模型和系数分析

首先，使用 sklearn 方便的 train_test_split 函数，我们将数据分成训练集和测试集。

import sklearn
from sklearn.model_selection import train_test_split
X = data.drop('Chance of Admit ',axis=1)
y = data['Chance of Admit ']
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2)

在 sklearn 中训练逻辑回归模型就像两行代码一样简单:

from sklearn.linear_model import LinearRegression
lin = LinearRegression().fit(X_train,y_train)
print((y_test - lin.predict(X_test)).apply(abs).mean())

输出:

0.04337302752734804

逻辑回归的平均误差(MAE)约为 0.045，或预测研究生入学机会的 4.5%(满分为 100%)。

现在，让我们从模型中获取系数:

coef = pd.DataFrame({'column':X_test.columns,'coefficient':lin.coef_*100}).sort_values('coefficient').reset_index()
coef.drop('index',axis=1)

输出:

最重要的是，我们可以得出以下结论:

• GRE 多加一分，研究生录取几率增加 0.14%左右。
• 托福考试增加一分，研究生入学的机会就会增加大约 0.28%
• 大学 GPA 多一分，研究生录取几率增加 12.34%左右。
• 进行研究增加了大约 2.97%的研究生入学机会。

请记住，这些都在 4%的误差范围内。

import seaborn as sns
import matplotlib.pyplot as plt
plt.style.use('ggplot')
fig = plt.figure(figsize = (15,5))
plt.xticks(rotation=45)
colors = ['#adebad','#adebad','#adebad','#adebad','#99e699','#85e085','#70db70']
sns.barplot(coef['column'],coef['coefficient'],palette = colors)
plt.ylabel("Additional % Admission")
plt.xlabel('Factor')
plt.show()

重要的是要认识到 GRE 和 TOEFL 有许多可能的分数，所以它们的系数低是有道理的。

一大要点是:大学的平均绩点对于研究生入学是必不可少的。每增加一分，就多了 12.84%的几率。

排列重要性

置换重要性是一种评估特征重要性的方法，通过随机洗牌并观察准确性的相应降低。准确度下降最大的列应该比那些重排没有降低准确度的列更重要。

import eli5
from eli5.sklearn import PermutationImportance
perm = PermutationImportance(lin, random_state=1).fit(X_test, y_test)
eli5.show_weights(perm, feature_names = X_test.columns.tolist())

和以前一样，CGPA 很重要，其次是 GRE 和托福成绩。

SHAP 价值观

决策树回归器和 SHAP 值

SHAP 值不支持逻辑回归，因此我们将选择决策树回归器，并收集 SHAP 值。

import shap
from sklearn.tree import DecisionTreeRegressor
dtr = DecisionTreeRegressor().fit(X_train,y_train)
explainer = shap.TreeExplainer(dtr)
shap_values = explainer.shap_values(X_test)

SHAP 特征重要性

SHAP 是评估特征重要性的另一种方法。SHAP 不像逻辑回归系数那样考虑规模。

shap.summary_plot(shap_values, X_test, plot_type="bar")

我们可以得出一些结论:

• 和往常一样，CGPA 是目前最重要的特色
• GRE 和托福成绩很重要
• 大学的评级没有 GRE 分数，尤其是 CGPA 的影响大。这意味着无论大学排名如何，你的 CGPA 和 GRE 分数低，都不会走得很远。
• 研究好像不是很重要。

SHAP 力图

SHAP 力图让我们看到为什么一个特定的例子取得了他们所做的成绩。举个例子，

i = 0 # or any other index for a different force plot
shap_values = explainer.shap_values(X_train.iloc[i])
shap.force_plot(explainer.expected_value, shap_values, X_test.iloc[i])

在这个例子中，最终的录取机会是 0.62。红色的因素解释了是什么推动了机会的增加，蓝色的因素解释了是什么推动了机会的减少。长度代表了它的力量有多大。

在这种特殊情况下，相当高的托福分数和 SOP 推动了分数的上升，但低 CGPA 是推动分数下降的一个巨大因素。

在这个例子中，最后的录取机会是 94%。高 CGPA 显著提高了它。

再画几个 SHAP 力图，就可以知道哪些因素一起使用时可以决定最终的机会:

PDP 图

PDP 图或部分相关性图显示了单个特征如何影响目标变量。

以下代码生成每列的 PDP 图:

from pdpbox import pdp, info_plots
import matplotlib.pyplot as plt
base_features = data.columns.values.tolist()
base_features.remove('Chance of Admit ')
for feat_name in base_features:
    pdp_dist = pdp.pdp_isolate(model=dtr, dataset=X_test, model_features=base_features, feature=feat_name)
    pdp.pdp_plot(pdp_dist, feat_name)
    plt.show()

这个部分相关图表明，最佳 GRE 分数将在 320 分的峰值附近。然而，没有太多关于 GRE 高端的数据，但是这些数据表明 GRE 高实际上可能会降低机会。对此的一个可能的解释是，花在 GRE 学习上的时间可能会花在其他更重要的事情上(比如 CGPA)。此外，请注意较大的误差范围。

托福成绩的 PDP 似乎建议最好的分数在 109 到 114 之间。再次注意大的误差线。粗线只是平均值，在这种情况下，误差太大，数据太少，无法做出可信的判断。

这个 PDP 很有意思——似乎越是名校，录取几率越高。这可能与数据偏差有关，但一个可能的解释是，申请高评级大学的研究生本身就有更强的资质。

CGPA 的 PDP 最为突出，因为它的误差线非常小。有一个明显的趋势是，较高的 CGPA 与较高的录取机会相关。

如前所述，一般来说，进行研究比不进行研究似乎没有什么增加。我们将通过多维 PDP 图对此主题进行更深入的研究。

PDP 轮廓/多维 PDP 图

PDP 等高线/多维 PDP 图是一种特殊的宝石——它们显示了两个变量之间的相互作用(因此，它们也被称为 PDP 相互作用图)如何导致一定的准入机会。

以下代码生成大学分数与所有要素的等值线图。

for column in X_test.columns.drop('University Rating'):
    features = ['University Rating',column]
    inter1  =  pdp.pdp_interact(model=dtr, dataset=X_test, model_features=base_features,features=features)
    pdp.pdp_interact_plot(pdp_interact_out=inter1, feature_names=features, plot_type='contour')
    plt.show()

大学分数对比所有特征

在等高线图中，黄色区域越多，被录取的几率越高。低 GRE 分数对几乎所有的大学评级都不利。正如之前在单变量 PDP 中看到的，GRE 分数 320 分左右的范围似乎是“黄金区域”，被评为 5 分的大学接受分数在该分数左右的人最多。

我们应该怀疑缺乏数据——这个数据集的数据并不丰富，因为我们发现，随着 GRE 分数的增加(在某一点之后)，录取的机会会减少，这是没有意义的。

有了 SOP，很明显，拥有最高 SOP 分数的最高大学评级会产生最高的录取率。

另一个重复的结果是——无论大学排名如何，CGPA 都非常重要。

唉，我们关于开展研究的问题的答案是:等高线的倾斜性质表明，对于排名较低的大学，开展研究是有帮助的——它将 68%的百分比提高到 71%左右。然而，对于更高等级的大学，在执行研究方面真的没有太大的区别。

GRE 成绩对比托福成绩

这里有个有趣的问题 GRE 和托福成绩是如何相互影响的？GRE 成绩好是弥补托福成绩差，还是相反？

features = ['GRE Score','TOEFL Score']
inter1  =  pdp.pdp_interact(model=dtr, dataset=X_test, model_features=base_features, 
                            features=features)pdp.pdp_interact_plot(pdp_interact_out=inter1, feature_names=features, plot_type='contour')
plt.show()

看起来，低 GRE 分数的托福非常依赖 GRE，但随着 GRE 分数的提高，托福分数在录取机会中的作用越来越大。

GRE 分数与 CGPA

features = ['GRE Score','CGPA']
inter1  =  pdp.pdp_interact(model=dtr, dataset=X_test, model_features=base_features, 
                            features=features)pdp.pdp_interact_plot(pdp_interact_out=inter1, feature_names=features, plot_type='contour')
plt.show()

正如我们已经多次看到的那样，GRE 分数对低 CGPA 没有什么帮助。

使用代码和更多的实验来发现其他特性之间的关系；只需用所需的功能替换“功能”列表。

感谢阅读！

如果你喜欢，请随时查看我的其他帖子。

什么是激进的内容问题，你的推荐系统是否深受其害？

原文：https://towardsdatascience.com/what-is-the-radical-content-problem-and-does-your-recommender-system-suffer-from-it-7fe017f9a8b1?source=collection_archive---------66-----------------------

可解释的建议如何帮助你发现新的见解。

克林特·帕特森在 Unsplash 上拍摄的照片

推荐系统的使用在过去的十年里越来越多，它们被认为是 YouTube、网飞和亚马逊等应用程序不可或缺的一部分。虽然推荐帮助用户在无限的选项海洋中找到他们喜欢的视频、电影或项目，但他们这样做不会没有问题。最近，一些推荐系统因将用户引向一个“兔子洞”,内容越来越激进而受到批评。这种系统的一个例子是 YouTube 的推荐系统，它根据用户的观看历史为用户推荐视频和频道。在研究右翼频道时，研究人员发现了一些证据，表明 YouTube 的推荐算法通过向用户推荐越来越激进的频道而使用户变得激进[1]。值得注意的是，这并不意味着推荐系统有任何问题——事实上，它似乎完全按照设计的那样工作，向有兴趣观看视频的用户准确地推荐视频。这个问题可以称之为部首内容问题，关于解决它的学术研究很少。

作为我关于可解释的推荐的论文的延伸，我选择寻找是否有任何可解释的方法可以用来阻止推荐系统推荐越来越激进的内容，或者发现问题是否首先存在。推荐系统中的可解释性以前主要关注用户体验，但也许它也能帮助数据科学家更好地理解他们自己的模型？

基于潜在因素模型的推荐系统是很难解释的。到目前为止，事后解释方法，如关联规则[2]已被用于解释个人的建议。然而，由于关联规则集将推荐系统的行为作为一个整体封装起来，因此它可以用于发现关于推荐系统整体的知识。为此，推荐系统被映射为一个使用生成的关联规则的网络。因为关联规则的形式是(X，Z ⇒ Y)，所以它们可以被认为是有向图，其中 X，Z 和 Y 是图的节点。然后可以使用标准的图形可视化技术来可视化该图形。下图显示了使用从 MovieLens 20m 数据集挖掘的关联规则生成的图形。注意，类型为(X，Y) ⇒ Z 的规则显示在两条边上，X ⇒ Z 和 Y ⇒ Z。

从推荐系统中挖掘的关联规则被可视化为有向图。每个节点代表一部电影，而每个边(箭头)代表一个关联规则中的因果关系，即 A→b . Ville Kuosmanen 的图像

可视化的图可以潜在地用于回答关于基础推荐系统的许多问题，但是最有趣的一个是该系统是否遭受极端内容问题，指的是推荐系统向已经评级了流行的温和项目的用户推荐越来越极端的小众项目。这个问题对于像 YouTube 这样的开放视频平台来说特别有意义，YouTube 被指控向流行、温和的“门户”视频的观众推广更极端的内容[1]。为了对网络进行定量分析，应该定义一个合适的“极端性”度量。电影极端评分的一个例子可以是它的分类年龄分级。YouTube 和 Twitter 等没有客观年龄分级的平台上的内容可能更难进行极端排序，但情感分析等机器学习技术可能会用于此。

每一项都可以被赋予一个极端值，随着越靠近聚类中心，网络中极端值越大的部分可以被自动识别出来。因为极端内容倾向于关注特定的社区或用户组，所以分析应该基于基于聚类的关联规则，而不是全局挖掘的规则(如这里所做的)。这将潜在地允许平台管理员容易且客观地找到最激进的社区，并在需要时对其内容设置适当的限制或年龄分级。

在这种情况下，对网络的视觉检查似乎将诸如*《肖申克的救赎》、《指环王:双塔奇谋》和《教父》*等电影置于网络的中心，这些电影似乎并不比它们的前身更极端。这样，对网络的视觉检查表明，这里描述的推荐系统不会遭受极端内容问题。当然，应该进行更彻底的分析检查来确认这一发现，但这超出了本项目的范围。

这篇文章结束了我关于可解释的推荐系统的系列文章。我喜欢了解更多关于可解释的人工智能的需求和挑战，以及在这个过程中对推荐系统的深刻理解。感谢阅读！

[1]:里贝罗，M. H .，奥托尼，r .，韦斯特，r .，阿尔梅达，V. A .，&梅拉，W. (2019)。审核 YouTube 上的激进化途径。 arXiv 预印本 arXiv:1908.08313 。

[2]:皮克，g .，&王，J. (2018 年 7 月)。推荐系统潜在因素模型的事后可解释性。《第 24 届 ACM SIGKDD 知识发现和数据挖掘国际会议论文集》(第 2060–2069 页)。ACM。

什么是 Softmax 函数？—少年解释道

softmax 函数的简要说明，什么是 softmax 函数，它是如何工作的，以及一些代码。

作者通过 Imgflip 生成的图片

图片由作者通过 Imgflip 生成

softmax 函数是一个激活函数，它将真实值转化为概率。

在一个正常的学年，此时此刻，我可能正坐在离家两个小时的咖啡店里，读着我计算机编程课前的讲座。或者，此时此刻，我可能正在上课，试图跟上我的教授对精确方程的解释。随着世界各地的学校关闭，像我这样的学生只能靠自己来对抗拖延症。一场可悲的斗争，一场我显然不会赢的斗争。在过去的几周里，尽管我的大学有大量的在线工作，但我已经决定这是学习我所能学习的关于深度学习的一切的最佳时间。像许多其他好奇的人一样，我决定在 Udacity 上参加一个名为深度学习与 PyTorch 的课程(自然，本文的灵感来自于这个课程中的概念。)

如果你已经阅读了我上一篇关于感知器 **，**的文章，你已经知道感知器是一种二进制分类算法，它使用一些线性函数进行预测。但是如果我们想要对两种以上的数据进行分类呢？我们如何做到这一点？我们实际上可以使用一个激活函数，称为 softmax 函数。在本帖中，我们将讨论什么是 softmax 函数，比较二进制分类和多类分类，讨论 softmax 函数如何工作，并提供一些示例代码。

什么是 Softmax 函数？

softmax 函数是逻辑函数的推广，可用于对多种数据进行分类。softmax 函数接受不同类别的实际值，并返回概率分布。

标准逻辑函数能够进行二元分类，而 softmax 函数能够进行多类分类。

作者图片

让我们看看二元分类和多类分类是如何工作的

二元分类模型

假设我们有一个模型，我们知道你得到或得不到工作的概率是，

作者图片

因此，你得到工作的概率是 p(工作)= 0.8，因此，你得不到工作的概率是 p(没有工作)= 0.2。

该模型将接受一些输入，如你的期末考试成绩是多少？或者你建了多少个项目？基于线性模型，它将返回一个“分数”(作为一个未绑定的值)，分数越高，可能性越大。

作者图片

那么得到工作的概率就简单的是分数的 sigmoid 函数。(如果你想知道更多关于 sigmoid 函数如何工作的信息，请查看视频。).正如我们所知，sigmoid 函数会将分数转换为概率，其中概率介于 0 和 1 之间。

然后将这个概率与我们已知的概率进行比较(所以，p(工作)= 0.8，p(不工作)= 0.2)。

多类分类

假设，我们试图建立一个模型，对 3 个不同的项目进行分类。一支铅笔，一支钢笔和一块橡皮。假设得到铅笔的概率是 p(铅笔)= 0.5，得到钢笔的概率是 p(钢笔)= 0.4，得到橡皮擦的概率是 p(橡皮擦)= 0.1。因此概率看起来像，

作者图片

其中概率之和为 1。

现在，让我们对我们的模型执行与二元分类相同的步骤，给定一些输入，计算线性函数，并给每个项目打分。

作者图片

现在我们有了分数，我们怎样才能找到这三项的概率呢？这就是 softmax 函数发挥作用的地方。

soft max 功能是如何工作的？

给定上面的无界分数，让我们试着把这个转换成概率。

现在你可能会问，“为什么我们不能只使用一个 sigmoid 函数？”

我们需要一个能做两件事的函数，

1. 使结果概率介于 0 和 1 之间。
2. 使所得概率之和等于 1。

Sigmoid 函数并不总是等于 1。换句话说，sigmoid 函数输出独立的分布 p(x1)和 p(x2 ),因此对于 sigmoid 函数，我们可以说 p(作业)= 0.89，p(非作业)= 0.26，这两者之和不等于 1。因此，当我们有独立的二进制标签时，如红色或蓝色，猫或狗等，sigmoid 函数是有用的。正如我们将很快看到的，softmax 函数的分布与输出变量 p(x1，x2，x3)等相关联。

我们将这些分数转换成概率的一种方法是使用这个函数，

作者图片

一个项目的分数，超过所有分数的总和。这是可行的，因为每个概率都在 0 和 1 之间。它还会使每个概率加起来为 1。

这看起来不错，但是你可能已经猜到有一个问题。如果分数是负数呢？这可能是有问题的，因为概率不再等于 1。

怎么才能让每个数字都是正数呢？我们可以试着用一个指数函数，这样函数看起来就像这样，

作者图片

我们做到了！

这就是所谓的 softmax 函数。它可以接受真实值并将其转化为概率。这非常有用，因为现在我们可以对两种以上的数据进行分类。(关于视频解释，我建议你看看这个！)

代号

现在我们来看看如何用 python 编写 softmax 函数的公式。

import numpy as npdef softmax(L):
    expL = np.exp(L) #calculating the numerator 
    sumExpL = sum(expL) #calculating the denominator 
    result = []
    for i in expL:
        result.append(i*1.0/sumExpL) #divind the numerator and denominator 
    return result

    # Note: The function np.divide can also be used here, as follows:
    # def softmax(L):
    #     expL = np.exp(L)
    #     return np.divide (expL, expL.sum())

这个 softmax 函数接受一个值 L，它表示分数。计算函数的分子和分母，然后除以它。

关键要点

什么是 softmax 函数？

softmax 函数是可以执行多类分类的激活函数。它接受真实值并进行概率分布。这个函数看起来像这样，

作者图片

Week✨的 DL 视频

看看这深深的假！这看起来像是流行歌手爱莉安娜·格兰德，但这个视频实际上是来自热门的 youtuber 网站 Emma Chamberlain。

额外资源/引用

本文在很大程度上基于 Udacity 教授的 PyTorch 深度学习课程。你一定要去看看！

这个视频很好地解释了乙状结肠的功能。同样是 Youtuber 上的这个视频很好地解释了 softmax 的功能。

这里是对 softmax 函数及其与逻辑回归的关系的一个很好的概述。

阅读维基百科总是有用的！

吴恩达也很好地解释了 softmax 函数！

关于 sigmoid 函数和 softmax 函数之间差异的详细解释可以在 reddit 表单上阅读。

哪里可以找到我😝

我的 LinkedIn！请随时与我联系，我喜欢谈论人工智能！

关注我的中页了解更多！

新加坡的金融科技行业现状如何？

原文：https://towardsdatascience.com/what-is-the-state-of-the-fintech-industry-in-singapore-45adb2c0d939?source=collection_archive---------54-----------------------

基于 R 的网页抓取分析

图片来源:安德烈·弗朗索瓦·麦肯齐，来自 Unsplash

自 2015 年以来，流入新加坡的金融科技私人资金呈指数级增长。据埃森哲称，2019 年，新加坡金融科技行业从私人投资者那里获得了创纪录的 8.61 亿美元资金，巩固了其作为亚太地区第五大金融科技市场的声誉。

鉴于私人资金大量流入新加坡的金融科技行业，或许值得研究一下这个新兴行业是否在就业增长 方面取得了收益。哪些类型的金融科技公司已经在新加坡开展业务？他们涉足哪些金融活动？他们是新成立的公司，还是大公司？要回答这些问题，我们首先需要定义什么是金融科技。

作者图片

那么，什么是 FinTechs 呢？ 不幸的是，尽管世界各地的许多统计机构似乎都同意使用公司的“主要业务活动”这一概念，但目前还没有关于金融科技是什么的可靠定义。金融科技公司可以被定义为以提供金融服务为主要业务活动的公司，并以技术为支撑。但是，这也不是一个非常精确的定义。

一般来说，许多人认为金融科技是“游戏规则改变者”，寻求彻底改变金融服务的提供方式。这一问题因“TechFins”的出现而变得更加复杂，TechFins 主要是也涉足金融服务领域的科技公司。科技巨头，如阿里巴巴，也有一个银行部门，被认为是 TechFins。那么，你如何从技术股中筛选出技术股呢？

数据集
在等待金融科技的正确工作定义尘埃落定的时候，我发现新加坡金融科技协会 (SFA)维护着一份目录清单，列出了“”金融科技认证的*(见下文)*。那么在新加坡成为" FinTech 认证 "是什么意思呢？你的金融科技公司必须(一)在新加坡注册并运营；(ii)为作为核心业务的金融部门提供技术解决方案，以及(iii)拥有随时可用的工作产品。**

图片作者，来自新加坡金融科技协会

事实证明，通过点击网站上的每个个人列表，我们可以获得相当广泛的信息，如特定的“金融科技认证”公司何时成立，其估计员工人数是多少，其商业模式以及其涉足的金融服务类型。下面的例子说明该公司是一家“ InsurTech ”。

图片作者来自新加坡金融科技协会

通过从新加坡金融科技协会的网站上抓取这些列表，我们可以获得这里金融科技公司的全面概述，如它们的商业模式，金融活动类型和就业增长。那么让我们开始吧！

事实证明，该网站使用 AJAX 来呈现其页面。使用 AJAX，web 应用程序可以异步地从服务器发送和检索数据，而不会干扰现有页面的显示和行为。虽然这是网站开发者的梦想，但对网站抓取者来说却是噩梦。

但是，在检查 Chrome 开发者工具时，我发现了网站调用数据的“秘密”页面。

作者图片，来自新加坡金融科技协会

如果我们点击嵌入在 Chrome 开发者工具中的 URL，我们会看到这样一个页面:

****

图片作者，来自新加坡金融科技协会

现在，如果我们仔细观察嵌入在 Chrome 开发者工具中的 URL，你可能会注意到“p=2”。这控制了页码。你可能会注意到上图中总共有 22 页和 437 个结果(即金融科技认证公司)。我们可以通过创建一个从“p=1”到“p=22”的 URL 列表来开始我们的 web 抓取过程。

现在，从这份包含 22 个网址的列表中，我们希望获得每家金融科技公司的名称及其具体网址。回想一下，我们有 437 家 FinTech 认证的公司，所以我们应该得到一个有 437 行的数据框架。为了获得您在下面的代码中看到的“ html_nodes( ) 中的参数，我使用了一个名为SelectorGadget的便捷工具，可以从 Chrome 上免费下载。

图片由作者提供，来自新加坡金融科技协会

现在我们已经有了 437 家金融科技认证公司的具体网址，我们可以有效地获取员工规模、商业模式等信息。类似地，这里使用了 SelectorGadget 来提取我们需要的各个字段。

图片作者，来自新加坡金融科技协会

现在我们手头上有了所有 437 家金融科技认证公司的数据，我们可以开始做一些分析了。

就业增长
我们的数据集目前是“wide”格式。我们可以将其转换为“长”格式，并可视化就业人数如何随着时间的推移而演变。不过，需要注意的是，所有 437 家金融科技认证公司报告的员工人数都是一个范围，比如“11-50”，而不是实际人数。此外，由于我们没有关于一家公司的员工人数如何随时间变化的纵向数据，我们将假设一家公司的员工人数从其成立到今天保持不变。

出于这一分析的目的，我们想研究 2011 年至 2020 年间就业如何演变。我们可以通过查看公司 UEN 的前 4 位数字来判断公司是哪一年成立的。假设一家公司在 2016 年成立，那么它在 2016 年之前的雇佣规模将被分配 NA 值，如下所示。

**现在我们可以使用 dplyr 的 group_by( ) 和summary()命令为可视化准备数据。

作者图片

嗯，在我们的数据集中，437 家金融科技认证公司的就业人数似乎一直在稳步增长。事实上，就业增长与流入新加坡的金融科技私人资金正相关，后者自 2015 年以来有所增加。然而，由于新冠肺炎经济衰退，2020 年的增长率似乎有所放缓。

如果我们按照每个企业的员工规模来看就业增长，我们会注意到，一般来说，这是由微型企业和初创企业(即雇用不到 50 名工人的企业)的增长所支撑的。或许是一个令人鼓舞的迹象，在最近几年(2018 年至 2019 年)，新加坡已经能够吸引更大的金融科技公司，尽管只有少数几家，它们雇用了 200 多名工人(红条)。**

公司成立
这里，我们要统计某一年成立的 FinTech 认证公司的数量。同样，我们着眼于 2011 年至 2020 年期间。

作者图片

自 2013 年以来，在新加坡注册的金融科技认证公司的数量一直呈上升趋势。随着 2019 年创纪录的 8.61 亿美元金融科技私人资金涌入新加坡，这一年公司数量的快速增长也就不足为奇了。尽管我们距离 2020 年底还有大约两个月的时间，但新冠肺炎经济衰退对金融科技行业的负面影响是非常明显的。

商业模式与金融服务类型
商业模式这里指的是某个特定的事务所是“B2B”、“B2C”还是“B2B2C”。至于金融服务的类型，可以有很多，从支付、贷款、经纪、汇款等等。我们可以从一些清理后的数据中获得这些关于金融科技认证公司性质的见解。

在我们数据集中的 437 家金融科技认证公司中，约 79%的公司至少服务于 B2B 领域。至于金融科技公司提供的金融服务类型，如"人工智能和机器学习"、"支付、"平台、"区块链、借贷等活动最受欢迎。

这一发现得到了埃森哲(2019)的有力支持，该公司称:****

“投资于 支付的初创企业 和投资于的初创企业拿走了 fintech 募资的大头，分别占总数的34%20%，而 投保 techs 在中抽成****

新加坡的金融科技产业确实在增长，未来看起来确实令人兴奋。除了 2020 年，在私人金融科技融资和宽松监管的帮助下，公司成立和就业增长在过去 5 年中明显呈上升趋势。我预计，新冠肺炎经济衰退对金融科技初创企业的打击将尤其严重，相当多的初创企业甚至可能不得不倒闭。但是每一次危机都是一次机会，幸存者可能会变得更加强大。

非常感谢您的阅读！

这个指标的方差是多少？

了解业务指标概率分布的效用以及如何在 Python 中计算它们

Sergign 从photodune.net拍摄的照片

分析师通常会观察一段时间内的趋势，以了解指标中的噪声水平，但通常衡量中的噪声不会在用于决策的数据中表现出来。重复出现并向上传递的语句类似于“我们同比下降 20%”下降 20%可能真的很糟糕，或者如果指标有噪声，这可能只是发生的事情。当然，经验会告诉人们这是否是一个在下降 20%时确实超出正常范围的指标，但经验并不总是不偏不倚和听到的。大多数商业指标都是比例的形式。在本文中，我将探索我们如何评估标准业务度量的可信度。

情况

一名团队成员说“我们的转换率是 4%。这比我们通常看到的 5%有所下降。那就是转移率下降了 20%！一定是什么东西坏了！我们都需要停止正在做的事情，进行调查。”

你说“在我们从重要项目中抽调大量人员进行调查之前，让我们仔细看看这些数字。东西坏了之后你转了几次？东西坏了之后有多少次尝试？在“工作”系统崩溃之前，它进行了多少次转移？之前尝试了多少次？”您的同事在他们的电子表格中找到了以下数字。

old_transfers = 100
old_attempts = 2000
new_transfers = 8
new_attempts = 200transfer_rate_old = old_transfers/old_attemptstransfer_rate_new = new_transfers/new_attemptspercent_improvement = (transfer_rate_new-transfer_rate_old)/transfer_rate_old*100

因为像这样的许多业务度量是比例，所以它们可以被建模为二项式分布。这太棒了。我喜欢二项式分布，因为感觉上我可以免费得到方差。我只需要知道试验的次数，然后就是:方差神奇地显示为 np(1-p)。但是等等，n 和 p 是什么？n 是试验的次数或度量中的分母，参数 p 可以作为业务度量来估计。在我们的例子中，旧的工作系统是 0.05，坏的系统是 0.04。

我们可以绘制破损系统的转移率和工作系统的转移率的概率质量函数，假设它们遵循二项式分布。在这篇文章中，我不打算深究这些假设。目的是演示一种简单的方法来估计业务指标中的噪声，以便做出更明智的决策；如果您打算使用这种方法，我鼓励您深入研究这些主题，以确保您的数据符合使用这种简单方法所需的所有假设。我发现 Bootstrapping(https://en . Wikipedia . org/wiki/Bootstrapping _(statistics))是一种很好的方式来更好地了解你的数据如何符合模型(可能是我的下一篇文章)。

import numpy as np
import matplotlib.pyplot as plt
import scipy.stats as statsplot_max_x = 150
x_values = range(plot_max_x)
working_system_pmf = stats.binom.pmf(x_values, old_attempts, old_transfers/old_attempts)
plt.plot(x_values,working_system_pmf, 'b.', label = 'working_system_pmf')
broken_system_pmf = stats.binom.pmf(x_values, new_attempts, new_transfers/new_attempts)
plt.plot(x_values,broken_system_pmf, 'r.', label = 'broken_system_pmf')
plt.ylabel('probability')
plt.xlabel('transfers')
plt.legend()

那么，我在这个图中看到了什么？嗯，每个客户要么转账，要么不转账，所以任何 n 次尝试的可能性都是有限的。如果我们只有三个客户，所有可能的转移值将是 0、1、2 或 3。图上的 x 值是转移的次数，y 值是破损系统和工作系统的概率。这个概念可能会令人困惑。我们不知道转账吗？我们确实知道所测量的转移。故障系统为 8，工作系统为 100。但是，这并没有完全描述我们想知道的东西。我们真正感兴趣的是破碎系统的未来传输速率，这就是这个图所表示的。我发现把我们的度量看作是对系统真实价值的一次尝试是有帮助的。我们测量了损坏系统的 8 次传输，但是我们知道每个测量都包含噪声。也许每 200 次尝试就有 10 次传输才是坏系统的真实传输速率？该图显示了在给定我们已有信息的情况下，尚未执行的测量的可能结果。随着我们收集更多的数据，我们对系统的真实速率有了更好的估计。但是我们不能等。系统可能被破坏了。我们需要正确解读现有的数据。

显然，工作系统将有更多的转移，因为我们有这么多的客户使用这个系统。在该图中，工作系统的曲线看起来更粗，这通常与更多的噪声有关。但这是骗人的。工作系统的曲线中所示的最高转移为大约 125，相对于在大约 17 处具有曲线的最高部分而测量的转移数仅为 8 的损坏系统，这比测量的转移数 100 大不了多少。所以，在工作系统中，相对方差更小，因为我们做了更多的测量。

但是我仍然不知道如何处理这些信息。我们似乎没有更接近于比较这些比率。也许我们推进调查，忘记分析？由于贝叶斯方程和共轭先验的魔力，我们实际上比你想象的更接近理解我们对系统崩溃的信心。

后验∝先验⨉似然

为了简单起见，我们将使用均匀分布作为非信息先验信念。不要让这种说法把你搞糊涂了。这只是意味着，在我们开始为两个系统中的任何一个收集数据之前，我们将避免谈论我们认为的传输率是多少。将均匀分布用于我们的先验信念会导致后验分布，即我们感兴趣的传输速率，它只是一个带有alpha = 1+ transfers和beta = 1 + (attempts — transfers)的贝塔分布。α和β是进行β分布所需的两个参数。这些就像是正态分布所需的均值和标准差参数。

二项式分布用于描述一系列 n 个独立实验的成功次数。我们将用来描述转移率的贝塔分布，被用来描述连续变量的行为，如定义在 0 和 1 之间的区间上的比例。

Bayes 方程允许我们获得使用每个系统收集的数据的概率分布(图 1 ),并将其转换为指标(传输速率)的概率估计值。同样，这是一个你应该深入了解的领域，以理解我所做的假设。简而言之，我假设在收集两个系统的数据之前我对传输速率一无所知，并且我利用了每个系统所有可能的传输速率的总概率为 1 的事实。

x = np.linspace(0.01, 0.2, 1000)
working_system_transfer_rate_pdf = stats.beta.pdf(x, old_transfers+1, (old_attempts-old_transfers)+1)/np.sum(stats.beta.pdf(x, old_transfers+1, (old_attempts-old_transfers)+1))
broken_system_transfer_rate_pdf = stats.beta.pdf(x, new_transfers+1, (new_attempts-new_transfers)+1)/np.sum(stats.beta.pdf(x, new_transfers+1, (new_attempts-new_transfers)+1))
# notice that I normalize the transfer rate by dividing each value by the total 
plt.plot(x, working_system_transfer_rate_pdf, 'b-', lw=2, alpha=0.6, label='Working system expected val = ' + str(np.round(old_transfers/old_attempts, 3)) )
plt.plot(x, broken_system_transfer_rate_pdf, 'r-', lw=2, alpha=0.6, label='"Broken" system expected val = ' + str(np.round(new_transfers/new_attempts, 3)) )
plt.legend()
plt.xlabel('Transfer Rate')

那么我们在看什么？我们知道每个系统都有一个传输速率。我们进行的测量越多，对传输速率的估计就越准确。我们测得故障系统的传输速率为 0.04，但如果我们再测量该系统几天，我们知道我们对实际传输速率的估计会有一些变化，因为任何测量中都有噪声。该图显示了在给定我们当前拥有的数据的情况下，每个系统的传输速率的概率分布的估计值。该图向我们显示，尽管损坏系统的传输速率的期望值是 0.04，但是损坏系统具有 0.05 或更高的传输速率的可能性很大。根据这张图表，我可能会推迟启动大规模调查，但我们必须将这些信息与更低传输速率的成本信息结合起来。

结论

什么是波动风险溢价？

原文：https://towardsdatascience.com/what-is-the-volatility-risk-premium-634dba2160ad?source=collection_archive---------17-----------------------

投资组合中的可视化和实现

照片由像素的皮克斯拜拍摄

波动风险溢价的概念

在 Black-Scholes 模型的衍生之后，讨论开放到它在普通期权定价中的位置。市场根据供求规律决定特定履约和到期的利率和期权价格。唯一不容易作为布莱克-斯科尔斯方程输入的参数是波动率。由于除波动率之外的每个参数都是可用的，并且由市场决定，布莱克-斯科尔斯方程的逆方程允许我们找到市场参与者预期的波动率:隐含波动率。从经验上看，隐含波动率的有趣之处在于，它倾向于高估已实现波动率，这主要是由于市场参与者及其已实现对手的预期。

蒙特卡洛定价图解

想想下面这段欧洲人打电话给间谍的话。

使用一个通用的蒙特卡罗定价模拟让我们能够说明这一现象。我们假设基础资产遵循扩散过程(几何布朗运动)。考虑以下 Python 代码来计算欧式看涨期权产生的预期现金流净现值。换句话说，期权的公允价格。

蒙特卡洛模拟给出的最终买入价格为:

Monte Carlo Euro Call price:  5.09259969279995

现在，考虑以下使用市场隐含波动率的蒙特卡洛模拟价格。

Monte Carlo Euro Call price:  6.450104207093876

在一个完美的世界中，使用隐含波动率的期权价值将收敛于期权的 Black-Scholes 或市场价值。真正的问题是，为什么期权的公允价格和市场价格之间存在差异？看波动率，可以问另一个问题:为什么市场隐含的波动率往往高于已实现的波动率？

市场参与者的行为研究

在耶鲁大学的一项研究中，市场参与者倾向于高估重大崩盘的概率，导致对期权的需求增加。这种对风险的高度感知可能会导致人们更愿意购买这些期权来对冲投资组合。换句话说，投资者愿意为防范重大市场崩溃的期权支付溢价，即使从统计数据来看，这些崩溃的概率较小，甚至可以忽略不计。

波动风险溢价组合构建

波动风险溢价存在的概念意味着从利润和多样化中获取和受益的能力。提取 VRP 的最纯粹的方法在于 S&P500 的卖空期权头寸。从长期来看，这种策略产生正回报，同时也保持了多样化的好处，因为它与股票的相关性极低。

摘要

波动率风险溢价是指隐含波动率往往高于实际波动率，因为市场参与者往往高估了市场大幅崩盘的可能性。这种高估可能解释了作为股票投资组合保护的期权需求的增加。因此，这将提高这些期权的价格，并解释隐含波动率高于实际波动率的趋势。波动风险溢价的存在可以被利用为一种有利可图的策略，同时有助于分散风险，因为 S&P500 的空头期权头寸往往保持较低的贝塔系数。

参考

Marroni，l .，& Perdomo，I. (2014 年)。金融衍生品的定价和对冲:从业者指南。怀利。

纳滕贝格，S. (2015 年)。期权波动和定价:高级交易策略和技术。纽约:麦格劳-希尔教育公司。

Sullivan，r .，Israelov，r .，Ang，I .，& Tummala，h .理解波动风险溢价。2020 年 9 月 29 日检索，来自https://www . aqr . com/Insights/Research/White-Papers/Understanding-the-Volatility-Risk-Premium

什么是第三方风险评估，如何进行评估？

原文：https://towardsdatascience.com/what-is-third-party-risk-assessment-and-how-can-you-do-it-ef3c69a6e0ce?source=collection_archive---------20-----------------------

照片由 Cookie 在 Unsplash 上的 Pom 拍摄

如今，随着一些全球趋势的出现，保险公司和投资企业倾向于优先考虑第三方风险管理。也就是说，在价格上涨、依赖数字技术以及意识到许多组织违规行为都源自自身受到威胁的可信供应商的环境下，外包的速度加快了。

因此，第三方风险评估和风险管理计划变得势在必行。

什么是第三方风险评估？

要了解第三方风险评估的定义和必要性，首先要注意第三方风险的成因。各种组织根据其能力，将某些业务外包给第三方。这些第三方可能包括供应商、销售商、分包商、合同制造商、经销商、分销商、合作伙伴、受控公司或附属公司。

为什么有些组织会外包某些操作？

减少开支；加速生产、分配和销售；或者增加利润，这些都导致组织在各自的行业中具有竞争优势。最常见的情况是，组织进行外包，以使他们能够专注于自己的核心专业领域，并利用这些提供商的专业知识来整合到他们的整体产品中。

那么，一旦你有了这些第三方来支持你的服务产品，你如何为你的组织提出一个风险管理计划呢？

进入第三方风险评估，这将有助于您的组织评估每个第三方的风险程度(和条件)。通过精心设计的风险评估计划，您的企业将能够降低第三方对您的运营和发展带来的风险。

为什么要进行第三方风险评估？

创建和维护第三方关系与多种风险相关。

什么样的风险？

声誉、战略、管理、信息安全和经济负担。其他风险包括数据泄露、第三方非法使用信息、不合规造成的有害和破坏性影响，以及供应链管理中的违规行为。

特别是，工业经营的全球化导致第三方在世界各地出现。反过来，与运营和分销相关的风险也呈上升趋势。

在现代世界的任何地方，任何自然的、人为的或故意的干扰都会对企业的生产和服务产生负面影响。

如果跨国企业缺乏强有力的风险管理计划来应对此类第三方风险，它可能会遭受经济和声誉损失。这就产生了对有效的风险评估和风险管理的需求，并要求寻找有效的相关评估服务。

如何执行第三方风险评估

现在，您已经对风险管理、什么是第三方风险评估以及为什么应该进行第三方风险评估有了更好的理解，让我们来看看如何执行第三方风险评估的逐步过程。

1.建立供应商风险标准

创建供应商风险标准列表。它应该包括您的组织可能面临的最具破坏性的第三方风险。

例如，管理或外包机密数据的企业应该将各种信息安全风险作为其供应商风险标准的一部分。

反过来，这将告知您组织的风险评估范围。此外，它还会影响您的行动和策略，以及您将用于第三方或供应商风险评估的技术。基于这样的风险标准，您还可以缩小第三方或供应商的选择范围。

这将引导您进入风险管理计划的下一步:对供应商进行分类。基本上，您创建了一个可操作的高风险第三方列表，您将与他们一起执行风险评估。

2.进行第三方入职和筛选

为了预测和防范任何可能的风险，您必须详细了解第三方或供应商关系。第一步是在整个公司强制推行风险管理的标准流程。

专家建议您构建一个第三方风险管理计划，其框架将标准化所有第三方入职和筛选。如果可能，您还可以使用实时风险检查和遏制措施的全面方法。

为您的风险管理计划精心设计的框架提供了一个双赢的局面:

在风险评估之前，您可以及时了解任何可能的第三方风险(和有风险的供应商)。此外，您的风险管理计划框架将帮助您优化时间并进行深入的风险评估。

3.使风险评估更易于管理

由于您的评估质量将直接影响您的风险管理计划，您必须确保您的评估质量，简单的复选框评估是不够的。为此，您必须全面分析任何供应商是否有风险，为什么他们有风险，以及您(或他们)如何应对这些风险。

此后，与有风险的第三方的协议将保证细致和一致的监控。

接下来，您将需要专业的专家来帮助分析您收集的数据。例如，来自政策、技术、网络安全或会计背景的专业人员可以进行整体分析并发布详细报告。今天，强大的组织为这样的风险分析项目部署整个团队。

4.评估绩效结果，而不仅仅是风险

结果是您的第三方关系是否有风险以及有多大风险的症状。例如，信息安全评级将使您能够始终如一地监督供应商的合规性和不可预测的风险。

如果您与多个第三方签订了合同，记录他们的信息安全和合规性得分将会:

• 增强和简化第三方风险评估，
• 记录安全状态的任何错误；和
• 要求解决涉及第三方的风险问题。

5.利用技术的力量

资本和资源的可用性是进行供应商风险评估的基本前提。为了节省开支，您应该考虑购买和部署能够简化第三方风险评估和管理整个流程的软件。

作为一项提供评估服务的技术，它还将为您组织中的风险评估标准化一个跨部门框架。

技术利用对于进行全面彻底的风险评估和管理至关重要。

为什么？

原因有很多，包括:

• 它让你控制一个平台，通过这个平台，你可以定期监督任何数量的第三方和相关的风险。
• 它提高了您预测和分析内部和外部第三方风险的能力，同时影响了您的评估范围。
• 它有助于您通过多次评估收集和宏观分析关于第三方风险的可靠数据，这将增强您的组织对任何供应商的未来决策。
• 它使您能够衡量风险评估指标的有效性，这标志着您的数据的质量和可靠性。

准备好开始第三方风险评估了吗？

不管你的公司规模有多大，你都有可能与许多第三方保持业务关系，这些第三方将帮助你简化运营。

但是，与第三方交换运营数据和机密信息会使这些数据和信息容易被滥用和利用，从而增加风险。尤其是在相关方缺乏最佳信息安全措施或合规性的情况下。

这使得你有必要制定一个风险管理计划。

作为利益相关者，您有责任进行全面的第三方风险评估，以保护您的公司免受风险业务的影响，并在多个层面监督其运营标准和结果。

关于作者:

Steve Kosten 是 Cypress Data Defense 的首席安全顾问，也是“Java/JEE 中的 SANS DEV541 安全编码:开发可防御应用程序”课程的讲师。

什么是时间序列分解，它是如何工作的？

原文：https://towardsdatascience.com/what-is-time-series-decomposition-and-how-does-it-work-9b67e007ae90?source=collection_archive---------8-----------------------

照片由 nutraveller 通过 Pixabay ( Pixabay 许可)

此外，我们还将深入了解使用 Python 的强大时间序列分解算法

时间序列可被视为由 4 个部分组成:

季节性成分
趋势成分
周期性成分
噪声成分。

季节性成分

季节性因素解释了人们在许多数据集中看到的周期性起伏，如下图所示。

在上面的例子中，季节周期大约为 12 个月，在 3 月达到高峰，在 11 月或 12 月触底，然后在 3 月再次达到高峰。

时间序列可以包含多个叠加的季节周期。一个经典的例子是气象站每小时温度的时间序列。由于地球绕地轴旋转，气象站的每小时温度图将显示 24 小时的季节周期。地球也以倾斜的方式围绕太阳旋转，导致了季节性的温度变化。如果你连续 365 天跟踪气象站上午 11 点的温度，你会看到第二种模式出现，其周期为 12 个月。24 小时长的日形态叠加在 12 个月长的年形态上。

在每小时天气数据的情况下，人们知道是什么潜在的物理现象导致了这两种季节模式。但在大多数情况下，不可能知道将季节性引入数据的所有因素是什么。因此，很难发现隐藏在时间序列中的所有季节周期。

也就是说，常见的季节周期是一天、一周、一月、一季(或一季)和一年。

季节性也可以在更长的时间尺度上观察到，例如太阳周期，它遵循大约 11 年的周期。

趋势组件

趋势部分指的是跨季节期间的数据模式。

下图所示的零售电子商务销售时间序列展示了一个可能的二次趋势( y = x )，该趋势跨越了长达 12 个月的季节周期:

零售电子商务销售。数据来源:美国弗雷德(图片由作者提供)

周期性成分

周期性成分代表跨季节发生的现象。周期性模式不像季节性模式那样有固定的周期。周期性模式的一个例子是股票市场经历的对世界事件的繁荣和萧条的循环。

道琼斯收盘价比上一年(1880 年至 2020 年)的百分比变化。数据来源:【MeasuringWorth.com】T4via维基百科)(图片由作者)

周期性成分很难被分离出来，它常常被与趋势成分结合在一起而被“搁置”。

噪声成分

当你从时间序列中分离出季节性和趋势时，噪声或随机成分会留下来。噪音是你不知道或无法测量的因素的影响。这是已知的未知的影响，或未知的未知。

加法和乘法效应

趋势、季节性和噪声成分可以以加法或乘法的方式组合。

相加组合
如果季节和噪声分量改变趋势的量与趋势值无关，则趋势、季节和噪声分量被认为以相加的方式表现。这种情况可以表示如下:

y_i = t_i + s_i + n_i

其中 y_i =时间序列在第个时间步的值。
t_i =第与时间步的趋势分量。
s_i =第与时间步的季节分量。
n_i =第个时间步的噪声分量。

乘法组合 如果季节和噪声分量改变趋势的量取决于趋势的值，则这三个分量以乘法方式表现如下:

y_i = t_i * s_i * n_i

使用 Python 将时间序列分解为趋势、季节和噪声分量的分步过程

有许多可用的分解方法，从简单的基于移动平均的方法到强大的方法，如 STL。

在 Python 中， statsmodels 库有一个 seasonal_decompose() 方法，可以让你在一行代码中将时间序列分解成趋势、季节性和噪声。

在我的文章中，我们喜欢进入杂草中。所以在我们使用 seasonal_decompose() 之前，让我们深入了解一个简单而强大的时间序列分解技术。

让我们了解分解在幕后是如何工作的。

我们将手动将时间序列分解为趋势、季节和噪声成分，使用基于移动平均值的简单程序，步骤如下:

步骤 1:确定季节周期的长度
步骤 2:隔离趋势
步骤 3:隔离季节性+噪声
步骤 4:隔离季节性
步骤 5:隔离噪声

我们将以美国用户汽车经销商的零售销售时间序列为例:

让我们将数据加载到熊猫数据框架中，并绘制时间序列:

**import** pandas **as** pd
import numpy as np
import math
from matplotlib import pyplot as pltmydateparser = **lambda** x: pd.**datetime**.**strptime**(x, '%d-%m-%y')df = pd.**read_csv**('retail_sales_used_car_dealers_us_1992_2020.csv', **header**=0, **index_col**=0, **parse_dates**=['DATE'], **date_parser**=mydateparser)fig = plt.figure()fig.suptitle(**'Retail sales of used car dealers in the US in millions of dollars'**)df[**'Retail_Sales'**].plot()plt.show()

现在让我们开始逐步分解这个时间序列。

**第一步:**尝试猜测数据中季节性成分的持续时间。在上面的例子中，我们猜测是 12 个月。

**第二步:**现在运行一个以 12 个月****移动平均线为中心的数据。这一移动平均值分布在总共 13 个月的时间里。即在中心月份的左侧和右侧各有 6 个月。以 12 个月为中心的移动平均线是两个移动平均线的平均值，两个移动平均线相差 1 个月，实际上是一个加权移动平均线。****

下面举例说明了如何在 Microsoft Excel 中计算这种居中的 MA:

这种 MA 将消除季节性和噪音，并显示趋势。

继续我们的 Python 示例，下面是我们如何在 Python 中计算居中移动平均值:

****#Add an empty column to store the 2x12 centered MA values**
df[**'2 x 12 CMA (TREND)'**] = np.nan**#Fill it up with the 2x12 centered MA values
for** i **in** range(6,df[**'Retail_Sales'**].size-6):
    df[**'2 x 12 CMA (TREND)'**][i] = np.round(
        df[**'Retail_Sales'**][i - 6] * 1.0 / 24 + 
        (
            df[**'Retail_Sales'**][i - 5] + 
            df[**'Retail_Sales'**][i - 4] + 
            df[**'Retail_Sales'**][i - 3] + 
            df[**'Retail_Sales'**][i - 2] + 
            df[**'Retail_Sales'**][i - 1] + 
            df[**'Retail_Sales'**][i] + 
            df[**'Retail_Sales'**][i + 1] + 
            df[**'Retail_Sales'**]i + 2] + 
            df[**'Retail_Sales'**][i + 3] + 
            df[**'Retail_Sales'**][i + 4] + 
            df[**'Retail_Sales'**][i + 5]
        ) * 1.0 / 12 + 
        df[**'Retail_Sales'**][i + 6] * 1.0 / 24**

请注意，索引【I-6】和【I+6】处的值是如何通过 1.0/24 进行加权的，而其余值是如何通过 1.0/12 进行加权的。

让我们绘制包含在列‘2 x 12 CMA(趋势)’:中的结果时间序列

*****#plot the trend component***fig = plt.figure()fig.suptitle(**'TREND component of Retail sales of used car dealers in the US in millions of dollars'**)df[**'2 x 12 CMA (TREND)'**].plot()plt.show()**

如您所见，我们的移动平均转换突出了零售时间序列的趋势部分:

(图片由作者提供)

第三步:现在我们要做一个决定。根据组成是乘法还是加法，我们将需要从原始时间序列中除以或减去趋势分量，以检索季节和噪声分量。如果我们检查原始的汽车销售时间序列，我们可以看到季节性波动与时间序列的当前值成比例增加。因此，我们将假设季节性是倍增的。我们还将大胆假设噪声是乘法噪声。

因此，假定零售二手车销售时间序列具有以下乘法分解模型:

时间序列值=趋势分量季节分量噪声分量

因此:

季节性成分*噪声成分=时间序列值/趋势成分

我们将在数据框中添加一个新列，并使用上面的公式填充季节和噪声分量的乘积。

**df['SEASONALITY AND NOISE'] = df['Retail_Sales']/df['2 x 12 CMA (TREND)']**

让我们绘制新的列。这一次，我们将看到季节性和噪音通过:

**fig = plt.figure()fig.suptitle(**'SEASONALITY and NOISE components'**)plt.ylim(0, 1.3)df[**'SEASONALITY AND NOISE'**].plot()plt.show()**

(图片由作者提供)

******步骤 4:** 接下来，我们将通过计算所有一月、二月、三月等月份的季节性成分的平均值，从季节性和噪声的混合中获得“纯”季节性成分。****

*****#first add a month column***df[**'MONTH'**] = df.index.strftime(**'%m'**).astype(np.int)***#initialize the month based dictionaries to store the running total of the month wise  seasonal sums and counts*** average_seasonal_values = {1:0, 2:0, 3:0, 4:0, 5:0, 6:0, 7:0, 8:0, 9:0, 10:0, 11:0, 12:0}average_seasonal_value_counts = {1:0, 2:0, 3:0, 4:0, 5:0, 6:0, 7:0, 8:0, 9:0, 10:0, 11:0, 12:0}***#calculate the sums and counts* for** i **in** range(0, df[**'SEASONALITY AND NOISE'**].size):
    **if** math.isnan(df[**'SEASONALITY AND NOISE'**][i]) **is False**:
        average_seasonal_values[df[**'MONTH'**][i]] =  
            average_seasonal_values[df[**'MONTH'**][i]] +
            df[**'SEASONALITY AND NOISE'**][i] average_seasonal_value_counts[df[**'MONTH'**][i]] =
            average_seasonal_value_counts[df[**'MONTH'**][i]] + 1***#calculate the average seasonal component for each month* for** i **in** range(1, 13):
    average_seasonal_values[i] = average_seasonal_values[i] / average_seasonal_value_counts[i]***#create a new column in the data frame and fill it with the value of the average seasonal component for the corresponding month***df[**'SEASONALITY'**] = np.nan**for** i **in** range(0, df[**'SEASONALITY AND NOISE'**].size):
    **if** math.isnan(df[**'SEASONALITY AND NOISE'**][i]) **is False**:
        df[**'SEASONALITY'**][i] = 
            average_seasonal_values[df[**'MONTH'**][i]]**

让我们画出这个纯季节成分:

*****#plot the seasonal component*** fig = plt.figure()fig.suptitle(**'The \'pure\' SEASONAL component'**)plt.ylim(0, 1.3)df[**'SEASONALITY'**].plot()plt.show()**

****第五步:最后，我们将之前分离出的噪声季节值除以平均季节值，得出每个月的噪声分量。

噪声分量=噪声季节性分量/平均季节性分量

**df[**'NOISE'**] = df[**'SEASONALITY AND NOISE'**]/df[**'SEASONALITY'**]*#plot the seasonal component*fig = plt.figure()fig.suptitle(**'The NOISE component'**)plt.ylim(0, 1.3)df[**'NOISE'**].plot()plt.show()**

(图片由作者提供)

所以你有它！我们只是手工制作了将时间序列分解成趋势、季节和噪声成分的程序。

以下是时间序列及其组成部分的拼贴画:

(图片由作者提供)

使用 statsmodels 的时间序列分解

现在我们知道了分解是如何从内部工作的，我们可以稍微欺骗一下，在 statsmodels 中使用 seasonal_decompose()在一行代码中完成上述所有工作:

****from** statsmodels.tsa.seasonal **import** seasonal_decomposecomponents = **seasonal_decompose**(df['Retail_Sales'], **model**='multiplicative')components.**plot**()**

这是我们得到的图:

零售二手车销售数据集上的季节性分解()的输出(图片由作者提供)

以下是完整的 Python 源代码:

这里的是到 Python 例子中使用的数据集的链接。

引用和版权

美国人口普查局，电子商务零售销售[ECOMNSA]，从圣路易斯美联储银行检索；https://fred.stlouisfed.org/series/ECOMN，根据弗雷德版权条款。

SILSO，世界数据中心—太阳黑子数和长期太阳观测，比利时皇家天文台，在线太阳黑子数目录:http://www.sidc.be/SILSO/,1818–2020(CC-BY-NA

塞缪尔·h·威廉姆森，“美国 DJA 每日收盘价，1885 年至今”，MeasuringWorth，2020 年
网址:http://www.measuringworth.com/DJA/

本文中的所有图片版权归 Sachin Date 所有，版权归 CC-BY-NC-SA 所有，除非图片下面提到了不同的来源和版权。

感谢阅读！如果你喜欢这篇文章，请 关注我 获取关于时间序列分析的技巧、操作方法和编程建议。

什么是转置卷积层？

原文：https://towardsdatascience.com/what-is-transposed-convolutional-layer-40e5e6e31c11?source=collection_archive---------1-----------------------

通过动画 gif 和 python 代码解释

转置卷积层也被(错误地)称为解卷积层。解卷积层与标准卷积层的操作相反，即如果通过标准卷积层生成的输出被解卷积，则可以恢复原始输入。转置卷积层类似于去卷积层，因为两者生成的空间维度是相同的。转置卷积不按值反转标准卷积，而是只按维度反转。

转置卷积层的功能与标准卷积层完全相同，只是对输入特征映射进行了修改。在解释相似性之前，我们先来看看标准卷积层是如何工作的。

标准卷积层:

大小为 ixi 的输入上的标准卷积层由以下两个参数定义。

• 填充***【p】:原输入周围填充的零的个数增加到(I+2 * p)x(I+2 * p)***
• 步幅 (s): 在输入图像上滑动时内核移动的量。

下图显示了卷积层如何分两步工作。

在第一步中，用零填充输入图像，而在第二步中，将内核放置在填充的输入上并滑动，生成作为内核和重叠输入区域的点积的输出像素。通过进行由步幅定义的大小的跳跃，内核滑过填充的输入。卷积层通常进行下采样，即输出的空间维度小于输入的空间维度。

下面的动画解释了卷积层在不同跨距和填充值下的工作原理。

对于给定尺寸的输入 (i) 、内核 (k) 、填充***(p)和步幅(s)***，输出特征图的尺寸由下式给出

转置卷积层:

另一方面，转置卷积层通常用于上采样，即生成空间维度大于输入特征图的输出特征图。正如标准卷积层一样，转置卷积层也是由填充和步幅定义的。padding 和 stride 的这些值是假设对输出执行以生成输入的值。也就是说，如果您获取输出，并执行定义了步幅和填充的标准卷积，它将生成与输入相同的空间维度。

实现转置卷积层可以更好地解释为 4 步过程

• **步骤 1:** 计算新的参数 z 和 p’
• 第二步:在输入的每一行和每一列之间，插入 z 个零。这增加了输入到的大小(2 * I-1)×2 * I-1)
• **步骤 3:** 用 p’个零填充修改后的输入图像
• **步骤 4:** 以步长 1 对步骤 3 生成的图像进行标准卷积

完整的步骤如下图所示。

作者图片

下面的动画解释了卷积层在不同跨距和填充值下的工作原理。

对于给定尺寸的输入 (i) 、内核 (k) 、填充***(p)和步幅 (s) ，输出的尺寸特征图【o】***由下式给出

总结:

下表总结了两种卷积，标准卷积和转置卷积。

• 转置卷积背后的思想是执行可训练的上采样
• 转置卷积是标准卷积，但是具有修改的输入特征映射。
• 步幅和填充与并不对应于图像周围添加的零的数量以及在输入上滑动图像时内核的移动量，这与标准卷积运算中的情况不同。

Python 代码:

奖金:

可以在下面的链接中找到这个主题和机器学习中许多其他重要主题的紧凑备忘单

[## 机器学习面试主题的备忘单

ML 面试的视觉备忘单(www.cheatsheets.aqeel-anwar.com)

medium.com](https://medium.com/swlh/cheat-sheets-for-machine-learning-interview-topics-51c2bc2bab4f)

如果这篇文章对你有帮助，欢迎鼓掌、分享和回复。如果你想了解更多关于机器学习和数据科学的知识，请关注我@Aqeel an war或者在LinkedIn上与我联系。

机器学习中的矢量化是什么？

原文：https://towardsdatascience.com/what-is-vectorization-in-machine-learning-6c7be3e4440a?source=collection_archive---------4-----------------------

SpaceX 在 Unsplash 上拍摄的

使用矢量化让您的代码快速执行

您将学到的内容:

1. 什么是矢量化？
2. 矢量化在机器学习中有多重要？
3. 示例:非矢量化与矢量化实现
4. 矢量化实施的优势
5. jupyter 笔记本演示

我第一次了解矢量化的概念是在 Coursera 平台上学习吴恩达教授的最著名的课程机器学习。

根据吴恩达教授的说法:

“执行矢量化的能力已经成为一项关键技能

所以，让我们学习这项技能，并将其纳入我们的工具箱:)

什么是矢量化？

构造化是一种可以让你的代码快速执行的技术。当你从零开始实现算法时，这是一个非常有趣和重要的优化算法的方法。

现在借助 C/C++、Octave/Matlab、Python、…等高度优化的数值线性代数库。我们可以让代码高效运行。

感谢专门做数值计算的人！

在本教程中，我们将使用:

**Numpy:**Python 中的快速数值计算库

矢量化在机器学习中有多重要？

就像在现实世界中，我们感兴趣的是以尽可能减少错误的方式有效地解决任何类型的问题。

在机器学习中，有一个优化算法的概念，它试图减少错误，并计算出机器学习模型的最佳参数。

因此，通过在优化算法中使用矢量化实现，我们可以使计算过程比非矢量化实现快得多。

优化算法的一个基本例子:梯度下降

梯度下降如何工作的例子，图片由凯文·宾兹在来源上提供

现在让我们先玩玩 Numpy 来了解一下如何使用高度优化的计算库

Python List 和 Numpy 数组的性能比较

使用 Numpy:平均每循环花费 1.52 毫秒

没有 Numpy:平均每个循环花费了 69.9 毫秒

代码:

# With Python Listsa=list(range(1000000)) #10^6 numbers generated
%timeit [val + 5 for val in a] #Computing Element Wise Operation# With Numpy Arraysimport numpy as np
a=np.array(a) #Converting into numpy array type
%timeit a+5

range() : range 函数用于生成一段时间内的数字序列

%timeit :这是一个 ipython 神奇的函数，可以用来计时一段特定的代码。

非矢量化与矢量化实施

线性回归的假设函数

让我们使用线性回归的假设函数来理解矢量化的概念，其中θ表示权重/系数， x 表示特征

现在有两种方法可以实现上述功能:

1. 使用 For 循环
2. 使用矢量化

首先，让我们为θ和 x 向量生成随机数

n=10000# Generate n random numbers between 0 - 1
theta = np.random.rand(n)#Generate n random integers between 0 - 100 
x = np.random.randint(0, 100, n)

现在观察非矢量化代码和矢量化代码之间的区别

对于循环与矢量化实现

两种实现给我们相同的输出，但问题是计算效率如何？

比较性能

非矢量化代码和矢量化代码的性能比较

使用未向量化的代码:平均每个循环花费 6.46 毫秒

**使用向量化代码:**平均每循环花费了 18.8 秒

代码:

# Unvectorizeddef unvectorized(n, theta, x):

    prediction= 0.0

    for j in range(n):
        prediction= prediction + theta[j]*x[j]

    return prediction# Vectorizeddef vectorized(theta, x):

    prediction= 0.0

    prediction = np.dot(theta.transpose() , x)

    return prediction#Comparing Performance%timeit unvectorized(n, theta, x)
%timeit vectorized(theta, x)

矢量化实施的优势

1. 我们的代码运行高效
2. 我们的代码变得更加简单，易于调试

演示时间:)

Jupyter 笔记本电脑演示(非矢量化与矢量化实施)

源代码

本教程中使用的所有代码都可以在我的 GitHub 帐户上获得点击这里

埃米尔·佩龙在 Unsplash 上的照片

结论

在本教程中，您学习了矢量化技术，这是提高代码效率的方法之一。

下节课再见:)

接触

Gmail-> jalalmansoori19@gmail.com

github->https://github.com/jalalmansoori19

参考

1. https://speaker deck . com/jakevdp/losing-your-loops-fast-numpy-pycon-2015
2. 吴恩达教授在 Coursera 上的机器学习课程

XGBoost 是什么？以及如何优化？

原文：https://towardsdatascience.com/what-is-xgboost-and-how-to-optimize-it-d3c24e0e41b4?source=collection_archive---------47-----------------------

来源:图片由 Free-Photos 来自 Pixabay

在机器学习和 Kaggle 竞赛的世界中，XGBoost 算法占据了第一位。

介绍

像许多数据科学家一样，XGBoost 现在是我工具箱的一部分。该算法是数据科学领域(真实世界或竞争)最流行的算法之一。它的多任务方面允许它在回归或分类项目中使用。它可以用于表格、结构化和非结构化数据。

GitHub 上有一个包含代码的笔记本。笔记本用于文件(文本)的分类。

XGBoost

XGBoost 或极端梯度提升是一种基于树的算法(Chen and Guestrin，2016[2])。XGBoost 是树家族(决策树、随机森林、装袋、提升、梯度提升)的一部分。

Boosting 是一种集合方法，主要目的是减少偏差和方差。目标是顺序创建弱树，以便每个新树(或学习者)关注前一个树的弱点(错误分类的数据)。在添加弱学习者之后，数据权重被重新调整，称为“重新加权”。由于每个新学习者加入后的自动校正，在收敛后整体形成一个强模型。

XGBoost 的强项是并行性和硬件优化。数据存储在内存中，称为块，并以压缩列[CSC]格式存储。该算法可以执行树修剪，以便以低概率移除分支。模型的损失函数中有一项通过正则化来惩罚模型的复杂性，以平滑学习过程(降低过拟合的可能性)。

该模型即使在缺失值或大量零值的情况下也能很好地执行稀疏感知。XGBoost 使用一种称为“加权分位数草图算法”的算法，这允许算法专注于错误分类的数据。每个新学习者的目标是学习如何在每次迭代后对错误数据进行分类。该方法允许您按分位数对数据进行排序，以便找到正确的分割点。这是ϵ参数的目标，也就是分割的值(ϵ=0.1；分位数=[10%，20%，…，90%])。

升压过程的迭代次数由具有集成交叉验证方法的算法自动确定。

作者提供了不同树算法的比较表:

陈和 Guestin，2016。第 7 页，表 1。

优化

XGBoost 具有超参数(估计器不学习的参数)，必须通过参数优化来确定。这个过程很简单，每个要估计的参数由一个值列表表示，然后每个组合由模型进行测试，通过比较模型的度量来推断最佳组合。对参数的搜索需要通过交叉验证用指标来指导。不要害怕，[sklearn](https://scikit-learn.org/stable/index.html)有两个功能可以帮你做到这一点:[RandomizedSearchCV](https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html) 和[GridSearchCV](https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html?highlight=gridsearchcv#sklearn.model_selection.GridSearchCV)。

网格搜索

网格搜索是一种尝试计算超参数最佳值的调整技术。这是通过算法的超参数空间的手动指定子集的详尽搜索。

随机搜索

第二种方法被认为更有效( Bergstra 和 Bengio，2012) [1]，因为参数是随机选择的。随机搜索可以在连续和混合空间中使用，并且当只有少量超参数影响最终性能时非常有效。

这些方法怎么用？

笔记本

随机搜索

让我们从一个随机搜索开始。下面的代码显示了如何调用RandomizedSearchCV()。要估计的超参数存储在字典中。XGBoost 可以在训练期间考虑其他超参数，如早期停止和验证集。您可以用在fit()方法中传递的另一个字典来配置它们。

在接下来的代码中，我使用通过随机搜索获得的最佳参数(包含在变量best_params_)中)来初始化网格搜索的字典。

网格搜索

在下面的代码*、中，您将找到网格搜索*的配置。如前所示，交叉验证固定在 3 倍。

结论

关于 XGBoost 的超参数优化的这篇(小型)教程到此结束。但是这些方法可以被每一个机器学习算法利用。请记住，这些优化方法在计算方面是昂贵的(上面的第一个代码生成 3000 次运行)。

你现在可以在工作或比赛中使用它了。尽情享受吧！

参考

[2]陈天琦和卡洛斯·盖斯特林，2016。【https://arxiv.org/pdf/1603.02754.pdf】XGBoost:一个可扩展的树增强系统，

客户一生的价值是什么？

原文：https://towardsdatascience.com/what-is-your-customers-worth-over-their-lifetime-dfae277fd166?source=collection_archive---------15-----------------------

使用 Python 估算非订阅环境下客户的终身价值(LTV ),以设计适当的保留策略并最大限度地减少客户流失

米歇尔·汉德森在 Unsplash 上的照片

在我之前在发表的一篇文章中，我们讨论了生存分析技术来预测我们的客户何时会流失，以及针对客户的策略来最小化客户流失。这是在一个合同设置中，其中“死亡”是客户终止或不续订他们的订阅。

在本帖中，我们将着眼于购买直到你死(BTYD)类的统计模型，以分析非订阅业务模型中客户的行为和购买模式，以建模和预测客户的终身价值(CLV 或 LTV)。

什么是客户 LTV？

客户的终身价值是指公司在整个客户关系中(无论是在单个客户层面、群体层面还是整个客户群层面)预期从客户那里获得的净收入或收入总额，使用现金流贴现法(DCF)将其贴现为当前的美元价值。

根据可用的数据，LTV 可以代表总收入或净收入，即收入减去成本。使用收入数字通常不太麻烦，因为客户级别的历史销售数字很容易获得。然而，计算特定于客户的成本可能需要某些假设，这就有点主观臆断了。

为什么是 LTV？

在非合同商业模式中，公司与其客户之间没有合同或订阅协议(例如，电子商务或零售)，我们可以在任何给定交易后停止购买。或者我们可以在 12 个月后回来重复购买。因此，没有明确的二进制事件来识别特定客户是否仍然活着。这使得实际上不可能通过逻辑回归或决策树有效地预测作为二元事件的流失。

在没有合同协议的情况下，分析我们的客户的更好方法是预测我们可以预期我们的客户在未来与我们一起消费的货币价值，以及预测的客户流失概率——给定他们的历史购买模式和行为。

请注意这里的区别:我们不知道在观察结束日期，客户是否已经发生了变化。因此，我们不能训练算法来预测在模型训练期间我们不可用的数据点(流失)。相反，流失概率将通过基于购买历史的其他统计和概率方法来确定。

BTYD 模型介绍

我们将利用以下两个统计和概率模型:贝塔几何/负二项分布(BG/NBD)模型和货币价值的伽马-伽马模型来分析历史客户购买行为数据和模式，并预测未来的购买频率和货币价值。这些模型已被经验证明优于传统方法，并遵循购买直到你死(BTYD)统计模型。

BG/NBD 模型预测预定义时期内的未来预期交易数量以及客户存活的概率。而 Gamma-Gamma 模型将结合到 BG/NBD 模型中，根据以预定贴现率贴现后的当前美元价值来预测购买的预期货币价值。

这两个模型都在 Python 的lifetimes包中实现。

模型假设

在基本层面上，上述两个模型依赖于以下假设:

• 每个顾客有两个硬币:一个'购买硬币，决定其购买的概率，并由他连续投掷；以及决定退出且不再购买概率的“骰子硬币，每次购买后翻转一次
• 当处于活动状态时，客户进行的交易数量遵循泊松过程，交易率用λ表示(一个时间间隔内的预期交易数量)。简单来说，泊松过程是一系列离散事件，其中事件之间的平均时间是已知的，但事件的确切时间是随机的。下一个事件的发生独立于前一个事件。因此，在我们的案例中，客户是否会重复购买与其历史购买行为无关。这似乎违反直觉(从同一家企业多次购买的客户通常会再次购买)，但在实证研究中却得到了很好的支持。
• 每个客户都有自己的购买硬币(有自己的正面和反面概率)
• 类似于“购买”硬币，每个客户都有自己的“死亡”硬币，每次交易后都有特定的存活概率
• 在每次交易后，顾客以概率p变得不活跃，即，在每次交易后，每个顾客将投掷第二个“骰子”硬币以确定他是否重复购买
• 交易率λ和退出概率p在客户之间独立变化，分别遵循伽马和贝塔分布
• 客户特定交易的货币价值围绕其平均交易价值随机变化
• 不同客户的平均交易额各不相同，但任何特定个人的平均交易额不会随时间而变化
• 平均交易值在客户中的分布与交易过程无关

数据要求

BG/NBD 和 Gamma-Gamma 模型在客户层面只需要以下数据点:

• 最近度代表顾客最近一次购物的年龄。这等于客户第一次购买和最后一次购买之间的持续时间。因此，如果 X 女士只进行了一次购买，她的新近度将是 0。
• 频率代表客户进行重复购买的周期数。这意味着它比客户购买的总周期数少 1。如果使用天数作为单位，那么频率就是客户第一次购买后购买的天数(或任何时间段)。如果顾客只购买了一次，他的频率将是 0。此外，频率不考虑同一时间单位内的多次购买。因此，如果 Y 先生在第 1 天购买了两次，在第 3 天购买了三次，那么尽管每天购买了多次，他的频率仍然是 1。
• 时间表示无论选择什么时间单位，顾客的年龄。这等于客户第一次购买和研究期末之间的持续时间。
• 货币价值代表给定客户的重复购买的平均值，即所有重复购买的总和除以重复购买的时间单位总数。货币价值可以是利润、收入或任何其他金额，只要它是为每个客户一致计算的。

我们可以通过lifetimes中一个叫做summary_data_from_transaction_data的便利实用函数，从以下交易级数据(通常在内部报告系统中可用)中提取上述四个所需的数据点:

• 发票或交易日期
• 发票或交易货币价值

BG/NBD 和 Gamma-Gamma 模型在运行

原始数据的格式如下:

数据预处理

接下来，我们将执行以下步骤，将原始数据转换为所需的格式:

• 将InvoiceDate转换成日期时间格式，并从中提取日期值
• 删除缺少Customer ID的行，因为我们的分析将在单个客户级别进行
• 从Quantity字段中过滤出负值，因为这些值可能与客户退货有关，而与 LTV 预测无关
• 为每张发票(Quantity x Price)的Sales新建一列，并过滤出lifetimes : Customer ID、InvoiceDate、Sales所需要的这些列
• 使用summary_data_from_transaction_data函数将我们的事务级数据转换成lifetimes所需的汇总形式

生成的数据将采用以下形式:

客户# 12608 只购买了 1 次(没有重复)，因此根据模型定义，其频率和最近次数都是 0，并且其年龄是 405 天(即，在分析中第一次购买和期末之间的持续时间)。货币价值也是 0，因为它是所有重复购买的平均值，因此忽略了唯一的一次购买。

另一方面，顾客# 12745 总共购买了两次，因此:

• frequency为 1，即 1 次重复购买
• recency是两次购买之间的天数
• T是首次购买和观察结束日期之间的天数
• monetary_value是第二次购买的总价值，即唯一的重复购买。对于 1 次以上的重复购买，它将是所有重复购买的平均销售额

最后一个预处理步骤是排除我们没有重复购买的客户，即频率为 0。BG/NBD 和 Gamma-Gamma 模型都专注于对有重复交易的客户进行计算。如果我们考虑一下，对于一个只进行过一次历史购买的客户来说，用任何模型来预测未来交易的概率和货币价值都是相当具有挑战性的。否则，该模型将预测只有一次购买交易的客户仍然活着的概率为 100%，这是不现实的。

迄今完成的工作代码如下:

BG/NBD 模型培训和可视化

训练 BG/NBD 模型就像训练 scikit 中的任何其他 ML 算法一样——使用lifetimes.BetaGeoFitter()的fit方法学习。

lifetimes有几个内置的效用函数来绘制和验证 BG/NBD 模型的内在假设:

• lifetimes.plotting.plot_transaction_rate_heterogeneity绘制λ(顾客购买倾向)的估计伽玛分布。理想情况下，这应该反映一种异质分布，即不集中在一个单一的值
• lifetimes.plotting.plot_dropout_rate_heterogeneity绘制p的估计贝塔分布，客户在交易后立即退出的概率(“骰子”)硬币。这也应该显示一种异质分布

尽管交易率在我们的数据中似乎是不均匀的，但退出概率的不均匀性较小，大多数值仅集中在小于 0.1 左右。一个潜在的原因可能是我们的数据中重复购买的客户数量较少——在更长的时间内收集更多的数据可能有利于我们的建模目的。然而，我们将继续我们的练习，看看它进展如何。

模型可视化

一旦 BG/NBD 模型经过训练，我们可以从以下图表中收集有用的见解:

频率/最近热度图

此热图显示了客户在下一个时间段可能进行的交易数量(默认值为 1，即第二天、第一周等。基于我们数据中的交易频率)，给定模型参数:

我已经使用T = 7作为函数的参数来分析未来 7 天的预期购买次数。

直观上，我们可以看到，高频率(多次重复购买)和新近性(最近最后一次重复购买)的客户在未来有望购买更多。我们的最佳客户位于热图的右下角，其特征是重复购买次数超过或等于 175 次，最近一次购买是在他们超过 1000 天时。

简而言之:

• 有多次重复购买(频率)和首次购买与最近一次购买之间有较长时间间隔(最近)的客户可能是未来的最佳客户
• 多次重复购买(频率)但第一次和最近一次购买(最近)的时间间隔较短的客户可能永远不会再回来
• 浅蓝色和绿色区域的客户很有兴趣，因为他们可能会回来购买，但我们仍然可以预计他们在接下来的七天内会购买大约 0.7 次。这些客户可能需要一点哄骗或推动才能回来购买更多

活动热图的概率

该热图显示了在给定模型参数的情况下，客户存活的概率:

无论客户是否经常购买，只要他们具有历史上较高的最近购买率(即，他们第一次购买和最近一次购买之间的时间间隔大于或等于 1000 天)，其存活的可能性几乎为 1.0。

此外，新近度稍低的客户(即，最近一次购买是在他们第一次购买之后相对较短的时间段之后)即使没有进行大量的重复购买也具有较高的存活概率。

购买了大量商品但购买时间较短的客户很可能已经退出(右上象限)。

模型训练和可视化的代码如下:

英国天然气公司/NBD 模型验证

为了执行模型交叉验证，我们可以将事务数据划分为校准和维持数据集。然后，我们将使用维持数据集作为生产数据(在模型训练期间不可见)，根据校准数据拟合新的血糖/NBD 模型，并比较维持期内重复购买的预测和实际数量。

在维持期内，实际重复购买次数和预测重复购买次数的平均值对比图揭示了以下情况:

在上面的图中:

• x 轴代表在校准期间观察到的频率值
• y 轴代表维持期的平均频率(蓝线)和模型预测的平均频率(橙线)

正如我们所见，在大约 15 次重复购买后，该模型可以非常准确地预测客户群的行为。对于更高的频率值，该模型确实产生了更多的误差，并且低估了平均重复购买量。如前所述，这很可能是因为我们的数据中有大量重复购买的客户数量相对较少。

英国天然气公司/NBD 模型验证代码:

伽马-伽马模型训练

现在，我们将根据我们的数据拟合 Gamma-Gamma 模型，根据每个客户的购买模式来计算他们未来可能的销售额。

没有比这更简单的了:

预测时间

现在我们已经训练好了两个模型，让我们在客户层面做一些预测。首先，我们将预测每位客户在未来 30 天(或您选择的任何其他天数)内的购买数量:

CustomerID 12748 预计将在接下来的 30 天内进行 5 到 6 次购买。

接下来，我们将计算客户存活的概率，并绘制其分布图:

分布图揭示了预期大多数客户有很高的存活可能性。在与业务和营销团队讨论之后，假设我们决定采用以下概率阈值来对客户进行分类:

• 如果活着的概率小于 0.5
• 如果存活的概率在 0.5 到 0.75 之间，则存在高流失风险
• 否则不搅动

我们得到以下计数:

接下来，我们将使用我们训练好的 Gamma-Gamma 模型来预测未来 12 个月的平均未来交易价值和 LTV，假设月贴现率为 0.01%。根据预期的 LTV，我们的前 20 名客户是:

现在，我们已经有了每个客户的估计流失率、未来购买价值和 ltv，这些客户在历史上都曾在我们这里购买过一次以上。

预测代码:

结论

现在，尽管我们没有与最有价值和风险最大的客户签订合同，但我们已经对他们有了一些可操作的见解。

一如既往，如果您想讨论任何与数据分析、机器学习、金融和信贷风险分析相关的问题，请随时联系 me 。

下次见，继续！

参考

[1]法德尔，P. S .，哈迪，B. G. S .和李，Ka。(2005).简单的方法“计算你的顾客”:帕累托/NBD 模型的替代方案。营销科学。24.275–284.10.1287/mksc

[2]法德尔，P. S .和哈迪，B. G. S. (2013 年)。货币价值的伽玛-伽玛模型。从这里检索

你的样本量是多少？伪复制的危险

原文：https://towardsdatascience.com/what-is-your-sample-size-the-dangers-of-pseudo-replication-c66cab14fc69?source=collection_archive---------46-----------------------

你的不确定性估计正确吗？

简单吧？在统计学入门课程中，样本量总是给定的。n = 1000。或者 n = 20。但在现实世界中，你得自己算出 n。

如果数据是平面的，那么 n 就是行数。简单。

但是现实世界的许多数据并不平坦。n 是什么？何谓爱情?狐狸说了什么？生命、宇宙、万物的意义是什么？这些都是让我夜不能寐的问题。

我们将从一个过于简单的例子开始。乍一看，问题“n 是什么？”听起来毫无用处，但是希望到最后你会发现这是一个普遍存在的实际商业问题。我们有一万行数据是很常见的，但是“样本大小”更接近于十。

“样本量”在不确定性的量化中起着直接的作用。一个点估计是不够的；什么是似是而非的数值范围？

平面数据

假设你想知道一所学校学生的平均身高。我是神谕，知道真实的平均身高是 167 cm，但你不知道。

你找到了 10 名志愿者，他们是正态分布人群中的代表性样本(嘿，我说想象一下)。你拿出卷尺，以厘米为单位记录下:

151 180 156 158 147 163 166 161 167 171

在这种情况下，很简单。n = 10，你可以在 162 附近建立一个 95%的置信区间(155，169)。167 在这个 CI 内。

在给定的设置下，95%的随机样本将产生包含 167 的 95% CI。

不平衡数据

你从折扣店买了你的卷尺，你被告知它被诅咒了:它提供的测量值稍微有些偏差，但平均来说是正确的。

未被描绘的:不可思议的恐怖。(来源)

它带有第二个卷尺，免费！第二个卷尺是也同样被诅咒。但是你可以选择颜色！

你选择黄色是因为你是个无趣的人。(来源)

当你宣布你将进行第二次测量时，一半的学生说他们上课会迟到并匆忙离开。您使用第二盘磁带记录了前五名学生的身高，所以现在您的数据看起来像

151 180 156 158 147 163 166 161 167 171

153 187 159 157 145

你有 10 个学生，但有 15 个测量值。这就是伪复制 —你收集了更多的数据，但是采样单位(学生)的数量不变。

你应该如何估计平均身高？如果你平均 15 次测量，那么有些学生会被重复计算。你的不确定性水平将会下降，因为你的观察不再独立。学生的三围取决于学生的真实身高。

正确的方法是取每个学生的平均测量值，这样你的数据看起来就像:

152 183.5 157.5 157.5 146 163 166 161 167 171

然后取平均值，得到 162.4 的估计值——可以说是平均值的平均值。(如果你没有为你的 A/B 测试这样做，你要么有一个 警告 问题，要么有一个更好更先进的方法。)但是如何建立置信区间呢？你更确定前五个值，但是我们要假装后五个值携带同样多的信息吗？

就此而言，n 是什么？模型的正确自由度是什么？我们无法回答这个问题(实际上，我们可以，但仅限于 iid 高斯误差)，但最好假设 n=10，而不是 n=15。如果答案存在的话，我们希望它在 10 到 15 之间。我们稍后再讨论这个。

平衡数据

下课后，剩下的五个学生来找你进行第二次测量(嘿，他们是好人)。你疯狂地嘲笑你现在完整的数据集，你迫不及待地释放它的潜力来解开宇宙的秘密:

151 180 156 158 147 163 166 161 167 171

153 187 159 157 145 164 163 161 166 172

取所有观察值的平均值和标准差，构造 n = 20 的 95%置信区间，得到以 162.4 为中心的区间(157.6，167.1)。

图为:进行假设检验后的普通科学家。(来源)

然后闪电击中你，因为宇宙不想让这种错误的分析见天日。

怎么了?

假设您重复测量三次以上，并记录这些观察结果:

151 180 156 158 147 163 166 161 167 171

153 187 159 157 145 164 163 161 166 172

154 187 156 156 146 163 164 160 168 169

152 180 159 155 146 165 162 161 167 170

152 183 158 162 145 166 165 158 165 172

将这些视为 50 个独立的观察值(换句话说，忽略伪复制)将导致以 162.3 为中心的(159.4，165.1)的非常窄的 95% CI。167 的真正价值远在 CI 之外。

如果你对不同的学生重复这个设置，167 将会比期望的 5%的时间更多地位于区间之外。

问题是:你在观察同样的 10 个学生。为什么一遍又一遍地看到它们会让你更加确信人口意味着什么？如果这行得通，当人们可以多次盯着同一个东西看时，为什么还要花这么多钱来收集数据呢？

鉴于测量误差来自相同的正态分布(即误差为高斯分布，与学生的真实身高无关)，正确的方法是取平均值的平均值:

152.4 183.4 157.6 157.6 145.8 164.2 164.0 160.2 166.6 170.8

因为我们只观察了 10 名学生，所以我们构造了 n = 10 的 95%置信区间，得到以 162.3 为中心的(154.9，169.7)。

事实上，数据很少是平衡的。即使你建立了一个最终目标是获得平衡数据的研究，参与者也可能会退出。

如果加粗的误差假设不合理(例如二进制结果)，那么我们不能这样做，必须使用更复杂的模型:

贝叶斯机器学习来拯救！

在其核心，贝叶斯 ML 处理伪复制(虽然它也适用于平面数据)。

这听起来并不显著，直到您意识到绝大多数数据都遭受伪复制。企业有回头客，并(希望)从每个客户那里进行多次测量。研究可能希望随着时间的推移跟踪同一批人。

数据的层次结构

还记得我们如何将 15 个观察压缩成 n=10 个吗？你可以有十几家商店，每家都有数千名顾客，但是一旦有人提出一些问题(“促销的平均提升是多少？”)，你实际上必须将 10，000 个观察值压缩成 n=12 个。要么这样，要么你必须假装你的从属观察是独立的。不太漂亮。

大多数流行的机器学习算法(xgboost、随机森林、GLM 等。)本身不处理伪复制。有两种可能的选择。可以在交叉验证中适当随机化折叠(来自同一个学生的观察永远不要去不同的折叠！)并希望结果可以一般化。或者，您可以汇总数据(例如，按学生计算测量值的平均值)并丢弃一些信息。

下面是我用来生成上述数据的 R 代码:

num_students <- 10
num_pseudoreps <- 5set.seed(12)
height <- rnorm(num_students, 167, 10)
meas <- matrix(0, nrow = num_pseudoreps, ncol = num_students)
for(i in 1:num_pseudoreps){
  meas[i,] <- round(height + rnorm(num_students, 0, 2))
}

为了得到类似频率主义者的估计，我将使用具有极弱/均匀先验的 MCMC 来拟合一个随机效应模型。在实践中，这些先验知识不应该在基本例子之外使用。

library(rstan)balanced <- data.frame(
  student = sort(rep(1:num_students, num_pseudoreps)),
  measured = as.numeric(meas)
)
unbalanced <- data.frame(
  student = c(1:10, 1:5),
  measured = c(meas[1,], meas[2, 1:5])
)model <- stan_model(model_code = '
  data {
    int<lower=0> N;
    int<lower=0> S;
    real y[N];
    int<lower=1, upper = S> students[N];
  }
  parameters {
    real mu; 
    vector[S] mu_s;
    real<lower=0> pop_sigma; 
    real<lower=0> meas_sigma;
  } 
  model {
    mu ~ normal(0, 10000);
    pop_sigma ~ uniform(0, 1000);
    meas_sigma ~ uniform(0, 1000);
    mu_s ~ normal(mu, pop_sigma);
    y ~ normal(mu_s[students], meas_sigma);
  }
')set.seed(1)
mcmc <- sampling(
  model,
  data = list(
    N = nrow(balanced),
    S = num_students,
    y = balanced$measured,
    students = balanced$student
  ),
  iter = 5000
)
posterior <- mcmc@sim$samples[[4]]$mu[1001:5000]

使用具有 50 个观察值的平衡数据，后验分布具有(154.2，170.2)的 95%可信区间和 162.3 的平均值。这比我们之前得到的 CI 略宽，部分是因为我们估计了一个额外的讨厌的参数:测量误差。

神奇发生在不平衡的情况下。95%可信区间是(154.4，170.0)，我们不必猜测使用什么 n。在这个示例中，好处并不明显，因为我们正在使用忽略伪复制是最不有害的设置。

然而，当我们越来越远离舒适的:

*高斯分布(如二元结果、严重偏斜的人口分布)

不相关的参数(例如，忠诚客户可能会访问更多的和*花费更多)

*有些平衡的数据(例如，一些客户一周访问 100 次，而另一些客户只访问一次)

采用平均值会给出越来越差的结果。(查看我的 GLM 文章以了解精确加权平均值的细节。)

铁是羽加迪姆 leviosa。(来源

直觉上，这是因为平均值假装所有的抽样单位具有相等的权重，即使它们并不相等。

考虑到一些最普遍的指标是百分比(例如转化率)或极度右偏(例如平均支出)，贝叶斯机器学习在每个组织中都有一席之地。

最后，如果你经常需要在工作中进行统计推断，可以考虑将贝叶斯机器学习作为你工具箱的核心部分。它们实际上是为解决真实数据中普遍存在的伪复制问题而设计的。

“清理”数据和“训练”机器学习算法意味着什么

原文：https://towardsdatascience.com/what-it-means-to-clean-data-and-train-machine-learning-algorithms-5ef2cabd2d76?source=collection_archive---------33-----------------------

奥利弗·黑尔在 Unsplash 上拍摄的照片

在计算机和人工智能的上下文中理解术语“干净”和“训练”

为了避免在人工智能项目上浪费大量的时间和金钱，经理们必须对数据是如何处理的有很强的理解。数据处理包括数据科学家采取行动，将肮脏的真实世界数据转化为干净、可理解的数据。只有当数据没有错误并且格式正确时，机器学习算法才能提供有效的结果和预测。正如生活中的许多事情一样，“垃圾进来等于垃圾出去。”

数据处理的一部分包括搜索异常值或不可能的数据点并检查它们。例如，数据集包括客户的出生日期。过滤此数据以检查超过 90 或 100 岁的出生日期可能会显示出生年份在 19 世纪的数据点。然后，数据科学家可以删除这些数据点以避免混淆模型。

数据处理的另一个重要部分是处理缺失值。数据集通常不完整，数据科学家必须决定删除包含缺失元素的整个条目，或者他们可以插入一个占位符(可能使用中间值或最频繁值)。如果数据科学家确定数据集中有太多缺失值，经理必须决定收集更多数据、继续处理当前数据还是终止项目是否划算。做出这一决定时，应充分了解收集或不收集的成本，以及新数据具有当前数据集所缺乏的完整性的可能性。

一旦经理与数据科学家沟通并确定数据质量令人满意，可以开始培训！这就是机器学习术语可能引起混淆的地方。数据科学家不是拿着秒表和哨子站在他的电脑旁，对着数据大喊让他跑得更快。相反，他们编写几行代码将数据集一分为二。一组称为“训练组”，另一组称为“测试组”。通常在训练集中使用 80%的数据，在测试集中使用 20%的数据。

正如人们可能认为的那样，训练模型发生在训练集上。这意味着算法在集合中的所有数据点上运行，并且它输出将用于预测或分类未来数据点的公式或方法。一旦数据科学家对输出结果感到满意，并对模型进行微调，就该对其进行测试了。

由于测试集中的数据点不同于定型集，测试将确定模型归纳新数据的能力。通过在测试集上运行新模型，数据科学家可以将训练集的实际输出值(或标签)与模型的预测输出值进行比较。当模型的输出与实际输出相比合理时，泛化误差低，并且模型对新数据反应良好。

由于泛化误差较高，该模型很好地学习了训练数据，但在实际生活中不会有用。该模型不能从表示训练集中没有的新情况的数据中提供有用的输出。为了避免训练具有高泛化错误的模型，数据科学家可以使用更复杂的拆分。他们可以运行一种算法，识别彼此最相似的数据点(在数据集中称为片段)，并确保来自每个片段的相同数量的数据点在测试集和训练集中。这有助于确保两个数据集中的数据代表总体数据。

虽然上述大部分工作是由数据科学家承担的，但经理们可以通过理解数据处理和培训的高层次方面，为人工智能项目增加难以置信的价值。最终，经理是决策者，掌握数据对模型生产影响的高级专业知识有助于做出更好的决策。

关联需要什么

原文：https://towardsdatascience.com/what-it-takes-to-be-correlated-ce41ad0d8d7f?source=collection_archive---------9-----------------------

以及在我们的分析中如何解释它

舒伊布·阿卜尔哈萨尼在 Unsplash 上拍摄的照片

相关性(确切地说是统计学上的相关性)是对两个变量之间相互关系的一种度量，不管它们是不是因果关系。这种程度的测量可以在任何类型的数据上进行(连续的和连续的，分类的和分类的，连续的和分类的)。尽管相关性说明了它是如何衡量相互关系的，但相关性度量的存在并不能为因果关系提供有力的证据。这意味着相关性并不意味着因果关系。那么相关性是如何有用的呢？

相关性是有用的，因为它可以表明实践中可以利用的预测关系。例如，一天中温度越高，卖冰淇淋的次数越多。这也可能意味着因果关系，因为当天气较热时，人们倾向于购买冰淇淋，而当天气较冷时。然而，就像我之前陈述的那样；大多数时候，相关性并不意味着任何因果关系。

在我们进入相关性和它如何计算之前，让我展示一下协方差的概念。

协方差

在统计学中，协方差是变量 X 和 y 之间关联的度量，确切地说，它度量的是变量的线性关系趋势。这里我将展示协方差是如何计算的。

协方差的计算方法是将变量的每个成员减去其平均值(以数据为中心)。将这些居中的分数相乘，以测量一个变量的增加或减少是否与另一个变量相关联。最后，计算这些居中分数的期望值( E )作为关联的汇总。另一项中的期望值本身就是平均值或均值( μ) 。

协方差的问题在于，X 和 Y 可以取各自范围内的任何值。这模糊了解释过程，并且使得相互之间的协方差比较变得不可能。例如， Cov ( X ， Y ) = 7 和 Cov ( A ， B ) = 5 会告诉我们这些对分别是正相关的，但是很难判断 X 和 Y 之间的关系是否强于 A 和 B 这就是相关性变得有用的地方-通过数据中的可变性测量来标准化协方差，它将产生具有直观解释和一致尺度的产品。

现在，让我们完成第一个关联。

皮尔逊相关系数

皮尔逊相关是数据分析过程中最常用的相关之一。皮尔逊相关度量变量连续 X 和变量连续 Y 之间的线性关系，其值介于 1 和-1 之间。换句话说，皮尔逊相关系数通过一条线来衡量两个变量之间的关系。

让我们看看皮尔逊相关系数是如何计算的。

如果你注意到，分数方程的上边(分子)类似于我们之前讨论的协方差方程。这意味着我们也可以将皮尔逊相关系数表述如下。

上面的等式表明协方差除以 X 标准偏差(σX)和 Y 标准偏差(σY)的乘积。标准差的除法过程是为了标准化我们的数据，并确保相关值落在 1 比 1 的范围内。这简化了我们的相关性解释。那么，我们如何解释皮尔逊相关性呢？

当相关系数**接近值 1** 时，意味着变量 X 和 y 之间存在**正关系**，正关系表示一个变量的增加与另一个变量的增加相关。另一方面，**相关系数越接近-1** 就意味着存在一种**负相关关系**，即一个变量的增加会导致另一个变量的减少。**如果 *X* 和 *Y* 是独立的**，那么**相关系数接近于 0** ，尽管即使两个变量之间有很强的关系，皮尔逊相关也可能很小。

如果你从上面的解释中意识到，实际上皮尔逊相关系数和回归线的斜率之间有明显的联系。首先，让我展示一个带有回归线的散点图的例子。

在上图中，回归线是最佳的，因为它使所有点到回归线的距离最小。由于这一特性， Y 和 X 的回归线的斜率在数学上等价于 X 和 *Y、*之间的相关性，通过它们的标准偏差来标准化。

换句话说，皮尔逊相关系数反映了两个变量之间的关联性和可变性。这一特性也意味着皮尔逊相关易受异常值的影响。

这种与直线斜率的关系说明了为什么皮尔逊相关性描述了线性关系，以及为什么相关性在预测建模中很重要。

如果我们想测量变量之间的非线性关系呢？接下来我会展示一些其他的测量方法来描述这种非线性关系。

斯皮尔曼等级相关

与皮尔逊相关系数不同，斯皮尔曼等级相关测量两个变量之间的单调关系(严格地增加或减少，而不是两者都增加)，并通过值的等级顺序来测量。尽管 Spearman 秩相关法仍然适用于离散的顺序变量，但仍然可以测量连续变量 X 和连续变量 Y 之间的相关性。

这里我们根据数据等级而不是分数来计算 Spearman 等级相关性。这意味着我们计算数据秩和秩标准差之间的协方差。如果所有的秩是唯一的或者秩之间没有联系，我们可以将等式简化如下。

其中 n 是观察次数，d 是秩差。这个公式只有在没有领带的情况下才严格使用。

Spearman 等级相关可以类似地解释为 Pearson 相关系数，因为它们的值在-1 到 1 之间。**得分越接近 1** 意味着变量之间存在**正单调关系**(数据不断增加)，反之亦然。如果**变量 X 和变量 Y 独立**，则值将为**等于 0** 。

当我们谈论等级时，等级到底是什么？下面是我从维基百科上获得的一个排名过程的例子。

更容易理解排名的方法是，我们将数据从最小到最大排序，并根据数据顺序分配排名。1 是最小的等级，这意味着等级 1 被分配给相应列的最小值。为什么是各自的专栏？从上表中我们可以看出，我们根据各自的列对数据进行排序，因为我们想知道列 X 和列 Y 的排序之间的协方差；我们给每一列分配等级。准确的说，我们要的是每行之间的排名差。

皮尔逊和斯皮尔曼相关性之间的差异在下图中得到最好的说明。

皮尔逊相关与斯皮尔曼等级相关

因为我们的上述数据显示了完美的正单调关系(数据总是增加)和非线性关系；我们的 Spearman 相关等于 1。在这种情况下，皮尔逊关系较弱，但仍然显示出很强的相关性，因为数据之间存在部分线性关系。

肯德尔τ秩相关

另一种测量变量之间非线性关系的方法是应用肯德尔的 Tau 等级相关性。Kendall Tau 等级相关系数衡量给予同一组对象的两组等级之间的相似程度。然而，与 Spearman 系数不同，Kendall Tau 只测量方向一致性，而不测量等级差异。因此，这个系数更适合于离散数据。下面是我们如何测量肯德尔τ相关性。

其中和谐对是等级一致的值对(( x 1， y 1)，( x 2，y2)):x1<x2 和 y 1 < *y* 2 或 *x* 1 > *x* 2 和不和谐对是不遵循这些的等级对

从上面的等式中，我们可以看出，测量值取决于物体对的反转次数。为了评估它们，每个等级顺序由所有对象对的集合来表示(例如，[a，b]和[b，a]是表示对象 a 和 b 的两对)。让我们使用一个样本数据集来衡量我们的相关性。

数据集示例

上面是一个样本数据集，在各自的列中有排名。我们需要根据之前的规则来计算一致对和不一致对的数量。(1，2)和(2，7)是 1 <2 and 2<7 while (1,2) and (4,1) are discordant pairs because 1 < 4 but 2 > 1 的整合对。如果是我们的数据集示例，对应对是:

• (1，2)和(2，7)
• (1，2)和(3，5)

不和谐的一对是:

• (1，2)和(4，1)
• (2，7)和(3，5)
• (2，7)和(4，1)
• (3.5)和(4.1)

这意味着我们有 2 个一致对和 4 个不一致对。使用前面的等式 2–4/(4(4–1)/2)将得到-0.33。

Kendall Tau 将取 1 到+1 之间的值，其中**值越接近 1** 表示当**一个等级顺序与另一个等级顺序完全相反**和**时，值越接近+1 表示两个等级顺序相同**。Kendall Tau 相关性也可以解释为处于相同顺序(一致)的对象的概率与处于不同顺序(不一致)的观察之间的概率差。

克莱姆的 V 型

克莱姆 V 是两个离散变量之间关联的度量。测量基于皮尔逊卡方统计，输出范围在 0 到 1 之间；值越接近 0 表示两个变量之间的关联越少而 1 表示两个变量之间的关联越强。没有负(-)值作为输出，因为不存在负关联。克莱姆的 V 计算是用下面的公式计算的。

其中，χ是卡方统计量，n 是观察值的数量，k 是列数，r 是行数。

因为 Cramer 的 V 过高估计了关联强度(卡方统计值倾向于随着行和列的数量之间的差异的增加而增加)，我们需要纠正偏差。这是通过下面的等式完成的。

在哪里

数据集示例

幸运的是，python 中的 scipy 和 pandas 模块为我们提供了一种计算所有数字的简单方法。在我的例子中，我将使用 seaborn 的 tips 样本数据集。

#Importing the important module
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns#Load the dataset
tips = sns.load_dataset('tips')#Creating new category based on the tip feature (0: tip below 3 and 1 tip equal or more than 3)tips['tip_category'] = tips['tip'].apply(lambda x: 1 if x>3 else 0)

假设我们想知道 total_bill 和 tip 特性之间的关系。用熊猫的方法。corr，我们可以在几秒钟内测量我们的相关性。熊猫。corr 方法只提供 3 种相关度量；皮尔森，斯皮尔曼和肯德尔。

#Using the .corr method from pandas, default is Pearson Corellation 
tips[['total_bill', 'tip']].corr()

total_bill 与小费变量之间的皮尔逊相关系数

tips['total_bill', 'tip']].corr('spearman')

total_bill 与小费变量之间的 Spearman 等级相关性

如果我们需要相关结果作为统计假设测试，我们可以使用 scipy 模块中的函数来计算。

from scipy.stats import pearsonr, spearmanrpearsonr(tips['total_bill'], tips['tip'])
#Output: (0.6757341092113647, 6.6924706468630016e-34)spearmanr(tips['total_bill'], tips['tip'])
#Output: SpearmanrResult(correlation=0.6789681219001009, pvalue=2.501158440923619e-34)#Where the first number represent the Correlation Coefficient and #the second number represent the p-value.

在相关分析中，我们可以检验变量之间是否存在关系的统计假设。正式的说法是:

• H0:变量 X 和变量 Y 之间没有统计学上的显著关系
• H1:变量 X 和变量 Y 之间有一种统计上的显著关系

就像任何其他假设检验一样，我们基于 p 值评估我们的假设。通常，我们将 alpha 水平设置为 95%，这意味着如果 p 值低于 0.05，那么我们拒绝 H0，接受 H1。在这种情况下，H0 是相似的，如果我们说变量 X 和变量 Y 是独立的。

我们也可以用类似于上面的方法计算肯德尔τ相关性。如前所述，Kendall Tau 相关性更适合应用于离散变量，为此，我举一个大小和 tip_category 之间关系的例子。

tips[['size', 'tip_category']].corr('kendall')

Kendall Tau 尺寸和小费之间的相关性 _ 类别

from scipy.stats import kendalltaukendalltau(tips['size'], tips['tip_category'])
#Output: KendalltauResult(correlation=0.3528363722264162, pvalue=6.456364135002584e-09)

计算克莱姆的 V 需要一个额外的模块，校正偏差版本需要我们自己定义。对于未校正的版本，我们可以使用 researchpy 模块来帮助计算我们的 Cramer's V。让我们将其应用于性别和大小变量之间的关系。

pip install researchpy #only if you never have this module beforefrom researchpy import crosstab
cross, res = crosstab(tips['sex'], tips['size'], test = 'chi-square')
res

def cramers_v(x, y):
    import scipy.stats as ss
    confusion_matrix = pd.crosstab(x,y)
    chi2 = ss.chi2_contingency(confusion_matrix)[0]
    n = confusion_matrix.sum().sum()
    phi2 = chi2/n
    r,k = confusion_matrix.shape
    phi2corr = max(0, phi2-((k-1)*(r-1))/(n-1))
    rcorr = r-((r-1)**2)/(n-1)
    kcorr = k-((k-1)**2)/(n-1)
    return np.sqrt(phi2corr/min((kcorr-1),(rcorr-1)))cramers_v(tips['sex'], tips['size'])
#output: 0.058202656344848294

正如我们在上面看到的，修正和未修正版本之间的关联强度是不同的。

结论

我已经展示了几种测量变量之间关系的方法，以及我们如何解释这种测量。

得出相关值之间存在因果关系的结论是很诱人的，但正如许多人以前说过的那样，“相关性并不意味着因果关系”。事情可能不像数字显示的那样简单。在我们得出任何结论之前，我们需要批判性思维来剖析我们从这种相关性中获得的信息。

如果你喜欢我的内容，并想获得更多关于数据或作为数据科学家的日常生活的深入知识，请考虑在这里订阅我的时事通讯。

如果您没有订阅为中等会员，请考虑通过我的推荐订阅。

部署一个模型需要什么

原文：https://towardsdatascience.com/what-it-takes-to-deploy-a-model-30864cd9477f?source=collection_archive---------24-----------------------

将机器学习模型投入生产时的基本步骤和最佳实践

图片由 Pixabay 的 Mudassar Iqbal 提供

所以你(或你的团队)花了几个月的时间在笔记本上摆弄代码。您已经失眠了，不知道是否应该使用 Word2Vec 或 BERT 来矢量化您的文本输入。你已经在几十个(不，几百个？真的，几千？)连续几天，你终于达到了你想要的那种甜美的准确度。这种满足感就是你从事数据科学工作的原因。你手里拿着宝贵的 model.pickle 文件。你知道你的公司会通过使用它获得大量的金钱，但是你可能没有意识到这是最容易失败的时刻。不幸的是，许多模型无法投入生产。例如，2009 年 4 月，网飞组织了一场奖金为 100 万美元的 Kaggle 竞赛，但获胜的模型从未投入生产！[1].所有这些工作和准确性只有在一天结束时有人能够真正使用该模型时才会有回报——稳定、可靠、快速和大规模地产生价值。

那么，实际部署一个模型需要什么呢？下面是一个部署路径的一些基本步骤和注意事项，当您的模型从研发转换到生产时，请记住这些步骤和注意事项。

1.将您的模型包装在 Web 服务器中

当然，许多人使用手动部署选项。每当需要做出新的预测时，您的队友可以手动运行该模型。但是这种方法很可能无法满足您的业务需求。作为自动化的第一步，您可以创建一个简短的脚本来加载您的模型并对新数据进行评分，但是每次您需要预测时，您都会浪费时间来加载和重新加载您的模型，这可能不是一个微不足道的损失。

这个挑战的一个解决方案是用一个简单的 web 服务器来包装您的模型。web 服务器会将您的模型加载到内存中，并能够以较低的延迟立即提供预测。对于大多数语言来说，有很多关于如何编写 web 服务器的教程。

想得更远一些，您还应该问自己:这个服务器会一直只托管一个模型吗？或者以后，您需要一起托管多个模型吗？

2.改进您的 Web 服务器

现在你有了一个 web 服务器，你必须问自己如果它崩溃了会发生什么？您的模型有望为高影响力的业务流程提供动力，并且为不同事件建立应急计划至关重要。可能会发生运行时异常。您可能在某个地方有内存泄漏，这导致您的预测评分过程最终在内存耗尽时被终止。您不希望晚上在紧急情况下醒来重新启动它，所以最好提前考虑并围绕您部署的单独运行的模型开发流程管理。它将处理自动重启，并提供报告机制来传达服务的实时状态。

3.托管您的 Web 服务器

既然您已经有了本地运行的模型，并且运行稳定，那么您需要向世界公开它。您的公司是在裸机上托管软件，还是依赖某个云提供商？在任何情况下，您都需要将您的服务器托管在某个地方。您关于托管的决定应该取决于模型的公共可用性。您的模型是公开提供给客户，还是仅在您的内部网络中提供？如果模型是公开可用的，您需要为 web 服务器建立一个授权机制，以限制恶意用户的访问。

任何软件都需要更新，所以一旦你的网络服务器被托管在某个地方，你需要一些更新它的过程。当更改完成后，您需要测试服务是否继续工作。为了实现这一点并确保您团队的生产力，您应该建立某种形式的持续集成/持续交付管道。

4.高可用性服务

高可用性 ( HA )是衡量系统运行性能水平的一个特征。它通常以正常运行时间的百分比来衡量。“两个 9”或 99%的正常运行时间意味着您的服务在一年中有 88 小时不可用。问问你自己:如果你的模型宕机 88 小时，会对你的业务造成多大影响？

大多数 web 服务在 HA 上提供服务级别协议。但是，即使达到三个 9(99.9%)的正常运行时间也非常困难。您的 web 服务器的主机可能会关闭。托管它的数据中心可能会停电。高可用性的基础之一是消除单点故障[2]。要做到这一点，您需要拥有模型的多个副本，并在它们之间保持平衡。请记住，在地理上分散它们将减少失败的数量。为了能够适应不断变化的负载并优化托管成本，能够扩大和减少副本的数量非常重要。

5.监视

即使采取了前面所有的步骤，仍有可能出错。也许您的服务器的所有节点都关闭了，或者您的测试管道没有发现一个 bug。为了能够对这种紧急情况做出反应，您需要对您的服务进行监控和警报。收集服务日志将有助于在此类问题发生后发现其根本原因。

为了使您的服务更新建立在科学决策的基础上，您需要收集关于您的服务当前如何运行的数据。你不应该说你的模式“慢”；相反，您应该精确，并根据响应时间的中间值或其他重要的百分位数进行操作。你不应该说你的服务“太失败了”；相反，您应该有准确的失败请求百分比作为基准。

6.更多监控？！

但是仅仅监控服务对于我们的用例来说是不够的。一旦你将一个模型投入生产，它就开始退化。大多数情况下，这与您的模型预测的数据漂移有关。为了在一段时间内提供准确的预测，您需要监控模型的性能。最流行的技术包括监控模型的输入变量、预测和准确性。想象一个使用美元价格作为输入的模型，假设由于一个错误，发送了乌克兰格里夫纳的价格。该模型将照常处理请求，因为它仍然是一个数字特性，但是您的预测将非常不同，因为该数字现在大了 30 倍。

您需要设置明确的阈值，以确定模型何时发生漂移，并在模型预测准确度较低时发出警报。这些通知与关于服务健康的通知一样重要。

7.再训练

一旦您清楚地知道您的模型预测不佳，您就需要用更多的最新数据来更新您的模型。我们之前提到的 CI/CD 管道可以方便地持续更新您的模型。为了重新训练模型，您将需要更新的、最近的标记的数据，因此您还需要一个过程来收集新的标记数据。小心不要注入过多的历史数据，因为如果最近的数据与历史数据相差太大，模型的效果可能会更差。您可以将最近的数据优先于历史数据。

另一个有趣的方面是，对于全新的数据，不同的 ML 算法可能会执行得更好。你应该不时地考虑不只是重新训练相同的算法，而是用其他算法进行实验。或者你可以更进一步，每次更新时，试着自动适应不同的型号并选择最好的型号。

现在，我们已经从一种模式转变为一种可持续的服务。虽然这并没有涵盖所有内容，但我希望它能为您提供基本需求和最佳实践的全面概述。

参考资料:

[2]布雷克·索恩(Blake Thorne)，四个九及更高:高可用性基础设施指南(2018)，Atlassian 博客:【https://www.atlassian.com/blog/statuspage/high-availability

[3] Alexandre Gonfalonieri，为什么机器学习模型在生产中退化(2019)，走向数据科学:

https://towards data science . com/why-machine-learning-models-degrade-in-production-d0f 2108 e 9214

我从机器学习的 CI/CD 中学到了什么

原文：https://towardsdatascience.com/what-ive-learned-about-ci-cd-for-machine-learning-bc9504de6191?source=collection_archive---------72-----------------------

了解为什么经常重新训练机器学习模型是必要的，以及如何为文本分类模型建立 CI/CD 管道

用模型给出的概率分布度量概念漂移。

大多数软件开发团队已经采用持续集成和交付(CI/CD)来更快地迭代。然而，机器学习模型不仅依赖于代码，还依赖于数据和超参数。在生产中发布新的机器学习模型比传统的软件开发更复杂。

机器学习工程师还在讨论机器学习中的 CI/CD 实际上是什么意思，使用哪些工具。大多数机器学习团队使用几种工具来拼接他们自己的流程，以发布一个新模型——更新每月发布一次，每天发布一次——这不是最佳方式。

在之前的一篇文章中，我在 400 万篇 Reddit 帖子上训练了一个机器学习模型，将一篇帖子分类到一个子编辑中。一个月后，我注意到 Reddit 上的主题发生了变化，我需要收集新的数据来重新训练模型。在本文中，我将介绍发布新版本的步骤，描述如何为这类项目构建 CI/CD 管道，以及为什么在机器学习中经常重新训练模型是必不可少的。

出现了持续集成的需求

为了收集 5k 个最受欢迎的子编辑的 1k 个最新帖子，我创建了两个使用 Python Reddit API 包装器的 CLI。我将数据存储在 SQLite 数据库中。

之前，我用 fastText 训练了一个文本分类器，并在测试分割中报告了 0.4 的 f1 分数和 0.6 的召回率。这意味着大约三分之二的情况下，前五个预测包括人类在测试数据集上选择的子集合。

从数据工件、执行和 API 端点之间的依赖关系生成的端到端 ML 管道。

测试分割的性能可能不代表新数据的性能，这有几个原因。例如，预计用户在某些子编辑上发布的主题会随着时间而变化。在机器学习中，这被称为概念漂移，为了避免概念漂移，人们需要定期重新训练并发布新版本的模型。

概念漂移是指目标变量的统计特性随时间以不可预见的方式发生变化。 百科

为机器学习模型收集用户反馈

为了收集用户反馈，我将模型部署为一个 API， Valohai 团队制作了一个 UI 来与模型交互。我在黑客新闻上分享了 UI。

下面你可以比较测试数据和 8k 用户提交的 p@1(模型给出的第一次预测正确的概率)的分布。

测试数据的平均 p@1 为 0.549，用户提交的平均 p @ 1 为 0.531。我很惊讶地看到概率如此接近，这意味着模型达到了类似的确定性水平。如果这些值太远，这意味着模型是根据不代表实际使用的数据训练的。

重要的是，不要仅仅依靠定量测试来建立对机器学习模型的信心。对黑客新闻的评论大多是正面的，但也提出了一些模型不起作用的案例。很少有人报告说它对一些子街道不起作用。在大多数情况下，模型没有在这些子街道上训练，因为它们不是最流行的子街道的一部分。这很难定量衡量，但知道这一点很重要。

尝试使用搜索词“爱尔兰软件开发人员”来查找/r/DevelEire。运气不好，但如果查询是“爱尔兰软件开发商 Reddit”，谷歌会把它作为第一个结果。 黑客新闻讨论

也有评论建议采用更复杂的模型。

在这一点上，我可以构建一个可能执行得更好的更复杂的模型，或者简单地收集更多的数据。更多的数据往往比更好的模型对性能有更大的影响。在生产机器学习中，避免复杂性是能够快速迭代并降低维护模型成本的关键。

从长期来看，还有第三种方法可以改进模型，即构建一个持续的集成和交付管道，定期用新数据重新训练模型，以便性能不会随着时间的推移而下降。

测量概念漂移

为了衡量概念漂移，我在训练第一个模型一个月后收集了最新的 Reddit 提交内容。

我导出了旧的子数据的新提交，并比较了测试和新数据之间的 f1 分数。有了 Valohai，我可以运行版本控制的执行，并在一个界面上比较它们。当在团队中工作时，这避免了陷入一个团队成员在本地运行一个实验并报告不同结果的情况。但是你忽略了哪些数据集、代码和参数。在一个团队中，如果没有版本控制，就像没有发生一样。

比较执行#56 和执行#81，我看到召回从 0.40 下降到 0.25 。该模型在新数据上表现不佳。该模型知道它，因为它也可以在新数据的 p@1 的分布上看到。

用模型给出的概率分布度量概念漂移。

在对执行#69 中的新数据进行再训练之后，新模型对新测试数据实现了类似的 0.40 召回率。新模型在额外的 700 个子数据集上进行训练，使其对最终用户更有用。

实际上，当我将数据随机分为训练、验证和测试时，模型在新数据上的性能低于 0.4。按时间顺序划分更好，在旧数据上训练，在最新数据上测试。正如 Szilard Pafka 在 Twitter 上指出的:

您应该在时间有序的测试集上测量准确性。这种“实际”准确度通常会低于通过标准交叉验证获得的准确度。不要欺骗自己，当您在生产中部署您的模型并开始在真正新的数据上使用它时，时间间隔的准确性将是您实际获得的准确性。

我当然被愚弄了，但我要补充的是，当在生产中进行机器学习时，获得更好的理论准确性并不是你的最终目标。重要的是使用相同的指标来比较每个版本控制的实验。

最后，由你的企业和终端用户来决定你的机器学习模型是否有用。如果 Reddit 部署了这样的模型，那么该模型的有用性可以通过选择该模型建议的子编辑的用户百分比来衡量。

机器学习的持续集成

机器学习中的持续集成意味着每次你更新代码或数据，你的机器学习管道就会重新运行。集成是在发布新模型以验证最新数据和代码之前完成的。我还没有为这个项目设置它，但这是我打算如何与瓦罗海这样做。

Valohai 附带了一个开放的 API，当推送新代码时，我可以用它来触发机器学习执行和管道。例如，我可以定义一个 Github 动作来触发每次提交的 Valohai 执行。我还可以创建特定的规则，只触发特定提交的执行，并根据机器学习存储库中修改的代码决定运行哪个执行。如果您的数据不断更新，您可能只想定期重新训练模型。

您可以使用 p@1 之类的代理来测量概念漂移，并在出现重大性能损失之前发布新版本。还可以使用 Github actions 定期调度工作流，使用最新数据在 Valohai 上运行机器学习管道。

机器学习模型验证

大多数机器学习团队不会在没有一些人工验证的情况下部署到生产中。例如，比较生产模型和新候选模型的不同报告。

要建立对新模型的信心，您可以将它应用于所有历史数据并比较预测。结果不应该完全不同。然后，您可以检查性能发生显著变化的数据片。

对于 subreddit 分类器，我比较了每个标签的性能。下面，你可以看到当我使用旧模型和最新数据时，关于政治的子主题的 f1 分数显著下降。

f1-score_diff 是将旧模型应用于新数据时的 f1 值= diff(数据 2，数据 1)

用新数据重新训练模型后，我注意到性能损失较小，r/ukpolitics 略有改善。还有两个新的分支:中立政治和温和政治。

总体而言，f1-score_change 分布遵循 0 附近的正态分布。大多数子记录的性能变化在-20%到+20%之间。新模型仍然是准确的，更有用的，因为它是在更多的子数据集上训练的。我现在有信心发布机器学习模型的新版本。

机器学习的连续交付

理想情况下，您可以首先将您的模型部署到您的临时环境中，并让它运行几天。您还可以通过 canary 版本向一部分用户软发布您的新模型。

Valohai 帮助您为您的机器学习 API 创建不同的版本，并在必要时轻松回滚。将一个新模型作为 API 端点发布就像用一个执行生成的模型工件创建一个新版本一样简单。在测试了新版本之后，您只需要更改生产版本的别名。

为了发布新版本，我将别名从“生产→ 20200331.0”更改为“生产→ 20200602.0”

结论

当数据属性改变以克服概念漂移时，重新训练机器学习模型是重要的。为了最终在机器学习中实现 CI/CD，你可以从自动化你当前过程的某些部分开始。

Valohai 已经为机器学习执行、数据、管道和 API 部署提供了版本控制，简化了生产中新模型的集成和部署。Valohai 包括托管的 Jupyter 笔记本电脑，以对您的所有机器学习代码进行版本控制，并轻松地使笔记本电脑实验成为公司范围内生产流水线的一部分。

资源

• Github 上的机器学习流水线代码
• 与模型交互的子编辑查找器用户界面

最初发表于T5【https://blog.valohai.com】。

连续 15 天使用 Vim 后，我学到了什么

原文：https://towardsdatascience.com/what-ive-learned-after-using-vim-15-days-straight-ceda7e773a6d?source=collection_archive---------25-----------------------

学习和生活课程

从 Vim noob 到业余爱好者的旅程

发推文强调 Vim 挑战的模因/笑话

Vim 是什么？

Vim 代表VisualImproven，一个最初为 Unix 创建的编辑器。

为什么使用 Vim？

很厉害。

您可以非常快速地进行复杂的编辑。查看我的 surround.vim 帖子来感受一下它的威力。

[## 我是如何学会享受活力的

刻意的练习和环绕。vim 让我爱上了 Vim

towardsdatascience.com](/how-i-learned-to-enjoy-vim-e310e53e8d56)

符合人体工程学。

如果您知道如何触摸键入，使用 Vim 意味着您可以将手放在主行键上，而不必不断地将手移到箭头键、触控板或鼠标上。

到处都是。

它安装在几乎每个系统上，而其他编辑器如 Emacs 和 Nano 可能不可用。它是跨平台的(适用于 Windows、macOS 和 Linux)。大多数系统中的默认编辑器是 Vim，因此至少知道如何使用它进行基本编辑，以及最重要的是如何退出 Vim ( Escape :q! then Enter)是很有用的。

如今，即使是笔记应用程序也可以让你使用 Vim。一款相对较新、非常流行且功能强大的笔记应用 Obsidian 使用 Vim 绑定:

[## 使用这个免费的笔记应用程序做更好的笔记，它将成为你的第二大脑

黑曜石使连接想法变得容易，帮助你更好地思考和写作

medium.com](https://medium.com/@ausius/take-better-notes-with-this-free-note-taking-app-that-wants-to-be-your-second-brain-1a97909a677b) [## 如何记笔记:来自人工智能、神经科学、社会学家和免费应用程序的见解

帮助您更好地记笔记和思考的见解和工具

medium.com](https://medium.com/@ausius/how-to-take-notes-insights-from-ai-neuroscience-a-sociologist-and-a-free-app-34b4be63080a)

我为什么想学 Vim？

FOMO 或 f 耳朵 o f m 丢失 o ut 。

虽然许多人从来没有“了解”Vim，但是许多开发人员和程序员使用它，并且非常信赖它。Vim 用户是否知道一些非用户不知道的事情？我想给 Vim 一个机会，这样我就能理解为什么它如此两极分化，并看看 Vim 是否也会在我身上生长。

Vim 是最受欢迎的开发环境之一( Stack Overflow 2019 调查)

我想挑战自己，提高我的工作效率。

我喜欢学习新的想法和生产力工具，并且我总是试图在学习方面做得更好。我认为学习 Vim 为实施和测试有效的学习策略提供了一个很好的机会。

[## 2 元学习原则帮助你更有效地学习

高效获取知识和技能

我想说服自己，我不是一只老狗。

我弹钢琴和打字已经快三十年了(分别从 5 岁和 7 岁开始)。学习 Vim 感觉真的很像学习如何弹钢琴和触摸打字——它包括学习新的手部动作和运动。

但是，当我大脑中的神经连接仍然具有高度可塑性时，我就获得了钢琴和打字技能；小时候，我的大脑就像一块海绵，急切地等待着吸收它遇到的一切。

我是不是变成了一只学不会新把戏的老狗？我不(想)相信那件事。我想证明自己是错的。我想说服自己，我仍然可以快速学习新技能。我想知道我还能重新连接我大脑中的神经通路。

我的学习计划

我没有制定或遵循任何具体的循序渐进的计划。缺乏计划看起来是个坏主意，特别是因为有效的学习通常需要在学习之前做好计划。但我并不担心，因为我心里已经有了一个项目。

我的简单到可笑的项目和目标:从现在开始每天使用 Vim。

我经常用 Python、R 和 JavaScript 编写代码，我的计划是只允许我自己使用 Vim 来编写代码。本尼·刘易斯用这种方法学会了流利地说多种语言。这应该也适用于维姆。

我预料会有挣扎，尽管我不确定会有多少挣扎。我告诉自己，每当我陷入困境时，我就会用谷歌搜索解决方案——这种策略应该会奏效，因为目前的形势(新冠肺炎)，大多数人的生产力都受到了影响，所以如果我因为 Vim(我是一名博士生)而行动缓慢，很可能没有人会问为什么。

在每一天结束时，我总结了我的一天，并记录了我的进展，你可以在下面看到。

第一天

灰心丧气。艰难地移动光标。

我学会了用hjkl导航和移动光标，以及 Vim 中的编辑模式:普通、插入和可视化。我还学会了如何用d删除文本，用y复制或拖动，用v选择。

我努力编辑文本，但没有完成多少工作。我的大部分时间都花在了在网上搜索解决方案，或者盯着我的显示器，努力记住该按哪个键。

Vim 用户经常将 Caps Lock 键重新映射到^控件

第二天

痛苦而缓慢。艰难地选择和改变文本。

我还经常使用 RStudio ，并意识到我还可以启用 Vim 键绑定(选项>代码>键绑定)。糟糕透了——我挣扎着用 Vim 选择和编辑文本，并一直使用我的旧键盘快捷键。

[## 4 个键盘快捷键，可高效编辑文本并提高工作效率

高效地在文本中导航和移动光标

我创建了一个文本文档来跟踪按键绑定。我还为 Anki 添加了几个重要的按键，这是一个空格重复的抽认卡应用程序，我已经用了将近十年了。从现在开始，每当我第一次学习新的按键绑定时，我都会添加到 Anki 中，这样我就可以定期查看它们，并将其保存在长期记忆中。

第三天

糟糕透了。我一定是做错了什么。

我开始怀疑我是不是做错了什么。不知道其他 Vim 用户刚开始用 Vim 的时候有多纠结？人们怎么才能学会喜欢这个怪物呢？

在 YouTube 上找了几个视频，打算明天去看。其中一个比较了使用和不使用 Vim 时手在键盘上的动作。这个视频有点说服我坚持下去。

第四天

受到启发。隧道里的一些光。

我喜欢维姆，因为我还没有达到极限。克里斯·图米

我今天看了几个 YouTube 视频，但是克里斯·图米的掌握 Vim 语言是一个启示。Chris 改变了我对文本编辑的看法:我们大部分时间都在编辑现有文本，而不是编写新文本。我希望我在第一天就看到了这个视频。

我意识到 Vim 旨在使编辑变得容易，而普通的文本编辑器只关注写作。我迷上了 Vim 并安装了 Vim，这样我也可以在 Firefox 中使用 Vim。

我对 Vim 的兴奋溢出到学习爵士钢琴(我是一个古典钢琴家)。我想做更多的事情来发展和重组我大脑中的连接。我认为这是明智地成长和衰老的关键。我练习了所有调的 ii-V-I 音级，遵循的是四度循环，这显然比古典音乐家使用的五度循环更适合爵士乐。

我不再使用v、d和i的组合来编辑文本，因为ciw已经成为我最好的朋友。

练习 ciw:改变一个内部单词重复。

第五天

改进。我在维姆和爵士钢琴上变得更好。

显然，要学习 Vim，你必须把鼠标当成你的死敌。使用鼠标会妨碍您学习 Vim 和提高。

我开始使用相对行号(:set relativenumber)——另一个游戏规则改变者。我现在可以更高效地浏览文档。我还使用Shift }和Shift {在段落或文本块之间导航。

我还听了塞隆尼斯·蒙克的钢琴独奏，并试着在我的钢琴上随机应变。

在过去的几天里，我也一直头痛得很厉害，我想知道这是否是我与 Vim 斗争的结果？

第六天

兴奋。维姆成了我的朋友。

ct和cT是我的新宠。我用它们来删除和修改从光标当前位置到某个字符的文本。

我使用阿尔弗雷德并且总是重新映射⌘-space 来启动阿尔弗雷德而不是聚光灯。但是现在我想尽可能地保持我的手在 home 行键上，所以我现在用 Caps-lock-space 启动 Alfred(用我的左手小指和拇指；大写锁定已重新映射到第 1 天的^控制)。

我尝试在 bash 中用set -o vi启用 Vim，在 zsh 中用bindkey -v启用 Vim，但是我不太喜欢这种体验，所以我禁用了它。

第七天

缓慢而稳步的进步。尽管还在挣扎。

今天在 Visual Studio 代码中工作时，我经常使用 Ctrl-W 在窗口/窗格之间切换。过去花我 1 个小时的事情现在要花我 1.5 甚至 2 个小时。我从来没有这么努力去压抑和抑制我使用箭头键的习惯。

我想知道其他人用了多长时间才变得擅长使用 Vim？

第八天

前路漫漫。

我越来越擅长复制和粘贴，但粘贴后仍无法高效替换文本。观看这个视频有一点帮助——使用f或t跟随一个字符找到当前行中的字符，并按;或,前进到下一个或移动到上一个匹配的字符。

多亏了这个 stackoverflow 问题，我也学会了如何替换或替换当前行中的字符::s/old/new/g将当前行中的所有old替换为new。要仅替换第一个匹配实例，请移除/g标志。

第九天

隧道还没有尽头。

我花了几个小时用 Visual Studio 代码把 Python 代码写成 PDF 文件。这花费了我比预期多得多的时间(不出所料)，但是在那之后，我在导航和编辑文本方面肯定感觉舒服多了。

第 10 天

乐趣和快乐。

我今天安装了我的第一个 Vim 插件。我故意避免安装任何插件，直到今天，因为我想确保在使用任何插件之前，我掌握了基本知识。

今天，我觉得我已经准备好使用一个插件了，尤其是如果我认为它会大大提高我的工作效率的话。我安装了 surround.vim，，这有助于修改事物周围的事物对——这是编程时非常常见的编辑。比如把array(x)变成print(array(x))，文字用括号括起来。我喜欢它。

我现在开始喜欢使用 Vim 了。事实上，我并不期待在 MATLAB 和 RStudio 的 ide 中无法使用 Vim 的地方编码。

第 11 天

激动人心。

今天我学习了许多新的动作和技巧。例如，我可以使用%在匹配的括号之间跳转。这很酷，对编程非常有用。

第 12 天

更多学习。

我今天开始做一个 JavaScript 和 Node.js 项目，一整天都在 Visual Studio 代码中使用 Vim。事实上，我今天用了将近 14 个小时的 Vim，并且有很多机会使用 surround.vim 插件。

vim 允许您添加、删除和更改成对的事物

第 13 天

说 Vim。

我读了几节实用 Vim，这显然是学习 Vim 的最佳书籍之一。

我已经开始欣赏维姆的哲学，感谢像维姆的崇拜这样的文章。我觉得我终于开始说维姆语了。

在我看来，使用 vim 的正确方法是通常停留在正常模式，只在插入模式下进行短暂的输入。对维姆的崇拜

vim 的“禅”是你在说一种语言，我学到的思考正常模式命令的一个好方法是作为一种语言，用动词、名词和形容词。动词是你的命令，如 'c' (改变)， 'd' (删除)， 'y' (猛拉)，名词是你的动作，如 'w' (单词)， '}' (段落)，或 'G' (eof)，形容词/副词是你的数字前缀和你的描述词，如 'a' vim 命令应该组合成“句子”，在更高的层次上，向 vim 描述您想要做什么。

我现在意识到了自己的无能，并且知道我需要在哪些具体技能上努力才能最快地提高。因此，我开始使用刻意练习，一种强大的学习策略，来提高我的 Vim 技能。

第 14 天

结构。

我今天买了 Udemy 的 Vim 大师班，因为我觉得我的学习中的一些结构可能会有所帮助。我完成了前几节，真的很喜欢。也许我应该在第一天就开始上这门课。

第 15 天

毕业了。

最近我觉得在 Visual Studio 代码中使用 Vim 很舒服，所以我再次尝试在 RStudio 中使用 Vim。第二天我很讨厌它，但今天还不算太糟，所以我可能会继续在 RStudio 中使用 Vim。

虽然只有两周加一天，但是我已经非常喜欢它了，以至于我决定写一篇关于如何使用 surround.vim 插件的教程，这个插件在让我喜欢上 vim 的过程中发挥了巨大的作用。

[## 我是如何学会享受活力的

刻意的练习和环绕。vim 让我爱上了 Vim

towardsdatascience.com](/how-i-learned-to-enjoy-vim-e310e53e8d56)

摘要

学习 Vim 提醒了我坚持的重要性，尤其是在最初挣扎的时候。我喜欢这种挑战，其中包括大量的学习、奋斗和真正的头痛。

但我最终还是让自己大吃一惊:我从没想过在短短的 15 天里，我就能和 Vim 有家的感觉。我从来没有想到学习 Vim 会激励我最终学习和练习爵士钢琴。

我的钢琴

毫无疑问，我越来越喜欢 Vim 我明白为什么它是一种疾病。

TL；DR:如果你不使用 Vim，不要读这篇文章。或者如果你读了，不要相信它。继续使用你现在喜欢使用的东西。不要下维姆兔子洞。

——Reddit 用户军团 b 在r/程序员幽默

对于那些总是试图改善自己的人来说，Vim 是会上瘾的。只要你每天都有时间和精力学习 Vim，你一定会找到提高的方法。

我不再像 15 天前甚至 5 天前那样纠结于 Vim。我每天都在进步，因为我经常使用它；但是就像每一种语言一样，我知道我永远也不会完全掌握 Vim，因为它太复杂了(无论如何,“完全掌握”某样东西又意味着什么呢？).这提醒了我应该如何生活——关注过程，不断成长，永不停滞。

提高公众演讲技巧的 4 个技巧

作为第一次参加网络研讨会的演讲者，我学到了什么

在 Unsplash 上由 Nycholas Benaia 拍摄的照片

我最近在一个由 Correlation One 主办的关于导师效应的网络研讨会上发言，这是一个由领先雇主赞助的数据和分析培训项目。虽然这不是我第一次在众人面前发言，但我以前从未被邀请担任小组成员。作为一名新毕业生成为演讲者之一的想法听起来完全令人生畏，但却非常令人兴奋。我参加过许多数据科学会议，会上发言人分享了他们的成功故事。谁能想到有一天我也会被邀请来分享我的经历！我一直梦想有一天我会成为演讲者之一，激励人们，但我从来没有想到这一天会这么快到来。

我感到紧张，但兴奋地分享我的经历。(图片由作者提供)

在我的成长过程中，几乎所有的老师都告诉我，我在公开演讲方面会很糟糕，因为我太害羞了，从来不说话。我记得几年前，我的老板甚至建议我参加演讲会来提高我的公众演讲能力。我去年才意识到，我也可以成为一名优秀的公众演说家。

当我在 Metis 的时候，我必须为我参与的每个项目做一个报告。我记得在我第一次演讲后，我收到的第一个反馈是我需要畅所欲言。所以，我决定我必须提高我的公共演讲技巧。最后，我的老师和同事对我的成长印象深刻，这对我意义重大！不管你过去有多糟糕，你总是可以扩展你的技能。

在这个博客中，我想分享一些我学到的提高我公开演讲技巧的经验。

写你的演讲稿

一旦你准备好了演讲稿，你现在能做的就是准备你想说的话。但是你从哪里开始呢？

我从我想涵盖的主题的大致轮廓开始。实际上，就像我写任何博客文章一样。没有必要坚持你的大纲，但是有一个大纲可以让你保持在正轨上，这样你就不会错过任何东西。写演讲稿时，用你平时说话的方式来写。如果你想吸引观众的注意力，可以随意加入一些闲聊或幽默。如果你不确定如何写提纲，查阅一些例子会很有帮助。

在你想好你的主题后，你可以开始考虑你想在每个主题/问题上花多少时间。

如果这是一个演示文稿，我尽量不要在每张幻灯片上放超过三个项目符号。经验法则是不要在你的幻灯片上列出太多的细节，因为当你的听众可以直接从幻灯片上读出来的时候，听你的演讲还有什么意义呢！

实践

练习，练习，练习！除非你是那种可以不假思索地谈论任何事情的人，否则你需要做好准备。因为英语是我的第二语言，所以练习对我来说更重要。我是那种在压力下容易忘记该说什么的人。但是，如果你练够了，我敢保证这种尴尬的情况绝对不会发生！

检查你的幻灯片。你甚至可以自己计时。PowerPoint 允许你添加一个屏幕计时器，帮助你记录你在每张幻灯片上花了多少时间。这将有助于你确保在有限的时间内涵盖所有要点。我不建议在最后一刻改变你的牌，因为这会让你感到有些措手不及。你甚至可能会跳过幻灯片，因为你忘记了你想说什么。

如果你愿意多走一步，我建议你自己录下来。听完你自己的陈述后，你可以试着微调你的演讲。如果你自己都不相信自己说的话，你怎么能指望听众会相信呢？此外，这是一个记录你进步的好方法！

处理紧张情绪

你就快到了！！对许多人来说，在演讲前感到紧张是完全正常的。不骗你，我一紧张就会手心冒汗。那完全没问题！真正帮助我在演讲中保持冷静的一个方法是不要去想观众。你可以假装在和自己或家人说话。你也可以在远处找到几个点/物体，当你说话时聚焦在上面，这样看起来你好像在看着观众，而你并没有。

这也是我需要改进的地方。但是我相信我做得越多，我就会越好。你也是！

反馈

恭喜你！你做到了！！！如果你收到任何负面反馈，不要难过。如果有人愿意花时间批评你，你应该把它当成你成长和变得更好的机会。记住，只要你付出努力，一切都可以得到改善！

“我明白了，人们会忘记你说过的话，会忘记你做过的事，但人们永远不会忘记你带给他们的感受。”―玛娅·安杰洛

我最怕的是人们会对我评头论足。事实证明，人们对你的评价远低于你对自己的评价。你可能认为人们可能永远不会忘记你做过或说过的令人尴尬的事情，但大多数人实际上都很健忘。他们可能不记得你到底说了什么，但他们会记得你是否自信。所以不用担心太多，去做就是了！

最后的话

最后，我想说的是，不要让你的现状决定你的未来。

如果你努力工作，保持专注，永不放弃，你最终会得到你想要的生活――唐纳德·米勒

我非常感激 Correlation One 邀请我成为小组成员之一。此外，我想对主办 DS4A 节目的 Correlation One 大呼小叫。如果你对数据科学感兴趣，想接触招聘经理和招聘人员吗👥来自世界 500 强企业，并且有行业导师指导，不要犹豫，赶紧申请吧！

感谢阅读！我希望这篇博客对你有所帮助。

如果你喜欢我的内容，请关注我❤️，看看我最近的博客:

[## 用例子理解和选择正确的概率分布

举例说明最常见的离散概率分布

towardsdatascience.com](/understanding-and-choosing-the-right-probability-distributions-with-examples-5051b59b5211) [## 作为分析师如何准备商业案例面试？

作为数据分析师或数据科学家，我们不仅需要知道概率和统计，机器学习算法…

towardsdatascience.com](/how-to-prepare-for-business-case-interview-as-an-analyst-6e9d68ce2fd8) [## 构建电子商务产品推荐系统:第二部分——模型构建

这个博客是我之前工作的延续，在我之前的工作中，我谈到了我是如何收集产品评论和…

medium.com](https://medium.com/@kessiezhang/building-a-product-recommendation-system-for-e-commerce-part-ii-model-building-8b23a9b3ac27) [## 为电子商务建立一个产品推荐系统:第一部分——网络搜集

今天，如果我们想到机器学习在商业中最成功和最广泛的应用，推荐者…

medium.com](https://medium.com/@kessiezhang/building-a-product-recommendation-system-for-e-commerce-part-i-web-scraping-798b6251ab51) [## 如何将 Jupyter 笔记本转换成 PDF

用几行代码将 Jupyter 笔记本转换为 pdf(调试“500:内部服务器错误”)

towardsdatascience.com](/how-to-convert-jupyter-notebooks-into-pdf-5accaef3758)

对 51，000 篇期刊文章的无监督单词嵌入学习能告诉我们关于新冠肺炎的什么。

原文：https://towardsdatascience.com/what-learning-unsupervised-word-embeddings-across-51-000-journal-articles-can-tell-us-about-d60851fb4c30?source=collection_archive---------33-----------------------

2019 年 7 月，我的一位前材料物理同事围绕从更老的科学出版物中发现新科学发表了一篇了不起的文章。这个想法很简单但很棒:如果文章编码了科学家思考特定科学概念的方式，人工智能可以通过学习这些文章中句子的模式来尝试识别新的关联吗？

来源:美国航天局

有了一个空闲的下午，一杯新鲜的咖啡和对病毒学世界非常天真的概述，我们能把这种方法扩展到 51，000 篇新冠肺炎相关期刊文章的语料库(文本集合)吗？

用单词嵌入表示语言

当我们第一次学习一种语言时，我们被教授组成词汇的几个单词，然后我们根据上下文在词汇中的单词之间建立联系；我们称之为句子。有了这个极度淡化的概述，让我们试着教我们的计算机成为一名病毒学家。

首先，我们需要一种表示词汇表的方法。计算机没有将单词作为字符串处理的直观方式；一个常见的技巧是将每个单词映射到一个 n 维的二进制向量上，其中每一行代表词汇表中的一个单词和 n 个单词。当表示像“罗马”这样的单个单词时，向量在对应于“罗马”的行中有 1，在其他地方有 0。这被称为一键编码，如下图所示。

来源:马尔科·邦扎尼尼，2017 年

不幸的是，这并没有告诉我们关于单词排序的任何事情，因为我们必须学习句子的表达。做到这一点的一个方法是建立一个上下文的度量，或者一个单词在句子中与另一个单词“接近”的可能性。换句话说(没有双关语的意思)，我们可以建立什么样的模型来表示语料库中单词之间关联的可能性？

我们可以训练一个神经网络来做到这一点，方法是尝试预测可能出现在以感兴趣的单词为中心的邻域或窗口中的单词。在窗口大小为 1 的 IMDB 评论上训练的网络更有可能预测“米夫林”旁边的“邓德”，而不是“比尔亚尼”旁边的“邓德”；这是因为短语“ **Dunder Mifflin** ”或(“Dunder”，“Mifflin”)作为训练示例出现的次数会比“ **Dunder Biryani** ”或(“Dunder”，“Biryani”)多得多。

另一方面，大小为 1 的窗口将无法将“**Dunder Mifflin Paper Company**”中的“Dunder”与“Paper”相关联，因为“Paper”是两个单词之遥。为了补救这一点，我们需要大小为 2 的窗口，这将产生更多的实例(“Dunder”，“Paper”)作为训练示例。选择适当的邻域大小对于捕获复杂语言的语义至关重要。

一个非常流行的网络是 Skip-Gram:一个隐藏层网络，它将我们的一个热编码输入向量映射到关联概率的输出。该网络如下图所示:

隐藏层是这里的奖品；我们将一个主要包含零的二进制向量映射到一个 300 维向量，该向量用语料库的其余部分描述其语义表示。这种表示中的单词被称为嵌入，嵌入的词汇被称为语料库的嵌入。

更值得注意的是，我们可以在嵌入中使用向量代数来描述语言中单词之间的关系。“King”、“Kings”甚至“Emperor”的嵌入向量之间的余弦相似性得分(CSS)应该接近 1，因为它们出现在相似的上下文中，因此它们出现的训练对应该为形成嵌入的网络中的权重提供相似的更新。加减向量已经被证明可以捕捉语言规律，例如类比。例如，“男人是国王，就像女人是国王一样”通过嵌入的加法和减法运算符来表示:“国王”——“男人”+“女人”；这导致嵌入非常接近皇后。

现在我们有了一个模型，我们可以继续从出版数据的语料库中学习新冠肺炎研究的语言。

数据

作为对疫情的回应，白宫和一个由主要研究人员组成的联盟组建了一个名为新冠肺炎开放研究数据集，这是一个由超过 51，000 篇关于新冠肺炎、新型冠状病毒和其他冠状病毒的学术文章组成的资源，托管在 Kaggle 上。在他们的原始论文中， Tshitoyan 和他的同事们专注于从论文摘要中学习科学概念。摘要基本上提供了一个 TL；dr 概述了作者所做工作的方法、结果、发现和结论，因此形成了一个更小但更密集的冠状病毒研究信息语料库。

生成病毒学词汇

在 Tshitoyan 等人的论文中用于预处理期刊的相同协议被用于准备新冠肺炎开放研究数据集。使用 ChemDataExtractor (一种帮助归纳化学标识符的 repo)过滤句子中的关键词，如“ABSTRACT:”和“METHODS:”并标记化(拆分成单词数组)。非技术词汇被小写和去重音，以减少总词汇量。如果标记在语料库中出现超过 5 次，则被接纳到词汇表中，给出 22399 个独特的单词。

型号

结果—类比

首先，用几个类比查询测试嵌入的鲁棒性。询问“中东到 MERS 如同 _ is 到新型冠状病毒”等同于对令牌嵌入执行以下向量代数运算:“中东”-“MERS”+“新型冠状病毒”。前 10 个最接近的向量包括('中国 _ 在 _ 十二月'，CSS = 0.54)，('南方 _ 中国'，CSS = 0.49)，('武汉市'，CSS = 0.48)和('湖北省'，CSS = 0.48)。同样，询问“艾滋病之于艾滋病毒，就像 _ 之于新型冠状病毒一样”,得到了代表新型冠状病毒引起的疾病的 2019-nCov 的三种变体。“MERS is to MERS-CoV as _ is to 新型冠状病毒”给出了 2019-nCov 在前 10 名中的 5 名的变化。“骆驼”-“MERS”+“新型冠状病毒”= ('bat_species '，CSS = 0.39)。

这些结果特别令人兴奋，因为它们暗示了对文献中关键概念之间关系的一些了解。

结果—药品名称余弦相似性和相似性

接下来，我问药物新型冠状病毒冠状病毒、SARS 和 MERS-CoV 之间存在什么样的背景关系。我下载了一个包含 2542 种 FDA 批准的药物的数据库，其中 408 种与词汇表中的药物名称重叠。

接下来，我在嵌入中使用了向量代数，提出了以下问题:“利巴韦林之于 SARS，就像 _ 之于新型冠状病毒？”。以下是余弦相似度最高的 10 个答案:

有趣的是，remedisivir 目前正处于试验中，等待其用于治疗轻度至中度新冠肺炎症状，而利托那韦的试验刚刚在一组新冠肺炎症状中结束，没有明显的益处。

一个有趣的问题是，有多少与新型冠状病毒相关的药物没有出现在同一个摘要中，因为这将表明基于从专门关注 SARS-CoV 和 MERS-CoV 的论文中获得的模式的潜在上下文类比。

结果—症状类比

与上面类似，询问“干咳之于 SARS 就如同之于新型冠状病毒”会返回一个全面的症状列表，其中许多已知与最近的爆发有关。

结论

Tshitoyan 和他的同事们通过用自然语言向 NLP 模型提问，对该方法进行了扩展。这项工作是一个下午的编码，仅仅触及了 NLP 的能力和由一些非常出色的人组装的惊人数据集的表面。还有很多很多事情要做。例如，我们可以用一个更复杂的上下文感知模型来代替 Word2Vec 模型，比如 Google 的 BERT 或 ELMO。当关键词没有出现在与新型冠状病毒出版物相同的摘要中时，可以提出更多关于蛋白质结构类比的技术问题，并弄清楚网络正在回答什么问题。毫无疑问，在这一领域已经做了很多工作，试图找到对抗一种使我们的星球停滞不前的疾病的策略。

是什么让一个数据分析师变得优秀？

原文：https://towardsdatascience.com/what-makes-a-data-analyst-excellent-17ee4651c6db?source=collection_archive---------3-----------------------

关于分析的本质，第 2 部分，共 2 部分

1. 分析是统计。【T4 号】
2. Analytics 就是数据新闻/营销/讲故事。【T8 号】【T9 号】
3. 分析是决策。(不！)

误解 1:分析与统计

虽然他们使用的工具和公式是相似的，但分析师和统计学家接受的培训却是截然不同的

如果你想了解更多关于这些职业的知识，可以看看我的文章**分析师和统计学家能相处吗？**

***误解 2:分析与新闻/营销***

分析不是营销。区别在于，分析是关于扩大决策者的视角，而营销是关于缩小它。

同样，数据新闻是关于以小的方式捕捉许多人的兴趣，而分析是关于以大的方式服务于少数人的需求。分析师首先服务于他们的决策者。

***误解 3:分析与决策***

如果我是你的分析师，我不会在这里为你选择(即使我可能比你有更多的领域专业知识)。你必须把我提升为决策者，这样做才合乎道德。

如果你想让某人成为分析师和决策者的混合体，要明白你是在要求两个角色合二为一，并明确分配这一职责。

是什么让分析师变得优秀？

***在 数据科学最被误解的英雄 *，*中，我描述了数据科学的 3 大优点。分析师的优秀之处在于速度。***

分析师查阅事实和为你产生灵感，同时尽量少浪费他们自己的时间(和你的时间！)的过程中。为了获得最佳的灵感时间回报，他们必须掌握许多不同形式的速度，包括:

• 获取有希望且相关的数据的速度。( 领域知识。
• 为操作准备数据的速度。( 软件技能。 )
• 汇总数据的速度。( 数学技能。 )
• 将数据摘要输入大脑的速度。( 数据可视化技巧。
• 将数据摘要输入利益相关者大脑的速度。( 沟通技巧。 )
• 激发决策者灵感的速度。( 商业头脑。 )

最后一点非常微妙(也是列表中最重要的一点)，所以让我为您详细说明。

漂亮的可视化和有效的沟通琐事是浪费你的时间。令人兴奋的发现被证明是误解是浪费你的时间。小心翼翼地进入垃圾数据源是浪费你的时间。无关的轶事是浪费你的时间。分析师带给你的任何你觉得不值得花时间的东西…都是在浪费你的时间。

分析游戏就是优化每分钟的 灵感。

分析师会浪费你的时间——这是探索的一部分——所以分析游戏就是要尽可能少地浪费时间。换句话说，优化 每分钟灵感 (他们的时间和你们的时间，取决于你们每个人对组织的价值)。

不要被对速度的简单解释所迷惑。从长远来看，一个草率的分析师总是被闪亮的无意义的“见解”所迷惑，只会拖大家的后腿。

评估分析师绩效

对于那些喜欢业绩评估的人，要注意你不能用 每分钟灵感 来衡量你的分析师。

图片:来源

这是因为可以提取的最大灵感量(由决策者主观定义)因数据集和数据集而异。但是你可以通过让他们在你已经非常熟悉的基准数据集上放松来评估他们的技能(而不是工作表现】。**

其中一碗豌豆是基准数据集。

打个比方，如果你让两个分析师从一本外语教科书中获取灵感，更好(更快)的分析师可能是该语言的母语使用者。你可以通过测量他们理解你用那种语言写的文章的速度来评估他们的相对技能。

如果你不热衷于自己创建一个标准化的分析障碍课程，你可能会喜欢看看 byteboard.dev 。 Byteboard 是一家革新科技面试的初创公司，他们最近推出了一项针对数据分析的技能评估。它使用真实世界的场景加上一个漂亮的界面来衡量数据探索、数据提取、定量交流和业务分析等任务的能力。当然，他们打算用它来帮助你面试新的候选人，但是没有理由你不能用它来快速测试你的现任分析师。

一本神秘的教科书！图片:来源

技巧不能保证影响。这取决于你的数据。

但是一旦你评估了技能，记住技能并不能保证影响。这取决于你的数据。回到之前的类比，如果你让两位分析师看一本你从未翻开过的神秘教科书，你不能让他们为他们发现的 每分钟灵感 负责，因为这本书可能充满了垃圾。如果是这样的话——不管他们的流利程度如何！—两个人都不会找到任何灵感带给你……这不是他们的错。有课本并不意味着你会学到有用的东西。数据集也是如此；它们的质量和相关性同样重要。

教科书是数据集的一个很好的类比，所以关于数据集和教科书还有几件事要记住:

• 一个决策者的垃圾可能是另一个决策者的财富。像教科书一样，数据集只有在覆盖了你想了解的主题时才会对你有用。(我在这里 写过那个 。)
• 如果它有人类作者，它是主观的。像教科书一样，数据集也有人类作者，他们的偏见会影响到内容。(我在这里这里 写过数据和偏差 。)**

永远不要因为数据中没有的东西而惩罚分析师

决策者们，把你的分析师想象成你刚刚进化出来的一个新的感觉器官:一种新的眼睛，它让你能够感知你原本会视而不见的信息。

如果你用你的新眼睛去看一些不值得看的东西，你不会把它们挖出来，对吗？

Gerax Sotelo 在 Unsplash 拍摄的照片

同样，如果分析师在你让他们为你检查的数据集中没有发现任何有价值的东西，不要惩罚他们。把他们留在身边是一种投资，让他们能够以新的方式看待事物。如果你不喜欢他们正在看的东西，把他们引向更有潜力的场景。

分析是看清你要去哪里和盲目飞行的区别。除非你全身裹着泡沫塑料，哪儿也不去，否则敏锐的感觉是值得投资的。

要深入了解卓越分析，请继续阅读本文。

感谢阅读！喜欢作者？

如果你渴望阅读更多我的作品，这篇文章中的大部分链接会带你去我的其他思考。不能选择？试试这个:

**** [## 你的数据集是一个巨大的墨迹测试

分析中的阿波芬尼亚的危险以及你能做些什么

towardsdatascience.com](/your-dataset-is-a-giant-inkblot-test-b9bf4c53eec5)

公开

自从我参与设计 Byteboard 的分析速度测试以来，我并不是完全没有偏见。我确实希望你会喜欢它。

图片:来源

感谢阅读！YouTube 课程怎么样？

如果你在这里玩得开心，并且你正在寻找一个为初学者和专家设计的有趣的应用人工智能课程，这里有一个我为你制作的娱乐课程:

在这里欣赏整个课程播放列表:bit.ly/machinefriend

与凯西·科兹尔科夫联系

让我们做朋友吧！你可以在 Twitter 、 YouTube 、 Substack 和 LinkedIn 上找到我。有兴趣让我在你的活动上发言吗？使用表格取得联系。****

什么是好的分析课程？

原文：https://towardsdatascience.com/what-makes-a-good-analytics-course-d9e452afaa60?source=collection_archive---------66-----------------------

图像来源

最近，我有幸采访了来自播客的约翰·大卫·阿里森。

我很感激约翰·大卫调查了我的背景，以了解哪些话题适合我们讨论。其中之一——课程创建——是我有自己的观点，但我从来没有用一个基本问题的答案来表达它们:“什么是好的分析课程？

以下是我在播客上的回答:

因为我从来没有写下我对什么是好的课程的想法，所以我想这是做这件事的地方:下面我详细阐述我对这个节目的想法。

一门优秀的分析课程…

…指导您完成数据清理

https://pix abay . com/photos/girl-glasses-mop-cleaning-clean-1531575/

高达 80%的数据分析师时间都花在清理数据上。虽然在数据清理上花这么多时间可能有些过分，但这一事实应该得到承认，甚至值得庆贺。

在一门课程中跳过数据分析的这一部分是如此诱人——在课堂环境中很难模拟数据清洗，大多数老师不喜欢教它，大多数学习者也不喜欢学它。这不是数据分析的“迷人”部分。

然而，数据分析讲师有义务为学生拉开帷幕，向他们展示数据分析项目的真实情况。在所有很酷的分析发生之前，还有很多乏味的工作。

…有一个上下文

图像来源

这个世界不需要再一次冷静地点名分析工具中的每一个特性和功能。一门好的分析课程应该有一些具体的学习成果，并让学生尽可能线性地学习。

在分析程序中，有多种方法可以做几乎任何事情。

重要的不是学生学会每一个，而是他们开始建立智慧，知道什么时候使用什么工具。这需要将工具情境化的能力，这意味着强调一些工具而不强调其他工具，这意味着 20 小时的关于世界上一切事物的课程而不是给你情境化的智慧。

…有交付成果

图像来源

就像掩盖数据清理更容易一样，讲师也更容易仔细阅读各种示例和数据集，以提取简单的演示示例。

然而，一门好的课程会带领学生创建他们自己的端到端交付内容。毕竟，创造力是布鲁姆分类法的顶端。

图像来源

从一个主题跳到另一个主题，从一个数据集跳到另一个数据集，没有将数据清理作为数据分析管道的必要部分，也没有帮助学生了解不同的工具如何整合到一个项目中，也没有给学生留下他们创造了任何东西的感觉。这是一条便宜的捷径。

还有什么是好的？

现在轮到你了——一门优秀的分析课程有哪些特征？或者，有哪些分析课程“做对了”而你却说不出为什么的例子？

请在评论中告诉我。

为了让对话继续下去，我对这篇文章做了一个视频回顾。请在下面查看:

你可以从下面的视频中下载幻灯片。

什么是高票房电影？

原文：https://towardsdatascience.com/what-makes-a-high-grossing-movie-41ce3b2d0a6f?source=collection_archive---------54-----------------------

分析 44 年来最好的电影能告诉我们是什么造就了一部伟大的电影吗？

我发现了一个 Kaggle 数据集，我认为深入研究它会很有意思:票房最高的 10 部电影(1975 年至 2018 年) —这是一个很好的突破，远离了充斥着我们信息的新冠肺炎新闻！

**我想从这些数据中回答 3 个问题:**

1. imdb 评分越高的电影票房就越高吗？
2. 票房较高的电影是因为它们面向更广泛的观众吗？
3. 电影票房能否在上映前根据数据集中的参数进行预测？

这是我正在使用的数据的快照:

原始数据集的样本。

让我们假设我们已经清理了所有的数据(关于探索和清理数据的细节，你可以查看这篇文章):它是我想要的格式，我知道那里有什么…现在让我们开始回答问题的有趣部分。

问题 imdb 评分越高的电影票房就越高吗？

为此，我比较了 IMDB 评级和全球总票房，看看是否有某种趋势。希望一个简单的情节能在这里给我们一个明确的答案…

IMDB 评分与每部电影的全球总票房之比

遗憾的是，从这个情节中我们真的看不出太多东西。似乎根本没有明显的趋势。从图上看，这很可能是因为在 7.8 的收视率和 27 亿的总票房之间有一个明显的异常点。那一点可能会扭曲图表…如果我们移除那一点，或许还有一些希望。

IMDB 评分与每部电影全球总票房的比较(不包括异常)

这里我们可以看到，除去异常的结果，我们仍然看不到太多的趋势。

**回答 1:不，我们不能说票房收入越高的电影在 imdb 上的评分就越高。**

问题 2:票房高的电影是因为它们面向更广泛的观众吗？

对于这一个，我正在看电影的适当观众年龄组的指定评级和电影的全球总收入。这将是一个有趣的问题，因为理论上分级为 G 的电影可以被任何人观看，而分级为 R 的电影只能被 18 岁以上的人观看。

每个收视率类别的全球总票房柱状图

在上图中，我们可以看到每个评级类别的总收入分布。最初，当你看剧情的时候，你可能会惊讶于向更多观众开放的电影比那些 PG-13 级别的电影票房低。

但是仔细想想，我们应该感到惊讶吗？

对这种趋势的一种可能的解释是，分级为 G 和 PG 的电影，尽管所有观众都可以观看，但很可能特别针对儿童。因此，大多数成年观众对它们不感兴趣。r 级电影自然不包括年轻人，而且经常被评为 r 级电影，因为其中的暴力、脏话和色情镜头可能会让观众倒胃口。

PG-13 电影可能对许多年轻观众(实际上是 13 岁以上)有合适的中间立场，但对更保守的成年观众来说不会太令人反感。PG-13 电影拥有最广泛的现实观众，而不仅仅是纸上谈兵，适合可以观看的年龄。

答案 2:是的(某种程度上)，吸引最多观众(即 PG-13)而不是理论上最多观众的电影是票房最高的电影。

问题 3:电影票房能否在上映前根据数据集中的参数进行预测？

这是一个要解决的复杂问题…数据集中有很多数据，关键是要找出什么对预测一部电影的成功有用。

我们可能都有自己对成功电影的理解——也许我们认为大多数人会去看动作片？或者实际上，理想的电影长度是 100 分钟左右，因为它足够长，可以让你安定下来，但又不会太长，让你感到无聊？但是到底是什么影响了一部电影的票房呢？

根据过去的数据，这是一个关于电影预发行的已知事物及其成功程度的关联图:

数据集中参数的相关性

具体来看我们真正关心的栏目:全球总收入。嗯，看起来电影的长度是电影成功的最大影响因素——它在两个不同变量之间有最高的正值 0.34。尽管如此，考虑到最高相关性是 1，它也不是那么高。

当使用这些参数来尝试和预测一部电影的成功时，事情并不像希望的那样顺利！预测相当糟糕，也许是因为我们知道的预发行的不同东西和最终的全球总票房之间的相关性很低。

**回答 3:不，我们不能预测一部电影预发行的成功。至少不仅仅是这个数据集中的数据。**

最后的话

看着这个数据集，44 年来每年票房最高的 10 部电影，我们可以确定以下几点:

1. imdb 评分越高的电影票房就越高吗？否
2. 票房收入高的电影是因为它们面向更广泛的观众吗？是的(算是)
3. 电影票房能否在上映前根据数据集中的参数进行预测？否

那些崭露头角的电影制作人真不幸——看起来没有简单的公式可以让你赚到数百万！

全部结果

是什么让一首歌伟大？第二部分

原文：https://towardsdatascience.com/what-makes-a-song-great-part-2-e82a44be659c?source=collection_archive---------47-----------------------

是什么让一首歌如此伟大

通过 Spotify 的 Python 分析滚石的 500 首最棒的歌曲

约翰·马特丘克在 Unsplash 上拍摄的照片

【这是 系列三篇文章中的第二篇

在第 1 部分中，我们研究了如何从网络上检索数据。在本文中，我们将更多地关注与 API 的交互和使用 Pandas。

从 Spotify API 获取数据。

以前我们使用网络抓取来获得一个包含滚石乐队有史以来 500 首最伟大歌曲的数据框架。如果我们想创建一个 Spotify 播放列表呢？或者，更好的是，从 Spotify 获得更多数据来补充我们的数据？我们可以通过查询并发布到 Spotify 的 API 来实现。最简单地说，应用程序编程接口(或“API”)只是服务器的一部分，当您的浏览器或应用程序从互联网发送和检索数据时，它会与服务器进行交互。当你在 Spotify 中将一首歌添加到播放列表中，或者查看一首歌的时长时，你正在与它的 API 进行交互。

这是了解更多信息的良好起点:

** [## API 到底是什么？

你有没有听说过“API”这个词，并想知道这到底是什么？你是否有一个模糊的想法，但是…

medium.com](https://medium.com/@perrysetgo/what-exactly-is-an-api-69f36968a41f)

步骤 1:设置

file = 'Spotify.txt'# replace this with the path and file name you use
with open(file,'r') as f: 
    f = f.read().splitlines()
    cid = f[0].split(':')[1]
    secret = f[1].split(':')[1]client_credentials_manager = SpotifyClientCredentials(client_id=cid, client_secret=secret)
sp = spotipy.Spotify(client_credentials_manager=client_credentials_manager)

Python 有一个很棒的库叫做spotipy(就是上面代码中的sp)，这使得这比平常容易得多。在这里你可以阅读文档。或者像我一样，你可以通过阅读 Medium 上的一篇文章来了解一下——我推荐这篇:https://Medium . com/@ samlupton/spot ipy-get-features-from-your-favorite-songs-in-python-6d 71 f 0172 df 0。

步骤 2:检索数据

现在让我们开始有趣的部分。为了从 Spotify 下载数据，我们首先检索 500 首歌曲中每一首的track id。让我们以我的女孩为例，由诱惑创作。

我们将从数据帧中提取艺术家和歌曲名称，并将结果传递给spotipy的.search()方法。

artist = df.Artist[412]
track = df['Song title'][412]
artist, track('The Temptations', 'My Girl')track_id = sp.search(q='artist:' + artist + ' track:' + track, type='track')
track_id{'tracks': {'href': 'https://api.spotify.com/v1/search?query=artist%3AThe+Temptations+track%3AMy+Girl&type=track&offset=0&limit=10',
  'items': [{'album': {'album_type': 'album',
     'artists': [{'external_urls': {'spotify': 'https://open.spotify.com/artist/3RwQ26hR2tJtA8F9p2n7jG'},
       'href': 'https://api.spotify.com/v1/artists/3RwQ26hR2tJtA8F9p2n7jG',
       'id': '3RwQ26hR2tJtA8F9p2n7jG',
       'name': 'The Temptations',
       'type': 'artist',
       'uri': 'spotify:artist:3RwQ26hR2tJtA8F9p2n7jG'}],
     'available_markets': ['AD',
      'AE',
      'AL',
      'AR',
      'AT',
      'AU',
      'BA',

   [...]

  'previous': None,
  'total': 143}}

id_ = track_id['tracks']['items'][0]['id']popularity = track_id['tracks']['items'][0]['popularity']

现在我们可以把所有东西放进一个函数里。因为一些搜索可能没有结果，我们将使用try... except...块处理异常。注意第 4 行中使用了.zip()函数，以避免更复杂的迭代。然后，我们检索数据并将其添加到我们的数据帧中。

def get_spotify_data(dataframe):
    """
    Takes a dataframe as input.
    Returns a list of track ids and a list of popularity scores from the Spotify API. 
    """
    from numpy import nan # we import np.nan to handle empty queries 
    track_ids = []
    popularities = []
    for [artist, song] in list(zip(dataframe['Artist'], dataframe['Song title'])):
        try:
            song_data = sp.search(q='artist:' + artist + ' track:' + song, type='track')
            track_id = song_data['tracks']['items'][0]['id']
            popularity = song_data['tracks']['items'][0]['popularity']
            track_ids.append(track_id)
            popularities.append(popularity)
        except:
            track_ids.append(nan)
            popularities.append(nan)
    return track_ids, popularitiestrack_ids, popularities = get_spotify_data(df)df['Spotify id'] = track_ids
df['Popularity'] = popularitiesdf.head()

很好。让我们使用 pandas 的.isnull()来检查我们的函数是否返回了任何丢失的值:

df.isnull().sum()Artist         0
Song title     0
Writers        0
Producer       0
Year           0
Spotify id    13
Popularity    13
dtype: int64

我们的查询没有返回 13 个项目。为了简洁起见，我将把它们从数据帧中删除。我可能会在稍后阶段添加一个解决方法。

df.dropna(inplace=True)

步骤 3:获取数据帧中的音频特征

# using list comprehension
features = [sp.audio_features(id_) for id_ in df['Spotify id']]
features[0]#using a 'for' loop
features_2 = []
for id_ in df['Spotify id']:
    feature = sp.audio_features(id_)
    features_2.append(feature)*# Look at an example*features_2[0][{'danceability': 0.365,
  'energy': 0.668,
  'key': 7,
  'loudness': -12.002,
  'mode': 1,
  'speechiness': 0.817,
  'acousticness': 0.836,
  'instrumentalness': 2.58e-05,
  'liveness': 0.911,
  'valence': 0.216,
  'tempo': 53.071,
  'type': 'audio_features',
  'id': '2eOFGf5MOA5QHGLY9ZlOfl',
  'uri': 'spotify:track:2eOFGf5MOA5QHGLY9ZlOfl',  'track_href': 'https://api.spotify.com/v1/tracks/2eOFGf5MOA5QHGLY9ZlOfl',
  'analysis_url': 'https://api.spotify.com/v1/audio-analysis/2eOFGf5MOA5QHGLY9ZlOfl',
  'duration_ms': 217720,
  'time_signature': 4}]

我们有一个列表列表，每个列表对应一首歌，包含一个字典。下面是我们如何将每个功能添加到数据框中的相应列:

1. 创建特征列表
2. 遍历列表创建一个字典。键将对应于列名，值将是包含实际音频特性的列表
3. 接下来，遍历特性列表，用字典的 items()方法检索音频特性的标签和值对。追加到我们创建的字典中。
4. 用 for 循环将字典中的每一项作为新列添加

#STEP 1
k = list(features[0][0].keys())# STEP 2
dict_list = {} 
for key in k:
    dict_list[key] = []# STEP 3
for i in features:
    item = i[0].items()
    for pair in item:
        key, value = pair
        dict_list[key].append(value)# STEP 4
for key in dict_list.keys():
    df[key] = dict_list[key]

因为我们不需要一些列，所以我会去掉它们，看看我们的数据框架。

columns_to_drop = ['tempo', 'type', 'id', 'uri', 'track_href', 'analysis_url']
df.drop(columns_to_drop, axis=1, inplace=True)df.head()

完整的数据帧

我们都准备好了。在下一篇文章中，我们将最终开始探索和可视化我们的数据集。我希望你喜欢并学到了一些有用的工具。**

是什么造就了好酒…好酒？

原文：https://towardsdatascience.com/what-makes-a-wine-good-ea370601a8e4?source=collection_archive---------19-----------------------

利用机器学习和部分依赖图寻找好酒

我不知道你怎么样，但我现在肯定想喝点酒。但不是一般的酒，而是好酒。品尝起来平衡、复杂而悠长的葡萄酒。很难说这些实际上是什么意思，Buzzfeed 的这些家伙肯定很难用语言描述好酒。

BuzzFeed 视频

当然，葡萄酒的复杂性和深度是难以捉摸的概念。但是，如果我们能够用数字准确地描述是什么让葡萄酒如此令人愉快呢？

在这篇博文中，我会

1. 使用 UCI 葡萄酒质量数据集，定性解释葡萄酒的化学特性为何令人满意。
2. 解释如何使用部分相关图来解释葡萄酒的哪些化学特性是理想的。
3. 在数据集上建立机器学习模型。
4. 用 python 绘制并解释部分依赖图。

所以我做了一点研究，从一个化学家的角度观察了品酒的世界。

1.用数据理解好酒

葡萄酒的什么化学特性使它令人向往？

为了理解是什么造就了一款好酒，我使用了 UCI【1】的葡萄酒质量数据集。该数据集包含了 1599 个葡萄酒样品的化学性质和口味测试结果。这项研究中的葡萄酒是葡萄牙 Vinho Verde 葡萄酒的红色和白色变种，尽管我在这篇文章中只使用红色变种的数据。

葡萄酒由以下成分组成。

葡萄酒的成分。作者插图

1. 酒精。葡萄酒通常含有 5-15%的酒精。这就是让我们热爱葡萄酒的化合物。
2. 酸:酸赋予葡萄酒独特的酸味。缺乏固定酸度的葡萄酒被认为是平淡的或松软的 T21，这意味着它们的味道是单一的。葡萄酒中的酸度有两种来源。一种是天然存在于葡萄中的酸，用于发酵葡萄酒并带入葡萄酒中(固定酸*)。二、酵母或细菌发酵过程中产生的酸(挥发性酸)。*

柠檬酸是水果中常见的天然酸。照片由莱斯利·戴维森在 Unsplash 拍摄

*3.**残糖。*发酵过程中，酵母消耗糖分产生酒精。酵母发酵葡萄酒后剩下的糖量称为残糖。不出所料，残糖越高，酒味越甜。另一方面，尝起来不甜的酒被认为是干的。

*4.**含硫化合物。*二氧化硫是酿酒中常用的化合物。它可以防止葡萄酒氧化和坏细菌的渗透，使其成为葡萄酒的神奇防腐剂。这些硫化合物可以进一步分为以下几种:

• **游离二氧化硫。当二氧化硫添加到葡萄酒中时，只有 35-40%以游离形式产生。当以较大数量和较小批次添加时，可获得较高的游离 SO2 浓度。在其他条件不变的情况下，游离二氧化硫含量越高，防腐效果越强。
• 固定二氧化硫。游离 SO2 与葡萄酒中的微生物强烈结合，产生固定 SO2。如果葡萄酒中固定二氧化硫含量很高，这可能意味着氧化或微生物腐败已经发生。

5。氯化物。葡萄酒中氯化物盐的含量。不同地理、地质和气候条件的出产的葡萄酒会有所不同。例如，靠近海边的葡萄园生产的葡萄酒比远离海边的葡萄酒含有更多的氯化物。

2.利用机器学习预测好酒

如何用偏相关图解释预测的葡萄酒质量

有了对葡萄酒令人满意的原因的这种理解，我们可以建立一个机器学习模型，根据葡萄酒的化学性质来预测葡萄酒的高质量和低质量。机器学习模型的结果可以使用部分相关图来解释，部分相关图在机器学习模型的所有特征中“隔离”个体特征，并告诉我们个体特征如何影响葡萄酒质量预测。

M 更正式地说，部分依赖图可视化了一个特性对机器学习模型预测结果的边际效应[2]。

这似乎有点难以理解。我们从视觉上分解一下。

部分相关图的可视化指南

想象一下，我们有一个经过训练的机器学习模型，它接受一些特征(酒精百分比、硫酸盐含量、pH 值和密度)，并输出对葡萄酒质量的预测，如下所示。

假设我们有以下表格格式的数据点。

我们把这个输入到训练好的机器学习模型中。瞧，模型根据这些特征预测葡萄酒质量得分为 5。

*现在，我们增加数据点的数量，这样我们就有 5 个数据点，而不是 1 个数据点。*

假设我们对酒精含量如何影响模型对葡萄酒质量的预测感兴趣。为了使“酒精含量”分布的模型边缘化，我们计算了所有其他特征(即硫酸盐含量、pH 值和密度)的平均值，如下表最后一行所示。

然后，我们将每种葡萄酒的酒精含量，以及硫酸盐含量、pH 值和密度的平均值输入机器学习模型。

使用这个逻辑，我们制作了部分相关图的如下表格表示。

然后我们可以用模型预测的葡萄酒质量对葡萄酒的酒精含量来绘制图表。这被称为部分依赖图。

部分相关图背后的数学

下面是部分相关图的更严格的定义，它可以跳过而不损失连续性。

我们首先假设机器学习模型是一个函数 f，它接受所有特征 x 并输出一个预测 f(xs)。我们感兴趣的是发现输入特征 xs 的之一对预测的影响，而我们对所有其他输入特征 xc 对预测的影响不感兴趣。换句话说，我们希望隔离输入特征 xs。为此，我们在特征 xc 的分布上边缘化机器学习模型，这被视为 P(xc)。在这样的边缘化之后，我们获得机器学习模型对特定特征 xs 的部分依赖函数。**

在统计学中，我们可以通过大数定律用 xc 的所有值的和来近似 xc 的分布上的积分。这里，n 是数据集中的数据数量，而 xc 是来自我们不感兴趣的特征的数据集中的实际值。

让我们在数据集中应用这个公式。为了获得特征 酒精 对预测结果 质量的部分依赖图，我们使用以下等式。

请注意，在其他特征(如 pH 值、密度、硫酸盐)上有一个上标 i ，但在酒精上没有这样的上标 i 。这是因为我们对其他特征求和以获得其他特征的平均值。这些特征中的每一个的平均值与酒精的第 I 个值一起被输入到机器学习模型中以产生预测，如下例所示。

4.构建葡萄酒质量预测的机器学习模型

数据导入

*import pandas as pddf = pd.read_csv('winequality-red.csv',delimiter=';')*

数据探索

数据集不包含任何丢失的数据，并且被认为足够干净，可以按原样使用。因此，我们可以从一些数据探索开始:

1. *我们看到数据集主要包含中等质量的葡萄酒(得分为 5-6)。*

*import seaborn as sns
import matplotlib.pyplot as pltplt.figure(figsize=(10,5))
sns.distplot(df['quality'],hist=True,kde=False,bins=6)
plt.ylabel('Count')*

3.我们看到一些变量，如硫酸盐、酒精和柠檬酸含量似乎与质量相关。

*fig = plt.figure(figsize=(15, 15))
var = 'sulphates' #or alcohol, citric acid
sns.boxplot(y=var, x='quality', data=df, palette='Reds')*

4.我们还观察到，一些变量似乎与质量的相关性较弱，如氯化物和残糖含量。

模型结构

让我们快速建立一个机器学习模型，根据葡萄酒的所有化学性质来预测葡萄酒的质量分数。

这里，我们使用 25–75 的训练-测试分割比将数据分割成训练和测试数据集。

*# Using Skicit-learn to split data into training and testing sets
from sklearn.model_selection import train_test_split# Split the data into training and testing sets
features = df.drop(['quality','pH','pH_class'], axis=1)
labels = df['quality']train_features, test_features, train_labels, test_labels = train_test_split(features, labels, test_size = 0.25, random_state = 42)*

然后，我们将训练数据输入随机森林回归器。这里，没有进行超参数调整，因为这不是本文的重点。

*from sklearn.ensemble import RandomForestRegressor
est = GradientBoostingRegressor()
est.fit(train_features, train_labels)*

让我们首先安装 pdpbox 包。

*!pip install pdpbox*

接下来，我们绘制每个变量对质量分数的部分依赖图。

*features = list(train_features.columns)for i in features:
    pdp_weekofyear = pdp.pdp_isolate(model=est, dataset=train_features, model_features=features, feature=i)
    fig, axes = pdp.pdp_plot(pdp_weekofyear, i)*

各特征对葡萄酒质量的偏相关图

酸性

**

我们先来了解一下如何看这个图。纵轴是特征对目标变量预测的贡献，而横轴是数据集中特征的范围。例如，我们看到大约 7.8 的固定酸度(上面的第一张图表)将为预测的葡萄酒质量分数贡献大约 0.75。

品酒师似乎更喜欢 pH 值较低(酸度较高)的葡萄酒。特别是，他们似乎喜欢在葡萄酒中加入柠檬酸。这并不奇怪，因为好酒应该是酸性的(即不是平的)。然而，他们不喜欢挥发性酸(挥发性酸让葡萄酒尝起来像醋！)

酒精含量

葡萄酒的主要吸引力之一是它能帮助人们放松——这就是酒精的作用。品酒师似乎喜欢酒的酒精含量更高。

硫酸盐含量

**

• 硫酸盐含量越高，模型对其质量达到某一阈值的预测就越高。为什么会这样呢？2018 年《自然》杂志的一项研究表明，二氧化硫与葡萄酒中的其他化学化合物(代谢物)反应生成亚硫酸盐化合物，这是最古老葡萄酒的化学特征。看起来品酒师似乎喜欢较高的亚硫酸盐化合物，这可能使葡萄酒尝起来更陈年。
• 另一方面，模型认为二氧化硫含量高的葡萄酒质量较低。这并不奇怪，因为二氧化硫含量高通常与氧化和葡萄酒中细菌的存在有关。

糖和氯化物

**

***一般来说，氯化物和残糖的量似乎对葡萄酒质量的预测影响不大。*我们观察到，两个图都在特征的小幅度处具有聚类点，并且在特征的较高幅度处具有异常值。忽略异常值，我们看到特征量的变化似乎不会很大地改变质量预测，即点的梯度相对较小。因此，特征的改变不会导致葡萄酒质量预测的改变。

二氧化硫+ pH 水平对预测葡萄酒质量的影响

我还对二氧化硫和 pH 值对预测质量的综合影响感兴趣。

*为了对此进行研究，让我们首先将 pH 值分成 4 个具有相同数量数据点的区间。这一步不是完全必要的，尽管它使部分依赖图的可视化更容易。*

*pd.qcut(df['pH'],q=4)
>>  [(2.7390000000000003, 3.21] < (3.21, 3.31] < (3.31, 3.4] < (3.4, 4.01]]# Create a categorical feature 'pH_class'
cut_labels_3 = ['low','medium','moderately high','high']
cut_bins=  [2.739, 3.21, 3.31, 3.4, 4.01]
df['pH_class'] = pd.cut(df['pH'], bins=cut_bins, labels=cut_labels_3)# One-hot encode the categorical feature 'pH class' into 4 columns
pH_class = pd.get_dummies(df['pH_class'])# Join the encoded df
df = df.join(pH_class)*

然后，我们也可以绘制两个变量对预测的部分依赖图作为等值线图。

*inter_rf = pdp.pdp_interact(
    model=est, dataset=df, model_features=features, 
    features=['total sulfur dioxide', ['low','medium','moderately high','high']]
)fig, axes = pdp.pdp_interact_plot(inter_rf, ['total sulfure dioxide', 'pH_level'], x_quantile=True, plot_type='contour', plot_pdp=True)*

当我们改变 y 轴上的 pH 值(分类变量)和总二氧化硫含量(数值变量)时，等高线图的颜色显示了预测的质量。

蓝色区域表示低预测质量，而黄色区域表示高预测质量。这告诉我们，葡萄酒的 pH 值越低，二氧化硫含量越低，葡萄酒的质量越高(这对应于图表的左下角)。另一方面，超过二氧化硫含量的某个阈值(~66)，我们看到 pH 不再对预测的质量分数有影响，因为在图表右侧的等高线图上只有垂直线。

该喝一杯了！

恭喜你坚持到现在。既然你是品酒的行家，是时候运用你的知识了。喝一杯，看看你能否将从部分依赖情节中学到的知识运用到实际中。(微妙的暗示:我随时都可以喝一杯——只要在 LinkedIn 上联系我就行了！)

Gojek 的数据分析师](https://www.linkedin.com/in/voon-hao-tang/)

PS/如果你对模型的可解释性感兴趣，一定要看看我的另一篇关于使用石灰解释黑盒模型对乳腺癌数据的预测的文章。

参考

[1] Paulo Cortez，葡萄牙吉马雷斯米尼奥大学，http://www3.dsi.uminho.pt/pcortezA . Cerdeira，F. Almeida，T. Matos 和 J. Reis，葡萄牙波尔图 Vinho Verde 地区葡萄栽培委员会
【2】Friedman，Jerome H .【贪婪函数逼近:梯度提升机器】统计年鉴(2001):1189–1232。

插图由作者完成。*

亚马逊 SageMaker 非常适合机器学习的 10 个理由

原文：https://towardsdatascience.com/what-makes-aws-sagemaker-great-for-machine-learning-c8a42c208aa3?source=collection_archive---------10-----------------------

学习 SageMaker 使构建、训练和部署您的 ML 模型的过程更加容易。

Amazon Web Services 是世界上最常用的云提供商，数据科学家越来越需要像 DevOps 人员一样了解云服务。数据科学家需要建立和使用数据管道，使用数据仓库，在云中训练和托管 ML 模型等。在这篇博客中，我们将专注于机器学习模型的开发。

亚马逊 SageMaker 使得在全球范围内扩展 ML 模型成为可能[ 来源

亚马逊 SageMaker 是 AWS 提供的一项强大服务，用于构建、训练和部署你的机器学习模型。它由 AWS 于 2017 年发布，并迅速获得了很大的人气，然而，没有多少数据科学家在使用这项服务，因为它相当新。在这篇博客中，我们将讨论 SageMaker 以及如何在您的机器学习项目中使用它——不仅用于构建和训练模型，还用于部署您的模型以供成千上万的用户使用。

SageMaker 的一个伟大之处是它的模块化设计。如果您喜欢在其他地方进行培训，而只是使用 SageMaker 进行部署，那么您可以这样做。如果您只是喜欢训练您的模型并使用其超参数调整功能，您也可以这样做。这是我真正喜欢 SageMaker 的地方。考虑到这一点，让我们开始了解亚马逊 SageMaker。我们将涵盖 SageMaker 帮助的 3 个广泛领域:模型构建、模型培训和模型部署——以及每个领域的 3 个优势。

模型结构

那么你可能会问的一个问题是→使用 SageMaker 笔记本而不是本地或者某处 EC2 服务器上托管的笔记本有什么优势？嗯，SageMaker 允许您决定您喜欢的机器类型，因此您不需要管理任何复杂的 ami 或安全组——这使得入门非常容易。SageMaker 还提供对 GPU 和具有大量 RAM 的大型机器的访问，这在本地设置中是不可能的。

让我们把 SageMaker 对于建模的所有优势罗列出来:
**1。**从 2 核和 4GB 的机器到 96 核和 768GB RAM 的机器，您只需点击一下按钮就可以访问这些机器，笔记本电脑就托管在这些机器中，无需您付出任何额外的努力。您不必管理任何安全组或 ami，也不必管理机器的 IP 地址或任何东西。下面列出了不同类型的笔记本电脑，以及全天候运行时每月的价格。

2。第二个优势是它附带预配置的环境——您不需要单独安装 TensorFlow 或其他公共库。

**3。**另一个优势是，您可以将您的 Github 帐户与这些笔记本相关联，这样您就可以在构建模型时继续使用 Github repo，而无需担心下载和上传文件以进行版本控制！这可通过 SageMaker 笔记本电脑的 JupyterLab 界面获得。我真的很喜欢这个功能。

模特培训

下一步是模特训练。您可以使用相同的笔记本来训练模型，并在 S3 存储模型工件和文件，然后移动到模型部署的下一步。但是，如果你正在做一个需要几个小时训练的模型，比如说，带有复杂 LSTM 模型的语言翻译模型，该怎么办呢？在这种情况下，您可以从 Sagemaker notebook 本身调用一个 GPU 来训练模型，而不是使用可能在小型实例上运行的 notebook 本身。这样，您可以在运行笔记本电脑的同时节省成本，因为大多数任务都是围绕构建、检查和探索模型进行的。同样，对于培训模型培训本身，您可以使用另一台机器，该机器不同于用于运行笔记本的机器。

所以使用 SageMaker 进行模型训练的优势有:
**1 .**你可以在非 GPU t2.medium 上运行笔记本电脑，价格约为 40 美元/月，但你可以使用 p2.xlarge GPU 实例，价格约为每小时 1.2 美元——只有用于实际训练模型的秒数才会向你收费。这可以节省大量成本。通常你会用 GPU 启动 EC2 服务器——安装所有的东西，运行你的脚本，并且必须记住关闭它。在这里，你是自动按秒计费的实际训练时间。所以重复一遍，你可以使用一个便宜的实例来托管你的笔记本电脑，它可以运行 24 小时，不会花很多钱，但然后使用 GPU 来训练笔记本电脑本身的模型。

**2。**sage maker 用于模型训练的另一个特性是超参数调优。您可以创建超参数调整作业，以便您的模型可以在一夜之间调整，并在早上向您显示最佳超参数。

**3。**另一个优势是你可以使用亚马逊自己的预建模型，这些模型已经过高度优化，可以在 AWS 服务上运行。这些模型是预先构建的，您不需要做太多的工作来构建和检查模型。您可以使用预构建的 XGBoost 或 LDA 或 PCA 或 Seq to Seq 模型，所有这些都可以通过名为sagemaker的高级 Python SDK 获得。这是一个很好的机会来提一下，也有一个低级别的 SDK 来访问 SageMaker，它是使用boto3 — boto3编写的，是访问 Python 中其他 AWS 服务的常用方法。

模型部署

最后，我最喜欢使用 SageMaker 的原因是为了模型部署。即使您的模型可能不太复杂，并且可以在您的本地机器上轻松地进行训练，您仍然需要在某个地方托管该模型。然后是关于扩展模型的问题→你能建立一个服务来服务你的 ML 输出，可以被成百上千的用户同时使用吗？潜伏期呢？如果需求突然激增怎么办？对于所有这些，SageMaker 非常棒，因为它允许您在端点后托管模型。这个端点是一个运行在某个隐藏的 EC2 服务器上的服务。当然，您仍然需要选择您喜欢的实例类型。但是您不需要担心设置这个服务器——在创建端点的过程中，您可以选择诸如自动扩展组、您想要多少个服务器等等。

所以使用 SageMaker 进行模型部署的优势是:
**1。**在一个端点中托管 ML 模型——然后你可以从任何其他用通用语言编写的代码中调用这个端点。你也可以从 Lambda 函数中调用这个模型。这样，您的 web 应用程序就可以调用 Lambda 函数，该函数可以调用模型端点。如果您在某个地方托管自己的 API，那么 API 代码可以调用这个端点。您还可以配置 API Gateway 来接收 HTTP 请求，该请求调用 Lambda 函数，然后该函数调用 SageMaker 端点，如下所示:

使用 API 网关、Lambda 和 SageMaker 端点部署 ML 模型

注意:Amazon 将 SageMaker 模型托管在一个一天 24 小时运行的物理服务器上——服务器不会根据收到请求的时间而打开/关闭。因此，SageMaker 在无服务器领域处于 EC2 和 Lambda 的中间。服务器像 EC2 一样一直运行，但是你不能像 Lambda 一样配置和管理它。

**2。**另一个很大的优势是你可以在同一个端点上托管多个模型。为此，您需要创建一个定制的 Docker 容器映像。这相当复杂，但是 AWS 的 Github 中有启动代码。您将需要创建您自己的映像并在 ECR 中托管它，然后在托管多个模型时使用该映像。多模型端点允许您托管多个模型，并且实例被预先配置为处理多个模型的负载，而您不必担心这方面的开发。

多型号终端可以为您节省大量成本

**3。**您所有的日志都可以轻松存储在 CloudWatch 日志中。您不需要创建自己的日志管道，这是另一个优势。您可以监控机器上的负载，并根据需求扩展机器。

我觉得它可能会遇到 SageMaker 是一个神奇的药丸，可以解决你可能遇到的每个 ML 问题。我要说，这不是一个神奇的药丸，而是一个非常有用的工具。您仍然需要使用“handler”函数来配置预处理和后处理管道，并弄清楚您想要如何为多模型端点配置 Docker 容器。所有这一切都不容易，AWS 文档也不是那么好——因此，我建议您从小处着手，部署 MNIST 端点，然后从那里开始构建。SageMaker 是一个很好的工具，但我想描绘出完整的画面——很高兴听到你如何使用它，也让我知道我是否在这一集错过了什么。通过 LinkedIn 或 T2 的电子邮件或下面的评论联系我。祝你的 ML 之旅一切顺利！

如果你更喜欢听这个博客的音频版本，我也为这个博客录了一段播客——在这里我会更详细地介绍每一点。你可以在苹果播客、 Spotify 或 Anchor.fm 上听，或者在我最喜欢的播客应用之一:阴天上听。

我谈论类似话题的播客

对于评论/反馈/问题，或者如果你认为我在这一集里错过了什么，请通过sanket@omnilence.com或 LinkedIn:https://www.linkedin.com/in/sanketgupta107/联系我

资源:
1。亚马逊 SageMaker 端点的无服务器前端
2。多模型端点
3。超参数调整作业

是什么让光变轻

原文：https://towardsdatascience.com/what-makes-lightgbm-light-8eb4dc258046?source=collection_archive---------36-----------------------

速度很重要。

照片由 Shiro hatori 在 Unsplash 上拍摄

梯度增强决策树(GBDT)是一种性能非常好的算法，它已经成为许多先进算法的基础，如 XGBoost、LightGBM 和 CatBoost。

在这篇文章中，我们将关注是什么让 LightGBM 变得又轻又快。LightGBM 是由微软的研究人员创建的，旨在建立一个比其他正在使用的 GDBT 更有效的实现。

让我们先简要讨论一下 GBDT 算法是如何工作的。我们将关注 LightGBM 的特别之处。

梯度提升意味着以这样一种方式顺序地组合弱学习器，即每个新学习器都符合来自前一步骤的残差。因此，每个新的学习者都会改进整个模型。最终的模型汇总了每一步的结果，从而形成了一个强学习者。在 GBDT 的例子中，弱学习者是决策树。

GBDT 的弱学习器决策树通过基于特征值分割观察值(即数据实例)来学习。该算法寻找将导致最高信息增益的最佳分割。

事实证明，寻找最佳分裂是决策树学习过程中最耗时的部分。GBDT 的先前实现使用预先排序或基于直方图的算法来寻找最佳分割。

• 预先排序:特征值预先排序，并评估所有可能的分割点。
• 基于直方图:连续特征被分成离散的箱，并创建特征直方图。

基于直方图的算法比预先排序的算法更有效。随着数据集在观测值和要素方面的增大，这两种方法的速度都会变慢。

LightGBM 从基于直方图的算法开始，因为它是更有效的算法。

基于直方图的算法的问题是扫描所有数据实例以找到关于信息增益的最佳分割。对每个特征都这样做。因此，基于直方图的算法的复杂性取决于数据实例和特征的数量。

为了解决这个问题，LightGBM 使用了两种技术:

• 梯度单侧采样
• EFB(独家功能捆绑)

下面我们来详细介绍一下这些技术的作用，以及它们是如何让 LightGBM 变得“轻”的。

梯度单侧采样

扫描所有数据实例以找到最佳分割是一种蛮力，这肯定不是最佳的。我们需要找到一种方法，以某种方式根据信息增益对数据实例进行采样。

一种方法是根据权重对数据进行采样。但是，它不适用于 GBDT，因为在 GBDT 没有样品重量。

GOSS 采用的解决方案是使用梯度对数据进行采样。梯度告诉我们:

• 小梯度:该算法已经在这种情况下进行了训练，与此相关的误差很小。
• 大梯度:与该实例相关的误差很大，因此它将提供更多的信息增益。

梯度小的数据实例提供不了多少东西。因此，我们可以排除梯度小的实例，只关注梯度大的实例。但是，在这种情况下，数据分布将会改变。我们不希望这样，因为这将对学习模型的准确性产生负面影响。

GOSS 提供了一种基于梯度的数据采样方法，同时考虑了数据分布。

选择具有较大梯度的数据实例。从具有较小梯度的剩余数据实例中，仅选择随机样本。小梯度的随机样本乘以一个常数以保持数据分布。

如您所见，只对数据集的一部分进行了采样。这就是该算法被称为“单侧采样”的原因。

GOSS 最终实现的是，模型的重点倾向于导致更多损失(即训练不足)的数据实例，而不会对数据分布产生太大影响。

EFB(独家功能捆绑)

简而言之，EFB 以一种新特征携带组合特征的信息的方式组合稀疏特征。

具有大量要素的数据集可能具有高稀疏性(即大量零值)。稀疏特征通常是互斥的，这意味着它们不会同时具有非零值。

例如，在典型的稀疏特征空间中，一行可能仅在一列中具有非零值(例如，编码文本数据)。

EFB 是一种使用贪婪算法将这些互斥特征组合(或捆绑)成单个特征(例如，互斥特征束)并因此降低维度的技术。

EFB 减少了 GDBT 的训练时间，而不太影响准确性，因为创建特征直方图的复杂性现在与束的数量而不是特征的数量成比例(束的数量远小于特征的数量)。

EFB 面临的挑战之一是找到最佳捆绑包。微软的研究人员设计了一种算法，将捆绑问题转化为图形着色问题。

在图着色问题中，将特征作为顶点，在不互斥的特征之间添加边。然后，使用贪婪算法来产生束。

更进一步，该算法还允许捆绑很少同时具有非零值(即几乎互斥)的特征。这意味着牺牲少量信息来加快训练速度。

捆绑的特性需要以智能的方式创建。考虑一组 3 个特性。捆绑特性的值应该能够为我们提供前 3 个特性的值。LightGBM 利用基于直方图的算法创建的离散箱。

包中特性的唯一值放在不同的容器中。这是通过向原始特征值添加偏移来实现的。

戈斯和 EFB 都让 LightGBM 快速运行，同时保持相当高的精确度。在一个典型的现实生活中，我们可能有大型数据集，所以效率和准确性一样重要。

感谢您的阅读。如果您有任何反馈，请告诉我。

是什么让逻辑回归成为一种分类算法？

进入现实世界

对数优势，基线的逻辑回归解释。

凯勒·琼斯在 Unsplash 上拍摄的照片——已编辑

逻辑回归是一个统计模型，其基本形式使用一个逻辑函数来模拟一个二元 因变量，尽管存在许多更复杂的扩展。
—维基百科。

—所有图像(情节)均由作者生成和修改。

很可能，对于每一个数据从业者来说， 线性回归 恰好是实现机器学习的起点，在这里你了解到为给定的独立规则集预言一个连续值。

为什么是逻辑的，不是线性的？

让我们从最基本的一个开始，在*二元分类中，模型应该能够预测因变量为两个可能类之一，可能是 *0 或 1* 。如果我们考虑使用*线性回归*，我们可以预测给定规则集的值作为模型的输入，但它将预测连续值，如 0.03、+1.2、-0.9 等。这不适于将其归类到两类中的一类，也不适于将其识别为预测一类的概率值。*

例如 当我们要预测一个网站是否是恶意的当 URL 的长度作为一个特征给定时，响应变量有两个值，良性和恶意。

分类数据的线性回归—按作者

如果我们试图将线性回归模型拟合到二元分类问题，模型拟合将是一条直线，并且可以看出为什么它不适合使用相同的直线。

为了克服这个问题，我们使用了一个 sigmoid 函数 ，它试图用指数曲线拟合数据来建立一个好的模型。

Logistic/Sigmoid 函数

逻辑回归可以用逻辑函数来解释，也称为 Sigmoid 函数，它接受任何实际输入 x ，并输出 0 和 1 之间的概率值，该概率值定义为:

使用上述逻辑函数的模型拟合可以如下所示:

分类数据的逻辑回归—按作者

此外，对于任何给定的自变量 t，让我们将其视为单变量回归模型中的线性函数，其中 β0 是截距， β1 是斜率，由下式给出:

输出 0 和 1 之间的值的通用逻辑函数 p 将变成，

我们可以看到，可分为两类的数据可以使用逻辑函数对线性函数中的给定变量进行建模。但是输入变量 x 和输出概率之间的关系不容易用 sigmoid 函数来解释，我们现在引入了Logit*(log-odds)函数，使得该模型可以用线性方式来解释。*

对数概率函数

对数赔率函数也称为赔率的自然对数*，是标准逻辑函数的逆函数，可以定义并进一步简化为:*

在上述等式中，术语如下:

通过进一步简化上述方程并对两边进行指数运算，我们可以推导出概率与线性模型之间的关系如下:

左项称为 赔率 ，定义为等价于线性回归表达式的指数函数。在两边都有 ln (对数基数 e)的情况下，我们可以将对数优势和独立变量 x 之间的关系解释为线性。

为什么要回归？

概率 p(x) 随变量 x 的变化不能直接理解，因为它是由 sigmoid 函数定义的。但是通过上面的表达式，我们可以解释变量 x 的对数几率的变化是关于变量 x 本身的线性变化。具有线性方程对数优势图可以被看作是，

对数优势与独立变量 x——作者

因变量的概率结果表明，线性回归表达式的值可以从负无穷大变化到正无穷大，然而，在用 sigmoid 函数进行变换之后，所得的概率表达式 p(x) 的范围在 0 和 1 之间，即 0 < p < 1。因此，这就是使逻辑回归成为回归分类算法的原因，它根据决策边界将线性回归的值分类到特定类别。

判别边界

决策边界被定义为一个阈值值，它帮助我们将 sigmoid 函数给出的预测概率值分类到一个特定的类别中，积极的或消极的。

线性决策边界

当两个或多个类别可以线性分离时，

线性决策边界—作者

非线性边界

当两个或多个类别不能线性分离时，

非线性决策边界—作者

多类分类

这里，对数优势可定义为当线性回归变为使用 m 个外植体的多元回归时，与存在的多个独立变量线性相关。

如果我们必须预测天气是晴天、雨天还是刮风，我们正在处理一个多方面的问题。我们把这个问题转化为三个二元分类问题，即是否晴天、是否下雨和是否刮风。我们对输入要素独立运行所有三个分类，概率值相对于其他分类最大的分类成为解决方案。**

结论

逻辑回归是最简单的机器学习模型之一。它们容易理解，可解释，并且能给出相当好的结果。每一个使用逻辑回归的从业者都必须知道对数概率，这是这种学习算法背后的主要概念。考虑到业务需求和关于模型如何在模型中使用不同独立变量的解释，逻辑回归非常容易解释。这篇文章旨在提供一种简单的方法来理解回归背后的思想和逻辑回归提供的透明性。

感谢阅读。你可以在这里找到我的其他机器学习相关的帖子。

希望这篇帖子有用。我感谢反馈和建设性的批评。如果你想谈论这篇文章或其他相关话题，你可以在这里或在 LinkedIn 给我发短信。

** [## 贷款信用风险模型中的贷款违约分析

探索和分析贷款违约背后的驱动因素，即，使贷款审批流程风险…

towardsdatascience.com](/insightful-loan-default-analysis-in-lending-credit-risk-model-b16bbfc94a2f)**

使用 LIME 解释文本分类器结果

原文：https://towardsdatascience.com/what-makes-your-question-insincere-in-quora-26ee7658b010?source=collection_archive---------32-----------------------

是什么让你的问题在 Quora 变得不真诚？

Jules Bss 在 Unsplash 上的照片

在之前关于在现实世界应用中利用可解释性的帖子中，我简要介绍了 XAI(人工智能中的可解释性)，它背后的动机，以及可解释模型在现实生活场景中的应用。

在这篇文章中，我将介绍 LIME，这是最著名的本地可解释模型之一，以及如何应用它来检测使 Quora 平台中的问题不真诚的术语。

什么是石灰，它是如何工作的？

作者在[1]中提出了 LIME，它是一种算法，通过用一个可解释的模型局部地近似它们，以一种可靠和可理解的方式解释任何分类器或回归变量的单个预测。

例如，ML 模型使用一组特征(喷嚏、体重、头痛、无疲劳和年龄)预测患者患有流感，而 LIME 突出显示了患者历史中导致预测的症状(最重要的特征)。打喷嚏和头痛被认为是导致流感的原因，而没有证据表明疲劳会导致流感。有了这些解释，医生就可以做出是否相信模型预测的明智决定。

来源:“我为什么要相信你？”
解释任何分类器的预测[1]

解释预测是呈现文本或视觉工件，提供对实例组件(例如文本中的单词、图像中的补丁)和模型预测之间关系的定性理解[1]。

石灰背后的直觉

LIME 是一个局部代理模型，这意味着它是一个经过训练的模型，用于近似底层黑盒模型的预测。但是，它的想法是将数据的变化生成到机器学习模型中，并测试预测会发生什么，使用这种扰动的数据作为训练集，而不是使用原始的训练数据。

换句话说，LIME 生成一个新的数据集，由置换样本和黑盒模型的相应预测组成。在这个新的数据集上，LIME 然后训练可解释的模型(例如，Lasso、决策树等等)，该模型通过采样实例与感兴趣实例的接近度来加权。

加粗的红叉是正在解释的例子。LIME 对实例进行采样，使用黑盒模型(由蓝色/粉色背景表示)获得预测，并通过与被解释的实例的接近程度(此处由大小表示)对它们进行加权。虚线是学习过的局部解释[1]。

将 LIME 应用于 Quora 数据集和逻辑回归模型

Quora 虚假问题分类任务的数据集可以从这个链接下载。训练数据包括被问的问题，以及它是否被识别为不真诚。

我们来看这个数据集的两个问题和对应的类(1 为不真诚，0 为真诚的问题):

• 不真诚的问题:为什么特朗普相信普京告诉他的一切？他是共产主义者，还是愚蠢透顶？
• 真诚的问题:纬度和繁荣之间的强相关性可以部分地用另一个(如果被证明存在的话)有利的环境温度和大脑着迷之间的相关性来解释吗？

预处理步骤包括将数据分为训练集和验证集，然后将问题矢量化为 tf-idf 向量。

预处理代码。

黑盒模型是一个逻辑回归模型，以 tf-idf 向量作为输入。

作为黑箱模型的逻辑回归。

现在是时候应用 LimeTextExplainer 函数来为预测生成局部解释了。该函数需要解释的问题(索引 130609)、从黑盒模型(逻辑回归)生成的问题的预测标签以及用于解释的特征数量作为参数。

使用 LimeTextExplainer 为一个实例生成解释。

上述代码的结果如下:

Question: 
When will Quora stop so many utterly stupid questions being asked here, primarily by the unintelligent that insist on walking this earth?
Probability (Insincere) = 0.745825811972627
Probability (Sincere) = 0.254174188027373
True Class is: insincere

分类器把这个例子做对了(它预测言不由衷)。
使用以下说明，以加权特征列表的形式给出解释:

结果是:

[('stupid', 0.3704823331676872),
 ('earth', 0.11362862926025367),
 ('Quora', 0.10379246842323496),
 ('insist', 0.09548389743268501),
 ('primarily', -0.07151150302754253),
 ('questions', 0.07000885924524448),
 ('utterly', 0.040867838409334646),
 ('asked', -0.036054558321806804),
 ('unintelligent', 0.017247304068062203),
 ('walking', -0.004154838656529393)]

这些加权特征是一个线性模型，它近似于测试实例附近的逻辑回归分类器的行为。粗略地说，如果我们从问题中删除“愚蠢”和“地球”，预测应该向相反的类别(真诚)移动大约 0.48(两个特征的权重之和)。我们来看看是不是这样。

结果是:

Original prediction: 0.745825811972627
Prediction after removing some features: 0.33715161522095155
Difference: -0.40867419675167543

不出所料，在从实例词汇表中删除了“地球”和“愚蠢”这两个词后，这个类现在变得真诚了。

结果可以显示在不同类型的可视化石灰。

注意，对于每一类，线上右边的单词是正的，左边的单词是负的。因此，“愚蠢”对不真诚是积极的，但对真诚是消极的。

您还可以使用下面的代码获得解释的条形图:

摘要

LIME 能够在本地解释任何类型的分类器(SVM、神经网络等)的预测。在这篇文章中，我将其应用于 Quora 问题数据集，以解释是什么使 Quora 中的问题不真诚，但它也可以集成到图像和结构化数据分类器中。您可以通过此链接访问更多代码和示例。

如果你有问题，欢迎在下面评论或通过邮箱或 Linkedin 提问。我会回答的。

全部代码发布在我的 GITHUB 简介的链接中。

我会继续张贴关于 XAI 和其他有趣的话题。敬请期待！！

参考

[1]里贝罗，M. T .，辛格，s .，& Guestrin，C. (2016 年 8 月)。“我为什么要相信你？”解释任何分类器的预测。《第 22 届 ACM SIGKDD 知识发现和数据挖掘国际会议论文集》(第 1135-1144 页)。

石灰码:https://github.com/marcotcr/lime

速配中什么最重要？

原文：https://towardsdatascience.com/what-matters-in-speed-dating-34d29102f6cb?source=collection_archive---------33-----------------------

如今约会很复杂，所以为什么不获取一些快速约会技巧，同时学习一些简单的回归分析呢？

今天是情人节——人们思考爱情和关系的日子。人们相遇并建立关系的方式比我们父母或祖父母那一代要快得多。我敢肯定，你们中的许多人都被告知过去是怎样的——你遇见某人，和他们约会一段时间，求婚，结婚。在小城镇长大的人也许有一次寻找爱情的机会，所以他们确保不会把它搞砸。

今天，找到一个约会对象不是一个挑战——找到一个合适的对象可能是个问题。在过去的 20 年里，我们经历了从传统约会到在线约会，再到快速约会，再到在线快速约会。现在你只要向左或向右滑动，如果你喜欢的话。

在 2002 年至 2004 年间，哥伦比亚大学进行了一项速配实验，他们跟踪了 21 次速配会议，这些会议主要是年轻人与异性的会面。我在这里找到了数据集和数据的关键:http://www . stat . Columbia . edu/~ gel man/arm/examples/speed . dating/。

我感兴趣的是在短暂的互动中发现某人的什么，这决定了某人是否认为他们是匹配的。如果你以前从未做过，这是一个练习简单逻辑回归的好机会。

速配数据集

上面链接中的数据集非常庞大——超过 8000 个观察值，每个观察值有近 200 个数据点。然而，我只对速配约会本身感兴趣，所以我简化了数据，上传了一个较小版本的数据集到我的 Github 账户这里。我将把这个数据集拉下来，并对其进行一些简单的回归分析，以确定是什么因素影响了人们是否认为他们是匹配的。

让我们提取数据，快速浏览前几行:

library(tidyverse) 
library(corrplot) download.file("https://raw.githubusercontent.com/keithmcnulty/speed_dating/master/speed_data_data.RDS", "speed_dating_data.RDS") data <- readRDS("speed_dating_data.RDS") head(data, 3) 

我们可以从这个关键算出:

1. 前五列是人口统计数据——我们以后可能要用它们来查看子群。
2. 接下来的七列很重要。评估人决定此人是否匹配。然后我们在六个特征上打满分:吸引力、真诚、聪明、有趣、雄心和共同的兴趣。
3. like栏是总体评分。prob列是关于评价者是否相信对方会喜欢他们的评级，最后一列是关于两人是否在快速约会之前见过面的二元数据，较低的值表示他们以前见过面。

我们可以在任何分析中忽略前四列。我们这里的结果变量是dec。我对其余的潜在解释变量感兴趣。在我开始做任何分析之前，我想检查一下这些变量中是否有高度共线的——也就是说，有非常高的相关性。如果两个变量测量的是差不多一样的东西，我可能应该去掉其中一个。

corr_matrix <- data %>% 
  dplyr::select(attr, sinc, intel, fun, amb, shar, like, prob, met) %>% 
  as.matrix() M <- cor(corr_matrix, use = "complete.obs") corrplot::corrplot(M)

好吧，很明显，当你快速约会时，会有迷你光环效应。但是没有一个升得很高(例如超过 0.75)，所以我要把它们都留在这里，因为这只是为了好玩。如果我的分析有严重的后果，我可能想在这个问题上多花一点时间。

对数据运行逻辑回归

这个过程的结果是二进制的。回答者决定是或否。我给你说，这太苛刻了。但是对于一个统计学家来说，这很好，因为它直接指出二项式逻辑回归是我们的主要分析工具。让我们运行一个逻辑回归模型来分析我上面提到的结果和潜在的解释变量，看看结果。

model <- glm(dec ~ attr + sinc + intel + fun + amb + shar + like + prob + met, data = data, family = "binomial") summary(model)

所以，感知智力并不重要。(这可能是被研究人群的一个因素，我相信他们都是哥伦比亚大学的本科生，所以我怀疑他们的 s at 平均分都很高——所以智力可能不是一个区分因素)。你以前是否见过某人也一样。其他一切似乎都扮演着重要的角色。

更有趣的是每个因素在多大程度上扮演了 T2 的角色。上面模型输出中的系数估计告诉我们每个变量的影响，假设其他变量保持不变。但在上面的表格中，它们是以对数优势表示的，我们需要将它们转换成常规优势比，以便更好地理解它们，所以让我们调整我们的结果来做到这一点。

ctable <- coef(summary(model)) 
odds_ratio <- exp(coef(summary(model))[ , c("Estimate")]) (coef_summary <- cbind(ctable, as.data.frame(odds_ratio, nrow = nrow(ctable), ncol = 1))) %>% knitr::kable()

所以我们有一些有趣的观察结果:

1. 不出所料，受访者对某人的总体评价是他们是否决定与之匹配的最大指标。
2. 吸引力似乎是婚姻的主要正面指标。
3. 有趣的是，真诚和雄心降低了匹配的可能性——它们似乎让潜在的约会对象扫兴。
4. 其他因素也发挥了较小的积极作用，包括被调查者是否认为利益是对等的。

比较性别

当然，人们很自然地会问，在这些动态中是否存在性别差异。因此，我将对这两个性别子集重新进行分析，然后创建一个图表来说明任何差异。

# females only model_f <- glm(dec ~ attr + sinc + intel + fun + amb + shar + like + prob + met, data = data %>% dplyr::filter(gender == 0), family = "binomial") ctable_f <- coef(summary(model_f)) 
odds_ratio_f <- exp(coef(summary(model_f))[ , c("Estimate")])
coef_summary_f <- cbind(ctable_f, as.data.frame(odds_ratio_f, nrow = nrow(ctable_f), ncol = 1)) # males onlymodel_m <- glm(dec ~ attr + sinc + intel + fun + amb + shar + like + prob + met, data = data %>% dplyr::filter(gender == 1), family = "binomial") ctable_m <- coef(summary(model_m)) 
odds_ratio_m <- exp(coef(summary(model_m))[ , c("Estimate")]) coef_summary_m <- cbind(ctable_m, as.data.frame(odds_ratio_m, nrow = nrow(ctable_m), ncol = 1)) chart_data <- coef_summary_f %>% 
  dplyr::add_rownames() %>% 
  dplyr::left_join(coef_summary_m %>% dplyr::add_rownames(), by = "rowname") %>% 
  dplyr::select(rowname, odds_ratio_f, odds_ratio_m) %>%
  tidyr::pivot_longer(cols = c("odds_ratio_f", "odds_ratio_m"), names_to = "odds_ratio") %>% 
  dplyr::mutate(
Effect = value - 1, 
Gender = ifelse(odds_ratio == "odds_ratio_f", "Female", "Male"),
Factor = dplyr::recode(rowname, amb = "Ambitious", attr = "Attractive", fun = "Fun", intel = "Intelligent", like = "Liked", met = "Never met\nbefore", prob = "Believe\nthey like\nme", shar = "Shared\nInterests", sinc = "Sincere")) ggplot(data = chart_data %>% dplyr::filter(rowname != "(Intercept)"), aes(x=Factor, y=Effect, fill=Gender)) + geom_bar(stat="identity", color="black", position=position_dodge()) + theme_minimal() + 
labs(x = "", title = "What matters in speed dating?") + scale_fill_manual(values=c('#FFC0CB', '#0000FF'))

我们发现了一些有趣的差异。不出所料，外表吸引力似乎对男性更重要。根据长期以来的信念，智力确实对女性更重要。与男性相比，它有着显著的积极作用，而男性似乎没有发挥有意义的作用。另一个有趣的区别是，你以前是否见过某人对两组人都有显著影响，但我们以前没有看到，因为它对男性和女性有相反的影响，所以平均起来是不重要的。男人似乎更喜欢新的互动，而女人喜欢看到熟悉的面孔。

正如我上面提到的，整个数据集非常大，所以这里有很多可以探索的地方——这只是可以收集到的一小部分。如果你最终用它来玩，我对你的发现很感兴趣。

最初我是一名纯粹的数学家，后来我成为了一名心理计量学家和数据科学家。我热衷于将所有这些学科的严谨性应用到复杂的人的问题上。我也是一个编码极客和日本 RPG 的超级粉丝。在 LinkedIn 或Twitter上找我。也可以看看我在drkeithmcnulty.com的博客。

谋杀和冰淇淋与数据驱动的产品管理有什么关系？

原文：https://towardsdatascience.com/what-murder-and-ice-cream-have-to-do-with-data-driven-product-management-9c3cafc34da9?source=collection_archive---------62-----------------------

unsplash.com

答案是:混杂因素。

研究表明谋杀率和冰淇淋销量之间有一种虚假的关系。( 1

这种虚假的关系并不意味着一个导致另一个。接下来会发生什么？是温暖的天气导致人们买更多的冰淇淋，变得更加暴力——“温暖的天气”是我们的混淆因素。( 2 )

这与数据驱动的产品管理有什么关系？

你的数据驱动软件产品依赖于很好地利用从原始数据中推断出来的洞察力和特性的能力(显然还有其他因素，比如设计等)。识别和整合的相关混杂因素越多，你的洞察力就越强。因此，你的产品功能越好，顾客越满意，业务表现越好。当产品管理团队拥有变量选择(独立变量、相关变量和混杂变量)方面的专业知识，并结合领域知识时，就会出现这种情况。

在成为数据驱动的项目经理的过程中，最初的步骤是艰难的，但从长远来看，它会变得更容易。以下是数据驱动的产品管理可以如何开始(这不包括业务方面):

1. 阐明产品将解决或填补的问题或市场空白。
2. 从基于数据的产品构思开始，而不是从产品的视觉方面开始。(这一点非常重要，尽管跳到 PowerPoint 并画出产品的样子以及路线图非常有诱惑力，因为这让业务领导层更容易理解)。
3. 考虑数据来源、所有权、合同方面、隐私和 GDPR。
4. 接近相应的团队:除了软件开发等常见的团队，还要接近 DevOps、数据科学、数据工程、法律团队等。并向他们介绍新产品。
5. 询问有关数据字段、数据新鲜度、外部和内部数据集成能力、管道、可用性、数据收集、法律方面的所有权、技术方面的所有权的技术细节。
6. 咨询内部领域专家，询问还有哪些混杂因素会影响你的产品洞察力。
7. 请务必与外部领域专家进行交叉检查，而不要提供与产品细节相关的内部数据。询问与你潜在产品的洞察力有任何关系的变量。这将有所帮助，因为外部专家不会因任何性质的内部公司信息而产生偏见。
8. 与数据科学和数据工程团队交叉检查新信息。问什么是可能的。
9. 创建数据的产品/业务工作流，直至洞察。
10. 索要软件、基础设施和数据架构设计图。这将使产品管理人员能够创建各种依赖关系的整体图，并主动采取行动。
11. 明确数据集成和收集选项——尤其是在数据湖可用的情况下。
12. 让 UX /用户界面专家根据现有的工作流程和数据来完成他们的工作。有了可用的数据和数据驱动，UX/UI 的工作变得简单多了。
13. 规划和设计数据，这些数据将在产品推出和收集新的数据功能后提供。这将有助于您的新产品功能避免最终的冷启动问题。
14. 进一步的步骤是大多数 PM 团队的标准。

如果可能，并且你已经准备好了，与最终用户协商，并采纳反馈，特别是当产品开始有设计的时候。

我相信今天最常见的方法，但幸运的是逐渐消失，是从用户界面开始一个产品。不过以我的经验来看，这类产品的成功率是比较低的。从全局来看，这并不一定是坏事——想想从失败中学习，快速迭代，拥抱失败，等等。一些企业可以忍受迭代许多 POC/MVP，直到最后，很少一部分成功进入产品。然而，以学习的名义提供高的软件产品实验失败率似乎正在消失。理想情况下，成功/尝试的比率必须尽可能接近值 1(例如在开发成 POC 的 10 个产品创意中，有 5 个已经投入生产并获得成功:成功/试用比率等于 0.5)。

**建议:**作为一家公司，记录 PoC 级别的所有产品计划，并查看有多少计划最终被推向市场(附带持续成功指标)。可接受的比率必须由企业定义。我认为有道理的经验法则是，所有试验的成本不得超过劳动力支出的 20%。这种方法的主要好处之一是，产品管理将非常容易呈现数据驱动的成功结果，并要求更多的预算。

如果产品是增量开发的，那么产品成功的机会更大；大量基于数据、领域专业知识、用户反馈和科学。因为可以更好地控制成本，所以公司对基于各方面数据创建的产品感兴趣:自有原始数据、市场数据、客户数据、业务数据、要收集的数据、第三方数据等。

让我们回到这篇文章的核心，混杂因素。这里有一个例子。

想象一下，你的公司开发了一个软件，可以为员工推荐奖金。你的软件看工资率，以前的表现，性别，工作任期(任何角色)。你的软件使用机器学习来推荐奖金(使用协同过滤)。这是一个转折。机器学习模型是有偏见的，因为公司的文化建立在性别歧视的基础上，它倾向于高薪员工，它倾向于更长的工作任期。这意味着，推荐者将向职位最高、在公司工作时间最长、在加入公司时表现出色但现在不一定表现出色的男性员工推荐最高奖金。推荐者将会错过一位高产的中层管理女商人，她已经在公司工作了几年，而且一直表现出色。

你的软件使用机器学习并且是数据驱动的…或者是吗？

有很多因素会影响这些建议。考虑时间是一个混杂因素。如果 ML 模型将加权时间维度整合到工作任期和以前绩效的函数中，则推荐会更好。请注意，时间有它的关系方面。更长的工作任期不一定意味着更好的绩效，但机器学习模型可能会基于公司习惯而变得有偏见，以奖励更老的任期员工(见下文的人力资本理论)。绩效评估越老，与今天的奖金就越不相关，这需要反映在你的模型参数中，也许作为一个衰减参数。

以下引用说明了组织可能采用的不同方法。

对于产品经理来说，在将精力投入到路线图、工作流程、功能和设计之前，考虑尽可能多的数据变量是非常重要的。尽管混杂因素通常很难识别和整合，但它们很可能会给你的产品带来备受追捧的秘方。

作为思考的食粮，这里有几个问题。如果我们能够控制气候变暖的干扰因素，让它一直保持在零，会发生什么？你能消除或控制使你的产品见解复杂化或使你的产品贬值的混淆因素吗？

冠状病毒期间我们听什么音乐？使用数据科学的报告

原文：https://towardsdatascience.com/what-music-do-people-listen-to-during-the-coronavirus-a-report-using-data-science-1a2035d12430?source=collection_archive---------36-----------------------

一切都变了，我们的音乐习惯也不例外。

西蒙·诺在 Unsplash 上的照片

大约20 亿人现在被隔离，我们生活的方方面面都因病毒而改变。娱乐和其他的没什么不同。网飞达到了历史上的巅峰。人们用 Zoom 开派对和新闻媒体推荐隔离 Spotify 播放列表。隔离播放列表的报道不是巧合。我给其中的几个投稿，并在我的社交媒体流上发现了几十个。人们正在制作许多冠状病毒主题的播放列表。这一切让我很好奇。在冠状病毒时代，我们在听什么？

我决定从 Spotify 播放列表中收集包含疫情相关词汇的数据，并对其进行分析。我想发现热门歌曲的频率，并将它们的音乐特征与隔离前我们听的歌曲进行比较。

谢天谢地，Spotify 有一个有用的 API。在这里，我将描述收集数据然后嵌入代码的过程。

首先，我们将使用 API 来收集包含我们想要的术语的所有播放列表。我搜索了四个术语，尽量做到包罗万象。我用来收集数据的术语是“COVID”、“corona”、“Quarantine 2020”和“Coronavirus”。搜索分别返回了 7940、9322、9383 和 2830 个结果。但是这里出现了第一个问题。用 Spotify API 每次搜索只能得到两千个结果。

坏消息是由于限制，我们只能得到一些数据。所以，我们讨论的一切都是关于数据的样本。
好消息是，先前的数字是重叠的，因此真正唯一的总数没有那么高，样本将是足够的。
经过四次请求，我们获得了 7085 个唯一播放列表。

结果的一个样本能够适合这里

让我们看看播放列表。平均一个播放列表有 103 首歌曲和一个非常有创意的名字。好吧，也许最后一个没有被科学证明。最大的播放列表包含 8846 首歌曲，有人听完它们的可能性为零，最短的播放列表包含 3 首歌曲。

现在我们想使用 API 来收集关于播放列表的数据。我们想得到他们包括的歌曲和关于歌曲的数据。

运行代码后，我们发现播放列表包含 725，824 首曲目和 275，316 首独特的歌曲。有很多歌曲，其中大多数只在几个播放列表中，这表明它们与情况无关。我想为将要进一步分析的数据添加一个过滤器。我决定一首好的第一个过滤器是一首歌至少在 10 个播放列表中；这给了我 10K 周围的歌曲，所以我只收集这些歌曲的元数据。元数据主要是音频特征。

我想解释一些关键的音频特性，我们稍后需要了解。

• 速度:音轨的速度，单位为每分钟节拍数(bps)
• 效价:衡量音轨音乐积极性的一个指标，效价越大，歌曲越积极
• 音量:一首歌的音量有多大，单位是分贝(dB)
• 可跳舞性:一条赛道有多适合跳舞
• 声音度:音轨的声音置信度
• 能量:歌曲强度和活跃程度的量度

获取上述数据的脚本

现在让我们来玩我们的数据。

这是排名前 100 的歌曲列表。从他们的名字来看，他们中的大多数人都很清楚为什么他们会出现在这个播放列表中。

但是让我们更深入地了解一下 10K 歌曲排行榜。由于所施加的过滤器，一首歌曲最多出现 1091 次，最少出现 10 次。平均出现 29 次，75%的歌曲出现次数少于此。这意味着另外的 25%包含了更大的价值。下面的直方图可以更好的解释。

我们有 1954 年发行的最古老的歌曲和 2020 年发行的最新歌曲。大多数歌曲来自过去十年，但这并不意味着它们是我们播放列表中最受欢迎的，正如我们在下面的直方图中看到的那样。

按年份划分的歌曲直方图

按发行年份排列的外观散点图

我们可以做的进一步分析是将它们的音频特征与一些基线进行比较。我决定使用 2019 年播放列表的顶级曲目作为基线。这是我们在危机前听到的一小部分内容。

我用箱线图比较了三个数据集的主要音频特征，即 2019 年的前 100 首歌曲和我们数据的前 10k 首歌曲。

顶级 10K 数据集非常庞大，范围太广，最后的歌曲只出现在 7k 的 10 个播放列表中，因此具有更大范围的值和更少的信息是合乎逻辑的。

音频分析

在我们的数据中，效价更大，所以似乎我们听的是更积极的歌曲。

可跳舞性略低，这不应该让我们感到惊讶，跳舞和社交距离不是很好。

速度似乎与数据集无关。

在我们的数据中，速度是另一个稍低的指标。我有一种感觉，这是因为最近(包括 2019 年)我们有很多嘻哈/说唱的点击量，而我们的数据也包括前几十年的数据和更多样化的音乐流派。

像速度一样，响度似乎不会改变。

我们的数据具有较低的声音和略高的能量，我们可能处于锁定状态，但我们尽量不停机！

对歌曲频率和音频特征的分析导致了一些非常有趣的模式的发现...似乎我们在经历非常艰难的经历时，用音乐来帮助我们变得积极。

该项目可以有更多的功能。我能想到的第一件事是对播放列表的标题和描述做一些自然语言处理。欢迎在评论中提出更多想法，甚至写一篇关于它们的文章，并在那里贴上链接。

谢谢你对我的作品感兴趣。我希望你喜欢这篇文章，并学到了一些新东西。

待在家里。注意安全。

“没有免费的午餐”在机器学习中真正意味着什么

原文：https://towardsdatascience.com/what-no-free-lunch-really-means-in-machine-learning-85493215625d?source=collection_archive---------6-----------------------

揭开这个经常被误解的定理。

Riccardo Bergamini 在 Unsplash 上拍摄的照片

谁不爱免费的午餐？你不用做饭，也不用花你的任何血汗钱。对任何人来说都很划算！事实是，除非你算上研究生院承诺免费披萨的特殊讲座和演讲，否则在机器学习领域就没有免费的午餐。

监督机器学习的“没有免费的午餐”(NFL)定理本质上暗示了没有单一的机器学习算法是普遍适用于所有问题的最佳算法。这是我在上一篇关于 XGBoost 局限性的文章中探讨的一个概念，XGBoost 是一种算法，由于它在学术研究和机器学习竞赛中的表现，在过去五年中获得了巨大的流行。

[## 为什么 XGBoost 不能解决你所有的问题。

XGBoost 和其他基于树的算法的一个关键限制。

towardsdatascience.com](/why-xgboost-cant-solve-all-your-problems-b5003a62d12a)

本文的目标是利用这个经常被误解的定理并解释它，以便您可以欣赏这个定理背后的理论，并理解它对您作为机器学习实践者或数据科学家的工作的实际影响。

归纳的问题

奇怪的是，启发 NFL 定理的想法是由 18 世纪的一位哲学家首先提出的。是的，你没看错！不是数学家或统计学家，而是哲学家。

18 世纪中期，一位名叫大卫·休谟的苏格兰哲学家提出了他所谓的归纳 的 问题。这个问题是一个哲学问题，问归纳推理是否真的引导我们走向真知。

归纳推理是一种推理形式，我们根据过去的观察得出关于世界的结论。奇怪的是，这正是机器学习算法所做的。如果神经网络看到 100 张白天鹅的图像，它可能会得出所有天鹅都是白色的结论。但是如果神经网络看到一只黑天鹅会怎么样呢？现在，算法学习的模式突然被一个反例推翻了。这个想法通常被称为黑天鹅悖论。

Yuvraj Yadav 在 Unsplash 上拍摄的照片

休谟用这种逻辑来强调归纳推理的局限性——我们不能将一组特定的观察结果应用到一组更普遍的观察结果上。

“没有论证可以证明，那些我们没有经历过的实例，类似于那些我们经历过的实例。”——大卫·休谟在《人性论》中

同样的想法成为 200 多年后机器学习的 NFL 定理的灵感。

Wolpert 在机器学习中的应用

在他 1996 年的论文学习算法之间缺乏先验区分中，Wolpert 为监督机器学习引入了 NFL 定理，并在论文开头引用了 David Hume 的话。该定理指出，给定无噪声数据集，对于任何两个机器学习算法 A 和 B，A 和 B 的平均性能在从均匀概率分布中抽取的所有可能的问题实例上将是相同的。

为什么会这样呢？这又回到了归纳推理的概念。**对于机器学习问题，每个机器学习算法都预先假设特征和目标变量之间的关系。**这些假设通常被称为先验假设。机器学习算法在任何给定问题上的性能取决于算法的假设与问题的现实相符程度。**一种算法可能对一个问题表现得很好，但这并不意味着我们有理由相信，在同样的假设可能不起作用的另一个问题上，它也会表现得一样好。**这个概念基本上就是机器学习背景下的黑天鹅悖论。

**你在选择任何算法时做出的限制性假设就像你为午餐支付的价格。**这些假设将使你的算法在某些问题上自然更好，同时在其他问题上自然更差。

偏差-方差权衡

统计学和机器学习中与 NFL 定理密切相关的一个关键思想是偏差-方差权衡的概念。这一概念探讨了任何模型的两种误差源之间的关系:

• 模型的偏差是来自模型中潜在错误的先验假设的误差。这些假设导致模型错过了关于机器学习问题的特征和目标之间的关系的重要信息。
• 模型的方差是来自模型对训练数据微小变化的敏感度误差。

具有高偏差的模型通常过于简单并导致欠拟合，而具有高方差的模型通常过于复杂并导致过拟合。

过度拟合与欠拟合。来源: Edpresso ，根据 CC BY-SA 4.0 授权。

如上图所示，具有高偏差的模型无法正确拟合训练数据，而具有高方差的模型则很好地拟合了训练数据，以至于它记住了这些数据，却无法正确地将学到的知识应用到新的真实数据中。给定问题的最优模型介于这两个极端之间。它有足够的偏差来避免简单地记忆训练数据，并且有足够的方差来实际拟合训练数据中的模式。这种优化模型是通过优化偏差-方差权衡来实现对给定问题的测试数据的最低预测误差的模型，如下所示。

偏差-方差权衡。来源:临床数据科学基础，4.0 授权 CC 下。

显然，每个机器学习问题都有一个不同的点，在这个点上，偏差-方差的权衡被优化，预测误差被最小化。正因如此，没有一个超级算法能比每一个其他算法更好地解决每一个机器学习问题。每种算法都做出假设，创造不同类型和水平的偏差，从而使它们更适合某些问题。

“没有免费的午餐”对你意味着什么

所有这些理论都很棒，但对于作为数据科学家、机器学习工程师或只想开始学习机器的人来说，“没有免费的午餐”意味着什么？

是不是说所有算法都是平等的？不，当然不是。实际上，所有的算法并不都是平等的。这是因为整个机器学习问题集是 NFL 定理中的一个理论概念，它比我们实际尝试解决的实际机器学习问题集要大得多。在某些类型的问题上，一些算法可能通常比其他算法表现得更好，但是由于算法的先验假设，每个算法都有缺点和优点。

像 XGBoost 这样的算法可能会赢得数百场 Kaggle 比赛，但在预测任务中却惨败，因为基于树的模型中涉及到有限的假设。当涉及到图像分类和语音检测等复杂任务时，神经网络可能表现得非常好，但如果没有正确训练，就会因其复杂性而遭受过拟合。

实际上，这就是“没有免费的午餐”对你的意义:

• 没有一种算法会比其他算法更好地解决你所有的机器学习问题。
• 在选择要使用的算法之前，确保你完全理解一个机器学习问题和所涉及的数据。
• 所有模型的好坏取决于创建它们时的假设以及用来训练它们的数据。
• 逻辑回归等更简单的模型偏差更大，容易欠拟合，而神经网络等更复杂的模型方差更大，容易过拟合。
• 给定问题的最佳模型位于两个偏差-方差极值的中间。
• 为了找到解决问题的好模型，您可能需要尝试不同的模型，并使用稳健的交叉验证策略对它们进行比较。

来源

1. 《斯坦福哲学百科全书》，归纳的问题，(2018)。
2. 迪派，黑天鹅悖论定义，(2020)，deepai.org。
3. D.休谟，人性的论述，(1739)，古腾堡计划。
4. D.H.Wolpert，学习算法之间缺乏先验区分，(1996)，CiteSeerX。

非数据科学家需要了解的数据科学知识

原文：https://towardsdatascience.com/what-non-data-scientists-need-to-know-about-data-science-55d7fccd59f?source=collection_archive---------22-----------------------

黑盒并不是数据科学被非专业人士视为魔法的唯一原因。从局外人的角度来看，缺乏对数据科学流程和数据科学构成要素的理解会增加神秘感(或海市蜃楼)。虽然保留数据科学的魅力可以增强自我，但这应该是你最终想要解决和消除神秘感的事情。这里有 5 件重要的事情，你应该告诉你的非数据科学同行，让你的生活更轻松。

数据科学是迭代的

在数据科学中，您计划遵循一个流程，但是您将许多决策外包给了您正在使用的工具。你从一个清晰的问题陈述开始，但是在你开始处理数据之前，你将使用的方法和你在每个阶段花费的时间在很大程度上是未知的。这种方法会比你的其他同行少很多确定性。你需要让这些利益相关者明白这一点——来管理你的团队的期望。

通过这样做，你将能够减少与组织和解释你的工作相关的摩擦，并让你专注于获得结果。这也将为你赢得空间和时间来进行必要的实验。

学习是这份工作的一大部分

被视为无所不知当然很好，但是做桌面研究来填补你知识的“空白”并保持更新是这份工作的一大部分。研究给定方法的最佳实践是非常耗时的——特别是考虑到最佳实践比其他领域发展得更快。同样，为了管理期望，如果清楚地理解了这一点，并且如果您计划任何时间进行桌面研究，在库/包之间进行比较，并且在与您的利益相关者一起计划一项工作时阅读相关文档，这将是很有帮助的

毕竟，如果 Excel 用户通过在堆栈溢出上发布他们的查询来解决他们的问题，那么人们肯定应该理解，像数据科学这样的更密集的过程需要花费更多的时间来进行桌面研究，并与同事合作来解决特定项目的问题。

数据科学这个术语在传统上一直很模糊，可能涵盖多种技能

数据科学正被非数据科学家甚至一些数据科学家用作一个包罗万象的术语，通常涵盖广泛的任务和计划。隔离纯数据科学活动可以帮助您的非数据科学同行了解什么构成了数据科学，什么没有。进行这样的对话尤其有助于做出招聘决定。它还可以帮助您确定可以利用的其他团队，以执行数据科学领域要求的一些工作。

再说一次，不被认为是数据万事通最终符合你的最佳利益，进行这些对话可以帮助你雇佣适合目标的新员工，管理期望，并确定可以将非数据科学相关的数据任务委派给哪些团队。

数据科学包括大量的前期工作

你花在数据科学上的时间有一半以上是在为未来的任务准备环境，主要是数据。教授非数据科学家将向他们展示在实际着手解决问题之前，准备和清理数据的准备工作有多深入。这样做还可以让您开始对话，展示任何数据集的局限性，并概述可以从数据集做出哪些决策以及在做出这些决策时需要考虑的事项。它还让你有时间和空间来完成这项重要的工作，达到所需的详细程度，而不必过早地处理结果或成果。

它还可以帮助您确保他们的参与，帮助您定义您正在使用的分类变量中可能会出现的大量业务术语，以及您将从业务中要求的其他方向，以确保您围绕期望的结果优化您的流程。

我相信，对您的利益相关者进行这 4 个方面的最低限度的培训，有助于提高您的工作效率，以及数据科学领域和其他领域之间的跨团队协作。

它可以帮助揭开人们将数据科学与一些“魔法”联系在一起的神秘面纱。就你的工作需要做什么进行诚实的对话，将使你专注于核心数据科学活动，并释放不得不身兼数职的压力

皮特·布蒂吉格对数据驱动的决策有什么看法

原文：https://towardsdatascience.com/what-pete-buttigieg-has-to-say-about-data-driven-decision-making-23139dd9d26a?source=collection_archive---------33-----------------------

数据驱动的决策制定

前民主党总统候选人和“技术市长”坚信数据和分析。

加里·里格斯在维基共享资源

印第安纳州南本德市前市长皮特·布蒂吉格在作为 2020 年总统候选人竞选时获得了全美国的欢迎。

他成功筹集了大量资金，并在爱荷华州和新罕布什尔州取得了惊人的好成绩。在未能保持住势头后，他退出了民主党竞选。不过，在第一次听说他的故事后，我还是很感兴趣。

出生在铁锈地带，他获得了哈佛和牛津的学位，在麦肯锡担任顾问，在阿富汗战争中服役，并在 29 岁时成为南本德市长。尽管在他的两届市长任期内面临争议，但他已经说服居民和利益相关者，他的家乡不仅仅是一个以前的制造业所在地。

我拿起他的书 【回家的捷径】 ，惊讶地发现他是数据驱动决策的坚定信徒。他认为，分析性分析有助于城市变得更加高效和以事实为导向，而不是基于直觉做出决定。

咨询出身的他首先认为，更多的数据和分析对他的政府总是有益的。但很快，他意识到许多资源可能会被浪费，因为生成的数据要么没有被使用，要么只给出了已知的信息。

他必须确保数据不仅是生成的，而且是有用途的。

我想和你们分享一下皮特·布蒂吉格在担任市长期间学到的六条重要经验。

照片由弗雷德·穆恩在 Unsplash 上拍摄

1.报告和解决问题是有区别的。

有时候，报告和解决问题可以齐头并进。

例如，皮特·布蒂吉格政府安装了 ShotSpotter 技术，使用麦克风来发现整个城市的枪声。一方面，政府获得了关于开枪地点的可靠数据。这一点至关重要，因为当枪声响起时，一些居民区没有报警。另一方面，警察可以更快地处理枪支暴力案件。

但通常情况下，对问题了解得更多并不能帮助解决问题。

例如，前市长参加了一次会议，会上一家初创公司介绍了一种可以自动检测污水中阿片类物质模式的产品。政府很清楚南本德的阿片类药物使用问题，但缺乏资金来照顾精神健康和成瘾资源。在获得阿片类药物检测产品的过程中，管理部门会收集更多关于这个问题的数据。但是，这也会从解决这个问题的计划中拿走宝贵的资源。

因此，他在书中认为，当一个人已经意识到一个问题并有办法解决它时，他应该专注于解决这个问题。这并不意味着报告问题是不必要的，但也不足以解决问题。

2.响应速度和效率是有区别的。

在皮特·布蒂吉格担任市长期间，他不得不在快速反应和提高效率之间做出选择。

在扫雪的情况下，他可以决定扫雪人员总是首先被赶到街道上，因为那里的居民会打电话来。这将使这些街道上的居民非常高兴，但这不是一个有效的方法。

为什么？因为这些人会在城市中穿梭。通过使用基于区域的方法，扫雪机工作人员可以更快地处理所有街道。但这意味着并不是每一条无法通行的路都被直接照顾到了。

在其他时候，皮特·布蒂吉格认为有求必应是最有效的事情。例如，涂鸦一旦被报道就应该被处理，因为其他人可能会被激励去模仿或超越这种涂鸦。还有，如果是直接打理，不鼓励涂鸦者污损公物。

罗伯特·v·鲁杰罗在 Unsplash 上的照片

3.诚实地说出你是否愿意跟随数据的走向。

为了这次学习，这位前市长必须决定如何控制垃圾账单率。

他向他的一位公共工程主管寻求帮助。他得到了各种各样的想法:出售垃圾桶上的广告空间，根据垃圾量向客户收费，或者引入使用机械臂的自动化垃圾车。

自动垃圾车是最好的解决方案，部分消除了人工垃圾收集和减少受伤率。数据清楚地表明，这项新技术将导致更低的垃圾账单率。

这是一个艰难的决定。用机器代替人类往往意味着一些人会失业。

他决定推进这一提议，一半被解雇的工人能够转到城市提供的其他工作岗位。

在其他时候，皮特·布蒂吉格并没有做好遵循数据的准备。

人们可以去缴纳水费的办公室似乎是另一个时代的事情了。人们可以通过电话或电子邮件在线支付。那么，为什么仍然需要这种昂贵的基础设施呢？因为特别是低收入的居民没有银行账户。他们需要一个可以支付现金的地方，即使这对城市来说很昂贵。

当然，人们可以跟踪这个案例的数据，但这将意味着对这些低收入居民的严重伤害。那么，你真的愿意跟着数据走吗？

4.数据可以显示你从未问过的问题的答案。

有时候，寻找一个答案可以引出另一个问题的答案。

还记得枪击技术的例子吗？收集这些数据和更快地获得枪击案件的帮助有助于回答另一个关键问题。邻里信任警察到什么程度？打电话的邻居越少(如果有的话)，警察的合法性就越低。

此外，这使得即使没有人打电话，警察也能出现。邻居们认为警察不会在意他们地区的枪声。通过来到这些社区，警察能够增加信任。

因此，问自己这样一个问题是有帮助的:“有没有另一个问题我可以用这些数据来解决？”

照片由 timJ 在 Unsplash 上拍摄

5.技术和道德问题的混淆。

回答技术问题似乎很容易，因为它们通常是对或错的问题。但当涉及道德问题时，让一个人过得更好而不让另一个人过得更糟通常是不可能的。

例如，城市决定得到这些新的自动垃圾车。虽然这降低了浪费率，但也导致了裁员。居民们不再把垃圾桶放在小巷里，而是被迫把垃圾桶拖到前面的路边。当然，工人和居民对这一变化并不满意。

皮特·布蒂吉格对这一决定的陈述是，没有数学公式来解决这种权衡。因此，他们必须做出决定，并向受影响的人解释他们为什么做出这一决定。

6.例外很重要。

数据驱动的决策以规则为中心。并且如果规则不充分，则可以实现子规则。但有时这还不够。一个更好的方向不是遵循规则，而是创造一个例外，即使你无法解释或辩护这个例外。

例如，一位老人打电话到市里，请求帮助处理一只死去的浣熊。遵循规则本应该有一个明确的答案:城市没有义务帮助这个人，因为浣熊在这个人的私人院子里。

但是很明显，这个男人打电话是因为他控制不住自己。一名委员会成员没有遵守规则，而是开车去了那个人的家，把浣熊拖到了街上，并确保案件得到处理。

结论

归根结底，皮特·布蒂吉格相信数据驱动的决策。他认为，它可以使人们做出更聪明、更公平的决定。然而，他很清楚数据是有局限性的，并不是所有的问题都可以用它来解决。此外，他认为有些决定必须遵从他或她的直觉。

我喜欢读他的书有几个原因。虽然我对他关于数据驱动决策的章节(第 11 章——潜意识运作)感到兴奋，但我也学到了更多关于美国政治和铁锈地带斗争的知识。

如果您有任何问题或意见，请在下面留下您的反馈。另外，如果你想和我联系，你可以通过 LinkedIn 联系我。

如果你对基于我自己经历的文章感兴趣，请随时查看。

[## 我和 190 名学生是如何学习数据科学的

如何学习编码的可行策略？

towardsdatascience.com](/how-190-students-and-i-have-learned-data-science-55da9e0e5c6b) [## 如何提高预测模型的可解释性

从商业角度的实用见解。

towardsdatascience.com](/how-to-increase-the-interpretability-of-your-predictive-model-b786d72365f1)

皮特·布蒂吉格(2019)，《回家的最短路径:一个市长的挑战和美国未来的模式》，Liveright，第 388-418 页。

机器学习在死亡率建模中有什么地位？

原文：https://towardsdatascience.com/what-place-does-machine-learning-have-in-mortality-modelling-f19e6dcd5c22?source=collection_archive---------37-----------------------

见习精算师的视角

Icons8 团队在 Unsplash 上的照片

人类的死亡不是一个确定的过程(除非你碰巧生活在科幻反乌托邦中，剩余寿命被用作货币)。因此，对未来死亡率的估计是精算师为客户提供的许多建议中的核心假设之一。我们投入了巨大的努力，将所有最新的数据整合到人类预期寿命的模型中，并预测随着时间的推移，我们对未来的预测将如何演变。

虽然我们对导致人们寿命延长或缩短的因素有一个大致的了解，但似乎总有随机因素。伴随这种随机因素而来的是寿命风险——这是那些现金流依赖于人们寿命的组织特别关注的事情。例如，养老金计划需要知道其成员能活多久，这样才能有效地管理其负债，并确保做出正确的投资决策。同样，人寿保险公司需要合理准确地预测投保人死亡率，以便能够设定适当的保费水平——足够高以获得一些利润，但又足够低以向客户提供价值并在人寿保险市场保持竞争力。

目前，设定死亡率假设的过程可能如下所示:

1. 选择一个基础表——一个公认的相当令人沮丧的个人死亡概率列表；
2. 选择死亡率预测——这将决定每个年龄的死亡率如何随时间演变；最后
3. 执行额外的分析来定制所选的表和投影，以匹配感兴趣人群的特定人口统计特征。

机器学习开始发挥作用了

数据驱动的机器学习方法似乎很适合这类问题。预期寿命是一个经过充分研究的现象，已经收集了大量数据来帮助我们理解人类死亡率的“规则”。机器学习已经产生了许多无监督的算法，这些算法专门设计用于识别相似的数据点(聚类)和发现数据中的模式和相关性(可以说属于关联规则学习的领域)。如果有人认为人口学家会全面掌握这一新兴工具，并以各种创造性的方式使用它来加深我们对决定预期寿命的复杂关系的理解，这是可以理解的。

然而在现实中，到目前为止，机器学习在人口结构变化研究中的应用还是有限的。在他们的 2019 年论文中，Levantesi 和 Pizzorusso 提出，这种缺乏受欢迎程度是因为机器学习模型通常被视为“黑盒”，其结果很难解释和解读。诚然，这是一个合理的担忧——在机器学习社区中有大量正在进行的工作和讨论，涉及解释如何和为什么一个人工智能算法得出它所确定的结论的重要性，以及研究向利益相关者证明一个模型正在做出明智和合理的决定的实用方法。

尽管如此，研究人员继续总结了迄今为止利用机器学习方法对死亡率建模领域做出的贡献:

• 评估和改进标准随机死亡率模型产生的估计值的拟合优度( Deprez 等人，2017)；和
• 应用神经网络来识别预测死亡率的重要因素，并扩展标准死亡率模型( Hainaut，2018 和 Richman 和 Wüthrich，2018 )。

Levantesi 和 Pizzorusso 在同一篇论文中继续证明，他们能够通过引入一个“ML 估计量”参数来捕捉标准死亡率模型中无法识别的模式，该参数被他们的算法识别为具有预测能力。通过这样做，当他们的机器学习模型的输出用于支持标准死亡率模型时，他们能够提高预测质量。

你会注意到，上述论文中的一个关键主题是使用机器学习来支持，而不一定是取代传统的死亡率建模方法。在我看来，这是一种明智的前进方式。如果我们想进一步了解预期寿命的驱动因素，来自机器学习和人口学的领域专家需要能够交流和合作。

传统方法和机器学习方法在自然语言处理领域一直存在着著名的分歧，在这个领域，理论驱动和基于规则的方法最初几乎被抛弃，而支持数据驱动的方法——以至于它导致了 IBM 研究员弗雷德里克·耶利内克的名言:“每当我解雇一名语言学家，语音识别器的性能就会提高。”但是，即使在 NLP 社区内，也有迹象表明钟摆可能会摆回另一边，并且有人问，如果更多的语言学家参与 NLP 研究，我们是否会取得更大的进展(相关 TWiML talk )。

不需要太多的想象力就能看出 NLP 研究和人口学/死亡率建模之间的相似之处:每个领域都研究某种系统，在该系统中，基于理论和基于规则的方法产生(显然)合理且有用的结果——尽管也有大量的数据，我们能够从这些数据中建立完全适当的模型，而无需具备如此深入的领域专业知识。

我建议最好采取一种平衡的观点——如果手工设计的基于规则的方法不断被替代方法(如机器学习提供的方法)超越，那么对这些方法过于感情用事是没有用的，但是我们应该对这样一个事实保持开放的态度，即我们总是需要领域专家来告知我们设计和操作模型的方式。

结论

照片由 Aron 视觉效果在 Unsplash 上拍摄

机器学习和人工智能在识别和预测死亡率趋势方面有其一席之地。毋庸置疑，这些技术是检测数据点中及数据点之间的模式和关联的强大工具，将这种分析与现有的更经典的死亡率建模方法相结合是有价值的。不可避免的是，只有在更经典的、基于规则的方法和更现代的、数据驱动的机器学习方法之间找到平衡时，最佳结果才会出现。

死亡率建模将永远是相关的——除非 a) 你碰巧发现了青春之泉， b) 你已经知道如何将你的意识永远上传到云中，或者 c) 你生活在前面提到的科幻反乌托邦中(尽管这可能是一个公平的交易，如果这也意味着你可以成为贾斯汀·汀布莱克)。现在，我们的世界不是一个反乌托邦，但我们一直面临着甚至连专家都没有预见到的预期寿命的新趋势，我们还面临着一系列新的挑战，因为我们要应对人口老龄化的后果。

我们很可能需要死亡率建模方面的进步，以成功管理我们肯定会因人口结构变化而面临的问题——只有我们的专家能够抛开他们的学术忠诚，为了每个人的利益而共同努力，我们才能做到这一点。所以是的，我们必须勇敢——我们必须适应和探索新技术——但是如果我们不记得我们从哪里来，我们会很快发现自己迷失了。

学分和更多信息

Andrew Hetherington 是英国伦敦的一名见习精算师和数据爱好者。

• 查看我的网站。
• 在 LinkedIn 上与我联系。
• 看我在 GitHub 上摆弄什么。

讨论的论文:机器学习在死亡率建模和预测中的应用。风险 2019 、 7 、26。

沙漏照片由阿伦视觉拍摄。闹钟照片由 Icons8 团队拍摄。两者都在 Unsplash 上。

什么 Python 包最适合从 Twitter 获取数据？比较 Tweepy 和 Twint。

原文：https://towardsdatascience.com/what-python-package-is-best-for-getting-data-from-twitter-comparing-tweepy-and-twint-f481005eccc9?source=collection_archive---------12-----------------------

回顾 Tweepy 和 Twint——两者的优缺点、代码片段、潜在用例以及我的建议。

Kon Karampelas 在 Unsplash 上拍摄的照片

Twitter 对于任何数据科学家来说都是绝对的宝库，无论他们是专业人士、学生还是业余爱好者。它将各行各业的人联系在一起，无论你是一名有抱负的音乐家还是 T4·泰勒·斯威夫特，无论你是一名职业篮球运动员还是勒布朗·詹姆斯，从当地政客到美国现任总统和前任总统。

它的用户群有多广，产生了多少数据？截至 2019 年第三季度，Twitter 的每日活跃用户群约为1.45 亿人，2018 年每天发出 5 亿条推文。即使有 280 个字符的限制，Twitter 数据提供了一片可以收获数据见解的沃土也就不足为奇了。

但是，我们如何收集这些数据呢？事实上，由于各种原因 Twitter 数据的预编译库是有限的(参见此链接进行讨论)。Twitter 本身在特殊场合可能会提供自己的数据汇编，但这种情况很少。它们甚至可能不会公开提供——只对特定的开发人员和研究人员开放，比如这个与新冠肺炎相关的数据集。

这就是为什么我想在这篇文章中花些时间比较两个流行的第三方 Python 包， Tweepy 和 Twint 。

这两个库都非常受欢迎，正如你在下面 GitHub 受欢迎程度的图表中看到的。

Twint 和 Tweepy — GitHub 星史(【https://star-history.t9t.io/】T4)

我在这里http://tweetdash.jphwang.com建立了自己的 Twitter 数据分析应用，为此我尝试了从两个库收集数据。

来自我的 Twitter 的屏幕截图数据分析应用程序(链接)

和其他工具一样，它们并不完美，在我看来，Tweepy 和 Twint 各有优缺点。但是，它们是优秀的工具，即使以我有限的经验，我认为你的大部分 twitter 数据需求可以用一个或这些库的组合来满足。

事不宜迟，让我们开始吧！

总体差异

使用方法/认证

因此，我认为最大的区别是——Tweepy 是一个用于访问官方 Twitter API 的 Python 库——因此，您需要申请开发者访问权限并从 Twitter 获得密钥。

• 申请 Twitter 开发者访问的链接
• 显示如何获取 Twitter API 密钥的链接

另一方面，Twint 是一个抓取工具，旨在抓取 tweets 并克服 API 的限制。

(注意:我不会进入关于网络抓取是否合法的讨论，或者 Twitter 的 TOS 关于抓取的说法。这只是对每个工具的讨论。)

证明文件

Tweepy 的文档在我看来，是顶尖的。它的文档包括从身份验证到流的所有教程，还包括所有方法的 API 参考。

从零经验开始，您应该能够立即开始使用 Tweepy，立即下载时间线、用户信息或执行搜索。

另一方面，浏览 Twint 的文档会给你一种感觉，觉得这个包已经超过了文档的速度，或者他们只是还没有找到时间。

有趣的是，twint 可以从 shell 命令行使用——因此，如果用户愿意，他们可以直接运行 Twint，而无需进入 Python shell 或编写 Python 脚本。

这一切意味着什么？实际上，如果你想做的唯一的事情是收集大量的 Twint 可能是一个更好的工具，而 Tweepy 更适合收集更丰富的元数据，对于那些使用官方 API 的人来说，它具有灵活性和潜在的可扩展性。

这可能还是有点抽象。让我们继续看一些更具体的例子。

抓取推文

与 Tweepy

一旦你建立了你的开发者账户，你的密钥和令牌——这段代码片段将为你提供一组推文——在这种情况下，我将从勒布朗·詹姆斯的推特账户中抓取 200 条最新推文。

import tweepyauth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)

api = tweepy.API(auth)

screenname = 'KingJames'
tweets = api.user_timeline(screenname, count=200)

带 Twint

要用 Twint 做同样的事情，您实际上可以从命令行/shell 运行这个命令:

twint -u KingJames --limit 200 > testtwint.txt

要在 Python 中做到这一点，应该是这样的:

import twintc = twint.Config()
c.Limit = 200
c.Store_csv = True
c.Username = usernamec.Output = fname
twint.run.Search(c)

所以这两者都相对简单。它们都或多或少地包含了你可能想知道的关于每条推文的所有信息。

Tweepy 用这些列生成数据:

['created_at', 'id', 'id_str', 'full_text', 'truncated', 'display_text_range', 'entities', 'extended_entities', 'source', 'in_reply_to_status_id', 'in_reply_to_status_id_str', 'in_reply_to_user_id', 'in_reply_to_user_id_str', 'in_reply_to_screen_name', 'user', 'geo', 'coordinates', 'place', 'contributors', 'is_quote_status', 'retweet_count', 'favorite_count', 'favorited', 'retweeted', 'possibly_sensitive', 'lang']

另一方面， Twint 用这些列生成数据:

['id', 'conversation_id', 'created_at', 'date', 'time', 'timezone', 'user_id', 'username', 'name', 'place', 'tweet', 'mentions', 'urls', 'photos', 'replies_count', 'retweets_count', 'likes_count', 'hashtags', 'cashtags', 'link', 'retweet', 'quote_url', 'video', 'near', 'geo', 'source', 'user_rt_id', 'user_rt', 'retweet_id', 'reply_to', 'retweet_date', 'translate', 'trans_src', 'trans_dest']

对，是很多列。很混乱。但好消息是，这两组或多或少是相同的。他们必须这样，因为理论上他们都从 Twitter 上下载相同的数据。

性能差异

根据我的经验，在任何文本处理方案中，抓取推文所花的时间或多或少是无关紧要的。在我的体验中，Twint 要慢一点——这对我来说是有意义的，因为它利用 Twitter 的搜索功能进行抓取，而不是通过 Twitter 的原生 API。

这就引出了我的下一个观点…

限制

Tweepy 的最大限制是 Twitter API 的限制。Twitter 的 API 有各种限制，取决于你的账户等级(定价)，最重要的是，Twitter 的 API 限制你在一个时间线内只能发布最后 3200 条推文。

另一方面，Twint 的主要限制是，它真的只是为了抓取推文而设计的，仅此而已。如果你想与 Twitter 互动——发布推文、屏蔽/屏蔽他人、发送 DM 等——这些都是 Twitter API 的领域，你应该求助于 Tweepy。

其他使用案例

正如所预示的那样，除了抓取一堆推文进行分析之外，对于几乎所有其他用例，我都会推荐 Tweepy 而不是 Twint。还有哪些用例？这里有一些例子。

自动跟踪

也许你想偶尔确保跟踪跟踪你的每个人:

auth = tweepy.OAuthHandler("consumer_key", "consumer_secret")
redirect_user(auth.get_authorization_url())
auth.get_access_token("verifier_value")
api = tweepy.API(auth)for follower in tweepy.Cursor(api.followers).items():
    follower.follow()

自动转发

也许你想建造一个机器人，当提到它的名字时，它会自动转发——你很幸运，因为这个机器人已经在这里被建造了(由查尔斯·胡珀)。

在线教程

或者你可能想跟随这个关于 RealPython 的教程。，并了解他们如何制作可以根据你的意愿自动收藏或转发的应用程序。

Twitter API 不仅提供了大量的例子，还提供了大量的例子来构建你自己的应用。这在 Twint 中是不可能的。Twint 或多或少做一件事，而且做得很好。但仅此而已。

推荐

还记得我说过我建立了自己的 Twitter 数据分析应用程序(http://tweetdash.jphwang.com)？嗯，我的经验是 Twint 是一个很好的工具，可以为构建这个演示应用程序获取数据。

另一方面，学习和使用 Twint 的过程非常痛苦，因为它的文档非常少。当我试图做示例代码中没有显示的任何事情，或者偏离示例代码时，它需要的时间比我使用 Tweepy 时多几个数量级。

使用 Tweepy，我可以依赖它的官方文档、其他人的教程或示例项目。和以往一样，你的里程可能会有所不同，但这只是我的经验。

所有这些都是说尽可能多地使用 Tweepy 只有当你在获取原始推文方面碰壁时，看看 Twint 是否可以替代。我认为这样可以省去很多麻烦，而且很少会需要比 API 允许的更多的数据。

今天到此为止。

如果你喜欢这个，比如说👋/关注 twitter ，或点击此处获取更新。如果你错过了，看看这篇关于用 Plotly Dash 构建 web 应用的文章:

[## 使用 Python 在几分钟内构建一个 web 数据仪表板

通过将您的数据可视化转换为基于 web 的仪表板，以指数方式提高功能和可访问性…

towardsdatascience.com](/build-a-web-data-dashboard-in-just-minutes-with-python-d722076aee2b)

这个比较金融市场的 API:

[## 比较最佳免费金融市场数据 API

作为一名数据科学家，如果你想分析金融市场数据(股票市场或加密数据),请从这里开始

towardsdatascience.com](/comparing-the-best-free-financial-market-data-apis-158ae73c16ba)

因为一些私人的事情，我已经离开写作很多时间了，但是我很高兴回到这里。:)下次见！

你的 ML 论文的作者顺序应该是怎样的？

原文：https://towardsdatascience.com/what-should-be-the-order-of-authors-in-your-ml-paper-726a2937ec41?source=collection_archive---------15-----------------------

回答这个问题有时比 P=NP 问题更难。

来源

模糊的、主观的、有争议的——这些是人们用来描述他们按照正确的顺序排列作者的逻辑的词语。事实上，每个人都需要估计其他人应得的荣誉，同时最好不要大声说出来，因为这会在作者之间造成紧张，分散他们的研究注意力，然后以某种方式默默地同意，是的，这个顺序是有意义的。

所以我问那些拥有数百份出版物的大老板们，他们是如何解决这种情况的，从我得到的信息来看，似乎每个人都有自己的特别方法，很少有每个人都同意的事情。总的来说，我仍然没有最终的方法来分配学分，然后根据他们应得的学分来放置作者，所以如果你知道一个，请给我发消息。但至少我知道我不是唯一一个问这个问题的人，下面是一些值得一问到底的问题的答案。

ML 论文的顺序重要吗？

有点像，但以一种令人困惑的方式。基本上每个人都同意 ML 论文的第一作者是最值得的人，这个人做了大部分的工作，实验，数字，表格——他接触了所有的东西，这是他的宝贝。他不仅在提交前完成了大部分工作，而且在接受后还负责回复电子邮件、修复 bug 和开源代码。这与数学等其他学科不同，在其他学科中，顺序是按字母顺序排列的，除非放在相应的部分，否则贡献是隐藏的。

如果只有一个作者(啊，梦)，事情就简单了，但实际上，通常有 2、3、5 或 10 个其他的合著者。那么他们呢？好吧，让我们首先处理主管，也就是“为演出付钱的人”。一般来说，似乎最后一个位置是一个甜蜜点，是留给导师的，除非你的论文有几个导师。那么如果人多怎么办呢？

不同的选择。有人说最后一个是第一作者的导师，有人说你应该按辈分来对待他们，把大的放在最后。对于一些人来说，这个问题应该在主管之间私下讨论，但底线是，对于这种能力的人来说，这可能没什么关系。

不过，重要的似乎是人们对论文作者数量的看法。有人说 2 个人，5 个人，或者 50 个人——都一样，论文做好了，价值没有被稀释。对于这样的人来说，如果有一个随机的怪人出现在报纸上，因为他的笑话很有趣，嘿，他毕竟是一个好人，这其实并不重要。相反，一些人认为作者越少，每个人得到的价值越多，2-3-4 个作者是最佳数量，除非有一个大型强子对撞机来支持一些疯狂的假设。因此，取决于你属于哪个阵营，左派还是右派，要么你认为“是的，让我们邀请所有人来参加聚会”，并根据他们的贡献在中间排序，要么你认为“世界应该知道这是我们的报纸”，所以让我们非常精确地知道谁做了什么。

好了，订单很清楚了。那么，学分分配呢？

这也是一个非常有偏见的观点，但非正式地说，论文作者要么是厨师(如主管)，要么是工人(如学生)，每个人都有自己的一套职责，并因此得到分数。

对厨师来说，一系列的职责是清楚地知道应该完成什么，提供资源，协调工人，解决冲突，引导团队朝着正确的方向前进，等等。厨师被放在名单的最后，所以虽然我们可以在每个特定的案例中计算他们的积分，但他们的位置不会有太大的变化。

相反，对于工人，信用分配更加微妙。有实验，有小有大，有数字，有文字，有想法，有定理要证明，有调度，还有成吨的其他细节。天哪，当工人真不容易。很难估计哪个更重要，但这里有一个我用来粗略估计学分的启发式方法。

模型和主要实验= 40%

支持性主张和次要实验= 10%

文本和演示文稿= 15%

理论和分析= 30%

想法、时间安排、动机= 5%

当然，并不是所有的论文都有理论部分，在这种情况下，你有更多的实验，这是值得表扬的。当然，在其他情况下，这是一个定理，在这种情况下，实验只是支持它。但是你得到的思路是:把工作按桶拆分，给每个桶分配权重，得到权重之和作为每个合著者的功劳。

同样取决于你的阵营，你可以决定将一个合著者纳入论文的门槛(或者有一个正式的理由去掉那个问了太多问题的可怜家伙)。你总共得了 20%，你被录取了。你达到了 50%,获得了第一名。但更有可能的是，第一个作者完成了近 80%，剩下的将在 5 个粉丝之间分配。

最后，也许最重要的事情是你的论文被接受并被广泛引用，对于一篇论文来说，你的立场可能并不重要。随着时间的推移，在你周围建立一个值得信任的团队是非常重要的，它将无缝地解决这样的问题。所以，建立你的关系网，祝你的研究好运！

接下来该读什么？

原文：https://towardsdatascience.com/what-should-i-read-next-f02a16bec832?source=collection_archive---------41-----------------------

一个使用 surprise 的协同过滤图书推荐系统

苏珊·尹在 Unsplash 上的照片

推荐系统快速介绍

推荐系统是一个强大的工具，是亚马逊、网飞、Spotify 和许多其他成功公司的核心。它们旨在预测用户对产品或项目的评分或偏好，基于的标准包括用户搜索过的项目、过去评分较高的项目或他们喜欢的歌曲或电影。目标是向用户展示他们更有可能参与或购买的新商品。

有不同的方法来实现推荐系统。它们基本上分为基于内容的和协同过滤系统。基于内容的系统是根据项目本身的特征信息构建的。它是当你被提供“像这样的其他项目”时你所看到的。它们可能非常有用，因为用户可能喜欢与他们正在搜索的书或电影相似的另一本书或电影。这种类型的系统的一个缺点是一些人工或半人工标记是必要的。

另一方面，协同过滤系统基于用户对项目的评级。它们是通过使用用户对项目的评级集合来计算的。其背后的思想是相似的用户将有相似的偏好，并且用户有喜欢彼此相似的项目的倾向。这种类型的推荐系统可以使用两种不同的方法来计算这种相似性，我们将在这篇文章中尝试这两种方法。这种类型的系统的一个缺点是所谓的冷启动，这意味着系统需要相当数量的初始用户评级，以便能够做出良好的预测。

目前使用的最先进的推荐系统应用几种不同方法的组合来给出最准确的结果，包括自然语言处理和卷积神经网络，但在这篇文章中，我将带你通过一个简单的协同过滤推荐系统，应用一个叫做 surprise 的伟大库。

来源: KDnuggets

所以回到我手头的问题，接下来该看什么书？为了回答这个问题，我们将使用 surprise 和在 Kaggle 上找到的这个数据集构建一个简单的协同过滤推荐系统，该数据集由 53，424 个独立用户对 10，000 本书的大约 600 万个评级条目组成。除了评分数据，我们还可以访问书籍的元数据、书籍类型和其他标签，以及用户标记为“待读”的书籍。

协作过滤系统有两种不同的工作方式。基于记忆或邻域的协作过滤方法试图量化用户和项目彼此之间的相似程度，然后基于该相似性度量提供前 N 个推荐。另一方面，基于模型的方法基于这样的概念，即用户的偏好可以由少量的隐藏因素或潜在变量来确定。我们可以使用单值分解(SVD)来帮助提取这些潜在因素，帮助我们理解用户和项目之间的关系。它将我们的任务转化为一个优化问题，我们希望最小化预测中的误差。

用惊喜创造推荐系统

首先，如果你没有惊喜，你需要安装它。这就像在您的终端上运行pip install surprise一样简单。惊喜带有两个内置数据集，便于练习，但也支持使用您自己的自定义数据(注意，它不支持隐式评级或基于内容的信息)。我们将加载我们的数据，在我们为建模做准备并开始该任务之前，我们必须进行一些数据探索和分析。人们应该在一般的数据分布中寻找空值、异常值等等。

我加载了评级数据集和图书元数据。我们的评分数据没有空值，每个用户的评分分布接近正常，每个用户的平均评分数为 111.87 本书，每个用户评分的中位数为 111 本书。

另一方面，每本书的收视率分布，正如这类问题所预期的那样，是一种长尾分布。少数几本书很受欢迎，收视率很高，而大多数书的收视率较低。每本书的平均评分数和中值评分数之间的差异(分别为 597.65 248)证实了这一点。这就是为什么推荐系统如此重要和有用的原因！帮助用户发现那些不太受欢迎的书，如果他们知道这些书，他们肯定会喜欢的。

这本书的评分从 1 到 5 不等。我想知道 Goodreads 用户在他们的评级中有多挑剔。让我们看看收视率分布是否不平衡。

该图显示，用户在评分方面相当慷慨，很少有书被评为低评分。看起来他们的书友会运气不错！

数据科学家将在数据探索和分析上花费更多的时间，但是为了这篇文章的简洁，我们将继续从建模开始。要想惊喜地使用我们的数据，我们需要将其加载到正确的格式中。您需要用您的评级标准定义一个阅读器，并通过正确的列加载您的数据。

# define reader
reader = Reader(rating_scale=(1, 5))# load dataframe into correct format for surprise library
data = Dataset.load_from_df(ratings[['user_id', 'book_id', 'rating']], reader)

接下来，我们将数据分成训练集和测试集，以评估我们的模型并避免数据泄漏。我正在分离 20%的数据进行测试。

# Split into train and test set
trainset, testset = train_test_split(data, test_size=0.2, random_state=0)

您可以检查数据中用户和项目的总数。

# confirm number of items and users in data
print('Number of users: ', trainset.n_users, '\n')
print('Number of items: ', trainset.n_items, '\n')Number of users:  53424 

Number of items:  10000

基于记忆或邻域的方法

我们将开始尝试一种基于邻域的方法。由于我们的用户比条目多，我们将通过计算条目间的相似性来解决这个问题。另一种选择是计算用户之间的相似性。我们可以使用不同的度量来计算相似性，我们知道不同的度量会产生不同的结果。我将尝试使用两个相似性度量标准——余弦相似性和皮尔逊相关性——以及来自 surprise library 的基本 KNN 模型，看看哪一个性能更好。我们将使用均方根误差(RSME)作为我们的评估指标。

# define a cosine metric for item-item
sim_cos = {'name':'cosine', 'user_based':False}# define and fit a basic KNN model with a cosine metric
basic = knns.KNNBasic(sim_options=sim_cos)
basic.fit(trainset)# make predictions
predictions = basic.test(testset)# check accuracy
accuracy.rmse(predictions)RMSE: 0.8827

现在，我们将使用皮尔逊相关相似性度量进行同样的操作。

# define fit and evaluate a KNN basic model with pearson correlation metric
sim_pearson = {'name':'pearson', 'user_based':False}
basic_pearson = knns.KNNBasic(sim_options=sim_pearson)
basic_pearson.fit(trainset)
predictions = basic_pearson.test(testset)
accuracy.rmse(predictions)RMSE: 0.8724

太好了，皮尔逊相关性似乎对我们的数据更有帮助。我们还可以尝试使用其他更先进的模型:KNN 均值模型，它考虑了每个项目的平均评级，以及 KNN 基线模型，它考虑了基线评级(全局均值)。让我们看看他们的表现。

# KNN with means model
sim_pearson = {'name':'pearson', 'user_based':False}
knn_baseline = knns.KNNWithMeans(sim_options=sim_pearson)
knn_baseline.fit(trainset)
predictions = knn_baseline.test(testset)
accuracy.rmse(predictions)RMSE: 0.8406# KNN baseline model
sim_pearson_baseline = {'name': 'pearson_baseline','user_based':False}#'shrinkage':50, 'min_support':5, 
knn_baseline = knns.KNNBaseline(sim_options=sim_pearson)
knn_baseline.fit(trainset)
predictions = knn_baseline.test(testset)
accuracy.rmse(predictions)RMSE: 0.8371

基于模型的协作过滤

现在让我们尝试一种不同的方法，一种基于矩阵分解的方法，带有基于模型的协作过滤，看看它是否能更好地处理我们的数据。

# define a base singular value decomposition model
svd = SVD()# fit and test algorithm
predictions = svd.fit(trainset).test(testset)# evaluate model
print(accuracy.rmse(predictions))RMSE: 0.8306

raw_ratings = data.raw_ratings# shuffle ratings
random.shuffle(raw_ratings)# A = 90% of the data, B = 20% of the data
threshold = int(.8 * len(raw_ratings))
A_raw_ratings = raw_ratings[:threshold]
B_raw_ratings = raw_ratings[threshold:]data.raw_ratings = A_raw_ratings  # data is now the set A# define parameter grid and fit gridsearch on set A data
param_grid = {'n_epochs': [5, 10], 'lr_all': [0.002, 0.005]}
grid_search = GridSearchCV(SVD, param_grid, measures=['rmse'], cv=3)
grid_search.fit(data)best_svd = grid_search.best_estimator['rmse']# retrain on the whole set A
trainset = data.build_full_trainset()
best_svd.fit(trainset)# Compute biased accuracy on A
predictions = best_svd.test(trainset.build_testset())accuracy.rmse(predictions)RMSE: 0.7786# Compute unbiased accuracy on B
testset = data.construct_testset(B_raw_ratings)  # testset is now the set B
predictions = best_svd.test(testset)
print('Unbiased accuracy on B,', end=' ')
accuracy.rmse(predictions)Unbiased accuracy on B, RMSE: 0.7924

这是一些很好的改进。我们现在可以使用这个模型为新用户做预测，并为每个用户推荐 N 个商品。令人惊讶的文档向我们展示了如何使用我们最好的模型来做到这一点。

如果你有兴趣查看这篇文章所基于的全部代码，你可以在 Github 上找到它 。

哪些 SQL 课程没有让我们为真实世界的数据集做好准备

原文：https://towardsdatascience.com/what-sql-course-didnt-prepare-you-for-real-world-datasets-4a31da8bc150?source=collection_archive---------58-----------------------

从商业角度使用 SQL 进行快速数据验证的指南

在您的数据职业生涯中，您可能听说过 SQL，或者对它进行了深入的研究，以至于了解了一切，甚至掌握了表连接的概念。

当你进入真实世界的数据集时，惊喜就来了。大多数时候它们并不干净，到处都有丢失的值和重复的记录。无论我们身处哪个行业，我们都经历过这种情况——花大量时间调查违规行为，只是为了发现底层数据是罪魁祸首。

尽管有这些挑战，我们所经历的大多数 SQL 课程倾向于用干净的数据集来教导我们，而很少给我们这种现实的指导。

布鲁克·卡吉尔在 Unsplash 上的照片

鉴于我们角色的一个方面是确保业务决策基于一天结束时的准确分析和上述挑战，进行数据检查和验证无疑是现实世界数据集不应忽视的基本概念之一。它与决定任何分析和随后的商业决策成败的质量有关。

现在，您已经掌握了 SQL 技能，让我们看看如何将 SQL(及其带来的逻辑)和业务视角结合在一起的一些基本想法，以告知我们如何在任何分析之前执行数据检查和验证。

首先，让我们设置一些零售业务的背景

照片由 Mehrad Vosoughi 在 Unsplash 上拍摄

在数据世界中，通常被认为等同于你在货架上看到的产品的东西或多或少是一个产品表。

如果我们仔细看看产品表，它通常包含产品 ID(也称为产品条形码)和相关信息，如产品描述和产品类别，当然数据字典对于查看使每个数据行彼此唯一的关键字段非常有用。然而，在现实中，如果获得它很困难，并且您在时间上很紧张，该怎么办呢？

最终，我们需要确保数据的准确性，一个快捷的方法是检查产品记录中是否有重复。为此，我们根据经验推测 product_id 是关键字段，并使用 COUNT()和 COUNT(DISTINCT)如下:

**SELECT** **COUNT**(product_id), **COUNT**(**DISTINCT** product_id) **FROM** product;

如果我们的猜测是正确的，我们应该期望两个数字相等，因为这意味着没有重复，并且每一行都是唯一的。

在现实世界中，我们希望使用这个经过验证的表进行连接，并对主要的客户交易进行进一步的数据分析，例如，查看给定客户交易中的产品类型。为了完整起见，我们还假设希望保留交易表中的所有记录，以查看是否有任何交易产品没有记录在产品表中。然后，在连接之后，可以在结果表上扩展上面相同的验证概念，如下面的 SQL 所示。理想情况下，计数应该是相同的，假设列 transaction_id 对于事务表中的所有行都是唯一的。

**SELECT **  **COUNT**(*), **COUNT**(**DISTINCT** t.transaction_id)
**FROM**     transaction t
         **LEFT JOIN** product p
         **ON** t.product_id = p.product_id;

但是如果这些数字不一样呢？

首先，不要妄下结论说数据是错误的，这背后可能有一些商业原因。也许您正在处理的产品表基于全球产品目录，这意味着可能有一种产品以相同的条形码(或产品 ID)在不同的国家销售，或者零售商只是简单地回收了他们的内部产品条形码，等等。

照片由粘土银行在 Unsplash 上拍摄

我们先来看看全球产品目录的案例…

处理大型数据集可能涉及到可以用自然分割线分隔的部分。对于全球或区域参与者，不同的市场可能是一个天然的分割线，我们可以使用它来分离数据集以进行不同的分析。有时，产品表作为包含所有市场中产品列表的单个表出现。在这种情况下，我们需要添加另一列来指示要测试的市场，我们的 SQL 现在将是:

**SELECT **  market
         , **COUNT**(product_id)
         , **COUNT**(**DISTINCT** product_id) 
**FROM**     product
**GROUP BY** market;

如果这为我们提供了每个市场的相同计数，那么您就已经成功了——产品表是按产品条形码和市场排列的。还要记住，在将该表联接回主客户事务以进行分析时，现在列 product_id 和 market 都是必需的，因此联接时可能如下所示:

**SELECT **  *
**FROM**     transaction t
         **LEFT JOIN** product p
         **ON** t.product_id = p.product_id
         **AND** t.market = p.market;

如果数字仍然不相等，那么您需要查看其他列，并开始假设使每个数据行唯一的其他可能的字段。我希望你明白我的意思，这是关于观察数据，反复建立一个假设并测试它。

数据验证是一个迭代过程。它从设定一个假设开始，然后检验它。如果测试失败，应考虑额外的信息，并将结果反馈到更新的假设和后续测试中。(图片由作者提供)

现在我们来看第二个例子，一家零售商回收了他们的内部产品条形码…

有些人可能想知道这是怎么发生的。根据我的经验，一些零售商有他们所谓的“条形码回收”,这对于私人管理的产品来说很常见。想想看，当你购买一个羊角面包或超市自己制作的熟食时，没有所有超市都同意的通用产品条形码，因为它是在商店内制作的，而不是像国家品牌产品那样由通用的第三方供应商制造的。

通产省在 Unsplash 上拍摄的照片

一段时间后，您可能会看到这些条形码被重新用于另一种产品，主要是为了提高运营灵活性或避免额外的上市费用。这也是产品表中同一条形码下有 2 个本质不同产品条目的原因之一。

在这种情况下，我们想知道的是这些条形码生效的时间段，因为这使我们能够区分两个重复的条形码。同时，这为数据库设计带来了一些改进的机会，可以引入缓慢变化的维度——但这值得单独讲述。

回到这个话题，假设您现在有了重复产品条形码生效的时间段，如下所示。

该表显示了两个不同产品的两个记录的示例，这两个记录共享随着时间的推移被回收的相同产品条形码。有效时间段列显示每个应用的时间段。(图片由作者提供)

实现 SQL 验证的方式可能如下所示。这时，您假设使每一行唯一的是产品条形码、有效开始日期和有效结束日期的组合。

**SELECT **  **COUNT**(*)
         , **COUNT**(**DISTINCT** product_id + effective_start_date +
           effective_end_date)
**FROM**     product;

检查计数是否相等后，如何将经过验证的产品表联接回客户事务表，如下所示。

**SELECT **  **COUNT**(*)
         , **COUNT**(**DISTINCT** transaction_id)
**FROM**     transaction t
         **LEFT JOIN** product p
         **ON** t.product_id = p.product_id
**WHERE**    t.transaction_date
         **BETWEEN** p.effective_start_date **AND** p.effective_end_date

请注意，现在我们需要在 WHERE 语句中添加一个时间段条件，以确保为具有回收条形码的产品提取正确的产品信息，并且计数应该始终相等，否则这表明回收产品存在重叠的有效时间段，我们需要在开始分析之前纠正这一点。

总结一下…

进行数据检查和验证是我们一切工作的基础。它与准确的业务决策背后的数据和分析质量直接相关。同时，不要在没有充分考虑背后的商业原因的情况下，仅仅因为验证是这样说的，就妄下结论说数据是错误的。

尽管本文并不打算面面俱到，但我希望给出的几个示例能或多或少地阐明 SQL 或通过 SQL 显示的逻辑可以与业务角度结合使用来处理真实数据集的可能领域。

学校教给我们什么故事？

原文：https://towardsdatascience.com/what-stories-do-schools-teach-us-43069c6dc040?source=collection_archive---------46-----------------------

公共核心英语课程的统计分析

自教育倡议于 2010 年启动以来，共同核心州标准已经决定了全国公立学校的课程。特别是，这些指南已经整理了小学、初中和高中的图书馆书架，通过精心挑选的不到 80 本推荐书籍，有效地塑造了未来的领导者和书虫。

作为书籍和数据新闻的爱好者，我受到启发，尝试“按数字”看待这些共同的核心标准。考虑的因素包括一本书作者的性别、出版日期以及基于 Goodreads 评论数据的受欢迎程度。

这些标题的完整列表可以在PDF中找到，也可以通过本文底部的交互式表格找到。我还制作了最终的数据集，用于生成可用的分析和可视化这里。

性别

在这七年的教育中，共同核心标准推荐学生阅读 38 种特定的文本。在这份名单中，26%的书是由女性写的(10/38)，74%的书是由男性写的(28/38)。

图片作者:斯潘塞·迪恩

当只考虑信息文本时，这种性别差异变得更加明显，这些信息文本包括原始资料和历史文献，如“弗雷德里克·道格拉斯的生活叙事”或亚伯拉罕·林肯的“葛底斯堡演说”在所有的信息文本中，只有一篇是女性写的——安·皮特里的《哈丽雅特·塔布曼:地下铁路的售票员》

反之，文学类内的比例更为均匀。 12 课文是男人写的，而 8 是女人写的。

图片作者:斯潘塞·迪恩

出版日期

接下来，我检查了推荐文本是什么时候写的。下面的可视化显示了一个时间线，其中书籍被分成 50 年的跨度。如图所示，公共核心课程中的大多数题目都是在 19 世纪或 20 世纪编写的。出版日期的中间值是 1920 年(T0)和 1920 年(T1)，尽管如果忽略《麦克白》(1592)的异常值，这个中间值会上升到 1925 年(T3)，正好是司各特·菲茨杰拉德出版《了不起的盖茨比》的那一年

这张图表也显示了更多的书籍是如何从特定的历史重要时代中挑选出来的。例如，三个信息文本围绕美国独立战争(1775-1783)的日期聚集在一起。

完整的 38 本书中，只有一本出版于 21 世纪:裘帕·拉希莉 2003 年的小说《同名》

图片作者:斯潘塞·迪恩

流行

由于每年全国的学生都被分配这些相同的书籍，有些比其他的更能激发热情，我很好奇这些课程的重点到底有多受欢迎。为了这个任务，我求助于 Goodreads ，这是一个由用户生成评论和评级的在线图书数据库。

注:由于 Goodreads 数据缺失，9 篇文章(包括一些文章和演讲记录)被排除在本次分析之外。

平均而言，Goodreads 用户对普通核心书籍的评分为 4.02 分(5 颗星中的 4.02 分)。榜单上最受欢迎的标题是马丁·路德·金的《来自伯明翰监狱的信》，排名 4.53 位。最不受欢迎的是劳伦斯·耶普 1975 年的小说《龙翼》，在 3500 多条用户评论中，这部小说平均获得了 3.53 颗星。

讨论和方法

尽管确切的英语语言艺术课程在不同的学区有所不同，但从这份建议清单中仍然可以得出一些值得注意的结论，该清单声称“让所有学生在高中毕业时为大学、职业和生活的成功做好准备”很明显，虽然似乎做出了一些努力来呈现更多样化的观点(从莎士比亚到艾米莉·狄金森，再到洛林·汉斯贝里)，但女性撰写的故事和历史在共同核心目录中的代表性不成比例，特别是在信息类文本中。

学校总是可以在他们选择教授的角度上争取更多的多样性。这一目标的重要性不仅体现在性别上，还体现在种族、性和国籍等话题上。关于多元文化和国际文学，通过儿童书籍教学中心主任横田顺子写道:“很明显，多元文化文学可以而且应该成为学生学习的核心，精心挑选的高质量文学可以对学生的自我意识和他人意识产生影响。"

熟悉这份名单上的作者表明，大多数文本是由美国白人写的，但具体数字需要用更详细的数据集进行另一次分析。

对于我使用的数据集，信息首先直接从公共核心网站中提取，然后在 Excel 中进行清理和预处理，最后通过独立研究添加新字段(主要是在互联网上搜索作者简历和维基百科页面)。所有图表都是用 DataWrapper 和 Adobe XD 制作的。