正如你现在所知道的，我在 4 周内完成了两个任务(15 个实验)(不包括我的假期:-)。我发现这是一个有利的成本效益，正如已经提到的；也许你很幸运，通过你的人工智能社区获得一些免费积分。

Qwiklabs 并不是在线课程和动手实验的唯一提供商。Coursera 也在提供关于人工智能主题的各种课程，这些课程来自斯坦福大学和约翰霍普金斯大学。

我要说的是。你不必等待你的公司给你下一个 3000 到 20000 美元的人工智能教育。你现在就可以开始，每月不到 100 美元，就可以获得高质量和有用的培训。如果你对人工智能感兴趣，现在就开始动手吧。甚至可能会很有趣。

兔子洞的另一边见。

Photo by Micaela Parente on Unsplash

从头开始在 Excel 中进行简单的指数*滑

原文：https://towardsdatascience.com/diy-simple-exponential-smoothing-with-excel-df4b8728e19e?source=collection_archive---------31-----------------------

下面这篇文章摘自我的《供应链预测的数据科学》一书，这里有。你可以在这里* 找到我的其他出版物 。我也活跃在LinkedIn*。

这篇文章是另一篇关于简单指数*滑理论介绍的文章的后续。你可以在这里找到**。你可以在这里 找到关于如何用 python 制作相同模型的类似文章。**

自己动手——用 Excel 进行简单的指数*滑

在本文中，您将在 excel 中实现一个简单的指数*滑预测模型。

1.我们从创建三列开始数据表:

• 栏 A 上的日期
• 对栏 B** 的需求**
• 对栏 C** 的预测**

2.接下来，让我们添加一个带有 alpha 的单元格(在我们的例子中是 F1 )。别忘了明确指出这个单元格是 alpha。

3.完成后，您可以将第一个预测(单元格 C2 )初始化为第一个需求(单元格 B2 )。我们在这里使用了虚拟值。

4.我们现在可以填充我们的预测；截至单元格 C3 ，我们可以使用这个公式:

5.要继续我们的预测，直到历史时期结束，我们可以简单地拖动这个公式，直到表的末尾。

6.所有未来预测(即，历史期间之外的预测)将简单地等同于基于历史需求的最后一次预测(如下所示)。

已经这样了。你可以在我的博客这里或者我的书这里找到更高级的型号。

也可以在 python 中实现简单的指数*滑( 此处 )。

关于作者

** [## Nicolas vande put——顾问，创始人——供应链| LinkedIn

查看 Nicolas Vandeput 在世界上最大的职业社区 LinkedIn 上的个人资料。尼古拉斯有 7 份工作列在…

www.linkedin.com](https://www.linkedin.com/in/vandeputnicolas/)

icolas Vandeput 是一名供应链数据科学家，擅长需求预测和库存优化。他在 2016 年创立了自己的咨询公司 SupChains ，并在 2018 年共同创立了 SKU 科学——一个快速、简单、实惠的需求预测*台。尼古拉斯对教育充满热情，他既是一个狂热的学习者，也喜欢在大学教学:自 2014 年以来，他一直在比利时布鲁塞尔为硕士学生教授预测和库存优化。自 2020 年以来，他还在法国巴黎的 CentraleSupelec 教授这两个科目。他于 2018 年出版了 供应链预测的数据科学(2021 年第 2 版)和 2020 年出版了 库存优化:模型与模拟 。

**

Python 中的简单指数*滑从头开始

原文：https://towardsdatascience.com/diy-simple-exponential-smoothing-with-python-dbb570d30fb5?source=collection_archive---------20-----------------------

下面这篇文章摘自我的《供应链预测的数据科学》一书，这里有。你可以在这里* 找到我的其他出版物 。我也活跃在LinkedIn*。

这篇文章是另一篇关于简单指数*滑理论介绍的文章的后续。你可以在这里找到**。你可以在这里 找到关于如何用 Python 制作相同模型的类似文章。**

自己动手——用 Python 实现简单的指数*滑

简单*滑函数

我们将定义一个函数 simple_exp_smooth ，它将一个时间序列 d 作为输入，并返回一个 pandas DataFrame df ，其中包含历史需求、预测和误差。该函数还将 extra_periods 作为输入，即需要预测未来的周期数。最后一个输入是 alpha 参数。

**def simple_exp_smooth(d,extra_periods=1,alpha=0.4):  
  d = np.array(d)  # Transform the input into a numpy array    cols = len(d)  # Historical period length    d = np.append(d,[np.nan]*extra_periods)  # Append np.nan into the demand array to cover future periods    f = np.full(cols+extra_periods,np.nan)  # Forecast array    f[1] = d[0]  # initialization of first forecast    # Create all the t+1 forecasts until end of historical period    for t in range(2,cols+1):      f[t] = alpha*d[t-1]+(1-alpha)*f[t-1]  
  f[cols+1:] = f[t]  # Forecast for all extra periods  
  df = pd.DataFrame.from_dict({"Demand":d,"Forecast":f,"Error":d-f})**

玩弄我们的功能

然后，我们可以简单地调用我们的函数(这里有一个虚拟需求时间序列):

**import numpy as np 
import pandas as pdd=[28,19,18,13,19,16,19,18,13,16,16,11,18,15,13,15,13,11,13,10,12]df = simple_exp_smooth(d,extra_periods=4)**

您还可以使用简单的命令快速获得预测准确性，如下所示。看我之前的文章关于 KPI 看看哪个最适合你的情况。

**MAE = df["Error"].abs().mean() print("MAE:",round(MAE,2)) RMSE = np.sqrt((df["Error"]**2).mean())print("RMSE:",round(RMSE,2))**

您应该会得到以下结果:

**MAE: 2.74RMSE: 3.89**

另一个令人兴奋的步骤是绘制结果来分析模型的行为。

**df.index.name = "Periods"df[["Demand","Forecast"]].plot(figsize=(8,3),title="Simple Smoothing",ylim=(0,30),style=["-","--"])**

你应该得到一个类似下图的数字。

关于作者

** [## Nicolas vande put——顾问，创始人——供应链| LinkedIn

查看 Nicolas Vandeput 在世界上最大的职业社区 LinkedIn 上的个人资料。尼古拉斯有 7 份工作列在…

www.linkedin.com](https://www.linkedin.com/in/vandeputnicolas/)

icolas Vandeput 是一名供应链数据科学家，擅长需求预测和库存优化。他在 2016 年创立了自己的咨询公司 SupChains ，并在 2018 年共同创立了 SKU 科学——一个快速、简单、实惠的需求预测*台。尼古拉斯对教育充满热情，他既是一个狂热的学习者，也喜欢在大学教学:自 2014 年以来，他一直在比利时布鲁塞尔为硕士学生教授预测和库存优化。自 2020 年以来，他还在法国巴黎的 CentraleSupelec 教授这两个科目。他于 2018 年出版了 供应链预测的数据科学(2021 年第 2 版)和 2020 年出版了 库存优化:模型与模拟 。

**

姜戈还是弗拉斯克？根据我的经验推荐。

原文：https://towardsdatascience.com/django-or-flask-recommendation-from-my-experience-60257b6b7ca6?source=collection_archive---------11-----------------------

以我的经验来看，用 Python 驱动数据应用的一个常见问题是不知道用什么工具做什么工作。我认为不用说，在工作中使用正确的工具是我们所做工作的很大一部分。当你可以从任何地方开始时，很难知道从哪里开始。但是，我一遍又一遍的看到这个问题:“我应该学烧瓶还是 Django？“简短的回答是

两者

但为什么我会建议两者都了解呢？Flask 和 Django 只是 Python 的 web APIs，对吧？Flask 有什么优势，用 Django 代替有什么优势？事实是，在很多方面，它们经常被用于非常不同的目的。虽然他们肯定会时不时地越线。

姜戈

我们都听说过地球上一些最大的网站使用 Django 的疯狂故事。这是有充分理由的，因为 Django 不仅受人尊敬，而且使用起来也非常方便。Django 的优势在于它要实现的目标。Django 非常适合用 Python 构建完整的 web 应用程序。虽然你当然可以用 Django 做一些底层的事情，但我认为对很多人来说，Django 的闪光点在于快速开发和 Django 的授权/许可系统，它被嵌入到包中。

Django 不仅使项目管理变得容易，还意味着启动变得更加容易。您的应用程序将需要的许多东西都被嵌入到您的 Django start-project 命令中。

瓶

Flask 绝对是数据迷和数据科学家的热门选择。烧瓶是两者中较轻的一个。Flask 经常对网站的大部分内容采取“从头构建”的方式。虽然这使得全面的网络应用程序开发起来有点困难，但它也带来了 Flask 的强大功能，以及两者之间的一个非常大的区别。

烧瓶很轻。这使得 Flask 成为端点定位、查询和流水线的最佳选择。许多数据科学专注于构建复杂的算法和 ROC/AUC，但数据科学最受欢迎和最被忽视的一面是 数据流 。

对于数据科学家来说，能够读取、操作和查询数据是非常有价值的。Flask 使 http 请求的转储变得非常容易，有效地构建了供您整个时间使用的端点。

在我看来，虽然 Flask 肯定可以做 Django 能做的几乎所有事情，但 Flask 在这个特定的用途上仍然更好，Django 比另一个更好。

那么…为什么两者都有？

在我们的数据科学之旅中，终端和数据基础设施可能比您想象的更有价值。尽管 ML 中确实有令人兴奋的新进展，但首先需要基础设施来获得这样的模型。

就我个人而言，我喜欢在需要的时候使用所有我能使用的工具。我喜欢在 Flask 开发，就像我喜欢在 Django 开发一样。如果我需要响应一个 http 查询，我会直接进入基于 Flask 的应用程序。如果我要建立下一个脸书，或者一个论坛网站，我肯定会使用 Django。

如果你必须选择一个:

如果你完全不反对使用两者，或者如果你想知道从哪里开始，答案肯定是 Flask。虽然 Django 是构建一些非常酷的应用程序的一个很棒的包，但我发现我经常使用 Flask。

对于典型的 DS 相关工作，我认为 Flask 做得非常出色。Flask 很有用，因为它更容易启动和运行，没有 Django 会向您左右扔来的所有令人困惑的“扩展”。并不是说这些都是负面的，但是编辑 Django 保存的文件路径来稍微改变你的项目对于初学者来说肯定是令人畏惧的。Flask 使你的函数路由和创建结果变得容易，没有麻烦。

尽管你肯定可以选择 Flask 或 Django 中的任何一个，并在创造中获得成功——嗯，很多事情，但他们肯定都有自己的优点和缺点。两者都是绝对强大的，让它们互相对抗是没有意义的。Flask 和 Django 拥有无与伦比的力量，可以将我们的数学和算法带到任何地方。

DMAIC 数据科学奖

原文：https://towardsdatascience.com/dmaic-for-data-science-65b84f714886?source=collection_archive---------20-----------------------

如何构建您的数据科学项目来创造商业价值

View from Quandary Peak Summit

数据科学家的工作是分析数据以提取可操作的见解。

分析数据可能很容易，但是可操作的见解呢？虽然我们可以制作漂亮的图表和图形，这真的很酷，但我们如何才能真正证明它们提供了商业价值呢？

为了取得成功，我们必须学会将数据科学任务构建为一个业务问题，并定义我们如何增加价值。

当我被邀请为一个潜在的数据项目提供咨询时，我真的开始思考这个问题。我对他们正在做的事情感到兴奋，但我不确定如何将真正酷的想法变成可操作的产品，交付给最终用户。

在研究如何创建有价值的数据产品时，我发现了 DMAIC。

DMAIC

我们可以使用数据驱动的问题解决方法 DMAIC 来思考我们如何使用数据来创造价值和改进流程。

DMAIC 是定义、测量、分析、改进和控制的首字母缩写。这是交付可持续和可量化成果的指导方针。

它是一个精确的数据科学发展过程吗？大概不会。但是我发现思考一下你什么时候想展示你的分析为什么有价值是很有帮助的。

规定

定义问题。

可以说，这是最重要的一步。如果我们能够在深入任何探索性分析、特性工程或建模之前预先定义问题，它将帮助我们看到真正的机会，并以有意义的方式将其框定。为了真正提供价值，从提高客户满意度的角度来考虑会有所帮助。

我们需要问自己一些重要的问题来为我们的项目建立最终目标和商业案例。这些问题对于确立焦点也很重要:我们需要能够创建一个可操作的产品并按时交付结果。

问题应包括:

• 有什么问题？
• 潜在的好处在哪里？
• 我们想要影响哪些指标？
• 我们计划如何影响这些指标？
• 是我们不关心的指标。
• 对一些指标产生负面影响可以吗？如果是，增加多少？

措施

测量当前基线。

这一步涉及到数据收集:从哪里获得数据以及我们需要多少数据是这里要考虑的要点。数据质量也很重要。

你将如何比较项目结束时和开始时的数据？

两个重点:缩短交付时间和提高质量。这里可能要问的问题包括:

• 我们当前的流程表现如何？
• 我们需要什么信息？
• 我们将如何收集数据？
• 哪些因素会影响我们的指标？

分析

分析数据。

最后是数据科学部分！在这一步中，我们可以调整正常的数据科学工作流程。

询问当前绩效与目标之间的差距。

• 我们如何改进目前的产品？
• 我们如何将数据可视化？

改善

改进项目并实施解决方案。

这是迭代步骤。我们如何改进当前流程来提高您的目标？我们如何更好地分析最后一步，以改进我们之前定义的指标？

在这一步中，我们还确定、测试和实施问题的解决方案。如果有明显的解决方法，就专注于它。不要过度复杂化！

控制

控制改进:让改变持续下去。

这是我们实施和监控产品的最后阶段。

记录您的流程。实施监控计划。

• 我们如何监控成功？
• 如果性能下降，我们该怎么办？

假设的例子

让我们通过一个假设的情况来看看我们如何使用 DMAIC 来确定我们作为数据科学家如何增加价值。

我们将基于过去的比赛场景: Kaggle 的 Quora 不真诚问题分类并假设我们在 Quora 作为数据科学团队工作。

作为一个快速后台，Quora 是一个问答网站。有时人们会不怀好意地提问:试图激怒或冒犯其他用户。这显然是不好的，所以我们需要过滤掉那些不真诚的问题，不要让它们被张贴出来。

让我们想象一个假设和基本的当前流程:有一个分析师团队，他们手动审查每个问题。如果他们决定一个问题是真诚的，它将被发布到网上，否则它将被标记为不真诚，并被排除在网站之外。

这个过程听起来非常耗费人力、时间和效率。作为数据科学团队，我们建议创建一个机器学习模型来改善当前的流程。

在思考我们假设的问题时:

从高层次来说，Quora 问题的问题在于，有些人会问一些被认为有毒的问题。有毒的问题令人心烦意乱，令人不快。它们可能会导致服务使用率下降和客户满意度降低。因此，我们需要一个系统来标记和消除这些问题。

当前手动标记的解决方案可以工作，但是效率不高。由于我们是数据科学家，我们想利用机器学习创建一个新系统。

因此，我们定义了我们的主要目标:使用机器学习来识别和标记不真诚的问题。

我们假设当前基线涉及问题的手动标记。虽然这非常耗时且低效，但却有效且准确。

我们建议的解决方案需要更快，但也要保持当前手动方法的准确性。我们需要一种方法来测量的准确度。比赛使用了 F1 的分数，所以我们也可以用它作为我们的主要指标。我们还可以测量分析师的工作时间，以监控效率的提高。

接下来的步骤是分析和改进。在这里，我们将通过正常的数据科学流程来创建和改进一个模型，以过滤掉有害的问题。

最后，我们对我们的结果感到满意，因此我们实施了更改并进入了控制阶段。我们监控我们的解决方案并跟踪改进情况。

如果性能下降，我们可以计划回去重新分析新数据。所提问题的类型或措辞方式有变化吗？如果是这样，我们可能需要更新我们的模型。

结论

DMAIC 是增加我们数据科学工具箱的一个有用工具。

这对于从业务领导者和利益相关者关心的角度来构建数据科学问题，以及确保我们保持正轨并努力创建有用的数据产品非常有用。

DNA 搜索-与 argparse 的命令行接口

原文：https://towardsdatascience.com/dna-search-command-line-interfaces-with-argparse-8b11c0862495?source=collection_archive---------21-----------------------

寻找小 DNA 片段

National Cancer Institute via Unsplash

命令行与 argparse 接口

在生物信息学中，经常需要在命令行上运行我们的程序。幸运的是，Python 的 argparse 模块——标准库的一部分——使这变得很容易。

Python 有一系列有用的库，使得构建用户界面变得容易。通常，当我们想到用户界面时，脑海中浮现的是图形点击界面。然而，用户界面是允许用户与程序交互的任何东西，包括命令行界面——这是本文的重点。

为了介绍 argparse，我将构建一个小程序来搜索用户输入的特定小段 DNA。程序将搜索的这些小段 DNA 被称为限制酶位点，即长度在 4-6 个字符之间的小 Python 字符串。这个程序将搜索细菌的基因组，看看它们出现的频率！

入门

该计划有两个明确的目的:

1. 向用户提供信息，例如当程序崩溃时提供有用的信息。
2. 要灵活。该程序应该能够通过改变命令行参数来搜索用户选择的任何 DNA。

首先，导入 argparse 模块并创建 ArgumentParser 对象:

这不是必须的，但是我发现使用描述关键字参数提供一个描述性的字符串很有帮助。当程序稍后在命令行中调用帮助时，将提供 python 程序的描述性概述。如果有多个用户，并且程序运行之间有时间间隔，这可能是有用的。

接下来，我们通过调用 add_argument()方法来告诉参数解析器对象预期的参数。一旦添加了所有的参数，我们可以告诉它通过调用 parse_args()方法来解析命令行参数。

add_argument()方法添加了三个参数。此外，还增加了其他各种可选参数，如 help=，type=，choice=，default= ect 。

这就是 argparse 模块真正发挥作用的地方。

短参数和长参数分别用单连字符(-)或双连字符(—)指定。这意味着，在终端的命令行上，当程序运行时，参数可以用简写方式表示，输入文件名用-i 表示，或者用简写方式表示，输入文件名用 input _ filename 表示。长短参数的另一个好处是它们可以在命令行中以任何顺序表达！

混合匹配排列中的短参数和长参数如下所示。

我们可以通过使用 help 关键字参数调用 add_argument()来使帮助文本变得更好。当程序在没有命令行参数的情况下运行时，会出现三个参数的有用帮助文本(以黄色突出显示):

自定义验证

parser.add_argument 方法中的 type=参数接受 Python 函数的名称

类型参数引用一个函数，例如—输入文件名由名为 file_check 的函数检查。下面显示的这个函数检查文件是否确实存在。

最后，choice 和 nargs 参数意味着用户可以选择选择列表中的任何元素。因为用户可以选择多个参数，所以 nargs 参数是必需的，并且指定了一个星号。

最后，现在已经添加了所有参数和用于输入验证的函数，可以编写一个小脚本了。我先写一个小字典，里面的限制酶名称是键，限制酶识别的对应序列是它们的值。

为了完整起见，我在 restriciton _ enzyme _ dict 字典中包含了这个程序所需的模块。

用户指定的参数以 args 为前缀，后跟其输入名称。

首先打开 DNA 文件，并使用。read()方法。接下来，迭代用户指定的模式。模式代表一个限制酶，是上面字典中显示的关键字，例如 EcoRI 是字典中的关键字；restriction_enzyme_dict，它的值是‘GAATTC’，即它在任何 DNA 样本中识别的序列。

对于每种限制性内切酶，我用。get()方法。它的价值在于它在基因组中识别的序列。正则表达式 re.findall 查找 DNA 中所有出现的序列，并将这些序列附加到结果列表中。

使用集合将结果列表转换为特殊的字典。Counter 方法()，用于计算找到一个唯一序列的次数。

最后，这本由 collections 创建的新词典。可以迭代名为 restriction_sites_dict 的计数器，如果序列超过用户指定的计数，则打印一条消息，告诉用户它被找到了多少次及其序列。

要查看程序的运行情况，让我们运行几个测试示例！

输出示例如下所示:

在这里，我使用 p 标志(p 标志对应于用户指定的模式)搜索了三种限制性内切酶，-p HindIII、EcoRI 和 KpnI。在第一次运行时，我没有指定计数。之前，在 count_no 的 add_argument 中，我将一个有用的默认值设置为 0。

当我再次运行程序时，计数阈值为 500，程序通知我 HindIII 站点低于我指定的 500 阈值。

这个程序运行良好。结果很快返回，并且已经搜索了大肠杆菌的整个基因组内的限制酶位点！非常酷(这个 Fasta 文件是从 NCBI 获得的)，但是在我们的命令行中，我们可以通过指定它们各自的文件名，轻松地选择搜索其他细菌基因组。

最后，阐述一下先前的意图将是有益的。具体来说，该计划被设计得非常灵活。如果用户添加了不正确的限制性内切酶，比如 FakeEnzyme，会发生什么？

让我们运行程序来找出答案。

我突出显示了有用的错误消息，如果用户输入了错误的选项，它会提示用户从提供的选择列表中进行选择。

摘要

这个简短的教程展示了如何将命令行界面添加到程序中。幸运的是，Python 提供了构建接口的有用库，argparse 就是其中之一。

使用 R 的 DnD 探索性分析

原文：https://towardsdatascience.com/dnd-exploratory-analysis-using-r-d13757b09768?source=collection_archive---------29-----------------------

使用 ggplot、tidyr、scatterplot3d 和 rgl 和 DnD，使用 R 进行数据探索和可视化的综合代码指南。

fig1: dnd classes gif using scatterplot3d

在今天的文章中，我们将一步步地了解使用 r 进行探索性数据分析的指南。我们将涵盖从 2D 到 3D 可视化，我们将通过使用来自 github 库的 DnD 数据来完成。为了便于数据可视化和操作，我对最初的数据集进行了一些数据缩减，从 768 个类和 182 个种族缩减为 13 个主要类和 16 个主要种族。

在进入分析的细节之前，这里有一个快速的介绍。

D&D 是一种掷骰子游戏，通常基于一套 7 个骰子(d4、d6、d8、d10、d12、d20 和另一个 d10)。骰子在游戏中起着重要的作用，它们都有不同的用途。例如，d20 通常用于攻击，而 d4，d6，d8，d10 或 d12 用于武器伤害，这取决于武器，性格和一些其他变量。但是当设置角色的分数时，也使用骰子。

根据定义，这使得我们将要分析的数据是随机和离散的，因为它是通过基于掷骰子的计算获得的，因此即使在这个数据样本中可能显示一些模式，这也不意味着这些模式会在其他样本中重复(部分原因是前面提到的随机性概念)。这是 DnD 最好和最有趣的特征之一。

每个 DnD 角色都有自己独特的方式，有不同的职业和种族供你选择，基本上玩家就是能最大限度或最少利用角色技能的人。玩家可以决定在预定义的角色之间进行选择，或者创建自己的角色。当创建一个新的角色时，选择职业和种族，掷骰子来定义不同的能力，并在需要时增加奖励或减少惩罚(视情况而定)。类似地，其他特征，如生命值(HP)、护甲等级(AC)和其他都是通过掷骰子和玩家手册中提到的奖励来定义的。

这里有一个文章不同部分的超链接，你可以直接跳到你感兴趣的部分。

目录

1。分布数值变量

1.1 数值变量直方图

1.2 相关图

1.3 装配

2.1 循环剧情类 vs 种族

2.2 箱线图类

3。三维散点图

1.分布数字变量

1.1 数值变量直方图

使用 dplyr 、 tidyr 和 ggplot2 ，我为数据集的所有数值变量创建了一个直方图。

这是一个非常好的组合，因为虽然 ggplot2 提供了一种强大的图形语言，但是 tidyverse 允许我们处理数据，而 dplyr 允许我们使用管道操作符% > %从左到右连接数据操作，而不是创建中间对象。

dnd %>%
  gather(attributes, value,2:9) %>%
  ggplot(aes(x = value)) +
  geom_histogram(aes(fill=attributes)) +
  facet_wrap(~attributes, scales = 'free_x') +
  labs(x="Values", y="Frequency", title="Distribution numeric variables")

fig2: histogram using using dplyr, tidyr and ggplot2

1.2 相关矩阵

在 wise 之后，我做了一个相关矩阵来衡量变量之间是否有任何程度的相关。这表明所有变量之间存在正相关关系，但这种关系的强度为 0.4，不能归类为显著。低于 0.6 意味着这种关系甚至不是中度积极的。

这是有意义的，因为 DnD 分数是通过掷骰子获得的，而掷骰子是独立的事件。如果两个随机变量 X 和 Y 是独立的，那么它们也是不相关的。然而，对于其他情况，重要的是要考虑到，如果 X 和 Y 是不相关的，它们仍然是相关的。

corrplot(abs(cor(dnd[,2:9])), method="color", col=colorRampPalette(c("red","white","blue")) (200), 
         type="upper", order="hclust", 
         addCoef.col = "black",
         tl.col="black", tl.srt=45, sig.level = 0.01, insig = "blank", diag=FALSE 
)

fig3: correlogram using corrplot

1.3 安装

即使在这种情况下，我们只是处理离散变量，对我来说，展示如何以一种快速而简单的方式识别数据集的分布似乎是一个好主意。

为此，选择了fitdistplus软件包。这个软件包中的 fitdistr 函数允许我们通过最大化似然函数来估计分布参数。

由于我们的统计数据是从掷骰子中获得的，因此它们符合中心极限定理，趋向于正态分布是有道理的。

fp <- fitdist(dnd$AC, "pois",discrete=TRUE)
fnb <- fitdist(dnd$AC, "nbinom",discrete=TRUE)
fg <- fitdist(dnd$AC, "geom",discrete=TRUE)
fn <- fitdist(dnd$AC, "norm",discrete=TRUE)

denscomp(list(fp,fnb,fg,fn),legendtext = c("Poisson", "negative binomial","geometric","normal"), fitlty = 1)
cdfcomp(list(fp,fnb,fg,fn),legendtext = c("Poisson", "negative binomial","geometric","normal"), fitlty = 1)

fig4: distributions fitting using fitdistrplus

2.阶级和种族

2.1 圆形地块类别与竞赛

对于这一次，我们将像以前一样继续使用 ggplot2 以及 tidyverse 和 dplyr，但我们将包括这个时间极坐标，以便我们可以将它制作成一个圆形条形图。对我来说，这是显示职业和种族之间信息的好方法。

dnd_bar <- dnd %>%
  select(name,predrace,predclass) %>%
  add_count(name) %>%
  group_by(predrace,predclass) %>%
  summarise(total = sum(n)) ggplot(dnd_bar, aes(x=predrace, y=total,fill=predclass)) + 
  geom_bar(stat="identity",position="dodge") +
  ggtitle("Database class and race distribution*")+
  labs(caption="Note:Predominant class and race")+
  ylim(-100,150) +
  theme_minimal() +
  theme(
    axis.text=element_text(size=8),
    legend.text=element_text(size=8),
    plot.caption = element_text(hjust = 0)
  ) +
  coord_polar(start = 0)

fig5: circular plot using using dplyr, tidyr and ggplot2

2.2 箱线图类别

箱线图很好地描述了分布的中心和扩散(可变性。)

通过使用相同的库，我们可以按单个变量绘制箱线图。

dnd %>%
  gather(attributes, value,2:9) %>%
  ggplot(aes(x=attributes, y=value)) + 
  geom_boxplot(aes(fill=attributes))+ facet_wrap( ~ attributes, scales="free")

fig5: Boxplot by variabledplyr, tidyr and ggplot2

然后，我们可以按组或主要类别复制主要变量的练习:AC、HP 和 Con。

ggplot(dnd, aes(y =HP, x = predclass, color = predclass)) + xlab("Predominant class") + ylab("HP") + ggtitle("Comparison HP Among Classes*") + geom_boxplot() + labs(caption="Note:Predominant class") + theme(axis.text.x = element_text(angle = 90),plot.caption = element_text(hjust = 0))ggplot(dnd, aes(y =AC, x = predclass, color = predclass)) + xlab("Predominant class") + ylab("AC") + ggtitle("Comparison AC Among Classes*") + geom_boxplot() + labs(caption="Note:Predominant class") + theme(axis.text.x = element_text(angle = 90),plot.caption = element_text(hjust = 0))ggplot(dnd, aes(y =Con, x = predclass, color = predclass)) + xlab("Predominant class") + ylab("Con") + ggtitle("Comparison Co

fig6: Boxplot by classes(groups) dplyr, tidyr and ggplot2

最后，我认为引出 ggplot 的 facet wrap 功能是很好的，当您想通过一个或多个变量(在我们的例子中是组或类)分割您的数据并一起绘制数据子集时，该功能非常有用。

ggplot(dnd, aes(y = AC, x = HP,color=predclass)) + xlab("HP") + ylab("AC") + ggtitle(paste0("Comparison Among Classes*")) + geom_boxplot() + labs(caption="Note:Predominant class") + theme(axis.text.x = element_text(angle = 90),plot.caption = element_text(hjust = 0))+ facet_wrap(~predclass)

fig 7: Boxplot using facet_wrap with dplyr, tidyr and ggplot2

3.三维散点图

最后，即使当我们有实际的 3D 对象或数据映射到其上时，3D 绘图也是可取的。我认为对于这个特殊的例子，我们有多个离散变量，在 2D 有重叠的点，用 3D 绘图来增加透视是有意义的。

为了说明这一点，我将使用 ggplot 绘制 Con 与 AC 的 2D 散点图，然后使用 scatterplot3d 绘制 AC、Con 和 HP 的 3d 散点图，这样我们就可以绘制三维(3D)点云。

twod<-ggplot(dnd, aes(x = AC, y = Con, color = predclass)) + geom_point(alpha = 0.2) + labs( title = "Plot Armour Class vs Hit Points by Predominat Class", caption="Note: Predominant class was obtained from the class variable")+ theme(plot.caption = element_text(hjust = 0))
twodlibrary(scatterplot3d)
threed<-scatterplot3d(x =dnd$AC, y = dnd$Con, z = dnd$HP, color = as.numeric(dnd$predclass),pch=16,angle=30)
threed
legend(threed$xyz.convert(41, 3, 310),legend = levels(dnd$predclass), col = as.numeric(dnd$predclass), pch = 16)

fig 8: 2D plot with ggplot2 and 3D plot with scatterplot3d

为了创建 3d 散点图动画，我们将使用 rgl 和 magick 包。

rgl 通过调用不同的函数来工作。下面是他们每个人做的事情。Movie3d 以重复的方式调用函数，将每一帧记录到电影中，而 Play3d 仅用于将可视化显示到 R 中。在这种情况下，要传递给 R 的函数是 spin3d。

关于图例，当你有几个类时，rgl 就有点麻烦了，它是 2D，默认情况下在图的后面，所以根据你的类的数量，它可能很难适应。

require(rgl)
with(dnd,plot3d(AC,Con,HP,col=as.integer(predclass),xlab="AC",ylab="Con",zlab="HP",box=TRUE,type="p"))movie3d(spin3d(axis = c(0, 0, 1),rpm=5), duration = 10,type="gif",dir=".",movie="Scatterplot3d")if (!rgl.useNULL())
  play3d(spin3d(axis = c(0, 0, 1), rpm = 5), duration = 10)

fig 9: 3D plot gif using rgl

作为 magick 的最后一步，我使用散点图 3d 函数在一个循环中创建了一个 png，并通过 points3d 函数添加了一些叠加点，然后我使用 magick 的 image_join 函数将它们连接成一个 gif。这就把我们带到了最初的 gif 和文章的结尾。

library(magick)

labels<-as.character(unique(dnd$predclass))
frames <- length(labels)

for (i in 1:frames) {
  name<- paste('00',i,'plot.png', sep='')
  png(name)
  plot.new()
  sp3d<-scatterplot3d(x =dnd$AC, y = dnd$Con, z = dnd$HP, color="darkgrey", type="h",pch=16,angle=30)
  sp3d
  sp3d$points3d(dnd[dnd$predclass==labels[i],c("AC")],dnd[dnd$predclass==labels[i],c("Con")],dnd[dnd$predclass==labels[i],c("HP")],col="red", type="h", pch=16)
  legend(sp3d$xyz.convert(41, 3, 310),legend =c(labels[i],paste0("Non-",labels[i])), col =c("darkgrey","red"), pch = 16)
  dev.off()
}

list.files(path=".", pattern = '*.png', full.names = TRUE) %>% 
  image_read() %>% 
  image_join() %>% 
  image_animate(fps=4) %>% 
  image_write("dnd_classes.gif")

fig10: dnd classes png used to build the scatterplot3d gif

这都是一个桌游爱好者说的。我希望这个分析读起来很有趣，写起来也很有趣。做关于非传统话题的数据分析，比如桌面游戏，总是很有趣。

评论越多的书评分越好吗？

原文：https://towardsdatascience.com/do-books-with-more-reviews-get-better-ratings-f2f68b13fad8?source=collection_archive---------26-----------------------

评分数和评论数等因素如何影响图书评分。

读书是许多人喜欢的活动。这是一种将一个人的思想置于不同的环境中，同时提供一种感同身受的感觉。我自己喜欢看书。我最喜欢的类型是混合了惊悚片的神秘片。我记得读过丹·布朗的《达芬奇密码》。

这是一本很棒的书，它让我对神秘类型的书产生了兴趣。这本书的一切从情节曲折到故事讲述都是史诗般的。读这本书时，我对谁是真正的对手感到困惑。此外，我惊讶于这本书对大教堂等建筑的描述是如此详细，以及罗伯特·兰登在解决谋杀案时的矫揉造作。

在我读完这本书后，我去网上寻找更多关于这本书的信息。我发现这幅美丽的作品得到了书籍收藏网站 Goodreads 3.8/5 的评分。

这个发现让我震惊，我决定去看看 Goodreads 上评价最高的书。随着我在列表中的位置越来越高，我注意到一个趋势，高评级的书籍通常会得到更多的评论。

因此，证实我的这个假设就成了我的一项任务:评论越多的书收视率越好吗？

获取数据

通过这个链接，从 Kaggle 获得了包含书籍及其在 Goodreads 上的评级的所有信息的数据集。

该数据集具有多种特征，如图书 id、标题、isbn、页数、评级计数、作者、*均评级、语言和文本评论计数。数据集被缩减到包括重要的特征，如标题、评分数和文本评论数。

它被进一步删减，只包括那些超过 1000 人评价和超过 100 人评论的书籍。用于执行此任务的代码如下所示:

## The dataset was truncated to include relevant information
df_books = df_books[df_books['ratings_count'] > 1000]  
df_books = df_books[df_books['text_reviews_count'] > 100]

新形成的数据集被进一步分析然后聚类。

A table of the first five rows of the new dataset.

分析数据集

对数据集进行分析，以降序排列书籍的评级，检查排名前十的书籍。然后，进行了一项推断，看看书籍的评级是否随着文本评论数和评级数的增加而增加。

The top ten books based on average ratings.

事实证明，书籍的评级并不一定意味着比低于或高于它们的书籍的评级数或文本评论数更高。但是，数据集有 4815 行。因此，基于十行进行教育猜测是不够的。如果我们通过对行进行分组来检查整个数据集，效果会更好。

数据集聚类

该数据集被聚类，以找出获得大量评级和评论的群体与没有获得大量评级和评论的群体之间是否存在显著差异。使用一种称为 k-means 聚类的方法对数据集进行聚类。

K-means 聚类是一种无监督的机器学习算法，其中数据集学习根据数据点与其他数据点的相似性将数据点分类成组。

数据集可以被聚类到定义数量的组中。图书数据集被分为三组。将数据集分组后，每一行都被赋予一个数字 0、1 或 2。

The first 25 rows of the dataset after it was grouped into three groups.

一个新的列被添加到名为 group 的表中，以表示每本书属于哪个组。

结果呢

在进一步检查后，创建了一个 3d 图像来完美地显示书籍的*均评级、文本评论数和评级数之间的关系。以下是聚类数据集的图示:

A 3-d representation of the dataset.

这三组的数据点被染成紫色、黄色和绿色。标记为 0 的组为紫色，而标记为 1 和 2 的组分别为绿色和黄色。

紫色组的大多数数据点分布在*均评分轴上，但评分数和文字评论数最少。一般来说，就评分而言，黄色组的范围比紫色组小，但它的评分数和文字评论数比紫色组高。

绿色组的评分范围与黄色组相似，但总体而言，绿色组的评分数和文字评论数高于黄色组。

创建了一个表格来显示每个组的*均差异。

A table showing the average of each group’s average rating, ratings count, text reviews count and graphical color.

根据表格，结果是紫色组在各方面都远远落后于黄色和绿色组。紫色组的*均评分为 3.94，评分数为 25，900，文本评论数为 968。黄色组的*均评分为 4.03，评分数为 570，000，文本评论数为 13，923。绿色组的*均评分为 4.12，评分数为 2，157，575，文本评论数为 38639。

下面是显示各组之间关系的散点图:

A scatter plot of the average rating versus ratings count for the groups.

A scatter plot of the average ratings vs text reviews count for the groups.

基于这两个散点图，我的假设已经被完全证实了。一般来说，一本书得到的评论越多，它的评级就越高。

书是由粉丝和评论家来评分的。评论家比书迷更有可能以非常仔细的方式评论书籍。但是，相比粉丝，评论书籍的评论家少之又少。因此，一本书越受欢迎，越多的书迷可能会认为它是完美的，这意味着受欢迎程度可能是一个混杂变量。

用来构建这个聚类模型的完整版本代码可以在这里看到。

Conv 网会梦到迷幻的绵羊吗？

原文：https://towardsdatascience.com/do-conv-nets-dream-of-psychedelic-sheep-40f4d35fa146?source=collection_archive---------33-----------------------

在连续的抽象层次上深度做梦。从上到下:输入图像，con v2–3x 3 _ reduce，inception_4c-1×1。使用 制作的 deepdreamgenerator 和公共领域图片来自 黄石国家公园 NPS

深度学习的普遍存在

深度学习的现代成功部分归功于乔治·西本科、库尔特·霍尼克和其他人开发的通用逼*定理。该定理本质上陈述了具有至少一个隐藏层和非线性激活函数的神经网络通常可以逼*任意连续函数。在过去的十年里，为训练深度网络而重新使用强大的 GPU释放了通用逼*定理的潜力，催生了许多新的商业和研究领域。在深度学习模型中，许多隐藏的层可以像通天塔一样一层一层堆叠起来，内部表示可以用来表示复杂的抽象和功能层次。这些表征可以是模型的一部分，从看似无关紧要的事物中预测任何事物，如无意义的天体物理学首字母缩写词、流式视频偏好和约会匹配；潜在的严重后果:信用风险评级、医疗诊断和约会匹配。

鉴于它们的普遍性，理解深度神经网络模型如何形成输入数据的内部表示并做出决策比以往任何时候都更重要。在实践中，通过随机梯度下降的变体的反向传播确实可以很好地适应训练数据，但是不能保证全局收敛，并且输入数据和学习过程经常以令人惊讶的方式相互作用。

https://www.youtube.com/watch?v=tlOIHko8ySg

深层网络的不稳定性

深度网络令人惊讶的学习方式导致许多人将训练和使用神经网络的整个过程称为“黑箱”，特别是在流行媒体中。当模特表现不好时，这些描述会导致糟糕的表现和公众的挫折感。

如果你从事深度学习，尝试理解你的模型在想什么是值得的。理解模型并清楚地预测它们的行为不仅有助于提高模型的性能，而且社会对隐私的关注以及欧洲 GDPR 等法规也恰当地鼓励了面向公众的机器学习中增强的解释能力。

简单的模型，简单的可视化

曾几何时，神经网络的参数从数百到数千，直接检查神经元激活是可行的，并可能富有成效。神经网络活动的一个经典的直接可视化是辛顿图(还有谁？)，它通过正方形网格的大小和阴影直接显示积极和消极激活。

在某些情况下，可视化单个神经元的活动(使用一些其他技巧)仍然是有见地的，例如 OpenAI 的无监督情绪神经元工作或 Andrej Karpathy 等人的可视化递归神经网络(与相关的博客文章，大约占页面的 3/4)。然而，即使在这种情况下，找到一个有意义的可解释的神经元也是一次钓鱼探险，大多数神经元仍然是相当难以理解的。

在大型模型中构思见解

你可能已经看到了谷歌的迷幻概念/深梦技术的一些迭代。深度做梦是减少神经网络黑盒神秘性的早期尝试。通过使用网络来不断增强与给定神经元的激活相关的特征，可以生成图像来获得关于在神经网络结构中如何形成表示和决策的一些想法。这可以被拟人化为网络看着一张图片，问“图片内容让我想起了什么，我怎样才能让它看起来更像这样？”运用深度梦境技术是这篇文章的标题图像的来源。在不同的层应用这种技术会产生不同层次的抽象。在标题图像中，一只大角羊在 con v2–3x 3 _ reduce 层中做梦，这在网络中很早就出现了，产生了像笔触一样的纹理。这些是你在不同方向的边缘、点和曲线检测器，倾向于被深度 conv 网络的前几层中的卷积核学习。在 inception_4c-1×1 层中稍微深入一点，我们看到与用于训练 inception 模型的类的类型相关联的特征集合怪异地覆盖在图像上。

深度做梦当然获得了足够的关注，并被用作制作美丽图像的创造性工具，但深度做梦本身并没有提供多少可操作的见解。这可能是从手臂必须从哑铃中长出来的启示中得来的。

谷歌的 4.0 版让 CC 长出了粗壮的手臂。

神经网络计算机视觉中应用的其他可视化技术包括 Jason Yosinski 等人的特征可视化工具箱(演示视频)，如果你准备用 Caffe 建立一个 Python 环境，你可以亲自尝试一下。作者展示了几个主要属于“有趣”类别的观察结果，如对面孔、文本和褶皱织物做出反应的神经元。从“有趣的”实现到可操作的见解的点连接是可解释性开始回报时间和工具投资的地方。事实上，它本身已经成为机器学习的一个子领域，满足了对拥有可解释机器学习技能的研究人员和工程师的需求。这对你的个人或组织工具箱是一个有价值的补充。

从可视化到可操作的效用

也许对深度学习可解释性最有凝聚力的研究来自克里斯·奥拉、谷歌大脑和 OpenAI 的汇合。追溯到几年前，主要发表在蒸馏上，这项工作建立在深度梦和特征可视化的概念上，以开发基于优化的可视化，进一步开发以理解具有空间激活的属性，并且随着激活图集的最*出版，作者展示了对对抗示例和奇怪特征相关性的漏洞的见解。

激活图谱是一系列研究中的最新进展，从简单的:单个神经元激活的特征可视化，到复杂的:从代表网络可能遇到的所有可能图像的流形中进行子采样的激活图谱。图片修改下一张 CC 由 4.0 授权来自 山卡特、克里斯奥拉等人 2019

激活地图集与相关的空间激活部分相似，但有一个关键区别。虽然空间激活表示单个图像的模型特征提取，但是激活图谱形成所有可能图像的特征提取图。例如，不是在小狗的图像上排列松软的耳朵、可爱的噪音和毛绒绒的爪子的特征可视化，而是激活地图集将各种各样的动物鼻子排列在一起，这些鼻子最终将融入其他相关特征，如皮毛、耳朵和尾巴。

这种神经网络特征可视化的整体视图允许以有趣的方式调查和预测模型行为。通过观察区分“水肺潜水员”和“浮潜”的特征与看起来像属于机车引擎的特征的接*程度，作者猜测他们可以从火车图像中引入一个补丁，以欺骗网络将浮潜者识别为水肺潜水员。该团队调查的其他对抗性例子包括通过添加面条将煎锅伪装成炒锅，以及通过添加棒球将灰鲸伪装成鲨鱼。

做煎锅和炒锅只需要几根面条。图片使用下一张 CC 通过 4.0 许可来自 山卡特、克里斯奥拉等人 2019

向前发展的可解释价值

总之，自《深度梦》以来，可解释性领域已经发展了很多，并开始提供可操作的见解。用激活地图集生成的对抗性例子的类型依赖于全网络特征可视化和人类直觉的巧妙结合。随着深度学习网络继续部署到新的领域，并在现有领域中获得更大的采用，它们将被认为更负责任，更可预测地可靠。在这种情况下，对可解释性工具和从业者产生的需求和价值只会增加。

原载于 2019 年 5 月 14 日https://blog.exxactcorp.com。

选举会影响股市吗？

原文：https://towardsdatascience.com/do-elections-affect-the-stock-market-c28562646c71?source=collection_archive---------8-----------------------

印度大选今天开始——4 月 11 日，我想以请求所有在印度并且达到投票年龄的人开始这篇文章——请投票！投票做出你想看到的改变。

特别是所有国家的大选，使得各行业通常对新政府可能带来的新政策或政策变化处于投机模式，这些政策可能会对公司的运作产生不利或有利的影响。这反过来影响他们在股票市场上的价格，并使投资者对市场持不同看法。关于在选举期间应该如何投资，一直存在争议。我将通过我的分析来回答这些疑问，重点将是回答以下问题:

• 我应该在选举之前还是之后投资？
• 我应该等到选举的影响消退吗？
• 在这一时期有什么特别的行业在增长吗？
• 有我应该远离的部门吗？

数据收集

为了分析，我们需要选举日期前后的指数历史数据，我们从— BSE 官方网站 获取。我们将下载 BSE Sensex 指数、BSE 100 指数、BSE 200 指数& BSE 500 指数以及各种行业指数数据。让我们从 维基百科 获取选举日期。我们将回顾过去 4 年的选举— 2014 年，2009 年，2004 年，1999 年。让我们来看 6 个数据点 (Return %) 进行分析——选举前 6 个月——这将是与选举前 3 个月的数据进行比较的基础。其他数据点是选举前 1 个月、选举月、选举后 1 个月、选举后 3 个月和选举后 6 个月。

2014 年选举

让我们先来看看最新的数据——2014 年大选，我们看到 3 个月前市场下跌约 1.5 % ，之后在大选月市场处于牛市，BSE 指数上涨10。现在让我们来看看行业指数****

扇区数据与 BSE sensex 数据密切相关。疯牛病汽车、疯牛病医疗和疯牛病银行指数上升，并且在整个选举过程中保持一致。而 BSE 金属是最不稳定的。

2009 年选举

从技术角度来看，2009 年选举的模式与 2014 年相似，但是我们看到在选举后市场增长(大约。~9%) 不像之前和期间(大约。30%) 选举月。

大多数行业在选举前后都上涨了。 BSE Auto，BSE IT 分别上升和一致。 BSE Metal 在选举月期间经历了持续的高增长期(接* 60%)—这可能是由于帮助金属公司的政策变化。 BSE FMCG 在选举期间没有任何重大动作。

2004 年选举

2004 年选举见证了非常低迷的市场，直到选举结束。市场受选举结果的影响，在选举月下跌了大约 20%,一个月后才回升。然而，我们可以看到选举后的持续增长，并达到接*。6 个月后约为 20%。

这些板块紧随 BSE Sensex 指数。在选举月期间，所有行业都下跌了* 20%而在选举后都上涨了， BSE 金属、BSE IT 和 BSE 银行的涨幅最大。

1999 年选举

选举前市场繁荣达到接* 40%的。然而，在选举期间和之后，市场经历了短暂的增长，然后在 6 个月的时间里，T42 下跌了* 20%。

扇区再次非常紧密地跟随和 BSE Sensex。市场对新政府的预期上升，BSE 金属上涨* 60% 但是所有行业在大选后下跌* 40%。政府是否没有信守承诺？(可能吧！)

推理

正如我们通过这些年的各种图表所看到的，我们看到，通常选举后市场会上涨，让我们看看交叉对比数据并进一步分析。

BSE Sensex cross comparison data over last 4 election years.

我们看到 BSE Sensex 意味着数据表明市场通常在选举前上涨，在选举月期间和之后增长非常缓慢，然后回升。理想的策略是在选举前 3 个月开始建立你的投资组合，并在选举后 3 或 6 个月继续保持。让我们看看我们可以投资或远离的行业。

BSE Auto Index cross comparison data over last 4 election years.

汽车似乎是所有指标中最一致的指标。增长没有其他指数那么快，下跌也没有那么快。的策略将是尽早投资优质汽车股，并在选举后大约 3 到 6 个月卖出。

BSE Metals Index cross comparison data over last 4 election years.

金属指数似乎是所有指数中波动最大的，它们有大起大落。策略是关注有利于金属公司的政策，如果不远离金属行业，就投资。

BSE Healthcare Index cross comparison data over last 4 election years.

像汽车这样的医疗保健指数似乎与其增长非常一致。回报与 sensex 或 Auto 回报不匹配，但是，如果我们可以投资顶级医疗保健股票，在选举临*时投资并在选举后大约一个月或三个月出售它们将是理想的。

伙计们，这就是我现在要说的！对于对代码感兴趣的人——可以参考我的 Github 链接。我希望你喜欢读这篇文章，如果我错过了什么或者有什么反馈，请在评论中分享。

女员工赚钱少吗？

原文：https://towardsdatascience.com/do-females-employees-make-less-money-56275d00da4c?source=collection_archive---------13-----------------------

在 Python 中浏览测量数据

使用 pandas、Seaborn、Matplotlib 和 Scipy 进行调查数据分析。

这是我在 Medium 上的第一篇文章，正因为如此，我决定用调查数据来练习一些统计学。为了做到这一点，我将使用布伦特·奥扎薪酬调查，据我所知，该调查自 2017 年以来每年发布一次。这里的主要思想是回答以下问题:女性雇员比男性雇员挣得少吗？。许多人会说“是的！他们肯定有！”，其他人可能会说“当然，女性挣钱少！”。在我看来，当我们做出这种声明时，我们必须关注一种叫做确认偏差的东西。换句话说，如果你认为女性的工资比男性低，那么你就有可能在没有深入分析你正在处理的数据质量的情况下就做出这种判断。

我们将使用 pandas、Matplotlib、seaborn 和 Scipy 来理解我们的数据。此外，我们还将使用 2019 年数据专业人员薪酬调查结果，你可以在 [Bent Ozar 的网页](http://Possessive last names)上找到它。

把这篇文章作为一种方法，可以帮助你分析一些调查和任何其他数据，你想统计检查。

数据探索

让我们首先导入一些我们将需要的库，然后浏览数据。

#**Import libraries**
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
sns.set_style(‘ticks’)
#**Ignore woarnings**
import warnings
warnings.filterwarnings(‘ignore’)# **Import data**
raw_data = pd.read_excel(‘2019_Data_Professional_Salary_Survey_Responses.xlsx’,header = 2)
raw_data.head()

让我们看一下数据类型，并检查数据集中是否有 nan 变量。

raw_data.info()

首先引起我注意的是 SalaryUSD 专栏。这个特性必须是数字的，为了用这个数据做一些数学运算，我们必须把它们转换成浮点数。另外，经过一些观察，我注意到在薪水栏中有一些字符应该被删除。此外，由于一些行被标识为 integer，另一些被标识为 float，我创建了一个函数来处理所有这些数据，将它们转换为 string，然后将整个列转换为 float。最后，DataFrame 的列标签上的所有空格(“”)都已替换为下划线(“_”)。

#**Convert all of the salary rows into string**
def str_salary(salary):
    sep = '.'
    if type(salary) == int:
        salary = str(salary)
    elif type(salary) == str:
        # Replace characteres and take the cents out of our data
        salary = salary.replace(" ","").replace("$","").replace(",","").split(sep)[0]
    elif type(salary) == float:
        salary = str(salary)

    return salary# **Replace spaces(“ “) in columns name with underscore (“_”)**
raw_data.columns = raw_data.columns.str.replace(“ “,”_”)# **Apply str_salary function**
raw_data['SalaryUSD'] = raw_data.SalaryUSD.apply(str_salary)
raw_data['SalaryUSD'].head()

为了只分析 2019 年的数据，我们将按年份和与我们的分析相关的列过滤数据框架。

df = raw_data.loc[raw_data.Survey_Year == 2019, ['Survey_Year','Country','SalaryUSD','JobTitle','YearsWithThisTypeOfJob','Education','Certifications','PopulationOfLargestCityWithin20Miles', 'Gender' ]]
df.head()

既然我们已经定义了我们的数据框架，我们现在能够获得一些信息。首先，让我们统计各个国家的雇员人数，并研究我们拥有更多数据的国家。其次，我们将按职位统计员工人数，最后统计男女员工总数。

# **Answers by Country**
df.Country.value_counts()

正如我们所看到的，在本次调查中，我们有更多来自美国的员工，因此，我们将过滤我们的数据框架，以便只处理美国的数据。

#**Filter dataframe by country**
US_2019 = df.loc[df.Country == ‘United States’,:]
US_2019.head(3)

所以，让我们来看看按性别划分的员工数量，看看我们能否从中获取一些信息。女性和男性雇员的数量是否相等，或者至少接*相等？我们来看看这个！

US_2019.Gender.value_counts()

似乎我们在这里有一个问题。不幸的是，男性的总数远远大于女性。此外，由于 2019 年只有一名非二元人回答了调查，我们无法从非二元性别中获得任何统计信息。所以，让我们去掉这一行，只关注两种性别。

# **Delet the row - Non-binary/third gender**
US_2019 = US_2019[US_2019.Gender != 'Non-binary/third gender']
US_2019.Gender.value_counts()

好的，我们已经知道(不幸的是)女性的数量远低于男性。现在让我们来回答以下问题:就职称而言，性别是如何分布的？我们先统计一下每个岗位的员工人数。#职位名称
US_2019。JobTitle.value_counts()

# **Job Titles** 
US_2019.JobTitle.value_counts()

让我惊讶的是，我们只有 4 个数据科学家，21 个工程师……好吧，这个就不考虑了！所以，现在我们有了这个调查中的职位概述。职位性别分布如何？我们来看看这个！

# **number of each gender by job title**
Gender_df = US_2019.loc[ : , [‘JobTitle’, ‘Gender’, ‘SalaryUSD’ ]]
Count_gender = Gender_df.pivot_table(Gender_df, index = [‘JobTitle’, ‘Gender’], aggfunc= ‘count’)
Count_gender

我不知道你们是怎么想的，但是我是视觉型的学习者，这就是为什么我真的喜欢制作图表的原因。我们可以使用 seaborn 库用我们刚刚检查过的信息构建一个条形图。

import seaborn as sns
# **use Seaborn styles**
sns.set()
pd.pivot_table(Gender_df, index= 'JobTitle', columns= 'Gender', aggfunc= 'count').plot(kind= 'barh', figsize= (9,9))
plt.xlabel("Salary USD")

上图清楚地显示了性别之间的差距，不仅是总体上回答调查的员工，还包括职位。你在你的公司注意到这一点了吗？

太好了。现在我们知道在我们的调查中有 541 名男性和 60 名女性，我们还知道在所有的职位中男性员工的数量要多得多。需要注意的是，我们不能保证这些事实是绝对真实的，因为我们不知道调查是如何进行的。此外，我们必须意识到我们的在线样本的代表性，这样我们才能相信从我们的互联网调查数据得出的结论的有效性。换句话说，数据可能有偏差。

例如，在进行调查时，我们倾向于对某些类型的人(在本例中是员工)进行过度采样，而对其他人进行欠采样。并不是所有人都知道 Brent Ozar 的网站——负责这项调查的网站，如果其他人对这种主题不感兴趣，他们就更不可能参与这项调查。

我们可以尝试使用加权等统计技术来处理这个问题，以补偿这种类型的“采样偏差”。这不是我们分析的情况，我们将只是从我们的数据中得出一些直观的见解，并实践一些基本的统计数据，因为我们并不真正担心这个话题。

工资

是时候看看工资数据了，这样我们可以检查一下里面是否有缺口。重要的是要记住，我们不会考虑一些特征，如工作经验、教育程度和公司规模，因为我们只想回答一个简单的问题:女性和男性的工资有差距吗？例如，我会用这些特征来回答为什么男女之间存在或不存在差距。也就是说，让我们从薪水栏开始分析。

直方图通过将数据分组到箱中来显示指标变量值的间隔频率。让我们来看看工资的分布情况。你觉得会怎么样？嗯，我认为它看起来像一个正偏的高斯分布，很少有员工的收入超过特定的阈值(可能是 15 万美元)。

#**Import sub-package stats from scipy library**
from scipy import stats
sns.distplot(US_2019.SalaryUSD, fit = stats.norm)

猜得好！上面的直方图与我预期的相似(不完全相同)。数据看起来接*正态分布，或者至少看起来是钟形的。正常吗？让我们检查一下。

常态测试

我们将通过一个定性分析(Q-Q 图)和两个定量检验(夏皮罗-维尔克和达戈西诺的 k2 检验)来检验数据的正态性。

定性正态性检验

Q-Q 图是检查数据分布的常用图。分位数-分位数图或 Q-Q 图生成我们与之比较的分布样本(在这种情况下为正态分布)。生成的样本被分成多个分位数，样本中的每个数据点都与分布中的一个相似成员相结合，我们将在相同的累积分布中与该成员进行比较。因此，我们有一个散点图，x 轴是理论值，y 轴是数据样本分位数。

#Import qqplot
from statsmodels.graphics.gofplots import qqplot
qqplot(US_2019.SalaryUSD, line = ‘s’)

那么，我们该如何解读这个情节呢？嗯，蓝点与红线的偏差显示了与我们正在比较的分布(高斯)的偏差。基于此，我们可以说，我们的特征似乎不是正态分布的良好匹配。如果数据呈正态分布，大部分蓝点会在红线上，事实并非如此。即使线上有很多蓝点，但不在线的还有很多。这表明数据将呈现不同的分布，正如我们在直方图中观察到的那样。

定量常态检验

除了前面的分析，我们将使用两个定量测试来检查我们的数据的正态性。让我们从夏皮罗-维尔克检验开始，它评估一个特定的样本，并量化数据遵循正态分布的可能性。据我所知，夏皮罗-维尔克检验不仅是一个可靠的检验，而且是一个广泛使用的检验，我们可以使用 SciPy 库中的 Shapiro()函数来应用它。此函数返回由测试计算的 W 统计数据和 p 值。

我们要用的第二个测试是达戈西诺的 k 测试。该正态性检验计算数据的峰度和偏斜度，以确定它们是否遵循高斯分布。基本上，该测试所做的是将样本的偏斜度和峰度结合起来，以产生正态性的综合测试。对于那些不熟悉这些术语的人来说，峰度是分布有多少在尾部的量化，而偏斜是分布有多少被向右或向左推动的量化(它衡量分布的不对称性)。为了计算 de 统计和 p 值，我们将使用 SciPy 库中的 normaltest()函数。

夏皮罗-维尔克试验

from scipy.stats import shapiro
statistic,p = shapiro(US_2019.SalaryUSD)
print(f'P-value: {p :<.3f}')#**For a threshold of 5% (alpha)**
if p > 0.05:
    print(f'Sample looks Gaussian (fail to regect H0)')
else:
    print(f'Sample does not look gaussian ( regect H0)')

**达戈西诺的 k2 测试 **

from scipy.stats import normaltest
statistic,p = normaltest(US_2019.SalaryUSD)print(f'P-value:{p:<.3f}')#**For a threshould of 5% (alpha)**
if p > 0.05:
    print(f'Sample looks Gaussian (fail to regect H0)')
else:
    print(f'Sample does not look gaussian (regect H0)')

因为我们已经定性和定量地分析了我们的测试，我们可以对数据做一个假设。到目前为止，我们使用的所有测试和可视化技术都不表示正态分布。

离群值

为了确保我们的数据能够恰当地代表我们的问题，我们必须意识到数据集中存在异常值的可能性。异常值是超出预期范围的条目，与其他观察值不同。它们会影响我们数据分布的偏斜度，从而影响一些统计术语，如标准差和均值。特别是，由于计算的方式，这些度量对异常值非常敏感。

让我们按性别划分我们的数据，并绘制一个箱线图，这样我们就能够通过它们的四分位数来说明我们的数据。这也可以帮助我们识别一些潜在的异常值，例如位于图中触须之外的那些数据。

fig = plt.figure(figsize = (10,8))
sns.boxplot(x = ‘Gender’, y = ‘SalaryUSD’, data = US_2019)

统计数字

让我们计算一些项，以便对数据有所了解。

def statistics(salary):
 #**Import variation**
 from scipy.stats import variation
 #Calculate terms
 mean = salary.mean()
 median = salary.median()
 mode = salary.mode()
 kurtosis = salary.kurtosis()
 skew = salary.skew()
 CV = variation(salary)
 #**dict**
 stats = [(‘Country’, [‘United States’]),
 (‘Mean’,[round(mean,2)]),
 (‘Median’,[round(median,2)]),
 (‘Mode’, [int(mode)]),
 (‘Kurtosis’,[round(kurtosis,2)]),
 (‘Skew’,[round(skew,2)]),
 (‘Coefficient of variation’,[round(CV,2)]) 
 ]
 #**dataframe**
 stats_df = pd.DataFrame.from_items(stats) 
 return stats_df

应用统计功能

Salary_statistics = statistics(US_2019['SalaryUSD'])
Salary_statistics

因此，一旦我们计算了这些统计数据，我们就能够识别数据的一些特征。第一，中位数和均值大于众数。这意味着分布的右尾更长，或者换句话说，数据是正偏的。第二，我们的数据的偏斜度大于 1，证实了它的高偏斜度。第三，我们的数据集中的高峰值表明它的分布有重尾或异常值——我们必须调查它。最后，变异系数(CV)是数据集中数据点围绕其*均值的离差的统计度量，表明我们的样本相对于其*均值有 43%的显著变异。

到目前为止，我们所做的所有分析都为我们提供了证据，证明我们的* *数据不符合正态分布。此外，高峰值可能是离群值的指标。我们来调查一下。

四分位间距

我们需要一个合理的标准偏差来进行分析。我这么说是什么意思？嗯，标准差代表了数据相对于*均值的分散程度，正如我之前说过的，这种方法受异常值的影响很大。此外，我们将在后面看到，标准误差对总体的标准偏差是敏感的，正因为如此，我们希望过滤掉异常值。

没错。我们知道我们必须过滤掉离群值。但是我们怎么做呢？答案很简单:我们将使用四分位数范围。

四分位数间距基本上是第三个四分位数和第一个四分位数之间的距离。在我们的例子中，下表显示 Q3 = 123.600，00 美元，Q1 = 83.000，00。让我们计算它们之间的差异，并确定我们的四分位间距(IQR)。

#**Statistics**
round(US_2019.SalaryUSD.describe().to_frame(),3)

#**Calculate the percentiles — 25 and 75 %**
q75, q25 = np.percentile(US_2019.SalaryUSD , [75 ,25])
print(f’Q3:{q75}’)
print(f’Q1:{q25}’)
# **Calculate the percentile Range**
iqr = q75 — q25
print(f’Interquartile Range: {iqr}’)

既然我们有了 IQR，我们就能够过滤掉数据集中的异常值。我们这样做是考虑到任何超出中位数正(+)和负(-) 1.5 * IQR 的数据都是异常值。

# **IQR +/- 40600**
min_salary = US_2019.SalaryUSD.median()- 1.5*iqr
max_salary = US_2019.SalaryUSD.median() + 1.5*iqr
print(f'Minimun salary (threshould) : {min_salary}')
print(f'Maximun salary (threshould) : {max_salary}')

#**data set within the range**
US_2019_No_Outliers = US_2019[(US_2019.SalaryUSD>=min_salary) & (US_2019.SalaryUSD <= max_salary)]
US_2019_No_Outliers.head()

在剔除异常值后，我们可以看到我们的数据集是如何变化的。首先，箱线图显示两性都没有异常值。第二，数据分布大致代表一个高斯。此外，*均值现在更接*中位数，变异系数仅为 25%，这意味着我们的数据在我们定义的范围内均匀分布。

# **Boxplot with data within the range**
fig = plt.figure(figsize = (10,8))
sns.boxplot(x = ‘Gender’, y = ‘SalaryUSD’, data = US_2019_No_Outliers)

sns.distplot(US_2019_No_Outliers.SalaryUSD, fit = stats.norm)

# **statistical terms for data within the range**
Salary_statistics_No_Outliers = statistics(US_2019_No_Outliers[‘SalaryUSD’])
Salary_statistics_No_Outliers

统计摘要

#**Statistical terms before and after the removal of outliers**
Salary_statistics.append(Salary_statistics_No_Outliers)

请注意，我们已经删除了 34 个高于最大阈值的条目和 8 个低于最小阈值的条目。这表明 7%的观察值导致了我们数据集的显著变化。

below_threshould = US_2019[US_2019.SalaryUSD <= min_salary]
above_threshould = US_2019[US_2019.SalaryUSD >= max_salary]
print(f'Total of salaries above the max threshould: {above_threshould.SalaryUSD.count()}')
print(f'Total of salaries below the min threshould:{below_threshould.SalaryUSD.count()}')

print(f'Entries outside the range: { round((below_threshould.SalaryUSD.count() + above_threshould.SalaryUSD.count()) / US_2019.SalaryUSD.count()*100)} %' )

离群值的另一个重要方面是，其中 33 个是男性，只有一个是女性。这表明 97%挣更多钱的员工是男性。这不是很有趣吗？！

above_threshould.Gender.value_counts()

标准误差分析

现在我们有了一个相当*衡的数据集，我们可以进行标准的误差分析了。我为什么要这么做？标准误差向我们展示了我们的数据有多好。换句话说，它衡量的是我们的样本代表总体的准确性。下面的公式显示了这个统计术语是如何计算的。

需要注意两件重要的事情。首先，样本越大，样本均值就越接*总体均值。此外，我们可以通过公式看出，如果我们有更多的样本，标准误差将会减少。第二，总体的标准差越小，标准差越小。正如我们所知，标准差是一种传播的度量，它受异常值的影响很大。这意味着在我们的数据集中存在异常值的情况下，样本的标准偏差会大得多。

def mean_std_count(salary, data):
 mean = salary.mean()
 std = salary.std()
 count = salary.count()

 std_error = [(‘Gender’,[data]),
 (‘Salary Mean’,[round(mean,2)]),
 (‘Salary std’,[round(std,2)]),
 (‘Sample’,[count]) ]

 std_erro_df = pd.DataFrame.from_items(std_error)
 return std_erro_dfFemale_stats = mean_std_count(US_2019_No_Outliers[US_2019_No_Outliers.Gender == ‘Female’].SalaryUSD, ‘Female’)
Male_stats = mean_std_count(US_2019_No_Outliers[US_2019_No_Outliers.Gender == ‘Male’].SalaryUSD, ‘Male’)
Salary_stats = mean_std_count(US_2019_No_Outliers.SalaryUSD, ‘Total’)
Female_stats.append(Male_stats).append(Salary_stats)

上表显示，我们的*均工资差距约为 3700 美元。你不认为这很重要吗？在我看来，这似乎是相当值得注意的。

尽管我们的数据不符合正态分布，但在剔除异常值后，我们在均值和标准差方面得到了一些更简洁的东西。此外，我们的数据集是否遵循特定的分布对我们的分析来说不应该有太大的影响，因为我们不需要标准误差的高斯分布。

也就是说，如果我们考虑样本的正态分布，我们可以说 95%的工资应该在 51.000 美元到 152.350 美元之间，我不认为这有任何问题。实际上，我觉得这很对。

def standard_error(salary, data):
    #**calculate terms**
    mean = salary.mean()
    std = salary.std()
    count = salary.count()
    std_error = std/((count)**(1/2))
    min68 = mean- std_error
    max68 = mean+ std_error
    min95 = mean- 2*std_error
    max95 = mean+ 2*std_error

    #**create df**
    std_error = [('Gender',[data]),
                 ('Standard Error',[round(std_error,2)]),
                 ('Min  [68% range] ',[round(min68,2)]),
                 ('Max [ 68% range] ',[round(max68,2)]),
                 ('Min [95% range]',[round(min95,2)]),
                 ('Max [95% range]',[round(max95,2)]),
                  ]

    std_error_df = pd.DataFrame.from_items(std_error)
    return std_error_df

女性和男性工资数据框架——没有异常值。

Female_std_error = standard_error(US_2019_No_Outliers[US_2019_No_Outliers.Gender == ‘Female’].SalaryUSD, ‘Female’)
Male_std_error = standard_error(US_2019_No_Outliers[US_2019_No_Outliers.Gender == ‘Male’].SalaryUSD, ‘Male’)
#**Append male and female df**
a = Female_std_error.append(Male_std_error)
a

为了解释数据并试图得出结论，我们必须分析标准误差，查看条形的重叠性质。在我们的例子中，误差线重叠，重叠区域不包含较低样本的*均值。由于这一事实，我们可以假设，没有强有力的证据表明，人口是相似的或不同的。68%和 95%范围内的不确定性都太高。我们可以在下面的条形图中清楚地看到这一点。

def mean_error_plot(salary1, salary2, gender1, gender2):
    #**Calculate terms**
    mean1 = salary1.mean()
    mean2 = salary2.mean()
    std1 = salary1.std()
    std2 = salary2.std()
    count1 = salary1.count()
    count2 = salary2.count()
    std_error1 = std1/((count1)**(1/2))
    std_error2 = std2/((count2)**(1/2))

    #**Create lists for plot**
    Genders = [gender1,gender2,gender1,gender2]
    x_pos = np.arange(len(Genders))
    Gd = [mean1,mean2,mean1,mean2]
    error = [std_error1,std_error2,2*std_error1,2*std_error2]

    #**Create the plot**

    fig, ax = plt.subplots(figsize = (10,10))
    ax.bar(x_pos, Gd, yerr=error, align='center', alpha=0.5, ecolor='black', capsize=10,color=['red', 'red', 'black', 'black'])
    ax.set_ylabel('Salary [$]')
    ax.set_xticks(x_pos)
    ax.set_xticklabels(Genders)
    ax.set_title('Genders - Range')
    ax.yaxis.grid(True) 

    #**Create horizontal lines**
    ax.axhline(y = 100936.60, color = 'r', linewidth = 1,xmin=0.143, xmax=0.38 , linestyle='dashed', alpha=0.5  )
    ax.axhline(y = 101766.23, color = 'r', linewidth = 1,xmin=0.143, xmax=0.38, linestyle='dashed', alpha=0.5 )

    ax.axhline(y = 99809.28, color = 'r', linewidth = 1,xmin=0.62, xmax=0.85 , linestyle='dashed', alpha=0.5  )
    ax.axhline(y = 104318.53, color = 'r', linewidth = 1,xmin=0.62, xmax=0.85, linestyle='dashed', alpha=0.5 )

    #**Create legend**
    import matplotlib.patches as mpatches
    red_patch = mpatches.Patch(color='red', label='68% range') 
    black_patch = mpatches.Patch(color='black', label='95% range')
    plt.legend(handles=[black_patch,red_patch], loc = 'upper left')

女性和男性数据框架——无异常值

Female_no_out = US_2019_No_Outliers[US_2019_No_Outliers.Gender == ‘Female’].SalaryUSD
Male_no_out = US_2019_No_Outliers[US_2019_No_Outliers.Gender == ‘Male’].SalaryUSD
#apply mean_error_plo function
mean_error_plot(Female_no_out,Male_no_out,’Female’,’Male’)

那么，我们现在能做什么？用另一种方法来分析它怎么样？这正是我们要做的！让我们通过假设检验来比较这两种方法。

t-学生测验

我们使用假设检验的原因是，在给定样本数据的情况下，确定零假设是否可能为真。如果几乎没有反对的证据，我们接受零假设，如果零假设不太可能，我们可能会拒绝零假设而支持另一个假设。

也就是说，一旦我们确定了无效假设和替代假设，我们就能够选择显著性水*。这个统计项是决定我们何时拒绝零假设的概率阈值。此外，在执行测试后，p 值有助于我们解释结果。该值是代表给定事件发生概率的测试中的边际显著性水*。

回到我们的案例研究，让我们从设定第一个假设开始，假设两种工资手段(男性和女性)相等。因此，我们将假设另一个假设是两个均值不相等。为了做到这一点，我们将使用 stats.ttest_ind()函数执行双样本 T 检验。

假设:我们假设两个样本都是正态分布，并且方差相同。

让我们对有异常值和无异常值的数据进行双样本 t 检验，这样我们就可以有所了解，从而得出结论。

# **Import t-test function**
from scipy.stats import ttest_ind# **T-test - data without outliers**
ttest_no_outliers = stats.ttest_ind(a = Female_no_out, b = Male_no_out, equal_var= False)
ttest_no_outliers

pvalue_no_outliers = round(ttest_no_outliers[1],2)
print(f’P-value of data without outliers: {pvalue_no_outliers}’)

测试给出的 p 值为 0.31，大于显著性值(0.05)。在这种情况下，我们不能拒绝零假设。因此，我们期望在 31%的样本中找到相同性别的样本均值。

现在让我们对包含异常值的工资数据进行测试。

# **Filter salary by gender considering outliers**
Female_salary_with_outliers = US_2019[US_2019.Gender == 'Female'].SalaryUSD
Male_salary_with_outilers = US_2019[US_2019.Gender == 'Male'].SalaryUSD#**T-test on data with outliers**
ttest_outliers = stats.ttest_ind(a = Female_salary_with_outliers, b = Male_salary_with_outilers, equal_var= False)
ttest_outliers

pvalue_outliers = round(ttest_outliers[1],2)
print(f’P-value of data without outliers: {pvalue_outliers}’)

如上所述，如果我们保留异常值，我们可以说，由于 p 值为 0.02，低于显著性水*(0.05)，男女薪酬不*等。因此，这表明，当我们将异常值纳入数据集中时，男女工资确实存在差异。

结论

在我们做了分析和假设之后，我想说的是，在正常的工作中，两性似乎得到了同等的报酬。然而，当我们在测试中包括收入高得多的人数时，我们可以看到离群值的差距——其中 97%是男性

我知道这是一个宽泛的分析。如果我们深入研究所有的特征，我们可能会找到得出这个结论的原因。万一你想更好的分析，可以随便找 Brent 原来博客上的数据，应用你所有的知识。请让我知道你的结论！

注意 : 我还使用不同的标准进行了分析，以确定异常值。在我的 GitHub 页面上查看一下。

来源:

• https://data.library.virginia.edu/understanding-q-q-plots/
• http://www . stats models . org/dev/generated/stats models . graphics . gofplots . QQ plot . html
• https://web . archive . org/web/20120325140006/http://www . CEE . MTU . edu/~
• https://machine learning mastery . com/a-gentle-introduction-to-normality-tests-in-python/
• http://www . SQL gene . com/2017/12/29/practicing-statistics-female-DBAs-and-salary/

FIFA 19 评分与 PES 2019 评分有显著差异吗？

原文：https://towardsdatascience.com/do-fifa-19-ratings-differ-significantly-from-pes-2019-ratings-5c0a8d5bd55e?source=collection_archive---------30-----------------------

足球运动员的 FIFA 19 评级与他们的 PES 2019 评级有多相似。

“GOOOOOAAAAAL。路易斯·苏亚雷斯多么疯狂的进球。”

在国际足联 19 日巴塞罗那足球俱乐部和拜仁慕尼黑之间的激烈比赛的最后一分钟，我打进了一个 30 码的尖叫。比分现在是 3 比 2，我赢了。我欣喜若狂。另一方面，我的对手很失望。

我简直不敢相信苏亚雷斯站在边线附*被三名防守队员挡住时是如何打进那个漂亮的进球的。一个仍然让我困惑的想法是，苏亚雷斯得分是纯粹出于运气，还是因为他有着令人难以置信的高收视率。

而且我在 YouTube 上看了很多 FIFA 19 上打进的世界级进球，去发现什么样的球员打进了最不可思议的进球。当我观看这些进球时，我注意到大多数进球都是由高水*的球员打进的。

然后，YouTube 的推荐算法让我也看了 PES 2019 上类似的进球。我注意到大致相同的一群高知名度的球员也打进了这些精彩的进球。

因此，很容易得出结论，知名度高的球员更有可能在两个最大的足球游戏*台上创造最佳进球。由于这两款游戏的玩家表现有很强的相似性，我很想知道【FIFA 19 和 PES 2019 上玩家的评分是如何密切相关的。

因此，我决定进行一项研究，以找出 FIFA 19 评级和 PES 2019 评级之间是否存在显著差异。

获取数据集

我必须获得包含执行项目所需功能的最佳数据集，所以我使用 Kaggle 通过这个链接获得 FIFA 19 数据集，并在这里获得 PES 2019 数据集。

使用 IBM Watson Studio 上的 Jupyter 笔记本，数据集被加载并清理，以确保它们包含所有需要的列。

A snapshot of the first five rows of the PES 2019 transformed dataset.

A snapshot of the first five rows of the FIFA 19 transformed dataset.

两个数据集都被重新设计后。运行了多个代码来合并两个数据集，删除重复的行，以降序排列玩家的评级，并重命名列。

以下是用于执行上述过程的一些代码:

要合并两个数据集:

df_combo = pd.merge(df_pes2, df_fifa2)

df_combo1 = df_combo

要删除重复的行:

df_combo2 = df_combo1.drop_duplicates(['Player Name'],keep='first') 

要按降序排列合并的数据集并重命名列，请执行以下操作:

df_combo3 = df_combo2.sort_values(by = "FIFA Overall Rating", ascending = **False**)
df_combo3.reset_index(inplace = **True**)
df_combo3.drop("index", axis = 1, inplace = **True**)
df_combo3 = df_combo3.rename(columns = {"Overall Rating" : "PES Overall Rating"})

显示特定列时合并两个数据集的结果如下所示:

The first 20 rows of the merged dataset showing Player’s name, FIFA 19 ratings, PES 2019 ratings and age.

根据合并数据集的前 20 行，与 PES 2019 球员相比，FIFA 19 球员预计将获得更高的评级。

探索性分析

对于新形成的数据集，下一步是查看数据集中的重要列如何相互作用。因此，创建了两个正态分布图，显示 PES 2019 评级和 FIFA 19 评级的正态分布情况。然后，构建第三个正态分布图来结合前两个。

A normal distribution graph of PES 2019 players’ overall ratings.

A normal distribution graph of FIFA 19 players’ overall ratings.

A normal distribution graph comparing how both graphs are normally distributed.

根据图表，FIFA 19 的*均评分为 68.19，低于 PES 2019 的*均评分 70.32。然而，FIFA 19 的标准差为 6.84，高于 PES 2019 的标准差 6.13。

标准差的值表明，FIFA 19 球员的评级比 PES 2019 球员的评级更分散。这个结果可以在第三张图中观察到。

结果呢

为了找出 PES 2019 评级和 FIFA 19 评级之间是否存在显著差异，进行了一系列任务。首先，创建一个散点图来显示两组之间的相互关系。

A scatter plot of PES 2019 ratings vs FIFA 19 ratings.

根据散点图，PES 2019 评级和 FIFA 19 评级之间似乎存在非常积极的关系。然后，计算相关系数和 p 值。下面是用于获得结果的代码和结果本身的快照。

The results of the correlation coefficient and p-value of the FIFA 19 and PES 2019 ratings.

皮尔逊相关系数是 0.8744，因为 0.8744 的值意味着正的强相关，所以是可疑的。p 值约为 0.0。p 值小于 0.05，因此 FIFA 19 评级和 PES 2019 评级之间存在显著差异，即使它们相关性极强。

用于进行这项研究的完整版本代码可以在这里看到。

甘人会梦到假图像吗？

原文：https://towardsdatascience.com/do-gans-dream-of-fake-images-4372b0777a2d?source=collection_archive---------10-----------------------

深入研究图像取证:区分真实图像和伪造图像的努力

Barack Obama is one of the most popular characters for puppeteering

众所周知，现在很难区分真实媒体和虚假媒体。可能是文本、音频、视频或图像。

每种媒体都有自己的伪造方法。虽然伪造文本(仍然)主要是以传统方式进行的，但伪造图像和视频已经向前迈出了一大步。我们有些人甚至觉得再也分不清什么是真的什么是假的了。如果说两年前， photoshop 之战 sub-reddit 是伪造图像的艺术状态，photoshop 专家是这一领域的奇才，那么新技术已经改变了很多事情。

你可能听说过一些尖端的伪造方法，它们严重威胁着我们对什么是真什么是假的感知: 深度伪造 技术允许在每个视频中种植每张脸，不同的re——制定 技术允许随心所欲地移动每张脸:做出表情、说话等。而这仅仅是开始。

Deep fake — planting Hillary Clinton on her impersonator

Re-enactment — making a face talk

最*，我非常投入这个领域:我已经开始与一家名为 Cyabra 的伟大初创公司合作。Cyabra 是一家反假新闻和反机器人的初创公司，因此，它的任务之一是将假图像与真图像进行分类，专业术语是图像取证。

如你所料，这是一项具有挑战性的任务。正如许多网络安全/欺诈检测任务一样，保护者似乎总是比伪造者落后一步。在图像伪造中，情况甚至更复杂，因为新的伪造技术每天都在出现。

那么解决 hits 任务的正确方法是什么呢？在每一项安全任务中，保护者都必须考虑所有可能的已知的 T21 威胁，此外还有攻击者意想不到的未知威胁。

让我们考虑一下防止窃贼入室:你知道窃贼可以破门而入，打破窗户、后门等。所以你把所有的入口都锁上了。但是你也应该放一个运动探测器，以防窃贼从一个未知的缺口进入，你仍然可以发现他。

在网络安全领域，特别是在数字图像取证领域，这意味着你必须以最高的准确性解决所有已知的伪造方法，以及一些通用的异常检测方法。由于如上所述，图像伪造技术正在经历一种繁荣，后一种方法变得更加重要。

有哪些图像篡改技术？

首先，让我们讨论一下我们在处理什么。

摄影锻造几乎和摄影本身一样古老。在下面的图片中，你可以看到一张被篡改的 19 世纪的照片:

更多的例子可以在哈尼·法里德的数字取证圣经——书中找到。

“手动”伪造—Photoshop

随着数码摄影的出现，图像篡改变得越来越容易和常见:最常见的一种被称为“拼接”和“复制-移动”，或大多数人所说的“Photoshop”。

这些方法包括将一幅图像的一部分移植到另一幅图像中。为了让它看起来更真实，伪造者还会做一些数字修饰。这些技术的结果可能很难用肉眼区分。

修图本身也是一种篡改方式，尤其是在时尚照中。

如前所述，photoshopping 并不总是容易辨别，但使用一些方法，将在稍后讨论，研究人员在事情的顶部。然而，技术让事情变得更难(或者更容易，取决于你站在哪一边)。具有讽刺意味的是，深度学习成为图像分类的主要方法，也允许一种新的、开创性的伪造物——生成模型。

基于生成模型的方法

自 2014 年出现一般敌对网络以来，很明显，图像伪造将永远不会相同。一个算法从字面上从零开始创造一个图像(例如一张脸)的能力既令人惊讶又令人恐惧。

GANs results throughout the years (none of the above is a real person)

在他 2014 年的开创性工作中，Ian Goodfellow 从概念上展示了在小规模(28 X 28)下创建逼真的人脸是可能的。这一概念很快成为现实，2018 年底，Nvidia 研究人员推出了能够以高分辨率创建超现实人脸的。但这远不是对 GAN 的唯一研究:令人印象深刻的是，研究人员做了不同的调整，创造了新的假图像。我们只能想象这种技术的未来，但同时，让我们看看其他变体的一个不完全详尽的列表:

CycleGan

2017 年，2 部令人惊艳的作品出自阿列克谢·埃夫罗斯实验室— pix2pix 和 CycleGan 。你可以在我之前的帖子中读到它们。

这两个作品都允许将图像从一个领域“复制”到另一个领域:将马转换成斑马，将狗转换成猫等等。

********

假视频——重现

Nicholas Cage as Marlon Brando as The Godfather

除了创建假图像，深度学习技术更进一步，允许创建假视频。

这个领域的真正转折点(和许多其他场合一样)不是技术，而是文化。2018 年 1 月左右，Reddit 上开始出现高质量的假视频。他们中的许多人将尼古拉斯·凯奇的脸植入不同的场景，但并不是所有人都是 SFW。这立即引发了媒体对这一领域的关注(以及世界末日的预言)。

但深度伪装并不孤单:最*这种技术激增，它们在真实性和易于训练方面变得越来越先进。从玩具“换脸”app 开始，通过 face2face 、深度造假、综合奥巴马、、到最*三星的少数镜头说话头像。

目前在这个领域最令人印象深刻的工作(目前，事情进展很快)是深度视频肖像— 在这个工作中，研究人员使用了一种多步骤的方法，来“操纵”一张全脸。他们首先从源视频和目标视频中提取面部特征，如姿势、表情、眼睛坐标等，然后使用编码器-解码器生成一个假视频，不仅可以控制嘴部运动和面部表情，还可以控制头部运动。

Deep video portrait

数字取证

因为这个帖子不是关于图像生成，而是关于我们如何检测它们，在看到一些伪造技术后，我们想检查一下防守团队提供了什么。如前所述，数字取证方法可以分为三种。良好的检测操作应结合使用以下各项:

1. 基于特征的 —在某一类(或多类)伪造品中存在一种伪造品的情况下——大多适用于经典方法。
2. 监督学习 —使用深度学习分类器(主要是 CNN)来学习某些类型的伪图像—适用于经典方法以及生成模型，例如 GANs。
3. 无监督/通用——试图捕捉真实图像的一些本质，以检测新类型的伪造(模型以前没有见过)。这可以看作是一种异常检测。

所有上述方法都有其优点和缺点，但由于生成方法变得更加现实，2 和 3 变得更加突出。

我们在上一部分中目睹的篡改技术全部(或大部分)都是由深度学习社区提供的公开可用的。然而，它不必永远保持这种状态:在随后的几年里，不同的公司和政权将有自己的秘密技术，这是非常合理的。

基于特征的

2004 年，哈尼·法里德和阿林 波佩斯库发表了第一篇关于使用数字文物识别假图像的作品。数码相机具有不同的伪像，这些伪像源自摄影硬件、软件或特定于图像的压缩技术。因此，发现这些假照片的数字方法的出现只是时间问题。法里德和波佩斯库使用了一种特殊的相机过滤器(CFA)来识别图像的虚假部分。

从那以后，出现了更多的手工制作技术:

使用 JPEG“签名”

JPEG 是数字媒体中最常见的图像压缩协议。你可以在这里阅读它的细节。简而言之，每个图像都有自己的编码方式来优化文件大小。可以利用不同图像的编码差异来检测伪造图像(拼接)。这里有一个这样工作的例子。

Splicing artifacts caused by JPEG compression

相机伪影

如前所述，数码相机在硬件或软件中也有其制品、结构。每个相机制造商、型号或软件版本都可能有自己的签名。比较图像不同部分的这些特征或相机噪声可能会产生一个好的分类器。

摄影艺术品

与上面的逻辑相同，篡改图像可能会扭曲照片的自然条件。使用这种特征的数字测量(例如照明、“像差”)在伪造检测中也是有用的。

生成模型工件

当前的生成模型也遭受已知的伪像，有些甚至是可见的，如不同的不对称，奇怪的嘴的形状，不对称的眼睛等等。这些人工制品在这个作品中被利用，使用经典的计算机视觉将假图像与真图像分开。然而，考虑到生成模型的进步，这些人工制品不一定存在于明天的赝品中。

Asymmetric eyes in GAN face

所有上述方法都是伟大和聪明的，但是一旦暴露，他们就可以被伪造者所穿透。这就是机器学习的用武之地:它有点像一个黑匣子，可以在伪造者不知道其细节的情况下学习假图像。

监督深度学习

随着深度学习的兴起，研究人员开始使用深度网络来检测虚假图像是很自然的。

直观上，很容易从不同类型的伪造类中获取图像，并开始训练分类器和检测器。让我们来看看一些备受瞩目的作品。

使用新 conv 层的通用图像处理检测

在这项工作中，研究人员设计了一个特殊的卷积层，它通过对过滤器施加约束，旨在捕捉操作，而不是图像语义内容。经过对中值滤波、高斯模糊等不同修图方法的测试，该方法达到了> 95%的准确率。这项工作的目的是通用的，然而，据称它的设计仅限于 photoshopping 和篡改，而不是 GANs 之类的。****

Mesonet

Mesonet 是一部专注于也许是最痛苦的问题的作品:篡改视频中的人脸。具体来说就是 face2face 和 deep fakes(见上图)。由于视频(特别是数字化的)本质上是一系列图像，研究人员使用深度网络解决这项任务，并使用非常标准的网络获得了良好的结果。总之，这项工作除了是最早解决这项任务的工作之一之外，并没有什么特别之处。

甘实验

正如我们前面所看到的，甘人只是不断出现。训练一个模型来区分真实图像和特定的 GAN 并不困难。但是为每根训练一个模型也是不切实际的。**

一些研究人员非常乐观，试图将一个分类模型推广到不同的 GANs，这些 GANs 与他们所接受的训练不同。换句话说，他们在一种 GAN(PG-GAN—style GAN 的前身)上训练了一个深度网络，并试图在另一种 GAN(DC-GAN，WGAN)上进行推断。

正如预期的那样，结果表明，即使研究人员进行了预处理，也没有任何普遍性。

还有很多类似的方法，但概括起来——意思是，识别从未见过的伪造品，学习研究需要开始变得更有创造性。

通用方法

我们知道，深度学习不仅仅局限于朴素的分类器。有许多种 un/self/semi-supervised 模型可以处理少量数据、n 次拍摄和其他任务。

让我们来看看用什么样的思路来解决“万能假像”的问题。

自洽性

这种方法的一个很好的例子可以在作品 打击假新闻:通过学习自洽的图像拼接检测 中找到。这篇文章来自阿列克谢·埃夫罗斯的工作坊，大部分人都知道他在自我监督技术方面的工作。这部作品与他早期的作品有一些相同之处。研究人员整合了一个 4 步工作流程，其中他们:

1. 学习预测图像的 EXIF元数据。*
2. 将图像分割成许多小块，比较每一对的预测 EXIF 值。
3. 看起来具有不匹配的 EXIF 值的切片将被分类为取自不同的图像，因此该图像将是假的。
4. 分类将用于提供移植区域的热图。

A detection of “spliced” Keanu Reeves

但是什么是 EXIF 呢？在数字媒体中，图像(和一些声音文件也是如此)，EXIF，可交换图像文件格式，是一种元数据签名的文件。图像的 EXIF 应该包括相机(或扫描仪)型号、原始图像大小、照片属性(闪光灯、快门打开时间)等等。

显然，并不是所有的网上照片都有完整的 EXIF，尤其是那些造假的照片。这正是研究人员参与预测每个图像/补丁的 EXIF 的原因。现在你可以看到，这项任务在某种程度上是无人监管的，因为有大量的在线图像和现成的 EXIF 可供学习。更准确地说，使用了 40 万张图像来训练这个模型。

该模型在 photoshopped 图像上取得了良好的结果，但令人惊讶的是，它在 GaN 生成的图像上也取得了一些成功。

法医转移

Luisa Verdoliva 是一名意大利研究人员，她和她的团队拍摄了一些有趣的照片来推广图像取证。在这个作品中，他们训练了一个有点不同的模型，这将有望更具普遍性。他们所做的是使用自动编码器，这是一种旨在将图像“收缩”成向量，然后重建它的网络。这个向量被训练成分类器来确定图像是真是假:

A scheme of the forensic transfer autoEncoder

他们还尝试迁移学习:在数据集 A 上训练他们的网络，用数据集 B 的一个小子集重新训练它，并尝试在数据集 B 上进行推断。

他们在几个数据集上来来回回地做这项工作，并得到合理的结果(75-85%的准确率)。这些结果优于其他网络(其中一些在上面的监督学习部分讨论过)

ForensicTransfer — an example transfer learning results

噪声印迹

来自上述团队的另一种无人监督的方法，类似于自洽，试图预测图像碎片之间的 PRNU 噪声(一种特定类型的相机噪声)。它报告了多个数据集的最新结果(*均马修斯相关度为 0.4，而自洽度为 0.33)。

A set of predictions: noise print on the right. EXIF-SC is self-consistency.

深度假动作旋转

考虑到以上所有情况，似乎通用方法必须更积极地解决生成性伪问题。他们确实做到了:一些研究人员抓住机会，试图创造出某种甘将军猎人。这意味着能够识别 GAN 生成的图像，而无需对其种类进行专门培训。让我们来看看其中的几个:

学习在野外检测假的人脸图像

在一篇有点仓促的文章(只有 4 页)中，研究人员使用非耦合的图像对来训练一个深度网络，以对相同/不同的图像进行分类(真实和真实，假的和假的，真实和假的),这种有点天真的结果在不同的 GANs 上得到了合理的结果，尽管对所有的 GANs 都进行了训练。

GANs 会留下人工指纹吗？

在本文中，Luisa verdolva使用她最喜欢的噪声图(PRNU)，用不同的训练数据集来尝试和表征几种不同的 GAN 模型(PG-GAN，cycle-GAN)。他们的成功表明，实际上每个 GAN(达到训练集水*)都有自己的噪声指纹，类似于相机的噪声指纹。不幸的是，这种方法对检测假图像的帮助主要是理论上的，至少目前是这样。

作品分类

最终，我们可以交叉生产锻造和检测方法，并将大多数方法放入一个(或多个)盒子中:****

在我们在 Cyabra 的工作中，我们面临许多上述挑战，因此我们采用类似的策略:使用监督方法来检测已知的伪造品，同时进行调整和测试，希望能推广到其他伪造品。

不知何故，也许令人惊讶的是，我们已经发现一些通用或半通用的方法可能出乎意料地有效。例如，发现自洽工作，(通过一些调整)可能是有效的分类 GAN 创建的图像。

摘要

这就是了，如果你已经到达这里，你就成功地穿越了图像和视频取证的泡沫领域。

正如我们在上面看到的，大部分工作都集中在对特定篡改进行分类的方法上。然而，一般的方法是新的，仍然是稀疏的。

很明显，这个领域很快将不再是研究人员和爱好者的狭窄领域，而是开始涉及普通人——他们希望重新获得辨别真假的能力。

军备竞赛不会很快停止，但我们应该期待看到法医们齐心协力，想出一些更好的方法来反击伪造者。

*值得注意的作品 监督 学习 。

我希望你喜欢阅读这篇评论！欢迎随时 关注 我，并查看我的网站—www.shibumi-ai.com

热门歌曲有什么共同点吗？

原文：https://towardsdatascience.com/do-hit-songs-have-anything-in-common-37599940590?source=collection_archive---------19-----------------------

使用 Python 分析 Spotify 的数据

Source: unsplash

当你登录 Spotify.me 时，你会得到一个个性化的摘要，说明 Spotify 是如何通过你在 Spotify 上听的音乐来理解你的。这是非常酷的！

作为一个经常听音乐、喜欢摆弄数据的人，这启发了我，让我看看是否可以分析自己的音乐。

我也很好奇，想知道化妆是否有某些成分会影响歌曲。是什么让他们变得酷？为什么我们会喜欢热门歌曲，热门歌曲是否有一定的「DNA」？

目标

这让我试图用这篇文章中 Spotify 的数据来回答两个问题:

1. 我的音乐播放列表是什么样的？
2. 热门歌曲中有什么共同的音频属性吗？

工具

幸运的是，有非常简单的工具可以帮助我们连接到 Spotify，检索数据，然后将其可视化。

我们将使用 Python 3 作为编程语言， Spotipy ，Python 库允许你连接到 Spotify Web API ，我们将使用 plot.ly 和 Seaborn 进行数据可视化。

资料组

每年年底，Spotify 都会编辑一个当年最常播放的歌曲列表，这个列表有 100 首歌曲。我使用的数据集已经在 Kaggle 上可用:2018 年 Spotify 热门曲目。Spotify 的前 100 首歌曲似乎是一个合理的数据集，可以考虑作为我们的热门歌曲，你不觉得吗？

我们开始吧！

首先，你需要在developer.spotify.com创建一个账户。之后，您可以直接访问 Spotify Web API 控制台，开始探索不同的 API 端点。

注意:我在整个项目中使用的代码的链接在博文的末尾。

在连接到 Spotify Web API 之后，我们将使用 Spotipy Python 库创建一个 Spotify 对象，然后我们将使用它来查询我们的 Spotify 端点(我知道有点满嘴😃).

*import spotipy
from spotipy.oauth2 import SpotifyClientCredentials**from spotipy import util**cid =”Your-client-ID” 
secret = “Your-Secret”**client_credentials_manager = SpotifyClientCredentials(client_id=cid, client_secret=secret) 
sp = spotipy.Spotify(client_credentials_manager=client_credentials_manager)*

我的播放列表的探索性数据分析

这是数据科学中最重要的步骤之一。我们的目标是了解我的播放列表中的音乐类型，检索任何有趣的观察结果，并将其与 2018 年 100 首最佳歌曲的音频特征进行比较。

绘图艺术家频率

Artists in my playlist by frequency

通过观察这个直方图，我们可以看到艺术家在我选择的播放列表中出现的频率。

音频功能

现在我们来看看这个播放列表中歌曲的音频特征。Spotify 已经整理了 Spotify 上每首歌曲的 音频功能 列表！下面是我们将使用的功能的摘要:

乐器性:预测一个音轨是否不包含人声。“Ooh”和“aah”在这种情况下被视为乐器。Rap 或口语词轨道明显是“有声的”。乐器度值越接* 1.0，轨道不包含人声内容的可能性就越大。

能量:这是一个从 0.0 到 1.0 的度量，代表强度和活动的感知度量。通常，高能轨道感觉起来很快，很响，很嘈杂。例如，死亡金属具有高能量，而巴赫前奏曲在音阶上得分较低

acoustic ness:0.0 到 1.0 之间的音轨是否声学的置信度度量。1.0 表示音轨是声学的高置信度。

活跃度:检测录像中是否有观众。较高的活跃度值表示音轨被现场执行的概率增加。高于 0.8 的值表示该轨迹很有可能是实时的。

语速:“语速检测音轨中是否存在口语单词”。如果一首歌曲的语音度高于 0.66，它可能是由口语词组成的，0.33 到 0.66 之间的分数是一首可能同时包含音乐和词的歌曲，而低于 0.33 的分数意味着这首歌曲没有任何语音。

可跳舞性:“可跳舞性描述了一首曲目在音乐元素组合的基础上适合跳舞的程度，包括速度、节奏稳定性、节拍强度和整体规律性。值 0.0 最不适合跳舞，1.0 最适合跳舞”。

效价:从 0.0 到 1.0 的一个量度，描述一首曲目所传达的音乐积极性。具有高价的音轨听起来更积极(例如，快乐、愉快、欣快)，而具有低价的音轨听起来更消极(例如，悲伤、沮丧、愤怒)

Distribution of music styles in my playlist

从观察结果来看:

• 我的播放列表中的大多数歌曲都有广泛的可跳性分布，并没有太多的“快乐”歌曲，正如 0.5 以下的歌曲在价中的高频率所示。所以你可以说我喜欢适合跳舞的歌(这是真的！)
• 对于演讲、工具性和一点点 T2 的活力来说，这是一个向下的陡坡。这向我们表明，我的播放列表中的音乐通常不那么有声有色，没有乐器，也很少有现场观众的歌曲。
• 声音度在 0 和 1 之间*似均匀分布，这表明在我的音乐选择中没有对该属性的偏好。(我通常喜欢原声歌曲，但我不会出去寻找一首歌的每一个原声封面)。
• 最后，能量呈现正态分布，两端的尾部表示被添加到我的播放列表的可能性较小。所以基本上我喜欢能量一般的歌。
• 我的歌一般没那么受欢迎-__-

2018 年前 100 首歌曲的探索性数据分析

将数据集从 Kaggle 下载并导入到我们的应用程序后，我开始根据数据集中最受欢迎的艺术家出现在列表中的次数来分析他们。

Artist in Top 100 Songs of 2018 by frequency

2018 年 100 首歌曲中出镜率最高的艺人

Code snippet

Post Malone (src:latimes.com) and XXXTENTACION (src:thesource.com)

现在让我们探索一下我们数据集中前 100 首歌曲的音频特征，看看它们是什么样子的！我们将绘制与播放列表相同的直方图，以便稍后进行比较。

Distribution of music styles in the top 100 songs of 2018

通过观察直方图，我们可以看到前 100 个图表中的曲目是:

• 在可舞性和能量方面非常高，但在活跃度、语速和声音方面很低(我们已经可以看到一些迹象，表明我的播放列表不如前 100 名那么酷😞).

例如，来自我们数据集的德雷克的“在我的感觉中”，是高度可跳舞的，并且也具有相对高的能量值。

最后，我决定绘制一个前 100 首歌曲的雷达图，并叠加我的播放列表的音频特征，以便于比较。

Spotify 的前 100 首歌曲是蓝色的，而我的热门歌曲是橙色的。

结论

所以我想我在这篇文章的开头已经找到了我的两个问题的答案。我想看看我的音乐是什么样的，似乎有流行歌曲的基因。我的播放列表中的音频功能有点类似于前 100 首歌曲，但我有更多的原声歌曲和一些现场歌曲。

想做一首热门歌曲？确保它适合跳舞，有很多能量和一点价值(积极和感觉良好的氛围)。

我对结果很满意，但我想在另一篇文章中继续这个话题。

以下是我推荐的下一步:

• 了解如何使用您的播放列表来确定您的个性，并推荐您可能喜欢的广告。
• 使用机器学习聚类算法，K-Means，看看哪些歌曲与你的相似，你可以使用它来最终发现你可能喜欢的新歌。
• 使用机器学习根据歌曲的音频特征预测歌曲的“流行度”

你可以成为中等会员享受更多这样的故事。

你可以在 GitHub 上获得整个项目的代码。

感谢 艾尔文·钟阿什里斯 和John Koh就此主题发表的有益文章。Spotify和 Spotipy，感谢给力的 API 和库！****

我有足够的钱退休吗？

原文：https://towardsdatascience.com/do-i-have-enough-money-to-retire-af7914a07b34?source=collection_archive---------16-----------------------

蒙特卡罗模拟如何用于模拟退休不确定性的定量探索

如果你想自己运行代码，你可以在我的 Github 这里找到它。

这个例子只是为了说明的目的。 它不应以任何方式、形态或形式被视为财务建议 。

“我以 20%的信心估计，有 75%的可能性你的钱足够支付你的退休金。”

等等，什么？太令人困惑了。

没有财务顾问会对你这么说——但我希望他们会这么说。客户需要他们雇佣的人的信心和确定性，金融专业人士从第一天起就接受培训，自信地传递他们的信息(毕竟，他们试图出售一项服务)。

但事实是，定量模拟某人的退休极其困难，充满了不确定性和未知性。

这种差异的主要驱动因素是以下方面的不确定性:

1. 投资回报
2. 通胀
3. 退休后你每年会花多少钱
4. 你会活多久(以及你会有多健康)
5. 黑天鹅——难以预测的事件，如金融危机、战争、白鬼等。
6. 模型误差(错误估计和假设产生的误差)
7. 社会保障、所得税税率、资本收益税率等的变化。

下面我们就用 蒙特卡洛模拟 来详细定量探究一下 1 号到 4 号的车手。其他的也很重要，但是我不认为你想读一篇 45 分钟的博文；)所以我们将把它们留到下一次。

在这篇文章的结尾，我们将会更好地理解为什么尽管分析和计算能力有了显著的进步，却回答了“我到底需要多少钱”这个古老的问题依然充满挑战。

我们示例的假设

Our client, Randy

假设我们为一家名为 Lazy Advisors，LLC 的金融公司工作。我们的一个相对更懂财务的客户，兰迪，来做他的退休评估。以下是他的统计数据:

性别和年龄:男，55 岁

婚姻状况:单身(准备交往)

目标退休年龄:60 岁

投资组合价值:500，000 美元(他将不再存钱)

我们为 Randy 管理的投资组合相当保守——60%投资于股票(美国大盘股和新兴市场)，40%投资于美国国债。

由于我们公司很懒(因此得名)，我们只投资 5 种资产:国库券(基本上是现金)、国债、标准普尔 500、大宗商品和新兴市场股票(中国、巴西、俄国等)。).

我们使用均值方差投资组合优化来估计最优投资组合的投资权重(最高性价比)，有以下约束条件:

• 权重总和必须为 1
• 权重必须介于 0 和 1 之间(无卖空)
• 对标准普尔 500、大宗商品和新兴市场股票的配置总和必须为 0.6

我们的优化器生成一个投资组合，其配置如下: 40% 美国国债， 35% 标准普尔 500 指数， 25% 新兴市场股票。预期年名义收益率为 5.1% ，预期年标准差为 10% 。

我今天不会详细讨论这个问题，但请记住，最佳投资组合权重对我们对每种资产类别的预期回报、波动性以及与其他资产的相关性的估计极其敏感。

出于好奇，这里是我们对预期收益和波动性(标准差)的估计。这些估计来自 BNY 梅隆大学的这份报告。

Return and Risk Assumptions

最后，以下是我们对资产类别相关性的估计:

Correlation Matrix Assumptions

投资回报的不确定性

兰迪坐下后问我们的第一件事是，“我不打算在退休前存更多的钱。以我现在所拥有的，你认为我五年后退休时会有多少钱？”

由于我们知道 Randy 的投资组合的预期回报率为 5.1%，而我们又比较懒，我们就给他看下图，告诉他退休时(五年后)他的投资组合的中值将是 63 万美元。

Looks pretty good!

但是兰迪需要更多的信息。他知道中位数只是许多潜在结果中的一个，并想知道他可以预期多少变化。渴望去打高尔夫球，我们叫来了我们的实习生，让他处理数据。在一些巧妙的 Python 编码之后，他向我们展示了这个情节:

Wow, that is a wide range of outcomes!

什么！？我们的实习生会让我们错过开球时间的！我们问我们的实习生他是如何生成这个图表的，他告诉我们:

他使用 蒙特卡洛模拟 对兰迪的投资组合进行了 5000 次模拟，然后绘制了一段时间内的财富中值(蓝线)以及一段时间内的第 5 和第 95 百分位财富(蓝色阴影区域的底部是第 5 百分位财富，顶部是第 95 百分位财富)。

他还提到，他假设兰迪投资组合中的投资回报遵循正态分布(这是一个潜在的危险假设，我们将在未来的帖子中探讨)，并根据我们之前分享的关联热图相互关联(Smartypants intern 先生使用 Cholesky 分解使他的随机正态冲击相互关联，详情见代码)。

关于蒙特卡洛模拟的简要说明

在蒙特卡罗模拟中，我们一遍又一遍地运行实验，每次都收集结果(在这种情况下，Randy 60 岁时的投资组合价值)。关键是我们通过一些输入注入了随机性。这里，我们使用相关随机正态冲击来模拟投资回报的波动性。

你可以把蒙特卡洛模拟想象成掷骰子，每个输入的值我们不确定，用一个骰子来表示。我称它们为魔术骰子，因为根据你的需要，它们可能呈现不均匀的分布，或者一些骰子滚动可能是相关的(神奇地！)与其他骰子的滚动。因此，每个单独的模拟只是我们所有神奇骰子滚动的结果。蒙特卡洛模拟只是将我们神奇的骰子滚动许多次的过程(一旦我们完成，我们可以使用蒙特卡洛模拟结果来*似我们试图建模的事物的概率分布，例如 Randy 的投资组合)。

回到兰迪

以前，我们的实习生完全被他的解释搞糊涂了，所以我们瞪着他，要求，“请用简单的英语解释！”

我们勤奋(脾气好)的实习生回答道:

“在我进行的 90%的模拟中，兰迪的投资组合最终价值在 435，000 美元到 884，000 美元之间。”

现在兰迪很担心，“如果其中一个糟糕的场景实现了，那么由此产生的财富够我生活下去吗？”

正当我们要告诉他不要杞人忧天时，我们的实习生大声说道，“兰迪先生，你还需要记住考虑通货膨胀。你现在花的钱可能并不代表你将来需要花多少。”

多。我们的实习生是如此的好…

通货膨胀的不确定性

快速回顾一下— 通货膨胀是指物品(从拿铁咖啡的价格到你付给房东的租金)价格随着时间推移而上涨的趋势。

在退休模拟中，通货膨胀通常被建模为对投资组合回报的拖累。例如，如果兰迪的投资组合名义收益率为 6%(名义=通胀前)，而当年通胀率为 3%，那么他的通胀调整回报率将为 6%-3%=3% 。通胀只是偷走了一半的回报！

暂时离开我们和 Randy 的谈话，让我们了解一下通货膨胀是如何驱动退休不确定性的。下面的图表显示，仅仅改变我们的通货膨胀假设(而完全不改变投资回报)，我们得到的结果就会有显著的变化。虽然 2%似乎是对未来通胀的合理估计，但其他值也在可能范围内(例如，日本经历了几十年的通缩，美国在整个 20 世纪 70 年代经历了两位数的通胀，大萧条期间经历了严重的通缩)。

Inflation can cause significant variation in wealth outcomes

跑题了，让我们回到我们的客户，兰迪。不幸的是，他现在希望我们模拟他的通胀调整后的退休后财富变化。这样的监工…他也给我们一些更多的信息。Randy 希望每年从社会保障中获得一些钱，所以他估计他每年只需要从他的投资组合中支出 28，000 美元来维持他目前的生活方式。这 28，000 美元是通货膨胀调整后的价值——这意味着如果今年的通货膨胀率为 1%,那么明年 Randy 在名义上需要 28，280 美元。

年度投资组合提款(经通货膨胀调整):28 000 美元

预期死亡年龄:85 岁

所以我们跳上笔记本电脑，开始编码。我们决定将通货膨胀建模为一个正态分布的变量，期望值为 2%，标准差为 1%。此外，为了简化分析，我们忽略了通货膨胀和投资回报之间的相关性。经过一些数字运算，我们得出了下面的图表:

Inflation is quite the drag

我们的实习生向兰迪解释道，“兰迪先生，我们对你 85 岁时财富的中值估计是 81，000 美元……当我们预计你嗯……去世时。所以在我们的中间方案中，你确实有足够的钱。我们还包括了无通胀案例(红线)，向你展示我们对通胀的估计是如何对你的财富产生负面影响的。”

“然而，在我们运行的 40%的模拟中(我们运行了 5,000 btw ),您用完了钱！如果你的投资组合枯竭了，你将只有社会保障来度过余生……”

他继续说道:“我还为你做了这个柱状图，以便更好地展示你的财富成果。”(我们的实习生就是这么爱显摆)

That’s a lot of observations to the left of the red line (which denotes $0)

生活费和死亡年龄的不确定性

现在兰迪想知道，如果他想在退休后一直保持盈利，有哪些事情是他绝对必须避免的。

我们的实习生再次大声说道(叹气…)，并说:“没有人能保证你在整个退休期间能够保持 28，000 美元的通胀调整支出水*。你可能会遭遇不可预见的医疗费用、更高的税收等。因此，如果你最终增加支出，我们应该看看我们的预测会有什么变化。”

“兰迪先生，我们模拟了如果你退休时花了 38000 美元(而不是 28000 美元)会发生什么。就像之前我们做了 5000 次模拟一样。现在，在我们进行的 76%的模拟中，你最终没钱了(除了社保)！以前你只用了 40%。

If Randy overspends, he is in big trouble

“如果你最终比预期多活了 5 年(而是在 90 岁去世)，在我们为你进行的 56%的模拟中，你最终会耗尽金钱****，大大高于之前的 40%(当时我们假设你会在 85 岁去世)。

Living 5 years longer than expected depletes poor Randy’s portfolio

结论

最后兰迪满意了。很担心但是很满足。

他看着我们说。

“我今天学到了一些东西。你可以为我运行数千次模拟(由于投资回报和通货膨胀，这些模拟已经有了自己的方差)，但稍微调整一下假设，一切都会再次改变！这就像方差叠加在更多的方差之上！如此多的不确定性…

我们不知道他在说什么，但是我们的实习生给 Randy 看了下面的图表。

High level breakdown of the sources of variance (a.k.a. uncertainty)

“兰迪先生，我们可以把方差分成两部分:已知和未知。我们之前详细探讨过的已知变异来源，来自投资回报、通货膨胀、死亡年龄、支出等的波动。这些变异来源中的每一个都相互叠加，相互复合。但也有‘未知的未知’——造成隐藏变化的东西，我们无法建模，因为我们只是不知道它，或者我们知道它是错的。”

Randy 说他需要几天时间来消化所有的发现，但是他会在一周内和我们的实习生安排一次会面来讨论下一步的工作。似乎我们的实习生偷走了我们的客户。我们决心在未来雇佣更多实习生之前更加努力地思考(我们最初雇佣他只是因为他的拿铁艺术令人难以置信)。

来源:10 年资本市场回报假设，BNY 梅隆

为“gram: Instagram 风格的字幕生成器”而做

原文：https://towardsdatascience.com/do-it-for-the-gram-instagram-style-caption-generator-4e7044766e34?source=collection_archive---------18-----------------------

使用 Keras CNN-RNN 框架为 Instagram 照片生成标题

卡米尔·鲍曼、塞加尔·杜瓦和埃里卡·中川

1。简介

图像字幕是指使用自然语言处理(NLP)和计算机视觉(CV)生成图像的文本描述的深度学习应用。这项任务需要一种算法，不仅要理解图像的内容，还要生成与其解释相关的语言。我们希望通过专门为 Instagram 图片生成标题来进一步挑战这一挑战。

你会如何描述下面的图片？

一个简单的字幕生成器可以将图像描述为类似于“四个朋友在一个粉红色的房间里”的东西。微软的字幕机器人回答说“我认为这是一群人对着相机摆姿势”。你不也是这么描述的吗？但是如果你想在 Instagram 上发布这张图片，那会是它的标题吗？

Instagram 标题往往比简单的描述符更高级，由双关语、内部笑话、歌词、参考文献、情感和讽刺组成。在某些情况下，字幕可能与呈现的图像完全不相关。在这种情况下，用户@sejaldua99 发布了上面的图片，标题为“奥胡斯走的路 2 crazzyyy”。

我们的工作旨在用特定的词汇和表达方式生成符合特定风格的字幕。为了实现这一点，我们的模型由卷积神经网络(CNN)和长短期记忆(LSTM)递归神经网络(RNN)组成。

2。先决条件

这篇博客文章假设熟悉基本的深度学习概念，如卷积神经网络(CNN)、递归神经网络(RNNs)、梯度下降、反向传播、过拟合、概率、Python 语法和数据结构、Keras 库、TensorFlow 等。

3。数据收集

我们使用从 GitHub 用户@timgrossmann 那里获得的 Selenium 驱动的档案爬虫抓取 Instagram。scraper 为每个 Instagram 用户构建了 JSON 对象，包括帖子信息、位置信息、每个帖子的评论、每个用户交互的时间戳和数字赞等。我们编写了一个简单的脚本来解析我们收集的个人资料目录中的每个 JSON，并从那里提取 Instagram 照片和标题。

我们的数据集由关注我们账户的 Instagram 用户的帖子组成:@camillebowman、@sejaldua99 和@erikaaanakagawa。由于 scraper 需要通过 Headless Chrome 登录 Instagram，我们只能从我们关注的用户和公共档案中获取信息。

network visualization of the data source: 3 core nodes and one degree of follower connections

the code to produce the network visualization above

上面的网络是由 networkx 和 netwulf 库组成的，描绘了我们数据的范围。值得注意的是，因为我们从三个主要的独特人群中收集数据，所以我们引入了一些轻微的偏差。例如，如果我们的神经网络生成了与“约翰·霍普金斯”、“米德尔伯里”或“塔夫茨”相关的标题，这不会太令人惊讶，因为我们每个人都关注了许多来自自己大学社区的用户，而这些用户碰巧发布了关于他们各自校园发生的事件。

我们在两周的时间里收集了数据，整日整夜地搜集用户资料(我的电脑感觉睡眠严重不足)。我们设法从不到 3000 个用户那里获得了 100 个帖子，但是并不是所有来自这些用户的数据都进入了我们的 CSV 文件。事实证明，由于 Chrome 驱动程序的变化、滚动速率错误以及自脚本编写以来的 Instagram 更新，我们的 scraper 相当吃力——准确地说，23%的时间都是如此。

考虑到所有因素，我们使用的 profile crawler 在帮助我们获得一个巨大的数据集来训练我们的神经网络方面仍然非常有用。

4.数据清理

CLEANING

与任何数据科学项目一样，80%的工作是获取数据、存储数据、解析数据和清理数据。JSON 的清理包括文件系统遍历和一些非常复杂的条件逻辑。

summary report: composition of the dataset

我们做了一些深思熟虑的选择来构建一个数据集，我们认为这将最小化偏差，并尽可能提供最多样化的图像-标题对集合。设计选择如下:

• 没有图片，没有说明，收藏:我们删除了所有没有说明的帖子，丢弃了收藏和视频。不幸的是，这消除了大约 30%的未清理数据集，但相对于我们的大量帖子——总共约 130，000 篇——这并不太昂贵。
• 帖子太少:我们排除了发帖量少于 10 篇的用户，因为一个发帖量少于 3 篇的用户与一个发帖量少于 100 篇的用户相比，其影响力似乎相差了一个数量级，我们希望纠正任何可能引入的偏差。在剔除帖子太少的用户后，每个用户的帖子数量中位数从 21 个飙升到 46 个，这非常接*理论中位数。
• 低粉丝数(low num followers):insta gram 是一个*台，人们喜欢在这个*台上讲述有趣的故事，分享有价值的生活更新。年轻一代的 Instagram 用户通常有两个 Instagram 账户，一个用于以更公开的方式分享照片，另一个用于向更亲密的朋友分享照片和故事。我们想排除这些更小、更私人的帐户，因为这些类型的帐户的标题内容几乎从不与相应的图像匹配。出于这个原因，我们丢弃了所有关注者少于 200 人的用户的帖子数据。
• 非英语:虽然神经网络有令人难以置信的智能潜力，但我们想避免的一件事是用不同语言的字幕混淆我们的模型。想象一下，一个人要花多少时间和精力才能流利地掌握 5 种以上的语言。我们发现不同语言的字幕会成倍增加我们的训练时间，所以我们安装了一个名为 pyenchant 的库，它主要检查一个给定的单词是否在英语词典中。我们规定，如果标题的文本部分(不包括标签和提及)超过 5 个单词，并且超过 80%的单词不在英文目录中，我们会将标题指定为“非英文”并丢弃图像-标题对。只有 300 多个帖子属于这种情况，我们认为我们能够保留类似“更新:我要搬到法国去了。这就是生活。”点击链接查看所有被丢弃的非英语字幕。

pie chart representation of the dataset (blue represents viable data, red represents discarded data)

在丢弃了大约 38%的数据集之后，我们决定简要地研究一下我们的可行数据的组成。我们觉得 Instagram 的标题是独一无二的，因为它们的结构高度流动。也就是说，标题可以由字母文本、特殊字符、标签、提及、表情符号或以上所有内容的组合组成。我们希望量化我们正在处理的内容，因此我们解析了每个标题中的字符，如“#”和“@”，并使用 Python 表情库来筛选表示表情的正确 unicode 符号。按照流行程度从高到低的顺序，标题包含表情符号，然后是标签，然后是提及，然后是引用。不到一半的可用 Instagram 标题不包含任何有意义的特殊字符。

5。网络架构

我们的网络受到了 Jason Brownlee 的 如何从零开始开发深度学习照片字幕生成器 文章的启发。

我们将用于图像分类的卷积神经网络与用于序列建模的递归神经网络相结合，创建了一个为图像生成 Instagram 标题的单一神经网络。

换句话说，我们使用了一个在 ImageNet 数据集上预先训练的 16 层牛津视觉几何小组(VGG)模型来解释照片的内容。我们移除了 CNN 的最后一层，以收集从模型中预测的提取特征，用作生成字幕的 RNN 解码器的输入。

我们还使用了一个标记器来创建一个包含标题中所有字符的“字母表”。与 Jason Brownlee 的文章不同，我们决定在字符级别而不是单词级别进行标记，并包括标点和大写。我们认为这将更好地反映我们试图生成的标题，因为它允许我们保留标题的关键方面(如表情符号和标签)，并让我们的网络更好地生成表情符号。然后，我们将每个标题转换成一个数字数组进行编码，每个索引代表一个字符。最后，为了便于训练，我们在每个编码后的字幕前加入了开始序列和结束序列。

preprocessing images and obtaining features vectors from CNN

tokenizing captions on a character level

我们为每个标题创建了输入-输出向量，其中输入是图像的特征向量和标题的前 n 个字符，输出是标题中的 n+1 个字符。我们为字幕向量中的每个字符做了一个输入输出配对。第一个配对是图像和开始序列作为输入，标题中的第一个字符作为输出，最后一个配对是图像和整个标题作为输入，结束序列作为输出。由于我们只能使用 10，000 幅图像进行训练，为了防止我们的输入输出配对数量激增，并限制任何单个字幕的偏差，我们只使用字幕不超过 60 个字符的字幕-图像配对。

然后，我们训练一个长短期记忆(LSTM)解码器作为语言模型，它以特征向量和编码字符数组作为输入，并产生一个编码字符作为输出。

building the layers of the neural network

summary report: structure of our model

6。结果&结论

我们用不同的参数进行了多次迭代。在每一次迭代中，我们的网络最终陷入局部极小值，无论输入什么图像，都会生成相同的标题。以下是我们的一些训练迭代生成的单个字幕的一些示例:

• 我和小夏迫不及待地要当二年级(小夏？？我太爱你了，你现在是
• 夏天就是夏天:/D
• 世界最佳周末#thetan。
• 祝我最喜欢的地方州生日快乐！💜😘

尽管预测的结果缺乏多样性，但它们表明我们的网络能够学习和掌握 Instagram 粉丝的语言。它使用了标签、表情符号、标点符号和表情符号。这些标题大多由合法的英语单词组成。我们相信我们在模型质量方面的最大限制是训练的时间。有 1000 个任意长度的标题，这个模型花了两天时间来训练。将标题长度限制在 60 个字符或更少允许我们使用 10，000 张图像，并将训练时间减少到 10 小时。但是需要让模型通宵或全天训练限制了我们测试多次迭代和解决我们遇到的错误的能力。它还阻止了我们用更多的历元和更大的数据子集进行训练，这是我们在课堂上用来提高性能的两种策略。理想情况下，我们将能够使用数据集中 80，000 个图像-标题对中的很大一部分，并且拥有一台超级计算机也很好！

当然，总有办法修改我们的模型来提高精确度:

• 使用更大的数据集
• 改变模型架构
• 超参数调整(学习率、批量大小、层数等。)

然而，如上所述，由于我们的时间和计算能力有限，许多修改都是力所不及的。

尽管我们还有改进的空间，但我们为我们的神经网络感到自豪。它确实了解了一些关于 Instagram 标题的事情，甚至试图创建一个表情符号！显然，它还有一段路要走，但我们希望能激励一些人在未来继续并改进我们的工作。感谢阅读:)

我们所有的代码都可以在下面链接的 GitHub repo 中找到！

[## sejaldua/caption-gener8r

训练一个神经网络，使用一组较大的收集的 Instagram 数据为照片生成 Instagram 标题…

github.com](https://github.com/sejaldua/caption-gener8r)

承认

我们要感谢 Ulf Aslak Jensen 博士在他的丹麦留学学院(DIS)课程“人工神经网络和深度学习”中向我们讲授了各种神经网络模型的基础知识，并为我们提供了一些有价值的工具来应对这一挑战。祝贺你最*的博士学位和婚礼！我们还要感谢我们在创建这个项目时参考的许多 GitHub 资源库和在线文章。向开源社区大喊。一如既往，最感谢 StackOverflow 帮助我们这样的白痴每天解决我们的问题。

参考文献

布朗利，杰森。(2019).如何从零开始开发深度学习照片字幕生成器。

格罗斯曼蒂姆。(2019).insta gram-profile crawl GitHub 知识库。

朴，塞斯克&金，秉昌&金，君熙。(2017).关注你:使用上下文序列记忆网络的个性化图像字幕。

用数据做更多事情！

原文：https://towardsdatascience.com/do-more-with-data-6bc71f6eb4b3?source=collection_archive---------33-----------------------

以下是您如何利用数据锁定、赢得和留住客户的方法

Photo by Pablò on Unsplash

企业现在意识到，他们为了实现增长而做出的每一步和每一个决定都是从他们的客户开始的。一家公司留住的客户越多，就越有机会最大化投资回报率。

今天，营销人员主要关注客户的需求，并试图找到满足他们需求的最佳方式，不仅通过他们提供的产品或服务，还通过提供更好的客户体验。然而，要全面了解客户的需求，首先必须努力理解客户的行为。必须考虑客户与品牌的每次互动，以了解客户过去购买特定产品或偏好特定服务的原因。

有几种方法可以研究客户的这些行为模式，例如通过市场调查、在线和离线调查、公司过去的销售和最*的需求趋势。它们有助于积累大量的数据，由于其复杂性，无法通过传统的分析方法进行解释。这些数据可以称为“大数据”

B ig 数据由于其巨大的数量和复杂性，通常很难解释。然而，如果分析得当，它可以为企业提供有价值的见解，反过来，可以帮助营销人员做出周密的决策，制定更明智的战略，通过这些战略，公司可以在正确的时间与正确的客户接触。

充分利用数据还可以帮助企业应对市场不确定性，应对动荡的市场环境。所有这些都可以通过将客户作为企业的焦点来实现。人们可能想知道客户数据如何能帮助一家公司取得如此大的成就。这就是大数据如何帮助公司感知客户及其行为。

1.锁定客户

通过使用数据分析，大数据可以提供与客户的社会经济地位相关的重要信息。通过研究购买者的购买模式，公司可以了解消费者喜欢什么样的产品，或者他/她购买某一特定产品的频率？据福布斯报道，

“监督预测性营销工作至少两年的绝大多数高管(86%)表示，他们的预测性营销提高了投资回报率(ROI)。”

借助大数据，营销人员还可以根据人口统计和心理特征，利用一些不可识别的个人信息，如个人目标、兴趣、抱负、生活方式、习惯和日常活动，对目标受众进行细分。因此，细分是在短期内获得合适客户的第一步。细分后，企业可以将目标定位于允许其运营可行性的群体。锁定目标可以帮助公司提高工作效率，使他们只关注那些对他们的产品真正感兴趣的顾客。

2.筛选出忠诚的顾客

并非每个顾客都对一个品牌忠诚，因此必须为潜在顾客、对该品牌漠不关心的顾客、可能转向其他品牌的顾客以及已经与该品牌建立了持久关系并成为企业品牌传播者的顾客制定不同的商业策略。

营销人员普遍认为最有价值的顾客是那些在你的产品上花了很多钱的人；但是，这是不正确的，因为客户并不总是保持忠诚，如果他们有机会，可能会转向其他品牌，在价格，质量，甚至经验方面。

大数据有助于企业决定他们的忠诚客户，并通过计算买家的几个属性来识别 MVC。以下是可以用来从客户数据库中发现忠诚客户的许多指标中的几个。

1。顾客终身价值: CLV 表明了公司与顾客之间的关系。它告诉企业顾客在你的产品上花了多少钱。

2。Purchase Order: 计算客户在一次典型购买中花费的*均金额。此外，它还可以帮助营销人员对需求高或受众更喜欢的产品做出投资决策。

3。顾客满意度:顾客满意度告诉营销人员顾客对产品或服务的满意程度。它有助于发现不满意的客户群体，并提醒营销人员要减少产品或流程中的缺陷，以提供出色的客户体验，减少不满意的客户数量。

这些指标可以帮助企业将精力集中在可以改进的关键点上，从而赢得忠诚的客户群。

3.品牌的定位

大数据使业务与一致，其中和如何在市场中定位其品牌。它可以告诉营销人员何时何地做广告。研究发现，当消费者看到 TVC 或脸书或其他媒体上的在线广告时，他们不会对该品牌产生兴趣。

在所有广告形式和位置中，显示广告点击率仅为 0.05%

0.05%的点击率意味着每 100 人中只有 5 人从事在线展示广告。数据可以回答诸如“哪个地区的客户对我的产品感兴趣？”。通过了解顾客的心理特征，如果顾客对价格敏感，商家可以决定是否应该打折；或者应该通过改进产品来专注于价值游戏。这些信息可以帮助企业决定【如何】 和【何处】来定位他们的品牌，通过利用他们从数据中收集的洞察力来提供最佳的客户体验。

判决

有了大数据，对于今天和明天的企业来说，可能性的视野似乎是无限的；然而，只有正确的分析才能引导企业从过去的趋势中推断信息，并用它来预测市场的未来模式和趋势。像 Google Analytics 这样的工具，主要被许多营销人员用来衡量他们公司的在线存在，并了解他们的数字立场。数据已被证明对企业特别有用，这意味着越来越多的企业正在这场数据战争中赢得竞争。

对于今天的企业来说，数据提供了巨大的资本化空间。只有时间才能告诉我们，哪些公司将最大限度地利用数据，并且比竞争对手更了解客户，因此与竞争对手相比，他们可以为客户提供相对高端的客户体验。

不要急于编码。企业人工智能项目的 4 个原则。

原文：https://towardsdatascience.com/do-not-rush-to-code-4-principles-for-ai-projects-in-enterprise-20cfeb32af3d?source=collection_archive---------20-----------------------

Think together before doing alone, an ant principle.

不，人工智能自己不能理解。不，数据科学不是自动的。敏捷方法并不意味着混乱。一句话，不，这不是魔法。在匆忙编码之前需要做什么？在这里，我与你分享我从职业和个人项目中学到的 4 条原则。

尽可能清晰地制定业务目标

做数据科学是一个绝对的趋势，虽然是一个强大的工具，但有时会被过度使用和不适应。这就是为什么在开始任何一行代码之前，我们必须确定我们在寻找什么来证明/改进，以及我们有什么样的数据来实现这个目标。在编码之前定义一个清晰的业务目标，是企业中一个重要的关键特性，然后这个定义将被用来定义我们的解决方案的评估指标。

必须准备好数据

大多数数据科学项目都是为了确保我们拥有数据。然后，我们必须确保数据准备好用于我们的模型。缺失值和异常值是我们必须处理的事情，以便我们的模型具有良好的数据质量。数据准备所需时间常常被低估。这不是机器学习中最性感的部分，但通过 EDA 过程准备和了解你的数据，可以让我们挑战我们试图帮助的工作专家，然后对主要问题有更好的理解(有时会发现之前需要解决的其他问题)。

精确定义交付

任何数据科学家的主要目标都是让一个模型在评估指标上表现良好。但是，我们必须确定我们正在寻找的最终交付是什么，以及在开发开始时，这种交付将如何在技术上集成到全球解决方案中。我们是在寻找一个 MVP 吗？这是一个 shell 脚本执行吗？Web 执行？我们想要什么样的动态？我们想要什么样的硬编码？这只是演示还是一个生产项目？所有这些问题都必须在编码前回答。

没有黑盒效应

机器学习将被应用到越来越多的行业的各个层面。从这个假设出发，我们必须确保所有人都能够很好地理解机器预测什么以及为什么，机器学习的可解释性是关键。伦理问题在我们的社区中越来越受到重视，我坚信“无黑箱效应”将允许我们通过预测人工智能在未来可能面临的伦理问题来提供解决方案。我强烈建议任何数据科学家在其基础数据科学管道中添加一个 ML 可解释性部分，就像我们对功能工程或度量评估所做的那样。

有什么建议吗？

请在评论区分享你自己的建议。😃

有大公园的西雅图邮政编码比没有大公园的有更高的狗密度吗？

原文：https://towardsdatascience.com/do-seattle-zip-codes-with-large-parks-have-higher-dog-density-than-those-without-dae3f5089ae0?source=collection_archive---------28-----------------------

用 Python 的 SciPy 进行假设检验。统计包加上哪里可以找到微型山羊

前几天，当我在寻找宠物密度最高的西雅图邮政编码时，我发现自己在想，“在有大型公园的邮政编码中，狗的密度会更高吗？”和“这些山羊在哪里？”

深入到第一个问题，假设检验将帮助我们确定两组在统计上是否有显著差异。

对于假设检验，我们使用以下步骤:

1. 定义无效假设和替代假设
2. 识别测试统计和概率分布
3. 指定重要性级别
4. 计划、收集数据和计算
5. 拒绝或未能拒绝零假设

定义无效假设和替代假设

无效假设——作为一名持怀疑态度的科学家，我们希望我们两个群体之间没有差异。这是无效假设。

H0:与没有大型公园的西雅图相比，在有大型公园的西雅图邮政编码区，狗的密度没有增加。

替代假设——我们两个群体之间存在差异。我们无效假设的替代方案。

H1:与没有大型公园的西雅图相比，在有大型公园的西雅图邮政编码区，狗的密度增加了。

识别测试统计和概率分布

测试统计有几个选项，包括:

• Z 检验 —正态分布。适用于:具有大样本量或已知总体方差的正态分布数据
• T 检验 —尾部比正态分布重的学生 T 分布。适用于:未知方差，少于 30 个样本
• 卡方检验 —决定分类变量是否独立
• F 检验 —使用 ANOVA，检验基于方差的分组是否有意义

更多详情此处。

由于我们在每个人口中只有 14 或 15 个邮政编码，T 检验更适合于这种分析，因为它最适用于样本量小于 30 的情况。

除了检验统计量，如果您使用 z 检验或 t 检验，您需要确定您是在做单尾检验还是双尾检验。双尾检验是检验人群中的差异——或者大于或者小于(例如，男孩的身高与女孩的身高是否不同？).单尾测试用于确定一个单一方向的差异(例如，男孩比女孩高吗？).

在我们的例子中，我们的零假设表明有大公园的邮政编码并不比没有公园的邮政编码有更高的狗密度。因此，我们将使用单尾 t 检验，因为我们的假设只是询问在比较不同大小公园的社区时是否存在单向变化。

注意:与双尾 t 检验具有相同显著性水*的单尾 t 检验将拒绝比单尾 t 检验更少的零假设，因为它“分割”了“高于”和“低于”可能性之间的不确定性，您可以在下面的图表中看到这一点。请注意，单尾 t 检验的临界 t 值小于双尾检验的上限临界 t 值。

指定重要性级别

显著性水*是基于所提供样本的群体之间没有差异的概率。5%或 1%的显著性水*(alpha)对应于备选假设的 95%或 99%的置信区间。请记住，在显著性水*为 5%的情况下，预计 20 个重复实验中有 1 个会得到错误的结果。

在这种情况下，我决定 5%的显著性水*/95%的置信区间适合我的目的。特定的显著性水*通常是你的行业、公司等的标准，所以一定要使用它，不要随便选一个。注意:调整您的显著性水*和置信区间以适应您的结果不是一个好的做法(例如，我们发现这种差异在 87%的置信区间下是显著的)。

计划、收集数据和计算

一旦有了假设、测试统计数据和显著性水*，就可以准备制定数据收集计划了。基于您期望的两个总体之间的差异大小和您的显著性水*，您可以确定您需要多大的样本来拒绝零假设，如果它是假的。更多信息见这里。

首先，按照计划，收集所有的数据。同样，在收集数据的同时不断计算测试统计量，等待达到显著性阈值，然后取消其余的数据收集，这不是一个好的做法。我们不只是试图拒绝零假设，而是实际上试图获得真相。遵循你的计划，收集所需数量的数据，然后然后计算，从而避免诱惑。

为了我的调查，这是西雅图狗密度的柱状图，按邮政编码排列:

看到没有大公园的邮政编码的*均狗密度大于有大公园的邮政编码的*均狗密度，我可以/应该停止我的调查。从统计上来说，或者从任何角度来说，在有大公园的邮政编码区，狗的密度并不高。我真的想知道这是否会随着人均价值而改变…下一个调查！出于入门/提醒的目的，我们将继续这个过程:

接下来，计算你的 p 值。查看“统计测试”的scipy.stats 文档，找到适合您情况的文档。在本例中，我正在对两个独立的人群进行 T 检验，所以我将使用ttest_ind。查看文档，请注意，它期望两个群体之间的样本大小相等，因此我将随机对较大的群体进行采样，以便将其调整为较小群体的大小。由于我们不知道方差是否相等，我们将把equal_var参数设置为False，以执行韦尔奇 T 检验，该检验不要求方差相等，而学生的 T 检验则假定两个总体之间的方差相等。

from scipy.stats import ttest_ind, t
import numpy as nprand_no_parks_zips = np.random.choice(no_parks_zips, size=14)
result = ttest_ind(rand_no_parks_zips, parks_zips, equal_var=False)
print(result)

退货:

**Ttest_indResult(statistic=-0.9046044635337662, pvalue=0.3745636286751721)**

这提供了双边检验的 p 值。为了获得单侧 p 值，我需要使用 t 统计量，并将其与我的 0.05 显著性水* t 统计临界值进行比较。

要在 python 中获得 t 统计临界值，请使用scipy的百分点函数(百分点)

p = .95 # 1-alpha
df = 13 # degrees of freedom (n-1)
critical_t_value = t.ppf(p, df)
print(critical_t_value)

我们得到了:

**1.7709333959867988**

视觉上，我们有:

要查看 p 值，您可以使用累积分布函数来查找曲线下达到 t 统计量的面积，并将其从 1 中减去，以获得零假设为真的概率，并且具有大公园的邮政编码并不比没有大公园的邮政编码的狗密度高。注意:如果你在另一边做单尾测试(比如狗的密度较小)，你不需要从一个中减去。

p_value = 1 - t.cdf(result[0], df)
print(p_value)

我们得到了:

**0.808933235528686**

这里我们看到 t 统计量远低于临界值(当我们寻找大于替代假设时)，p 值远高于我们的显著性水*。因此，我们不能拒绝零假设，即有大公园的西雅图邮政编码没有比没有大公园的更大的狗密度。在 0.05 的显著性水*上，这两个群体之间没有统计学上的显著差异。

如果 t 统计量超出了临界 t 值(或双尾检验的-值)，并且 p 值小于我们选择的显著性水*，我们将拒绝零假设，而支持替代假设。请注意，p 值和 t 统计检验将始终表明相同的结论。您不需要两者都检查。

Beckham enjoying Green Lake. Photo Credit: Kevin Honold

我由此得出的结论是，西雅图人喜欢他们的宠物，不管它们离一个大公园有多*。虽然我的小狗贝克汉姆肯定很喜欢它靠*绿湖的位置，但是不管你离一个大公园有多*，有很多方法可以让你的宠物保持活跃和健康。

调查愉快！

正在寻找 38 只注册的小型山羊…

我不会猜到拉韦纳/韦奇伍德/枫叶/等等。成为迷你山羊的热土，但是很迷人！

一如既往，你可以查看我的 GitHub 回购了解更多细节/代码。

股票提供正的预期回报吗？

原文：https://towardsdatascience.com/do-stocks-provide-a-positive-expected-return-d21571e78ea4?source=collection_archive---------11-----------------------

Photo by Mark Finn on Unsplash

我们使用统计和模拟来量化我们对标准普尔 500 战胜现金(国库券)的信心

如果你想自己运行代码，你可以在我的 Github 这里找到它。

投资和退休理财的一个基本假设是，随着时间的推移，股票将比现金或国债等更安全的投资资产带来更高的回报。但是他们有吗？

在本帖中，我们将检查这些数字，运行一些模拟，并最终量化我们的信心水*，即标准普尔 500(美国大型公司的可投资指数)将为我们提供超过美国国库券(现金)的正预期回报。

一些定义:

名义回报 =未经通货膨胀调整的投资回报

实际回报 =经通货膨胀调整后的投资回报

我们为什么要关心？

尽管我们今天有很多投资选择，标准普尔 500 仍然是大多数投资组合的主力。例如，广受欢迎的 SPY ，一只跟踪 S & P 500 的 ETF(交易所交易基金)，截至 2019 年 5 月 23 日，净资产超过 2780 亿美元。它只是众多跟踪标准普尔 500 指数的基金之一。

即使你没有直接买下标准普尔 500，你也可能拥有一些。假设你现在 30 岁，在你的 401k 计划(为计划在 2055 年退休的人设计)中投资了 Vanguard 2055 目标日期基金。该基金将其 54%的资产投资于总股票市场指数基金，该基金与标准普尔 500 指数大致相同。

所以基本上每个人都至少有一些钱在里面。

回报的另一面是风险

在金融界工作，你会经常听到这样一句话:“没有免费的午餐。”(除了在谷歌，抱歉，这是个蹩脚的笑话)金融人士这么说的意思是，没有伴随风险就没有超额回报。

让我们想想这意味着什么。

无风险基准利率

第一，我为什么说超额收益？我们能用钱投资的东西从来都不是只有一个。每一个决定都是一种权衡——如果我投资标准普尔 500，那么这笔钱就会被套牢，不能再投资于黄金、国债、日本股票、原油或其他任何东西(直到我们出售)。

我们做出的每一个财务决策都应该有适当的基准。金融中最基本的基准是无风险利率——我们可以不费吹灰之力、零风险获得的回报率。

我们通常使用的无风险利率是国库券利率(我在本文中使用的是一年期国库券利率)。国库券是由美国政府发行的短期债务工具(一年内到期)，被认为是无违约的。展望未来，我将交替使用一年期国库券和现金，因为国库券被广泛认为是现金等价物。让我们来看看这个比率是什么样的:

One Year Treasury Bill Rate

正如你所看到的，现金利率变化很大，从高通胀的 20 世纪 70 年代的两位数到过去十年的接*零(为了应对金融危机)。需要注意的一点是，一年期国债利率实际上并不是真正无风险的——如果通胀率高于你的收益率，你最终将获得负的实际回报。TIPS(国债通胀保值证券)将是无风险资产的良好候选，但直到 20 世纪 90 年代才被广泛采用(因此数据较少)。

你应该因为承担更多风险而要求更多的回报

第二，你承担的风险越大，你期望的回报就应该越高。否则为什么要拿你的钱冒险呢？下图说明了这种风险与回报的关系。

Always demand more bang for your buck!

那么，我们为什么要相信像美国股票这样的高风险产品会给我们带来比现金更高的预期回报呢？经典的回答是当我们购买公司的股份时，我们是在提供金融资本来帮助发展和经营业务——我们是在提供服务，应该期望得到报酬。

就像向朋友发放个人贷款一样，你可能只能收回一部分钱，或者根本拿不回来。因此，本质上，股票的更高预期回报，就像贷款利率一样，是为了补偿你的风险。但是真的吗？

标准普尔 500 包括股息的*均年回报率(1962–2017):10.9%

*均无风险利率(1962 年至 2017 年): 5.2%

*均回报看起来不错，但是仅仅看*均回报会欺骗我们。下图比较了年度股票回报率和无风险利率。三样东西跳了出来:

1. 标准普尔 500 回报比现金回报表现出更高的波动性。
2. 现金的表现已经超过标准普尔 500 指数很多倍。
3. 1990 年以前，现金似乎比 1990 年以后更经常跑赢股票。
4. 2008 年后，股票轻松击败现金，因为无风险利率被美联储锁定为零。

Stocks returns vary much more than cash returns

用一些模拟来测试我们的假设

让我们通过运行一些模拟(精神上非常类似的分析)来可视化这个过程，而不是计算测试统计和运行正式的假设测试。

我用以下假设运行了 5000 个一年的模拟:

• 股票收益正态分布，预期收益 10.9%，标准差 15.2%。
• 无风险利率(现金回报)的预期值为 5.2%，标准差为 3.4%，但不能低于 0%。
• 上述数值是使用历史数据(1962 年至 2017 年)估算的。有人可能会说，上世纪 70 年代的高通胀(和高利率)是一种异常现象，但我们已经受到数据的限制，所以我决定在我的分析中尽可能多地使用数据。
• 股票和现金回报是独立的。
• 我没有对这些值进行通货膨胀调整(一切都是名义值)。

在我运行的 35%的模拟中，现金战胜了股票！这可不好。因此，在任何一年，标准普尔 500 指数跑赢现金的可能性只有三分之二。

对于可视化，请查看下面我的模拟结果的直方图。注意 x=0 处的垂直橙色线；发生这种情况是因为我不允许现金的名义回报率低于 0%(你也不应该这样，如果你的银行试图收取你持有资金的费用，是时候换银行了)。因此，现金回报率等于 0%的例子很多。

Stocks look pretty risky…

这还不是全部。回想一下，我们仅使用 56 年的历史来估计我们的预期回报和标准差——这并不是很多数据。所以还有第二个层次的不确定性——围绕我们对总体参数估计的不确定性(为了简单起见，我们将专注于解决围绕预期回报的不确定性，忽略围绕标准差的不确定性)。

我们可以通过将标准误差应用于我们对预期回报的估计来尝试捕捉这种不确定性。标准误差基本上是我们对真实*均值估计的标准偏差。也就是说，“标准误差”试图回答这个问题——如果我们多次进行这个实验(假设我们可以),并计算每次的预期收益，我们会在这个预期收益估计值中观察到多少变化？

我们可以将标准误差(SE)计算为:

SE =样本标准偏差/ sqrt(样本大小)

SE _ S&P500 = 15.22%/sqrt(56)= 2.03%

SE_Cash = 3.36% / sqrt(56) = 0.45%

针对参数的不确定性修改我们的模拟

由于我们可以运行的模拟数量没有实际限制，所以让我们只表达我们对预期回报真实值的不确定性，作为随机性的一个额外来源。这是我们的设置:

• 进行 5000 次实验。
• 每个实验由 5000 个一年的模拟组成。除了现在标准普尔 500 和现金的预期收益不再是固定的；相反，它们本身是随机变量(根据学生的 t 分布分布)，其标准偏差等于各自的标准误差。

因此，我们只是重复我们之前所做的(之前的直方图)5000 次(像一个嵌套循环)，每次都允许我们不确定的变量(预期回报)发生变化。让我们来看看这是什么样子的(记住垂直的橙色线在那里，因为我不允许负的现金回报，因此有很多现金回报= 0%的例子)。形状看起来和以前差不多，只是更*滑了，因为我们运行了这么多模拟。

Looks about the same as before

看看统计数据，什么都没有改变(现金每年仍有 35%的机会获胜)。

那么，这一切都是徒劳的吗(对于我自己的直觉来说，检查估计值的不确定性是否会导致更多的差异实际上是有用的——似乎不会)？

或者也许我们没有问对问题…

当你扩大投资范围时，股票看起来会更好

买入并持有是一种流行的投资策略，这是有原因的。我们不应该用几天、几周甚至几个月来判断我们的投资。我们投资是为了积累长期财富，并为我们的退休生活提供资金。

回想一下，之前我们发现现金赢的概率为 35%(在我们的 5，000 次模拟中)。让我们来看看我们购买和持有的时间(持有期)如何影响现金赢率:

The longer your holding period, the more likely that stocks will beat cash

如果我们买入并持有股票 5 年，现金胜出的概率从 35%下降到 25%。如果我们买入并持有 10 年，则降至 18%。如果我们买入并持有 20 年，股票表现差于现金的概率会一直下降到 12%。仍然不理想，但已经明显好了。

因此，在一个足够长的时间范围内，说股票将比现金回报更好似乎是一个合理的赌注——在 20 年的投资范围内，股票在 8 次中有 7 次击败了现金。

让我们凭直觉理解为什么持有时间越长，股票相对于现金越有吸引力。主要原因是，随着你持有时间的增加，预期回报开始比波动性(标准差)更重要。让我们来看看五年持有期的预期回报等式:

5 _ yr _ return =(1+annual_return)⁵-1

如果你持有一项投资资产五年，这是你累积回报的标准差( stdev ):

5_yr_stdev = annual_stdev * sqrt(5)

注意到什么酷的东西了吗？如果你从这篇文章中只拿走一样东西，我希望是下面这一点。这可能是所有金融中最重要的概念:

预期回报随时间呈指数复合增长，但波动性(标准差)仅随时间的*方根增长。

这意味着，随着时间的推移，你投资的波动性会被回报淹没，前提是预期回报足够高(长期回报大于波动性)。你会听到这被称为复利的力量。让我们来看看这个:

Return starts to take off relative to volatility

前面的图表让股票看起来像是一个不需要动脑筋的问题，但是请记住，我们不太关心股票的绝对回报，而更关心股票相对于现金的超额回报。使股票受益的复利也有助于现金。

负荷试验

只说“持有股票 20 年，你就可以走了”太容易了。让我们对我们的假设进行一点压力测试。

早些时候，我们计算出股票的标准误差(我们对预期回报估计的标准偏差)为 2.03%。因此，如果股票的实际实现回报率低 1.0%(9.9%，而不是我们估计的 10.9%)，一点也不奇怪。

如果股票回报低于我们的预期，那么在各种投资范围内，现金战胜股票的概率会怎样？不出所料，情况全面恶化，现在即使在 20 年的时间范围内，现金也有*五分之一的机会击败标准普尔 500。

Gets worse but longer holding periods still help

结论

那么，标准普尔 500 的表现是否会优于一年期美国国债？大体上是的。但在任何一年，我们都应该预料到大相径庭的结果(股票的胜算大约只有三分之二)。即使持有超过 20 年，我们也不能非常自信地认为投资股票会更好(股票的胜算大约是 8 分之 7)。

那么，为什么还要担心股票呢？正如我上面提到的，虽然现金在名义上是无风险的，但它却极易受到通货膨胀的影响。

另一方面，股票由于其较高的预期回报和公司提高商品和服务价格的能力，相对较少受到通货膨胀的影响。

因此，股票仍然是我们长期积累真实(经通胀调整的)财富的较好赌注之一——但正如我们所见，它们绝不是一个稳赚不赔的赌注。

来源:

S&p500 收益的数据来源于 罗伯特席勒的网站 。

国债利率数据取自。****

Twitch 上的流媒体指标会影响游戏销量吗？

原文：https://towardsdatascience.com/do-streaming-metrics-on-twitch-affect-game-sales-cbb4e0ee90e0?source=collection_archive---------26-----------------------

使用线性回归探索视频游戏销售与其在 Twitch 上的流量之间的关系

Photo by Caspar Camille Rubin on Unsplash

每天，大约有 1500 万游戏玩家和非游戏玩家访问 Twitch，与志同道合的社区进行交流、观看和聊天。*台上有如此多的人，我认为看看一个给定游戏的流媒体指标如何影响该游戏的单位销售会很有趣。虽然我特别感兴趣的只是理解流和销售之间的潜在关系，但我的假设是，具有非常健康的流指标的游戏也会有类似的健康销售数字。我也有预感，总观看分钟数和总播放分钟数的系数将是销售数字的主要驱动力。

然而，这只是一个假设，所以我决定求助于一些真实的数据和真实的建模来决定是否接受或拒绝它。

数据

对于这个项目，我从两个主要来源获取数据。第一个是使用 BeautifulSoup 获取视频游戏销售指标的对 VGChartz 的网络抓取。第二个(流媒体指标)是通过 SullyGnome (第三方 Twitch 统计和分析网站)收集的。具体来说，我研究了:

• 值班时间
• 连续开工时间
• 峰值观众(特定标题的最高并发观众数量)
• 峰值频道(特定标题上的最高并发流媒体数量)
• 飘带
• 普通观众
• *均频道

在继续之前，有必要重复一下直接从他们的网站上获取的关于 VGChartz 的附加说明:

所有销售信息仅是估计值，并通过多种专有且不断发展的方法得出，包括:

• 被动地轮询终端用户，了解他们当前正在购买和玩什么游戏
• 调查零售合作伙伴，了解他们销售的游戏和硬件
• 使用相似游戏的统计趋势拟合和历史数据
• 研究转售价格以确定消费者需求和库存水*
• 咨询出版商和制造商，了解他们将多少台设备引入渠道

因此，虽然 VGChartz 上的销售数字是公开可以找到的最可靠的数字，但它们可能并不准确。

范围

尽管 Twitch 在美国占据主导地位，因为 VGChartz 和 SullyGnome 都在全球范围内收集数据，但我没有(也不可能)将这项研究局限于一个国家。此外，SullyGnome 上的可用数据只能从 2016 年到现在访问，所以我不得不将该项目限制在 2016 年以后。最后，尽管 Twitch 占据了 PC 流媒体市场的最大份额，但由于数据的性质，我分析了所有*台的多*台产品。

现在，在我开始实际建模之前，先做一些简单的说明。首先，我选择排除这个项目的免费游戏(F2P)的标题。虽然像《堡垒之夜》、《英雄联盟》和《Dota 2》这样的游戏继续主导流媒体领域，但考虑到(顾名思义)它们不需要花费任何费用来玩/购买，它们并没有完全炸毁每周的销售图表。

同样，我决定将微交易排除在这项研究之外。虽然一项有趣的未来研究可能会将微交易视为流媒体指标的一个功能，但该项目严格关注任何给定标题的销售单位。

模特 V1:2016–2018(所有比赛)

Photo by Sean Do on Unsplash

在我第一次浏览数据时，我选择查看 SullyGnome 存在以来(2016 年至今)所有图书的销售情况。然而，因为 VGChartz 只有 2018 年的完整图表，我被迫只看 16-18 年的数字。

为了从 VGChartz 获取信息，我运行了一系列函数来抓取多个页面中的必要列:

上面给了我一个 56，322 款游戏的庞大数据框架，尽管其中只有大约 20，000 款游戏附有总销售额，所以我用这些数据进行工作。

在对这个数据框架做了一些清理之后(请随意查看我的项目报告中的代码),我将所有*台上每个游戏的销售额汇总到每个独特游戏的一行中，因为 SullyGnome 显示了所有*台上每个游戏的所有流媒体指标。

接下来，我继续使用 SullyGnome 的 Twitch 指标，从 2016 年到 2018 年的前 1000 款游戏中抽取，因为这感觉上是一个足够大的批量，可以用来测试我的假设。两个数据框架都被合并到公共列“游戏”中，然后准备建模。

第一个模型

进入模型后，我强烈地感觉到将会有一些严重的多重共线性。毕竟，再次查看我选择用作我的模型的特征的流度量(观看时间、流时间、总流数等。)许多人本质上说的是同一件事，或者彼此之间有明显的强相关性。

将所有特征和目标放入相关矩阵中肯定证实了这一点:

Correlation matrix for 2016–2018 games

在整个项目中，我在构建和优化模型时牢记这一点，剔除具有*乎完美的多重共线性的要素。然而，更有趣的是，(也令人失望的是)我还在所有这些流式指标和目标(总销售额)之间看到了一个相当微弱的信号。

这是一个很好的地方来说，我将主要看着调整的 R *方作为我的成功指标。我更感兴趣的是了解我的特征和目标之间的关系，而不是试图预测未来的目标变量(在这种情况下，我可能会选择查看 RMSE——均方根误差)。

无论如何，我知道我将需要做一些相当大的清理和提炼，但我很好奇在去掉一些非常相关的特性后，摘要会是什么样子。使用统计模型，很容易将模型与一些数据相匹配，并打印出汇总统计数据:

这打印出了以下内容:

不出所料，我看到了一些我上面预期的回声。在高条件数和相当低的调整后 R *方中有强烈的多重共线性迹象。然而，通过查看系数，我还发现了一些非常有趣的事情…尽管大多数功能给我的信号很低，甚至没有信号，但 peak_channel 指标的值为 443。这意味着，对于一个给定的标题，每增加一个高峰频道，我就会看到多卖出 443 台！随着我的项目向前推进，这是我肯定会关注的事情。

这是提到线性回归的另一个假设的好时机:同方差。散点图是检查数据是否同质的好方法(意味着回归线上的残差相等)。以下散点图显示了非异方差(即异方差)数据的示例:

这是我的散点图…

在这个阶段，我基本上违反了线性回归的五个假设中的两个…也许我需要一个不同的方法…

模式 2 和模式 3:大同小异

在项目的这一点上，我决定最好的行动是逐步缩小我所关注的时间范围。我不会详细介绍这些模型，但可以说我观察了以下时间段:

• 2016 年至 2018 年，但只是销售额最高的游戏
• 2018 年总计

在每个阶段，我都看到了稍微好一点的结果(更高的 r *方，残差图上稍微多一点的随机性)，但仍然大同小异:强烈的多重共线性，许多流度量之间的信号很弱，没有同质性。在这一点上，我觉得 LUL 表情本身应该被用来嘲笑我糟糕的成绩:

Is this even a linear regression?

模型 4:终于有所进展

对于我的建模的最后一次迭代，我选择查看每个游戏发布当月的销售和流媒体指标。根据我自己的经验、领域知识和 VGChartz 的一些环境扫描，很明显，游戏销售通常在发布时有一个强劲的峰值，并在第一个月之后急剧下降。因此，我希望这种方法会产生更好的结果。

同样，我从 VGChartz 网站上收集了每月的热门游戏，结合 SullyGnome 的指标，发现了一些更令人鼓舞的结果:

Starting to see some signal between sales and streams (row 1)

Starting to see a linear relationship

不仅这些结果更令人鼓舞，在这个尺度上峰道系数甚至更大。事实上，让我们看看这个系数是如何影响每个时间尺度的销售额的:

Whoa…

这表明，逐月查看数据，在发布的前 4 周内，我们看到 Twitch 上每个额外的高峰频道流媒体都额外售出了 1，542 台。这是相当有意义的！

结论

我进入了一些关于我的模型的附加细节(正则化，交叉验证，等等)。)但这篇文章已经够长了，关键在于 peak_channels 系数。

虽然我可以合理地说，在许多流媒体功能和目标之间没有巨大的信号，但我可以说 peak_channels 系数有一个非常戏剧性的信号，特别是在游戏发布的前 4 周。

关于这一发现，需要注意的是:一个标题的高并发流数量可能只是有多少人首先购买了该游戏的函数，而不是相反。因此，在未来，我很乐意探索预购销售数字与发布时的流数量的对比，以确定流是否确实是销售的原因。

Twitch 的业务是建立社区，支持创作者和游戏开发者，并塑造整个视频游戏行业。有了这些数据，我会建议 Twitch 联系潜在的游戏开发商和赞助商，并建议他们不要将赞助/广告资金集中在大型(和昂贵)的流媒体上，如忍者(哎呀，他甚至已经不在那里了)，而是应该尽他们所能在游戏发布时让流媒体充斥市场。

他们可以通过吸引社区和提升横幅来做到这一点，这些横幅通常不会引起大赞助商的注意。

这与大多数成功的广告运作方式背道而驰。然而，Twitch 在许多方面都是一个反直觉的产品。Twitch 由小型利基社区组成，这些“中间层”横幅有一个更有效的互动*台，可以与观众建立友好和亲密的关系(即使他们没有大牌横幅的音量)。把它想象成类似于在一个巨大的舞台上观看你最喜欢的乐队与一个亲密的 500 人俱乐部的比赛。广告商和游戏开发商同样可以利用这种紧密联系的利基社区，在更个性化(和更高转化率)的层面上有效地瞄准和沟通。我甚至建议 Twitch 制作一个实时分析仪表板，看看游戏是如何在发布窗口参与和销售的，以利于广告商、开发者和整个游戏社区。

附录

Github 、 LinkedIn 、投资组合

我如何使用 NLP (Spacy)筛选数据科学简历

原文：https://towardsdatascience.com/do-the-keywords-in-your-resume-aptly-represent-what-type-of-data-scientist-you-are-59134105ba0d?source=collection_archive---------2-----------------------

通过 NLP 更好地定位您的数据科学简历

Image Source: pixabay

简历制作非常棘手。一个候选人有许多困境，

是详细陈述一个项目，还是只提及最低限度

是提及多项技能还是只提及他/她的核心能力技能

是要提到很多编程语言还是只举几个

是将简历限制在 2 页还是 1 页

对于寻求改变的数据科学家来说，甚至对于有抱负的数据科学家来说，这些困境都同样艰难。

在你想知道这篇文章的方向之前，让我告诉你写这篇文章的原因。

上下文

我的一个朋友有自己的数据科学咨询公司。他最*获得了一个好项目，需要他雇佣两名数据科学家。他在 LinkedIn 上发布了一份工作，令他惊讶的是，他收到了* 200 份简历。当我见到他本人时，他说，“要是有一种方法能比手动逐一查看所有简历更快地从这些简历中选出最好的简历就好了”。

在过去的两年里，我一直在从事几个 NLP 项目，这既是工作的一部分，也是我的爱好。我决定尝试解决我朋友的问题。我告诉我的朋友，也许我们可以解决这个问题，或者至少通过一些 NLP 技术来减少手动扫描的时间。

确切要求

我的朋友想要一个拥有深度学习和其他机器学习算法知识的人作为他/她的核心竞争力。另一名候选人需要具备更多大数据或数据工程技能，如在 Scala、AWS、Dockers、Kubernetes 等方面的经验。

进场

一旦我明白了我的朋友理想的候选人是什么样的，我就想出了一个方法来解决这个问题。以下是我列出的方法

准备一本字典或表格，将所有不同的技能进行分类，例如，如果有像 keras、tensorflow、CNN、RNN 这样的词，那么将它们放在一个名为“深度学习”的栏目下。

有一个 NLP 算法来分析整个简历，基本上搜索字典或表格中提到的单词

下一步是统计每个候选人在各种类别下出现的单词，如下所示

The above candidate would be a good match for the ‘Deep Learning Data Scientist’ that my friend is looking for.

将以上信息用视觉的方式表现出来，这样我们选择候选人就变得容易了

研究

现在我已经最终确定了我的方法，下一个大的障碍是如何完成我刚才所说的。

NLP 零件—空间

我在寻找一个可以进行“短语/单词匹配”的图书馆。Spacy 满足了我的搜索需求。Spacy 有一个叫做“短语匹配器”的功能。你可以在这里阅读更多信息。

阅读简历

有许多现成的软件包有助于阅读简历。幸运的是，我朋友收到的所有简历都是 PDF 格式的。所以，我决定探索像 PDFminer 或 PyPDF2 这样的 PDF 包。我选择了 PyPDF2。

语言 : Python

数据可视化 : Matplotlib

代码和说明

完整代码

这里有一个要点链接到完整的代码。

现在我们有了完整的代码，我想强调两点

关键词 csv

关键字 csv 在代码行 44 中被称为‘template _ new . CSV’

您可以用自己选择的 DB 来替换它(并在代码中进行必要的更改)，但为了简单起见，我选择了好的 ol excel 表(csv)。

每个类别下的单词都可以定制，下面是我用来匹配简历短语的单词列表。

候选—关键词表

在代码的第 114 行中，该行的执行产生了一个 csv 文件，该 csv 文件显示了候选人的关键字类别计数(候选人的真实姓名已被屏蔽),如下所示。

这可能不太直观，因此我通过 matplotlib 进行了数据可视化，如下图所示

Here DE stands for Data Engineering, the others are self explanatory

从图表上看，多姆·科布和费舍尔更像专家，而其他人则像多面手！！

整个锻炼有益吗？

我的朋友对取得的结果感到非常惊讶，这为他节省了很多时间。更不用说他仅仅通过运行代码就从* 200 份简历中筛选出了大约 15 份简历。

以下是整个练习的有用之处

自动阅读简历

代码自动打开简历并解析内容，而不是手动打开每一份简历。如果手动完成，将花费大量时间。

短语匹配和分类

如果我们手动阅读所有简历，很难判断一个人是否具有机器学习或数据工程方面的专业知识，因为我们在阅读时没有统计短语。另一方面，代码只是搜索关键词，记录出现的关键词，并对它们进行分类。

数据可视化

数据可视化在这里是一个非常重要的方面。它通过以下方式加快决策过程

我们可以知道哪个候选人在某个特定类别下有更多的关键词，从而让我们推断他/她可能在该类别中有丰富的经验，或者他/她可能是一个多面手。

我们可以对候选人进行相对比较，从而帮助我们筛选出不符合要求的候选人。

你如何使用代码

寻找工作变化的数据科学家/有抱负的数据科学家:

很多公司可能已经在使用上述代码对候选人进行初步筛选。因此，建议根据特定的工作要求，用必要的关键词来定制你的简历。

一个典型的数据科学家有两种选择，要么把自己定位为多面手，要么表现为某个领域的专家，比如“NLP”。根据工作要求，数据科学家可以对照他/她的简历运行此代码，并了解哪些关键词出现得更多，以及他/她看起来是“多面手”还是“专家”。根据输出结果，你可以进一步调整你的简历，以相应地定位自己。

招聘人员

如果你和我的朋友一样是招聘人员，并且被简历淹没，那么你可以运行这个代码来筛选候选人。

希望你喜欢这篇文章。

你可以联系我

领英

推特

我们在生命科学领域有大数据吗？

原文：https://towardsdatascience.com/do-we-have-big-data-in-life-sciences-c6c4e9f8645c?source=collection_archive---------10-----------------------

生命科学的数理统计和机器学习

还是数据量仍然是瓶颈？

Image source

在这篇文章中，我将开设一个新的专栏生命科学的数理统计和机器学习，在这里我将分享我与生命科学家一起工作时积累的关于计算分析的想法和观点，以及对生命科学中广泛使用的一些流行的统计和机器学习方法的深入解释，这些方法有时可能看起来难以理解。

大数据:天文数据还是基因数据？

由于我在理论物理的背景，在过去的 8 年里，我很高兴也很幸运能和来自生命科学的人一起工作，比如生物医学、细胞生物学和进化科学。经常听同事说:“我们有大数据，我们需要分析、整合它，并在其上运行机器学习”。对于大数据，我的同事通常指的是各种组学数据占据的TB 和 Pb 的磁盘空间:基因组学、转录组学、蛋白质组学、代谢组学等。

From Stephens et al., Plos Biology 13, e1002195 (2015)

事实上，随着人类基因组测序变得相对便宜(每个基因组 1000 美元)，世界上越来越多的大学实验室有能力从成百上千的个人那里获取全基因组信息来回答他们的研究问题。诸如 1000 基因组计划 (~2 500 个人类基因组)、 ExAC (~60 000 个人类基因组)、 UK10K (迄今为止~3 500 个人类基因组)以及最*的 HGDP (900+稀有人类基因组)等公共资源提供了海量的基因数据，这些数据目前已经远远超过了摩尔定律。

它已经在诊所里了吗？

精准医疗极大地受益于巨大的基因组学努力，如癌症基因组图谱(TCGA) (跨越 33 种不同癌症类型的 11 000 种人类肿瘤)和英国生物库(约 50 万人类个体)。

The Cancer Genome Atlas (TCGA) and UK Biobank are huge human genomics resources

“我们在生命科学领域有大数据吗？”这是一个什么样的问题。人们很容易说“是的，当然，看看基因组学的巨大努力。现在，我们应该能够使用从人类群体基因组数据中获得的知识，以随机提取人类 DNA 并预测此人是否易患某些疾病，因此我们应该能够预测此人的未来，并针对此特定个体开出调整后的治疗方案。这不就是精准医疗应该做的吗？”。

Precision Medicine is here to bring treatment adjusted to individual genetic signatures

然而，事实证明将这些基因组学成果引入临床并不简单。牛津大学的 Mark McCarthy 教授是二型糖尿病(T2D)的世界领先的遗传学专家之一，他去年做了几次演讲，题目是

现在我们已经发现了超过 400 个影响二型糖尿病(T2D)的基因信号，我们到底要拿它们怎么办？

这听起来不太乐观吧？它基本上说，我们有很多数据，我们使用这些数据来识别与 T2D 等常见疾病相关的基因，但是我们还没有接*将这些基因用于临床诊断，以早期预测和预防这些疾病。

基因组学预测很差

那么问题是什么，为什么我们不能在临床上使用这些巨大的基因组学成果呢？嗯，简单的回答是它不像预期的那样工作。更具体地说，遗传和基因组数据不能很好地预测常见疾病。斯坦福大学的迈克·斯奈德团队最*证明了基因组学数据对腹主动脉瘤的预测能力很差:

ROC curves for Genomics vs. EHR for AAA from Li et al., Cell 174, 1361–1372 (2018)

上面的 ROC 曲线比较了基因组学与电子健康记录(EHR)** 预测 AAA 的能力。EHR 代表了相当琐碎的临床信息，如身高、体重、体温、血压等。事实证明，这种琐碎的信息比 DNA 水*上的遗传变异更具预测性，这是非常令人沮丧的，考虑到 AAA 表型中的大遗传成分，这意味着 DNA 信息应该是可预测的，但它不是。这是常见疾病如 T2D、精神分裂症、心血管疾病等的典型情况。这有时被称为 缺失遗传力 的问题，简单地说就是基因组大数据无法预测常见疾病。**

基因组学中的维数灾难

基因组学预测能力差肯定有多种解释。其中之一就是我在上一篇中已经提到的 维度的诅咒 。当特征数量 p 远大于样本数量 n 时，即在极限p>n内，维数灾难是无法执行有意义的数学运算。人类基因组通常包含p ~ 3000-9000 万个基因突变(单核苷酸多态性)，而测序超过 n~1000 - 10 000 个个体对于大多数学术机构来说在经济上是不可行的。因此，基因组学研究在超高维空间，p > > n 中运行。为了证明数学确实在高维空间中爆炸，让我们考虑一个简单的线性模型 Y~X，其中 Y 是感兴趣的表型(疾病)，X 是基因型的矩阵(遗传变异)。线性模型的解可以通过基因型的逆方差-协方差矩阵以封闭形式表示如下:

The Curse of Dimensionality in Genomics

接下来，基因型的方差-协方差矩阵的逆是矩阵的行列式的倒数。如果我们现在将空间的维度增加到极限 p > > n，特征(在我们的情况下是突变)变得相关(冗余)，因为我们只有有限数量的观察值 n，并且不能再解决它们在高维度中的差异。从线性代数中我们知道，具有相关行或列的矩阵的行列式接*于零，这导致基因型的逆方差-协方差矩阵的发散(奇异性)。令人沮丧的是，你永远不知道你的特征在高维空间中有多相关，因此你离奇点有多*。在最好的情况下，你的 R 或 Python 库将抛出一个“奇点”错误，在最坏的情况下，你将得到一个看起来真实的结果/答案，但实际上由于维数灾难而完全膨胀了。****

如果不是基因组学，那么大数据在哪里？

因此，当我的同事谈论基因组学中的大数据时，我想到的是我们可以从这些数据中提取多少统计能力而不是它占用多少磁盘空间。具有讽刺意味的是，我们可以产生数千兆字节的高斯噪声，对其进行分析是完全没有意义的。所以我通常认为，在当前的设置下，在基因组学中运行强大的机器学习并不简单，因为数据量仍然是一个瓶颈。

现在我们终于来到了帖子标题中的问题:“我们有生命科学的大数据吗？”。我的答案是肯定的，但在当前的设置中，基因组学并不专注于遗传变异，即以突变为特征，以基因组为统计观察(样本)。然而，我认为在生命科学的三个领域，我们确实拥有大数据，因此能够并且应该运行机器/深度学习，这些领域是:

1. 单细胞组学
2. 显微成像
3. 基因组学…但是用序列作为统计观察

在我之前的文章中，我解释了为什么单细胞生物学非常适合机器/深度学习。简而言之，这是因为该领域目前正在产生大规模数据集(数百万个细胞)。这里，情况与基因组学相反，我们有 p~20 000 个基因和 n~1 000 000 个细胞，因此 n > > p 。显微镜成像不需要证明是大数据，事实上，自动化显微镜淹没在图像数据的色调中。最后，基因组学仍然可以被视为大数据，但有一个非常重要的注意事项:不是单个基因组，而是短序列(读取或k-mers)必须被视为统计观察。以这种方式，将核苷酸作为特征，将沿着基因组的短序列(也称为滑动窗口方法)作为统计观察，我们得到了极限 n > > p，这对于机器/深度学习来说是完美的。要了解它在实践中是如何工作的，请查看我的一个帖子，在那里我演示了如何在古代 DNA 上使用深度学习，这也是基因组学数据，只是古代基因组学。

摘要

在这篇文章中，我们了解到基因组数据为生命科学、精准医疗和医疗保健做出了很多承诺。然而，目前分析基因组的方法受到了维数灾难的困扰。这可以通过重新考虑我们在基因组学中定义的特征和样本来避免。单细胞组学和显微成像是生命科学中另外两个大数据方向，它们已经做好准备，应该由机器/深度学习进行分析。

在下面的评论中，让我知道生命科学中的哪些分析方法对你来说特别神秘，我将在这个专栏中尝试解决它们。在 Medium 关注我，在 Twitter @ NikolayOskolkov关注我，在 Linkedin 关注我。我计划写下一篇关于如何为你的 tSNE 选择最佳参数的文章，敬请关注。

我们需要去人性化的人工智能吗？

原文：https://towardsdatascience.com/do-we-need-to-dehumanize-artificial-intelligence-bb83c9395362?source=collection_archive---------37-----------------------

领先的人工智能专家乔安娜·布赖森就过度拟人化人工智能、偏见和安全人工智能的系统设计进行了采访。

“并不是人工智能在接管决策。是人们决定让人工智能负责决策，这是他们当时能够控制的事情。”

Joanna Bryson

乔安娜是巴斯大学人工智能副教授，也是普林斯顿大学的附属机构。她一直致力于各种领域，如自然智能，文化，宗教，也集中在智能系统的设计。她对人工智能的第一次体验可以追溯到 80 年代中期。

我有幸与 乔安娜 交谈了一个小时，探索她更多的深度经历和观点。

你能简单介绍一下你的背景吗？你是怎么进入 AI 的？

“我真的很喜欢编程；我喜欢你能建造世界的事实和它的创造性方面。很高兴我的工作中有这两个部分。”

我的第一个学位是行为科学，属于非临床心理学的一种。那是在芝加哥大学，是一个由所有不同的社会科学学院联合的文科学位。这是我真正关心的，我想了解动物的智力，但由于人类也是非常有趣的动物，所以我一直在关注这些事情。同时，我也是一名非常优秀的程序员。我认为这实际上是我的一个保守的决定，去做我知道自己非常擅长的事情，并把它与我真正感兴趣的事情结合起来。

人们经常将人工智能人性化，这与你的观点相反，因为你强调人工智能现在和将来都与人类智能完全不同……

是的，有两个基本区别。

一是人工智能从定义上来说是一种人工制品。一些我们刻意设计的东西，即使我们选择偶尔掷骰子来设计它，也不会减少我们的责任。

另一个根本的区别是，到目前为止，我们还没有通过克隆来构建它。我说的所有东西都不适用于克隆和生物工程之类的东西。我只是在说，当你用电线和硅建造一个系统时，从现象上看，你永远不会得到同样的东西。你永远也找不到像牛或老鼠甚至果蝇那样离我们如此之*的东西，因为它们在建筑和信息处理方面有着更多的相似之处，在它们如何应对我们所处的世界方面，比我们用电线和硅制造的任何东西都要相似。

我们吃动物；我们毒死他们。我刚刚在华盛顿 DC 读到关于毒杀老鼠的报道，因为很明显现在又有了新的发现。我们对动物做了各种各样的事情，有些人认为你不应该这样做，但问题是，当我们甚至不能下定决心以正确的方式对待老鼠时，为什么我们现在要反其道而行之呢？

为什么我们要设计一些像老鼠和尼斯一样需要保护的东西？

人工智能是我们已经建立起来的东西，虽然我们正在建立我们可以维护的东西，我们可以负责的东西，但我们永远不会有像人类那样经历压力和痛苦等各种事情的东西。那样做实在是个坏主意。

你现在可以造一个机器人，你可以在里面放一个炸弹。你可以放一个传感器和一个时钟，然后说，好吧，如果我五分钟没见到任何人，我就把自己炸飞。你可以这样做，你可能会说这甚至比做人更糟糕，因为当我们被单独监禁时，这对我们来说是一种折磨，但我们活了下来，而这个机器人在五分钟内爆炸，机器人不会在乎。那是单独的一块。这与人类单独监禁的经历不同。

当我们过度拟人化时，我们基本上是在允许自己被人利用。举个例子，我很讨厌别人把智能音箱当智能麦克风来说。

你会怎么称呼它们？

你知道 1984 年吗？我的一个朋友杰森·诺伯说我们应该称之为电幕。

我称之为个人数字助理，也就是我们过去称之为智能手机的东西。早期的智能手机没有联网，但我们只是在上面写东西。

重点是，你有一个个人数字助理，这不是个人的，因为你不知道它被其他人使用了多少，我真的希望我们正在成功做的事情之一(我看到一些迹象)是让人们不再认为物联网是一个好主意。

我参加了在索菲亚举行的欧盟委员会会议，数字大会和东欧的政治家们完全明白这一点。将世界连接在一起意味着你允许隔壁的黑客进入这个世界，所以你需要非常小心你如何设计事物。如果你有一个单独的程序负责，比如说电网，那么这个程序就会变成一个可以被攻破的点，要么直接破解它，要么理解它的工作原理，然后通过绕过它来利用它。您宁愿拥有一个异构的系统。

另一件非常重要的事情是，我们的整个文化和我们所有的概念，如正义、惩罚和责任，都是我们为了维持我们的物种而发展起来的。它们并不只是存在于世界上的东西；它们是我们使用的创新，我们不断更新它们。

我无法相信有多少人认为公*是这个世界固有的状态。去年，我发表了一篇论文，表明你会在任何只接受普通语言训练的人工智能中发现性别歧视和种族主义。有人说，加随机噪声就行了。

添加随机噪声并不能解决任何问题，只会减弱信号。它把它变回熵，但生命不是熵。熵是生命的对立面。生活是结构和秩序，例如，公*是我们不断尝试以一种我们都能受益的方式协调生活。公*是一种非自然的理想。人们生来就不一样高，不一样强壮，不一样的父母，不一样的性别，我们都有很大的生理差异，心理是生理的一部分，是生理的延伸。

我们是不同的，那么公*就是我们如何以对整个社会最有利的方式来应对这些差异，这是我们不断变化的一系列妥协。

为了确保我们开发出增强我们能力的安全人工智能，我们需要在未来五到十年做些什么？AI 正在接管许多决策，我们都有不同的价值观，源于不同的文化。我们如何确保将这一点融入到人工智能的设计中？

“人工智能只是一种我们可以用坏或用好的技术”

接管决策的不是人工智能。决定让人工智能负责决策的是人，这是他们能够控制的事情。他们可以改变人工智能和决策。

它不是人工智能；我们不是与另一个物种或另一个国家谈判。更重要的是理解人工智能是我们已经拥有很长时间的东西；几十年来，我们一直使用数字计算机，它是我们工具箱中的工具之一，我们需要对它有一个很强的概念。我们需要开始讨论这个问题。

再一次，这是拟人化的巨大危险之一，你真的得到了聪明，善意的人，他们正坐在那里试图捍卫人工智能的权利，或者真的想建立这个未来，如果我们被人工智能取代，他们没有意识到，首先，这在技术上是不可思议的，但第二，正如你会说的，在未来三十年左右，几乎肯定会导致更多的人被杀害和毁灭。人们会被政府、公司或富人视为不重要的方面，他们不需要他们作为他们计划的一部分。

人工智能被用作一个挡箭牌，实际上是一个空壳公司，允许人们做他们真正想做的事情，并将注意力转移到一些机器上。

人工智能只是一种我们可以用坏或用好的技术。我们需要回答与其他潜在有害技术相同的问题；储存化学武器的正确方法是什么？部署核电的正确方式是什么，我们是否应该根本不部署核电或者也许它在生态上真的很重要？当我们不仅谈论人工智能，还谈论数据隐私和网络安全时，这些决定也是我们需要做出的决定。这适用于整个信息和通信技术。AI 只是工具箱中的一个工具。

我们正以更个性化的方式与人工智能互动。情感联系呢？

甚至，如果你有一个真正是你最好的朋友的机器人；你可以要求那个机器人可以支持你。那么你就不必担心，例如，如果发生火灾或什么的。你只要把它留在后面，然后再买一个机器人，你就有了后援。

即使你选择与一台机器建立情感纽带，而不是与那些真正能长期帮助你的人建立情感纽带。这是你的个人决定，但你可以要求你没有这种风险，我认为这是一个真正的问题。

当我们在新奥尔良遇到洪水时，需要决定你提供多少资源和支出来确保狗和猫没事，但狗和猫像人类一样做事情，它们在情感上，身体上，做非常相似的事情，但问题是我们只有这么多资源。在我们开始营救狗之前，我们如何确保没有孩子被落下？此外，这些家庭不会不带着他们的狗来。同样的事情也发生在东海岸的桑迪身上。动物被抛在后面，它们在挨饿，人们对此非常关注。

为什么我们要将自己置于这种技术的境地，这种技术的设计方式可以确保我们不会遇到这种问题？

了解了与人工智能相关的危险，告诉我们你在 90 年代初的博士课题，以及它与人工智能安全的关系？

“像尼克·博斯特罗姆这样的人犯的错误是，如果你真的建立了一个系统，它将世界变成回形针的可能性为零…如果这个系统是自治的，它在你保证会在其中的优先级别上是自治的…”

甚至在我还是大学生的时候，人们就在谈论模块化。例如，当你开车的时候和当你是行人的时候，你是一个不同的人，因为你有如此不同的态度。看起来你的头脑中有这些不连续的部分，你不只是一个大东西。

当时甚至连哲学家都在讨论这个问题。当我在本科学位和博士学位期间从事专业编程时，人们开始意识到也许你不需要一台大型主机，也许你可以有一堆不同的计算机并像网络一样创建。现在它显然被称为云，但在当时它是一件大事，人们说，“哦，是的，客户端、服务器、架构……也许我们可以基于现有的硬件让一些计算执行专门的不同任务”。

后来，当我开始攻读硕士学位时，我看到了罗德尼·布鲁克斯和一群其他人在做的事情，他们对他的工作感到非常兴奋。它被称为基于行为的设计，其理念是不要试图建造像人一样复杂的东西，而是建造相对简单的模块，每个模块感知它需要感知的东西，以便做它需要做的事情。

行为导向设计) (BOD)是我在博士期间开发的开发方法论，用于创建复杂、完整的代理，如虚拟现实角色、自主机器人、智能导师或智能环境。BOD 代理是模块化的，但不是多代理系统。

我意识到的另一件事是，你不仅需要记忆来拥有智能，而且这也是模块的核心。决定你何时需要一个模块的一个因素是你需要什么样的信息来做感知和行动。然而，进入游戏行业的另一个组成部分是如何在这些模块之间进行仲裁。

一旦你把某样东西拆成碎片，问题之一就是如何把它重新组装起来，你需要连贯的行为。尽管如此，你还是可以自主地做某些事情，比如躲避火焰的反射，这是任何生物都必须做的事情。有某些种类的资源，比如你的物理位置，完全由所有的模块决定。那时我创造了现在所谓的行为树。我们称之为 P.O.S.H. (并行根，有序滑栈分层动作选择)。

基本的想法是，你想使用面向对象的设计(标准软件工程)，但你真正需要为人工智能做的一件事是说什么是系统中的优先事项，因为人工智能系统是主动的。它实际上必须认识到它将要行动的环境，事实上，它必须为了自我*衡的原因而行动。它必须采取行动，因为它知道它需要做些什么，它有一个目标。

我在博士论文的结尾写道，这对于安全的人工智能非常重要，如果你只在模块中学习，人工智能系统会变得多么邪恶是有限度的。

我并不真的担心邪恶的人工智能，但我担心的是无法保证，例如，它会知道如何逃离火灾或其他什么。

所以，你必须有一定的高优先级，来保证系统相对确定。即使你使用机器学习，也可以以确定的方式使用，因为它可能有边界，你不允许系统更新它的学习。如果它看起来不符合性能准则，您可以在系统周围建立确定性的围栏，试图改善系统的某个方面。

像尼克·博斯特罗姆这样的人犯的错误是，如果你真的建立了一个系统，它将世界变成回形针的可能性为零。他担心高层次优先级之间的一致性，以及较低层次会发生什么，但你没有给较低层次完全的自主权。如果这个系统是自治的，那么它是自治的，自治的层次是你所拥有的优先级，这些优先级被保证在其中，它们的子部分去学习做某事的最佳方式。如果系统的其余部分，通常包括任何人工智能，人类，注意到没有金属或其他东西的再消耗，那么它会关闭系统的这一部分。

你能举个例子来说明这一点吗？你是说，你没有一个可以自主工作的系统，而是设计了一个具有不同组件的模块化系统，这些组件相互控制，从而控制系统……

我们都想生活在一个至少足够稳定的社会中，我们可以计划一个公司或家庭或其他事情。

比特币就是一个例子。最初没有人预计比特币会消耗如此多的能量，但现在每个人都在试图找出如何监管它。这在某种程度上是一个自我调节的问题，因为人们负担不起那种权力。

权力是有成本的，所以只要没有无限的价值被任意分配给庞氏骗局，也就是比特币，那么它能够购买多少权力就会受到限制。

然而，似乎还有其他监管力量可能以任何方式到来，并说；你们没有为你们造成的环境破坏支付公*的份额，然后他们可能被迫实际上，也许不仅仅是他们，而是所有的环境，所有的电力消费者可能突然发现他们自己是关于比特币的对话的结果，实际上为他们正在破坏的基础设施，全球基础设施支付更适当的金额。

重点是你可能会失败，但那是因为有人参与。这被称为认知错误检测。这是一种意识，事情并不总是朝着好的方向发展。因此，在构建系统时，您应该做的一件基本事情是确保您构建的组件可以检查其他组件。事实上，这是构建强大系统的一种更简单的方法，因为您有简单的组件来检测其他组件何时偏离轨道。

我并不是说每件事都那么好就一定是真的。企业和其他各种实体给世界造成巨大破坏的例子不胜枚举。这并不是说世界是绝对安全的，什么都不会发生，而是我们可以遵循一些过程，使我们更有可能及早发现这些过程，并防止它们造成太大的损害。

这是我现在正在做的事情之一，只是试图与立法机构沟通，你可以让使用人工智能的人负责。

我也在和公司交流。两周前，我刚刚与微软和谷歌讨论过这个问题，这是我所期待的。

你将不再只是链接到任何任意的软件库，你已经从互联网上下载，你不知道它的出处，你不知道谁侵入了它或什么。

相反，你必须能够展示，你使用了什么版本的软件系统，你使用了什么版本的数据库来训练你的机器学习，你的程序是什么。如果你没有这些记录，那么你就不能证明你已经尽职，你就要对你或其他人使用你的软件造成的任何损害负责。

这不是唯一的方法。如果你看看像医学或汽车工业这样的行业，他们已经有了开发人工智能和记录过程的良好实践，他们有大量的人工智能。每个人都在谈论无人驾驶，但每个汽车制造商都有大量的人工智能试图改善驾驶体验，让汽车更安全，他们已经证明了这一点，这不是不可能的。它甚至没有那么难，并且当你小心你的软件工程时，它确实花费你多一点时间去市场，但是它也更容易维护和扩展你的代码。

我认为我们需要长大。例如，在当时的建筑中，你可以在任何你想去的地方建造一座建筑，这将给城市交通带来各种各样的混乱，有时建筑会倒塌压死人。你现在所拥有的是正在获得建筑学学位的本科生学习如何与城市规划者交谈，他们将获得许可并学习如何获得许可，建筑物得到检查。

我认为我们很可能会在那种地方结束，这并不意味着 IP 的终结。医药受到严格监管，严格检查，但它的知识产权是软件和技术产业的十倍。我认为我们只是要定义我们开发事物的过程。事情在变化，这对我们的社会有好处。

我们都想生活在一个至少足够稳定的社会中，我们可以计划一个公司或家庭或其他事情。

我们是否更喜欢廉价汽车的更昂贵的变种？

原文：https://towardsdatascience.com/do-we-prefer-the-more-expensive-variants-of-cheap-cars-cf7c1abf271f?source=collection_archive---------30-----------------------

印度尼西亚低成本绿色汽车销售数据的线性回归实践

Nissan’s booth at GIIAS 2019

去年 2019 年 6 月，印尼刚刚举办了印尼最大的车展之一，Gaikindo Indonesia International Auto Show(gi IAS)。有一些新车我*期不会买。尽管如此，我还是和爸爸一起去了。

很明显，那里有很多车。但我特别关注不太贵的汽车，如 LCGCs(低成本绿色汽车)、小型掀背车、中型 MPV(如丰田 Avanza)和 SUV(著名的五菱 Almaz)。这些车是普通工薪阶层一生都有机会拥有的车。

我只是看了看那里的车。我注意到每种车型通常都有许多变体。例如，如果我说我想要下图的大发 Ayla。

A Daihatsu that looks awfully similar with a Perodua. Source: daihatsu.co.id

看看他们网站上的价格表，你可以看到他们出售的变体，提供不同的配件功能和…可选的安全气囊(我没有发现任何法规说安全气囊在印度尼西亚是强制性的)。名称中带有“AB”的变体意味着特定的变体有安全气囊，而没有的……可能没有，你必须检查规格细节。

Source: daihatsu.co.id

经常听亲戚说最好买最高配的车型。列举理由说这是一次性的大采购，所以还不如多花些钱(同样的理由也适用于奢华的婚礼，但那是完全不同的讨论)。因此，这将意味着，当购买大发 Ayla 时，他们会更喜欢购买“1.2 R AT DLX”而不是“1.0 X AB AT”，价格约 1600 万印度卢比。

然而，我认为，购买廉价汽车的人在购买时肯定会将价格作为最重要的因素之一，因为他们有预算意识。当我们打算买一辆便宜的车时，我认为买最便宜的是最好的选择。

大家真的都是这样吗？需求的经济学法则表明，价格上涨会导致对商品的需求减少。也许买车是法律不适用的一个例子。

我要看看上面斜体的陈述是真是假。我会:

1. 形成假设，
2. 将杂乱的 pdf 数据准备成可读性更好的格式，
3. 使用线性回归来证明/否定我的假设，
4. 搞清楚结果！

1.从假设开始！

这一次，我将尝试看看人们是否真的更愿意购买低价绿色汽车(LCGC)中最贵的一款。

或者换句话说:如果价格点真的影响购买低成本绿色汽车的决定。所以我的假设是:

h0:对于 LCGC，价格(P)不影响销售量(Qs)

h1:对 LCGC 来说，价格影响销售量。这就是我在这里要证明的！

对于外行来说，LCGC 是一类相对便宜的车，小发动机/排量不超过 1,200 cc。一个例子是我之前展示的大发 Ayla。

为什么我坚持去 LCGC？我假设每种类型的汽车有不同的目标市场，因此会有不同的表现。例如，购买廉价汽车(低于 2 亿印尼盾)的人可能会与购买昂贵 SUV(高于 3 亿印尼盾，如三菱帕杰罗 Sport)的人有所不同。我最初的假设是，购买廉价汽车的人会更注重成本，因此更有可能选择更便宜的车型。而购买更贵汽车的人会更富有，买得起最好的车型。稍后我会做其他部分。

(如果你对 R 或数据相关的东西不感兴趣，你可以直接跳到第三部分。分析数据)

2.数据准备！

在这里，我有从 Gaikindo 网站批发的 2019 年 1 月至 6 月期间的数据。批发数据指的是制造商对经销商的销售(不是经销商对最终客户的销售)，但这个数据总比没有好。

数据是 pdf 格式的，所以我把它转换成了 excel 文件，这是互联网上的一个免费工具，ilovepdf.com。如果你谷歌一下，网上有很多免费工具可以做到这一点。你把你要转换的 pdf 文件上传到网站，它会帮你转换成 excel 文件。请注意不要使用免费网络工具处理任何机密数据。

即使这样，数据仍然非常混乱，所以我只是用 Microsoft Excel 清理了一下(我知道，请不要评判)。我们需要清理数据，以便进行适当的分析。

这些数据也不包括汽车价格，所以我手动搜索网页把它们放在那里。我这样做是因为我试图证明价格对销售量的影响，所以很明显我需要价格数据(我们在原始数据中已经有了销售量)。所以数据应该是这样的。

The data, excluding the sales (got cropped, it’s still way further right)

你必须放大，但如果你只是下载原始文件，你可以看到它实际上很漂亮。它包括车型、排量(cc)、油箱容量、车辆总重、尺寸、座椅、车门、每月销量等等。

这个测试的目的是看价格点实际上是否影响销售量。因此，我将数据分解为:1)价格点，2)2019 年 6 月的总销售额(我现在不需要其他列)。

The test data-set

我得到了 57 行，每一行代表了每种型号的一个特定变体。其中 6 个没有价格，因为…我没有找到它们。不过没关系。

数据准备好之后，就该实际进行回归了。在“psych”(用于统计)、“tidyverse”(用于操作数据和可视化)和“ggthemes”(用于向可视化添加附加主题)包的帮助下，我正在使用 RStudio 进行回归。

使用 R 进行回归非常简单(如果您不喜欢 R，可以直接跳到第 3 部分) :

lin.regress <- lm(TOTAL ~ PRICE, data = LCGC_TEST)

我使用 lm()函数，将 TOTAL(销售量)作为因变量，PRICE 作为自变量。你可以把“总额~价格”理解为“总额受价格影响”。我将结果存储在一个名为“Lin . regressive”的变量中，这样我就可以随时调用它。

下一步是在散点图和回归线中可视化回归。我使用散点图是因为我想在这里比较价格和销售量。两者都是数值(连续)数据。“回归线”只是一条可以将所有可用数据点*似为一条线的线，具有尽可能小的误差。

ggplot(LCGC_TEST, aes(PRICE, TOTAL)) +
 geom_point()+
 theme_economist_white(base_family = “sans”,gray_bg=T)+
 labs(x=”Vehicle Price”, y=”Sales Quantity”, title=”Vehicle Price to Sales Quantity”)+
 stat_smooth(method = “lm”,se=FALSE)

3。通过图形的可视化和解释来分析数据

The regression result

一目了然，我们可以看到，至少在廉价汽车(LCGC)细分市场，回归线表明价格的增加也会增加销售量。尽管有些松散。您可以看到，大多数数据点都集中在原点(零)线附*，并且似乎被几个高销售额和价格的数据点向上拉。

那只是视觉上的解释。为了更好地理解，我们需要查看包含许多有用信息的回归表，例如:

1. “价格”作为销售量的预测指标有多强？
2. 模型实际上有多好？

在 R 中，您只需要调用下面的代码加上存储回归模型的变量，我在前面将其命名为“Lin . regressive”。

summary(lin.regress)

Regression table result, focus on the ones in the boxes (I don’t understand the others)

4.理解回归表

“价格”作为销售量的预测指标有多强？

请看名为“估计”的第一列。这里的两个值是系数。如果你还记得你的代数:

y=ax+b

给定某个值 x. 你试图找出 y 的值，这和回归有点类似！我们试图找到给定某个价格点(P) 的销售量(Qs) :

Qs=a(P) + b

估计栏中的两个值是系数，即 a 和 b. “截距”是给定预测值(价格)为 0 时的值。根据回归表，对于 IDR 0 价位的汽车，将有…-9514 辆销售。这完全说不通。但我们会继续。

“价格”中的估计值显示了价格上涨对销售量的影响。根据回归表，对于 IDR 1 的车辆价格的增加，我们将看到 0，0000882 销售的增加。为了获得更好的视角，将其乘以几倍。每增加 1000 万印度卢比的价格，我们将获得额外的 882 笔销售额。我也认为这说不通，为什么人们？

不管怎样，现在我们有了这个公式:

Qs = 0，0000882(P) - 9514

现在我们到了有趣的部分。让我们假设显著性水*为 5%，这是一个常见的标准。当 h0 为真时，我们接受拒绝 h0 的 5%风险。在这种情况下，我们接受 5%的风险，认为价格影响销量，而实际上它并不影响任何东西。

看一下“价格”行的最右边一列。那就是 P 值。

简单地说，在这种情况下，P 值回答了这个问题，“在一个价格不影响销售量的世界里，如果我使用早期的回归方法来预测销售量，会有多奇怪？”

在这种情况下，答案是 2.41%有点奇怪。

结合 5%的显著性水*和 2.41%的 P 值，我们可以在 5%的显著性水*上安全地拒绝 h0 或零假设。意味着我们拒绝价格不影响销售量的假设。

模型有多好？

下一步将是检验模型实际上有多好。一看就知道不会那么好。看一下回归线。

The regression result, for reference again

我可以把问题换成“我的模型有多差？”

为此，我们来看看“调整后的 R *方”。这个值显示了销售量的多少变化可以用价格来解释。

我的模型很差，大概 8.1%差。一般来说，社会学科公认的 R *方约为 20%。

还有很多其他因素可以解释其余高达 91.9%的数字。

结论

至少现在我们知道，在 5%的显著性水*上，对于印度尼西亚 LCGC 市场，价格点确实对销售量有影响。这种关系是正的(高价格导致高销售量)，模型是…在 8.1%调整后的 R *方不太好。

也就是说，我们更喜欢更贵的廉价汽车，这并没有错……但这不是唯一的决定因素。我想寻找便宜汽车的人不会那么吝啬。

你知道可信区间吗

原文：https://towardsdatascience.com/do-you-know-credible-interval-e5b833adf399?source=collection_archive---------4-----------------------

不要搞砸你的下一次数据科学/分析师/项目经理面试

如果你申请的职位涉及 AB 测试、SQL 或任何类型的用户体验研究，你的面试官最喜欢的问题可能是:“这是 XYZ 实验的置信区间。是什么意思？”有两种方法可以回答这些问题:

"总体参数有 95%的可能性位于区间内."

“如果我们将实验重复无限多次，95%的实验将在它们的置信区间内捕获总体参数。”

不幸的是，如果你回答了第一种方式，你就相当于面试失败了。大多数人分不清这两种说法的区别，可以蒙混过关。但作为数据专家，你不能。第一种说法是解释贝叶斯可信区间。第二，频率主义者的置信区间。

为什么这么困惑

如果你从未上过统计推断课，你可能会认为第二种说法只是第一种说法的转述。其实区别是深刻的。这可以归结为两种对立的概率意识形态:频率主义者和贝叶斯主义者。

贝叶斯将概率定义为一种“信念”一个信念可能强也可能弱，并且会随着新证据的出现而不断修正。信念本身由概率分布来描述。例如，我对*均用户结账时间的看法可以是这样的:“*均结账时间在 44 ~ 46 秒之间的概率为 3.5%；*均结账时间在 11 ~ 24 秒之间的概率为 34%。”请注意，我不是在陈述*均结账时间的精确值，我是在陈述不同的范围，以及这些范围的概率。

频繁主义者用“频繁试验”来定义概率。一位常客认为，一个人群参数是固定的(比如糖尿病率、转化率、*均结账时间)，找到它的唯一方法是通过多次实验。因为真实世界的实验通常是昂贵的，我们使用中心极限定理从单个实验中推导出与我们通过进行多个实验得到的相同的抽样分布。

困惑的一个主要来源是频繁主义者不会在现实世界中频繁地做实验。他们做一个实验，产生一个置信区间，就像贝叶斯做的一样。这仅仅是因为中心极限定理给了他们一个便捷的捷径，从重复实验中节省了大量的金钱！

两个动画示例

置信区间就像掷环游戏。职位是固定的，就像人口参数一样。你把戒指扔到柱子上。有时候你错过了，有时候你抓住了。你选择一个足够大的戒指，这样你就可以在 95%的时间里抓住邮件。环的大小就像你 95%的置信区间大小。

Ring toss game is like confidence interval

类似地，frequentist 进行实验无数次，并为每个实验建立一个点估计(例如，样本均值、比例)，一个置信区间。点估计的分布称为抽样分布。在下面的动画中，总体*均值固定为 0.078，蓝色圆点表示置信区间的上限，橙色圆点表示置信区间的下限。大多数置信区间将捕获总体参数。有些音程不会(当蓝点降到红线以下，或橙点升到红线以上)。常客将选择一个足够大的间隔，该间隔在 95%的时间内捕获群体参数。

贝叶斯不关心抽样分布。他们将他们对总体参数的信念建模为后验分布。一个经典的例子是评估一枚硬币是否公*。随着你不断地抛硬币，你对它正面/反面落地的概率越来越有信心。

在下面的例子中，每次迭代都是抛硬币。⍺.清点了人数尾部按β计数。因为人数和人数几乎总是相等的。我们越来越有信心落地头的概率是 50%。这个关于概率的概率分布是用贝塔分布建模的(见教程这里)。

编码吧！

假设我们掷一枚硬币 10 次。不幸的是，我们有 7 个头和 3 条尾巴。这枚硬币是公*的证据不足。后验概率看起来是这样的:峰值出现在 70%，因为我们在 10 次试验中得到 7 个头。

为了建立可信区间，我们简单地从后验分布中截掉左尾或右尾，或者两者都截掉，使得剩余的概率质量(称为“似真性”)是所期望的。例如，我们可以从任意一个尾部截断 5%，得到 90%可信区间[0.436，0.865]:

此外，我们可以从右尾截断 10%，得到一个更宽的可信区间[0.000，0.831]:

任何一种情况都是有效的 90%可信区间，因为每种情况都包含 90%的概率质量(似真性)。你觉得哪个更有用？显然这是我们想要的窄一点的。最窄的可信区间称为最高密度区间。

另一方面，要构建置信区间，我们必须依靠中心极限定理来构建抽样分布，查找 t 得分/z 得分，然后从点估计值中加上/减去某个倍数的标准误差。

Sampling distribution

比较

可信区间的一个优点是我们可以在后验分布中建立规则。例如，beta 分布的范围在 0 ~ 1 之间，为概率提供了一个很好的界限。另一方面，抽样分布总是正态的，其范围是无限的。所以在这种情况下，它显然是有缺陷的，因为一枚硬币落地的概率不可能大于 1，或者小于 0。当样本量很小时，这是有问题的，并且大量的正态分布位于范围[0，1]之外。

Normal distribution does not truncate probability at 0 or 1, yielding poor results when sample size is small

可信区间的另一个优点是，我们可以在进行实验之前考虑一个先验。如果其他人已经扔了 50 次硬币，并记录了 20 次正面，那么我们已经知道了一些关于硬币的信息。所以贝塔后验的峰值(众数)上升得更快，变窄得比抽样分布更快。因此，可信区间比置信区间缩小得更快。

Effect of prior on posterior convergence speed

没什么可失去的？

“到目前为止还不错。为什么不总是使用可信区间？”你可能会问。问题是，并不是每个实验都有一个优雅的后验分布。尽管有贝塔分布来模拟转换率、糖尿病率或任何其他概率。对于检查时间、预计到达时间、体重、身高、血糖，没有精确的后验概率。事实上，贝塔分布是个例外，而不是常态。在杂乱的现实世界中，正态分布是常态。

幸运的是，我们生活在互联网的世界里。在交通便宜的地方，中心极限定理总是胜利的，两种方法之间的差别缩小了。相比之下，可信区间的优势在样本量很小时最有价值，因此成本很高，例如，让 10 名患者接受两种不同类型的医学治疗。

Credible interval (blue) and confidence interval (red) become similar as sample size increase

延伸阅读

下面的博客涵盖了与 AB 测试相关的主题，以及对本文中提到的关键概念的更深入的回顾。

• 可视化贝塔分布和贝叶斯更新[ 链接
• 理解置信区间[ 链接
• A/B 测试的威力[ 环节
• 超越 A/B 测试:多臂强盗实验[ 链接 ]
• 可信区间上的 Kaggle 笔记本[ 链接

你知道如何在 7 种不同类型中选择正确的机器学习算法吗？

原文：https://towardsdatascience.com/do-you-know-how-to-choose-the-right-machine-learning-algorithm-among-7-different-types-295d0b0c7f60?source=collection_archive---------0-----------------------

这是一种通用、实用的方法，可以应用于大多数机器学习问题:

这个故事由七篇文章组成，每篇文章都有一个算法，每篇文章都从头开始实现，请确保关注我们的时事通讯，这样当我们从头开始发布每个算法时，您就可以收到更新。

1-对问题进行分类
下一步是对问题进行分类。
按输入分类:如果是有标签的数据，那就是监督学习问题。如果是以寻找结构为目的的无标签数据，那就是无监督学习问题。如果解决方案意味着通过与环境交互来优化目标函数，这就是一个强化学习问题。
按输出分类:如果模型的输出是数字，那就是回归问题。如果模型的输出是一个类，那就是一个分类问题。如果模型的输出是一组输入组，这就是一个聚类问题。

2-了解你的数据 数据本身并不是最终游戏，而是整个分析过程中的原材料。成功的公司不仅能够捕获和访问数据，还能够获得推动更好决策的洞察力，从而带来更好的客户服务、竞争优势和更高的收入增长。理解数据的过程在为正确的问题选择正确的算法的过程中起着关键作用。一些算法可以处理较小的样本集，而其他算法需要大量的样本。某些算法处理分类数据，而其他算法则喜欢处理数字输入。

分析数据 在这一步中，有两个重要的任务，一是用描述性统计理解数据，二是用可视化和图表理解数据。

处理数据

转换数据 将数据从原始状态转换成适合建模的状态的传统思想正是特征工程的用武之地。事实上，转换数据和特征工程可能是同义词。这是后一个概念的定义。特征工程是将原始数据转换为特征的过程，这些特征可以更好地代表预测模型的潜在问题，从而提高未知数据的模型准确性。作者杰森·布朗利。

3-找到可用的算法 在对问题进行分类并了解数据后，下一个里程碑是确定在合理的时间内实施的适用且实用的算法。影响模型选择的一些因素有:

• 模型的准确性。
• 模型的可解释性。
• 模型的复杂性。
• 模型的可扩展性。
• 构建、训练和测试模型需要多长时间？
• 使用模型进行预测需要多长时间？
• 模型符合商业目标吗？

4-实现机器学习算法。 建立一个机器学习管道，使用一组精心选择的评估标准来比较数据集上每个算法的性能。另一种方法是在数据集的不同子组上使用相同的算法。对此的最佳解决方案是执行一次，或者让服务在添加新数据时定期运行。

5-优化超参数。优化超参数有三个选项，网格搜索、随机搜索和贝叶斯优化。

机器学习任务的类型

• 监督学习
• 无监督学习
• 强化学习

监督学习 监督学习之所以如此命名，是因为人类充当了指导者的角色，教导算法应该得出什么结论。监督学习要求算法的可能输出是已知的，并且用于训练算法的数据已经标注了正确的答案。如果输出是一个实数，我们称之为任务回归。如果输出来自有限数量的值，其中这些值是无序的，那么它就是分类。

Supervised Learning

无监督学习 无监督机器学习更接*一些人所说的真正的人工智能——即计算机可以学习识别复杂的过程和模式，而无需人类提供指导。关于对象的信息较少，特别是，训练集是未标记的。有可能观察到对象组之间的一些相似性，并将它们包含在适当的集群中。一些物体可能与所有的星团有很大的不同，这样这些物体就成了异常。

Unsupervised Learning

强化学习 强化学习(Reinforcement learning)是指面向目标的算法，它学习如何通过许多步骤实现复杂的目标或沿着特定的维度最大化。例如，在一场游戏中，通过多次移动来最大化赢得的点数。它与监督学习的不同之处在于，在监督学习中，训练数据带有角色密钥，因此模型是用正确的答案本身来训练的，而在强化学习中，没有答案，而是由强化代理决定如何执行给定的任务。在没有训练数据集的情况下，它必然会从自己的经验中学习。

Reinforcement Learning

常用的机器学习算法

1-线性回归 线性回归是一种统计方法，允许总结和研究两个连续(定量)变量之间的关系:一个变量，表示为 X，被视为自变量。用 y 表示的另一个变量被认为是因变量。线性回归使用一个自变量 X 来解释或预测因变量 y 的结果，而多元回归根据均方误差(MSE)或*均绝对误差(MAE)等损失函数，使用两个或多个自变量来预测结果。因此，每当你被告知要预测当前正在运行的某个流程的未来值时，你可以使用回归算法。尽管这种算法很简单，但当有成千上万个特征时，例如，自然语言处理中的一袋单词或 n-grams，它仍然工作得很好。更复杂的算法会过度拟合许多特征，而不是庞大的数据集，而线性回归提供了不错的质量。然而，在特征是冗余的情况下是不稳定的。

从头开始查看我们关于这个话题的最新报道。

Linear Regression

2-逻辑回归 不要把这些分类算法和回归方法混淆，因为在标题中使用了回归。逻辑回归执行二元分类，因此标签输出是二元的。当输出变量是分类变量时，我们也可以将逻辑回归视为线性回归的一个特例，其中我们使用概率的对数作为因变量。逻辑回归有什么了不起的？它采用特征的线性组合，并对其应用非线性函数(sigmoid ),因此它是神经网络的一个微小实例！

Logistic Regression vs Linear Regression

3-K-means 假设你有很多数据点(水果的测量值)，你想把它们分成苹果和梨两组。 K-means 聚类是一种聚类算法，用于自动将一个大组划分为更小的组。
该名称的由来是因为在我们的示例中，您选择了 K 个组，K=2。你取这些组的*均值来提高组的精度(*均值等于均值，你这样做几次)。集群只是组的另一个名称。
假设你有 13 个数据点，实际上是 7 个苹果和 6 个梨，(但你不知道)，你想把它们分成两组。对于这个例子，让我们假设所有的梨都比所有的苹果大。您选择两个随机数据点作为起始位置。然后，你将这些点与所有其他点进行比较，找出哪个起始位置最接*。这是你第一次通过聚类，这是最慢的部分。你有你的初始组，但是因为你随机选择，你可能是不准确的。假设一组有六个苹果和一个梨，另一组有两个苹果和四个梨。所以，你取一组中所有点的*均值作为该组的新起点，对另一组也这样做。然后再次进行聚类以获得新的组。
成功！因为*均值更接*每组的大多数，所以在第二次循环中，你会在一组中得到所有的苹果，在另一组中得到所有的梨。你怎么知道你完成了？计算*均值，然后再次进行分组，看看是否有分数改变了分组。没有，所以你完了。否则，你会再去一次。

K-means

KNN
直截了当地，两人寻求完成不同的目标。 K *邻是一种分类算法，是监督学习的子集。 K-means 是一种聚类算法，是无监督学习的子集。
如果我们有一个足球运动员、他们的位置和他们的尺寸的数据集，并且我们想要在一个新的数据集中给足球运动员分配位置，其中我们有尺寸但是没有位置，我们可以使用 K-最*邻。
另一方面，如果我们有一个需要根据相似性分成 K 个不同组的足球运动员数据集，我们可能会使用 K-means。相应地，每种情况下的 K 也意味着不同的东西！在 K-最*邻居中，K 代表在确定新玩家位置时有投票权的邻居的数量。检查 K=5 的例子。如果我们有一个新的足球运动员需要一个位置，我们在数据集中选择五个测量值最接*我们的新球员的足球运动员，让他们投票决定我们应该给新球员分配的位置。
在 K-means 中 K 表示我们最终想要拥有的集群数量。如果 K= 7，在我的数据集上运行该算法后，我将有七个足球运动员的聚类，或不同的组。最后，两个不同的算法有两个非常不同的目的，但它们都使用 K 的事实可能会非常混乱。

K-nearest neighbors

5-支持向量机 SVM 使用超*面(直的东西)来分离两个不同标记的点(X 和 O)。有时候点是不能用直的东西分开的，所以它需要把点映射到一个更高维的空间(用内核！)在那里它们可以被直的东西分割(超*面！).这在原始空间上看起来像一条曲线，尽管在一个更高维度的空间中它实际上是一条直线！

Support Vector Machines

6-随机森林 假设我们想知道何时投资宝洁，那么我们有三个选择买入、卖出和持有，基于上个月的几个数据，如开盘价、收盘价、价格和交易量的变化
假设你有很多条目，900 点的数据。
我们要建立一个决策树来决定最佳策略，例如，如果股票价格的变化比前一天高百分之十以上，我们就以高成交量买入这只股票。但是我们不知道使用哪些功能，我们有很多。
因此，我们采取了一组随机的测量方法和一组随机的训练样本，并构建了一个决策树。然后，我们使用不同的随机测量组和每次随机数据样本进行多次相同的操作。最后，我们有许多决策树，我们使用它们中的每一个来预测价格，然后基于简单多数来决定最终的预测。

Random Forest

7-神经网络
神经网络是人工智能的一种形式。神经网络背后的基本思想是模拟计算机内部大量密集互连的脑细胞，以便它能够以类似人类的方式学习事物、识别模式和做出决定。神经网络的神奇之处在于，它不必通过编程来明确学习:它完全是自己学习，就像大脑一样！
神经网络的一方面是输入。这可能是一张照片，来自无人机的数据，或者围棋棋盘的状态。另一方面，有神经网络想要做的输出。在这两者之间有节点和连接。连接的强度决定了基于输入需要什么样的输出。

Artificial Neural Network

或者，你可以获得 5 美元/月的中等订阅。如果你使用这个链接，它会支持我。

你知道 K_Nearest_Neighbors 也可以用于回归任务吗？

原文：https://towardsdatascience.com/do-you-know-k-nearest-neighbors-can-also-be-used-for-regression-tasks-117da22bcac3?source=collection_archive---------18-----------------------

是的，它是！让我们来理解这个简单的算法

source: researchgate.net

你有什么好处？

本文将揭示最简单易懂的最大似然算法——K *邻算法。它可用于分类和回归任务，但在分类中更常见，因此我们将重点放在分类上，并了解如何将其用作回归变量。不过，这些原则在这两种情况下都适用。

我们来谈谈数据

这一次，我不会像在我的其他文章中通常所做的那样挑选任何数据集。如果数据集能给我一个机会来解释一个概念、一个陷阱或一种方法，那么我会选择数据集。就像我承认的，这是最简单的 ML 算法。我将使用与 sklearn 捆绑在一起的乳腺癌数据集。

就这么简单吗？

基本上，算法如下:

1. 定义𝑘
2. 定义距离度量，通常是欧几里德距离(2 范数距离)
3. 对于新的数据点，找到𝑘最*的训练点，并以某种方式(通常是投票)组合它们的类，以获得预测的类

就是这样！

KNN 的好处

• 它实际上不需要任何传统意义上的训练。你只需要一个快速的方法来找到最*的邻居。
• 容易理解

KNN 的弊端

• 我们需要定义 k，这是一个超参数，因此它可以通过交叉验证进行调整。k 值越高，偏差越大，k 值越小，方差越大。偏差和方差总是在跷跷板上，所以从技术上来说，你不可能一箭双雕。必须有所取舍。

专业提示:在一个模型中，如果你必须减少方差，然后引入大的训练集，这不是在所有情况下都可行的选择。如果您必须减少偏差，那么添加特征(预测值)会有所帮助，但代价是引入额外的方差。我的文章中有更多提示

• 必须选择一个距离度量，根据度量的不同，可能会得到非常不同的结果。同样，你可以使用交叉验证。
• 它并没有真正提供哪些特性可能是重要的见解。
• 由于维数灾难，它可能会受到高维数据的影响。

基本假设:

• 对于我们的目标来说，接*的数据点是相似的

什么是维度的诅咒？

这是一种忧郁的表达，但它意味着数据中更高的维度顺序。

为什么这是一个问题？我听到了。我们无法将数据可视化。可视化就像第一世界国家的问题，有更多的噪音，但实际上非常琐碎。

更大的问题是，当你增加维度时，代表你的数据的数据点也会增加，数据变得更加分散。很可能*点并不比*均距离*多少，也就是说*并没有多大意义。KNN 在数据点之间的距离上工作，因此它将使这个算法低效。

如果你很好奇，想直观的知道为什么会这样。去这里

欧几里得距离

对于被比较的向量 q 和 p(这些将是我们的特征向量):

Source: Wiki

这不是结局。还有许多其他距离度量。我将在本文后面讨论术语。该算法最优选的距离范数是曼哈顿(1 范数)或欧几里德(2 范数)。

型号

你可以在这里跟随代码

你如何确定 K 值？

没有科学的方法来确定一个。我们只需要反复试验。网格搜索为了解决这个问题，我将 KNNClassifier 管道化到网格搜索中，以了解最佳超参数。

grid search report

看起来在这种情况下，K = 5 的均匀权重方法效果最好。

了解关于分类指标的更多信息。跟进我的文章

投票方法的类型

• 多数投票:在你选择了𝑘最*的邻居后，你对这些邻居的班级进行了“投票”。新的数据点被分类为邻居的大多数类。如果您正在进行二元分类，建议您使用奇数个邻居，以避免票数相等。然而，在一个多类问题中，更难避免*局。对此的常见解决方案是降低𝑘，直到*局被打破。
• 距离加权:不是直接对最*的邻居进行投票，而是根据该实例与新数据点的距离对每一票进行加权。一种常见的加权方法是

或者是新数据点和训练点之间的距离。新的数据点被添加到具有最大增加权重的类别中。这不仅减少了*局的机会，而且还减少了数据失真的影响。

距离度量

欧几里德距离或 2 范数是一种非常常用的𝑘-nearest 邻居距离度量。任何𝑝-norm 都可以使用。

p-norm

然而，对于分类数据，这可能是一个问题。例如，如果我们将汽车颜色的特征从红色、蓝色和绿色编码为 0、1、2，如何测量绿色和红色之间的“距离”？您可以创建虚拟变量，但是如果一个特性有 15 个可能的类别，这意味着您的特性集要增加 14 个变量，我们会遇到维数灾难。但是要注意分类特征对最*邻分类器的影响。

搜索算法

假设数据集包含 2000 个点。对一个点的 3 个最*邻居的强力搜索不需要很长时间。但是如果数据集包含 2000000 个点，强力搜索可能会变得非常昂贵，尤其是在数据的维度很大的情况下。其他搜索算法为了更快的运行时间而牺牲了穷举搜索。像 KDTrees 或 Ball trees 这样的结构用于更快的运行时间。虽然我们不会深入研究这些结构的细节，但请注意它们以及它们如何优化您的运行时间(尽管训练时间确实会增加)。

另一种类型:半径邻居分类器

这与𝑘最*邻分类器的想法相同，但不是查找𝑘最*邻，而是查找给定半径内的所有邻居。设置半径需要一些领域知识；如果您的点紧密地聚集在一起，您可能希望使用较小的半径来避免几乎每个点都投票。

KNN 回归量

要将我们的问题从分类转变为回归，我们所要做的就是找到𝑘最*邻的加权*均值。我们使用与上述相同的加权方法，计算这些最接*值的加权*均值，而不是取多数类。

让我们尝试使用 KNN 回归器根据其他特征来预测组织的面积。跟随代码这里

Now you know why nobody uses it for regression tasks

一个应用:异常检测

在𝑘k-nearest 的邻居中，数据自然是聚集的。在这些聚类中，我们可以找到点之间的*均距离(或者穷尽地或者从聚类的质心开始)。如果我们发现几个点比到其他点或质心的*均距离远得多，那么有理由(但不总是正确的)认为它们可能是异常值。我们也可以在新的数据点上使用这个过程。

你知道数据有引力吗？

原文：https://towardsdatascience.com/do-you-know-that-data-has-gravity-6ca55e192372?source=collection_archive---------22-----------------------

1.数据有引力

看到这个标题就忍不住要提问。两个物体之间产生引力，数据怎么会有引力？吸引了谁？数据引力是多了好还是少了好？

宇宙复杂多变，但仍有一个相对稳定的系统。比如我们所处的银河系和太阳系，这个系统的构建就是牛顿提出的万有引力。

同样，我们也可以认为数据本身也是复杂的，比如企业内部的各种业务系统，外部的政府，个人等等。在如此复杂的环境下，它是否也能产生一些稳定的系统？

这里不得不提出牛顿万有引力公式，也是数据引力定律。

2.如何用数据证明 IT 部门的业绩或价值？

首先是数据的质量，数据的粒度粗，造假的问题，脏数据的问题会严重影响数据的质量。

价值不会无缘无故的存在，它取决于我们的 决策 部门，业务部门和 it 部门。如果这三个部门分开，数据和价值之间的距离变长，数据引力就会降低，那么价值就会降低。

关于数据和价值之间的距离，在企业中通常没有这个环节的保障。

3.如何打造重质量的数据？

一、可靠性，数据需要高度可信，不可证伪；

第二，深度，数据需要契合业务需求并易于分析；

三、速度，数据是有时效性的，只有通过高效的分析，才能发挥其最大的价值。

我们来看看企业数据目前存在的问题。

“2018 China Enterprise Data Research Report”, from FanRuan Data Institute

4.为了解决这些问题，我们应该怎么做？

• 底层数据处理—建立数据可信度

• 建立中间模型—提高数据深度

模型分为两类，一是数据模型，二是业务模型。数据模型其实是基于数据本身的特性，无论是我们的主要数据，还是我们的国际十大学科领域。第二是为我们的业务需求而开发。

• 前端快速渲染—提高数据速度

数据是有场景的，所以不同的图表，不同的表格，其在实际过程中的应用是不同的。在每种情况下，对于不同的领导汇报，针对业务的不同应用选择不同的处理方式，这样的数据分析就是快速分析。

5.如何为质量创造价值？

重质量的价值需要场景连接。

从这张图中我们可以看出，连接的价值需要由决策层、IT 层和服务层来决定。那么决策层一般面对的数据场景有哪些呢？

6.如何减少资料准备的时间？

解决的办法就是把数据自动化，把需要的数据固定下来，根据每月的变化自动更改，然后就不需要那么多人力每月重复工作了。

7.如何减少理解数据的时间？

我们可以根据决策层的个人习惯自动推送异常数据或关键数据，比如通过数据仪表盘的移动端提示。

From FineReport

8.如何科学地衡量各部门创造的价值？

对于决策者来说，阿米巴经营可以用来节省人力。

对于业务层来说，重点是人和事。

关于员工的成长，我们采取主动和被动的方法来授权我们的业务和促进个人发展。

对于事物，我们希望数据满足更多的业务场景，如下图所示。

我们来看看 IT 层面临的数据场景。

“2018 China Enterprise Data Research Report”, from FanRuan Data Institute

很多时候，决策层认为 IT 部门人员只需要不断优化升级现有业务，但实际上，更重要的是 IT 层能够解决业务层的燃眉之急。

总结一下，最终的目的是我们的决策者不是单纯的听报告或者看 PPT，而是用数据来支持他的决策，让他的决策能够提升他的管理。对于业务层，我们不仅要回应领导的诉求，还需要思考如何利用数据推动业务转型。对于 IT 层来说，他们需要与业务融合，从沟通到指导，而不是对抗，通过这种方式来提高数据质量。

而下一次我会和你谈谈如何缩短数据和价值之间的距离。有什么问题，可以放在这里。欢迎交流。

您可能也会对… 感兴趣

2019 年你不能错过的 9 款数据可视化工具

初学者财务报表分析指南

业务分析师需要学习的 3 种报表

你的人工智能项目需要合成数据吗？

原文：https://towardsdatascience.com/do-you-need-synthetic-data-for-your-ai-project-e7ecc2072d6b?source=collection_archive---------12-----------------------

在大多数人工智能项目中，数据是一个问题。由于缺乏好的数据，我已经失败了几个项目…从那以后，我更多地依赖于一种相对较新的叫做合成数据的方法。我希望这篇文章能帮助你更好地理解合成数据如何帮助你的人工智能项目。

对于像谷歌、苹果和亚马逊这样的大型科技公司来说，与其他公司相比，收集数据不是一个问题。事实上，通过他们的产品/服务，他们拥有几乎无限的各种数据流，为数据科学家训练他们的算法创造了完美的生态系统。对于较小的公司，对这些数据集的访问是有限的、昂贵的或不存在的。

除了解决 AI 的数据收集问题，企业还必须应对激烈的竞争。

现实情况是，获取数据的成本很高，这使得许多人甚至无从下手。然而，合成数据可以帮助改变这种情况。合成生成的数据可以帮助公司和研究人员建立训练甚至预训练机器学习模型所需的数据仓库。

新产品、新市场

通过帮助解决人工智能中的数据问题，合成数据技术有可能创造新的产品类别和打开新的市场，而不仅仅是优化现有的业务线。

这对许多行业的数据科学都有影响。除了使工作能够开始，合成数据还将允许数据科学家继续正在进行的工作，而不涉及真实/敏感的数据。

事实上，公司现在可以获得他们的数据仓库或数据库，并创建它们的合成版本，而不会侵犯用户的隐私。

制造假数据

合成数据是以编程方式生成的数据。例如，使用视频游戏引擎渲染的任意场景中的物体的逼真图像，或者由语音合成模型从已知文本生成的音频。很重要的一点是，这与传统的数据扩充不同，传统的数据扩充使用裁剪、翻转、旋转和扭曲来增加模型必须学习的数据种类。

这些渲染引擎不仅可以生成任意数量的图像，还可以生成注释。边界框、分割遮罩、深度图和任何其他元数据都与图片一起输出，这使得构建产生它们自己的数据的管道变得简单。

如今的大部分合成数据都是可视化的。

通过我的项目，我意识到在计算机视觉中，完全基于合成数据来训练模型执行许多常见任务是可能的。对象检测、分割、光流、姿态估计和深度估计都可以用今天的工具实现。

在音频处理和自动语音识别任务中，也可以从生成的数据中受益。最后，强化学习极大地受益于在模拟环境中测试策略的能力，这使得为自动驾驶汽车和机器人训练模型成为可能。

通过实际创建强化学习算法可以在其中运行的模拟环境，合成数据的产生可以更进一步，并因此基于其动作生成数据流。关键问题是训练算法所需的模拟环境的复杂性。

关于合成数据的信息:

何时使用合成数据

合成数据有助于加快您的人工智能计划:

1. 用合成数据测试算法允许开发人员制作概念证明，以证明人工智能计划的时间和费用是合理的。它们可以表明，一个特定的算法组合在原则上可以被修改以达到预期的结果，保证与整个开发周期相关的成本不会被浪费，并给你前进所需的信心。
2. 公司可以根据您的测试需求，快速开发大规模完美标记的数据集。此外，可以通过迭代测试来修改和改进这些数据，从而为您后续的数据收集操作提供最大的成功可能性。
3. 当你的训练数据中有太多某种标签时，一个常见的问题就是过度拟合。当面对真实世界的使用时，它会产生不可靠的结果。偏见是另一个问题，来自收集的数据，这些数据不能充分代表现实中可能发生的所有差异。合成生成的数据集提供了一种可靠且经济高效的方法来纠正这些问题，并保证数据集的良好*衡。
4. 合成数据可用于可靠地生成具体案例。例如，罕见的天气事件、设备故障、交通事故或罕见的疾病症状。合成数据可以代表唯一的方法来确保你的人工智能系统为每一种可能发生的情况进行训练，并在你最需要的时候准确地表现良好。

合成数据的背景

在确定创建合成数据的最佳方法时，重要的是首先考虑您想要什么类型的合成数据。有两大类可供选择，各有利弊:

构建合成数据的两种一般策略包括:

从分布中抽取数字:通过观察真实的统计分布和复制虚假数据来工作。这也可以包括创成式模型的创建。

基于代理的建模:创建一个模型来解释观察到的行为，然后使用同一个模型再现随机数据。它强调理解代理之间的相互作用对系统整体的影响。

在众多应用中，合成数据使用的潜力是显而易见的，但它不是一个通用的解决方案。

当涉及到合成数据时要小心

合成数据并不总是完美的解决方案。事实上，合成数据通常不适合机器学习用例，因为大多数数据集太复杂，无法正确“伪造”。此外，使用合成数据还可能在开发阶段导致误解，即一旦投入生产，您的机器学习模型将如何处理预期数据。

此外，如果用合成数据训练的模型比用“原始”数据训练的模型表现更差，决策者可能会驳回您的工作，即使该模型可能会满足他们的需求。

如果用合成数据训练的模型比用预期数据训练的模型表现得更好，你创造了不切实际的期望。大多数时候，我们很少知道当我们的模型用不同的数据集训练时，它的性能会如何变化，直到我们用特定的数据集训练它。

根据项目的性质，我相信如果你对预期数据的理解足够好，可以生成一个本质上完美的合成数据集，那么使用机器学习就变得毫无意义，因为你已经可以预测轮廓了。在我看来，你用来训练的数据应该是随机的，用来看看这些数据可能产生什么结果，而不是用来证实你已经知道的东西。

合成数据的挑战

尽管在合成数据的帮助下可以获得各种各样的好处，但它也不是没有挑战。这些挑战包括:

合成数据的局限性

尽管我对 ML 项目合成数据的未来持乐观态度，但还是有一些限制。其中一些是技术性的，而另一些则与业务相关:

1. 像“识别这种特定包装”这样的简单任务很容易，但像“检测数百种稀有动物”这样更复杂的任务仍然很难。
2. 从商业角度来看，从长远来看，合成数据将许多模型转化为商品。

虽然在这一领域取得了很大进展，但一个持续存在的挑战是保证合成数据的准确性。我们必须确保合成数据的统计特性与原始数据的特性相匹配。

用于生成合成机器学习数据的工具

• sklearn.datasets.make:这个流行的 scikit-learn Python 包包含生成具有特定属性的数据的方法。生成适用于回归、分类和聚类问题的数据的基本方法是可用的。这些方法在 sklearn.datasets 模块中。
• pydbgen :一个 Python 包，用于生成合成的结构化数据库表，包括特定的数据字段，如电子邮件、电话号码、姓名或城市。
• Mockaroo : Mockaroo 是一个网站/API，用于生成具有真实单元格值(例如，姓名、邮政编码、日期)的结构化数据，并且可以选择使用自定义函数来转换生成的值。免费版一次生成 1000 行，并以通用表格格式导出这些行。

您真的需要在您的生态系统中实施大数据技术吗？

原文：https://towardsdatascience.com/do-you-really-need-to-implement-big-data-technologies-in-your-ecosystem-ea840a3cf286?source=collection_archive---------13-----------------------

多年以来，“大数据”已经变得普遍和流行。大数据技术开始填补传统数据技术(RDBMS、文件系统……)与数据和业务需求的高度发展之间的空白。

虽然实施这些技术对于许多大型组织来说是确保业务连续性所必需的，但是许多组织都在致力于采用这些技术，而并不真正知道它们是否能够改善他们的业务。

在做决定之前，有许多事情你应该考虑。

了解什么是大数据

在询问您的企业是否需要大数据技术之前，您必须首先了解什么是大数据。我知道这可能看起来很奇怪，但这是真的。

很多次，我们被要求为许多公司开发大数据生态系统，只是因为他们的数据库在存储数据多年后接* 1 TB，而他们只需要优化数据存储和采用一些最佳实践。

有一次，我被要求构建一个“大数据解决方案”，仅仅是为了让一个公司经理能够搜索数百个包含不同信息的 excel 文件。最后，使用一些 SQL Server 集成服务包、一个小型数据仓库和一个 Power BI 项目实现了目标。

只要谷歌一下“大数据”这个词，你就会看到许多描述它的文章，它会消除任何误解(如果存在的话)。

大数据不仅仅是一个庞大的数据量，它还具有很多其他特征，如速度、准确性和多样性。

你需要什么技术？

如果您确定自己拥有大数据，那么您必须选择您正在寻找的合适技术。

有一些关于大数据技术的神话；很多人认为大数据一直意味着 Hadoop，而另一些人认为 Hadoop 是一个数据库管理系统。

作为一名数据工程师，在选择正确的技术之前，我必须研究我们要处理什么类型的数据；实时或静态、在线或离线、结构化或非结构化。然后，我需要指定生态系统层，并在研究了其他因素(如可用资源、成本和其他因素)后，为每一层选择相关技术。

Big Data Ecosystem example (Project called ORADIEX)

总的来说，有一些共同的生态系统层:

• 数据摄取层(从数据源读取数据):有很多工具如 Apache Kafka、Sqoop 等。
• 数据处理层(数据清洗、聚合):Apache Spark、Storm、Hive、Pig、MapReduce……
• 原始数据存储(数据湖sss存储没有到来的摄取数据):Hadoop
• 处理过的数据存储(数据库，存储经过处理和清理的数据的数据仓库):Apache Cassandra、InfluxDb、MongoDB、Apache Hive……
• 数据可视化层(绘制实时图形):Kibana，Grafana …
• 数据检索层(海量数据搜索):可以使用分布式搜索引擎，如 Solr、Elastic Search、Sphinx、蝎狮……

大数据技术实施成本

第二件重要的事情是了解实现成本(金钱、时间和人员……)；

即使大部分大数据技术是开源和免费的，但它们需要昂贵的资源和专业人员，而在线上缺乏这些技术的明确技术文档。

你不应该只考虑技术价格而不考虑其他因素。

结论

最后，您可能会考虑其他因素，但您必须知道大数据技术不是魔术棒。

有时，您的公司只需要实施一些最佳实践或执行一些优化，在需要采用新技术之前，当前系统将为您服务多年。

另一方面，当您真正需要大数据技术时，您不会花太多时间来采用。

你看到我看到的了吗？

原文：https://towardsdatascience.com/do-you-see-what-i-see-391151db87eb?source=collection_archive---------29-----------------------

“你不应该在你的仪表板上使用这些颜色，因为它们是自然的，”我一直对我的员工说，直到有一天我意识到仪表板的颜色类似于我在非洲看到的一种常见的服装图案，于是我想起了我的欧洲朋友在坦桑尼亚市场上为她的服装购买面料的故事。她的颜色选择被一位店主描述为“mzungu”色，一切都变得有意义了。一个“啊哈”的瞬间，接着意识到“我以为我知道的一切都是错的”。我不确定仪表板构建的最佳实践实际上是“最好的”还是“西方国家仪表板构建的常见实践”。

有没有知觉经验的一致性？如果不是，是否一个人说的语言和一个人属于一种特定的文化，等等。把他的注意力引向某些颜色，让他忽略其他颜色？如果是，不同文化中存在的基本颜色是什么？

在研究色彩理论时，我问自己。大多数研究论文都是关于一个人说的语言如何影响他的现实，而不是关于跨文化的颜色-情感关联的研究——事实上，跨文化研究的研究机构有限，以前的颜色-情感关联研究都是在一个国家进行的，或者专注于特定的情感或特定的颜色——我想知道 Hofstede 在这个问题上有什么看法。由于数据的可用性，我把重点放在了语言的相对性和语言的一致性上，这是一个想法，即那些使用相同基本颜色术语的语言的人对颜色变化的感知和记忆是相似的。这篇文章的目的是分享我的分析结果，并潜在地提高对这个主题的兴趣，因为该领域的语言学理论的潜在含义是，如果你使用的颜色在你的仪表板最终用户的语言中没有相应的名称，你就不会实现你的仪表板的预期效果。

Munsell chips

背景:对基本术语的研究始于柏林和凯(1978)的工作。“基本颜色词意义的语言学意义”]他发现 11 种颜色——白色、黑色、红色、绿色、黄色、蓝色、棕色、紫色、粉色、橙色和灰色——在世界上所有语言中充当所有基本颜色词的焦点，并被认为是一种语义共性。他们还提出了一种颜色的层次结构，见下文，其中如果颜色 a 出现在该层次结构中颜色 b 的左侧，那么每种有 b 的单词的语言也将有 a 的单词。例如，有四个颜色术语的语言总是有黑色、白色和红色的单词，而第四个单词可能表示黄色或绿色。

Hierarchy of colors according to Berlin and Kay (1969)

另一项成果是将所研究的语言分为进化序列的七个阶段，从只有白色和黑色词汇的原始语言到拥有所有颜色词汇的更高级语言。

Classification of languages according to Berlin and Kay

但当时这项工作因其研究方法而受到批评，因此，在 1970 年底，进行了一项额外的研究‘世界颜色研究’(WCS)，以获得每种语言中基本颜色术语的名称、类别范围和最佳示例——基本颜色术语在说明中被描述为“说话者可以用来命名任何颜色的最小简单单词集”。这是通过国际语言夏季研究所的合作实现的，该研究所在世界各地维护着一个语言学家-传教士网络，在那里收集了代表 45 个不同语系和几个主要语言种群的 110 种非文字语言使用者的基本颜色术语系统的数据，迄今为止，它被认为是最大的语言学研究之一。现场工作人员得到了 Munshel 色卡——一种通过三个维度定义颜色的颜色空间:色调、亮度和色度。研究参与者“被要求(1)说出 330 个蒙塞尔芯片中的每一个，以恒定的随机顺序显示，以及(2)接触这些芯片的调色板，并被要求挑出在命名任务中引出的主要术语的最佳例子(“焦点”)。

使用的方法:采用标准的迭代数据分析生命周期，包括:制定研究问题>收集数据>组织数据>分析数据>交流结果。基于基本颜色比非基本颜色在所有受访者中出现频率更高的假设，基于使用频率和出现顺序对调查响应进行了分析。结果被可视化为单词云。包含代码的 Git 库在这里是。

收集数据:整个数据集可在 WCS 的网站上获得。为了进行分析，我使用了数据集“focus-exp . txt ”,它包含 WCS 焦点任务响应(大小= 110，784)；“lang.txt ”,其中包含调查中每种语言的顾问所在国家和实地调查人员的姓名，以及 WCS 员工内部使用的某些其他信息(大小= 110)；“WCS _ SIL _ 代码”将国家映射到语言；以及“dict.txt ”,它给出了在其他文件中出现的每个术语(大小= 2，363)。

组织数据:所有文件的格式都是空格分隔的，这使得当一列中的文本由一个空格分隔时，例如由空格分隔的国家名称，很难解析。

然后，由于字符编码格式或潜在的数据收集错误，我无法将一些语言映射到一个国家，真的吗？这次谷歌不知道这些语言来自哪个国家。

array(['Abidji', 'Cavine{\\x96}a', 'Ch{\\x87}cobo', 'Cof{\\x87}n',
       'Eastern', 'Ng{\\x8A}bere', 'Sepik', 'Kokoni', 'Long-haired',
       'M{\\x9C}ra', 'N{\\x87}huatl', 'Sirion{\\x97}', 'Central', 'W.'],
      dtype=object)

最后，词典文件的自述文件中提到，“由于字体限制和其他原因，该文件中实际术语的印刷翻译在许多情况下并不完全符合现场工作人员的记录”。

分析数据&交流结果:结果，2619 名受访者中有 2277 人根据他们的语言被映射到一个特定的国家——是的，我同意这是非常简单的，因为几个国家可能说同一种语言。我发现这个图表相当有趣，即大多数受访者位于巴布亚新几内亚——我想知道这个图表是否是 70-80 年代基督教传教探险的例证。

*均而言，每个语言组有 25 名参与者。

沟通结果:

为了提醒 WCS 的方法论，在命名任务中，刺激调色板放在说话者的前面，对于每个颜色词 t，回答者被要求指出他或她能调用的所有芯片。然后，像以前一样展示芒塞尔芯片，并要求合作者为每个基本颜色项 t 指出 t 的最佳示例。为了可视化组合的数据集，我以单词标签的形式放置命名响应，并根据命名响应进行着色。编写了几个函数来将 RGB 转换为 HEX，并将文本绘制为单词云；Holoviews 是一个 Python 库，用于增加 viz 的交互性；Binder 习惯于共享 Jupyter 笔记本进行协作。你可以在 https://mybinder.org/v2/gh/eponkratova/articles/master?找到它 file path = language _ colors % 2f code _ 2 . ipynb。在它的上面，写了一个小的 VBA 来可视化 xls 中的结果。可以在https://github . com/eponkratova/articles/blob/master/language _ colors/analysis . xlsm访问。

Access the tool at https://mybinder.org/v2/gh/eponkratova/articles/master?filepath=language_colors%2Fcode_2.ipynb

Access the file at https://github.com/eponkratova/articles/blob/master/language_colors/analysis.xlsm

例如，“lebe”在 Abidji 中是“红色”的意思——谢谢@Ange 的真知灼见。当指出与术语“lebe”相关的颜色时，受访者指的是略有不同的薯片。

你可能会问，那又怎样？当我意识到作为肤色调查一部分的语言群体的使用者是少数群体时，我有点失望。所以这个分析很可能对你没有任何帮助，但是希望它能让你思考一下你在仪表盘上使用的颜色。“不要使用太暗或太激进的颜色——只有在你需要制造一种警示的情况下才使用激进的颜色”，我过去常常这么说。如果对于我们的非洲顾客来说，中性色可以突出物体并起到警示作用，那会怎么样？如果我使用的绿色阴影在仪表板查看器的母语中没有单词，会被忽略吗？会逃吗？截至目前，我还没有一个确定的答案。

你明白了吗？

原文：https://towardsdatascience.com/do-you-understand-it-b0b62657e836?source=collection_archive---------26-----------------------

自然语言处理导论

理解一门语言始于查字典

今天，我随意浏览了《牛津英语词典》，试图将语言归结为“第一原则”。

我首先检查了一个孩子在 3 岁时可能会学到的东西——“好”的含义——“被期望或认可”。

Screenshot from https://en.oxforddictionaries.com

假装不知道“欲望”是什么意思，我又检查了一遍——“强烈希望或想要某样东西”。

Screenshot from https://en.oxforddictionaries.com

还是那句话，什么是“愿”？“感觉或表达强烈的愿望”。

Screenshot from https://en.oxforddictionaries.com

哦，天哪，这是一个神奇的循环引用。我被卡住了，永远只能在“欲望”和“愿望”之间翻转。从字典上看，没有办法真正理解“欲”和“愿”的含义。

如果你检查较难的单词，你可能不会马上看到，因为它可以用较简单的单词来解释。学习外语也是如此。但如果你检查最简单的词，这个循环甚至自我引用出现了。再举一个例子，“意义”的含义读作“一个词、文本、概念或行为的含义是什么。”

Screenshot from https://en.oxforddictionaries.com

意义是我们赋予的

唯一的解释是，意义是我们赋予词语的。我们认为我们理解它们是因为每个人都知道它们，但实际上我们只是记住了它们的意思，而不是因为它是如何拼写的(嗯，偶尔这是真的，因为有一些你知道的单词成分)。拼写本身在大多数情况下没有意义。

一旦我们赋予一个词一个意思，我们就知道其他词的意思。这就像一个文字网络。比如我们理解了“欲”，就知道了“愿”和“善”。即使我们不知道“欲”的含义，我们仍然知道“愿”和“善”如果出现在同一个语境中，它们与“欲”有着相似的语境。

当一个词的意思被赋予时，我们可以通过观察上下文来猜测。这是人类理解语言的自然现象。这就联系到了一个重要的概念——(出现在同一个语境中的词更有可能有相似的意思)，这个概念奠定了自然语言处理(NLP)的基础。

这是 NLP 中单词嵌入的大致思路。“单词嵌入”这个花哨的术语只是我们将意义烘焙到一系列计算机可以理解的数字(向量)中，并可用于下游任务，如情感分析。

机器可以学习我们如何分配意义

回到主题——我们理解了吗？我们都没有，电脑也没有。我们不理解它，我们赋予它意义，我们知道“好”与“欲望”和“希望”有联系。计算机也看不懂拼写“good”，但它可以学习我们的赋值分布——“good”类似于“desire”和“wish”。毕竟，意义分配仍然是人类的财产。

另外，中文可能有一点不同的故事，因为有些是从象形文字演变而来的。

你想去米兰吗？使用 Airbnb 数据的邻里情感分析

原文：https://towardsdatascience.com/do-you-want-to-move-to-milan-neighborhoods-sentiment-analysis-using-airbnb-data-72db72ebc070?source=collection_archive---------21-----------------------

Udacity 数据科学家纳米学位计划项目

Photo by Andrea Ferrario on Unsplash

这个项目是数据科学家纳米学位项目 Udacity 的一部分:写一篇数据科学博文，目标是选择一个数据集，应用 CRISP-DM 流程(数据挖掘的跨行业流程)并有效地交流分析结果。

CRISP-DM 流程:

1. 业务理解
2. 数据理解
3. 准备数据
4. 数据建模
5. 评估结果
6. 展开

看着推荐的数据集，我被太多的选项卡住了。然后，由于我和一些朋友正在考虑搬到米兰，以便离我们的工作场所更*，我决定使用 Airbnb 的数据对其街区进行情感分析。

业务理解

该项目的目标是回答至少三个与如何使用数据的商业或现实应用相关的问题，所以我选择了:
1 得分最高的 5 个邻域是哪 5 个？
2 得分最低的 5 个小区是哪几个？
3 主人给出的邻里概况与客人给出的有多大不同？

数据理解、准备数据和数据建模

该数据集由 20626 个主机列表和 469653 个客户评论组成。列表和评论都是用不同的语言写的:意大利语，英语，法语，俄语。

在了解了哪些数据可能对我的目标有用之后，我必须将列表中的社区与真实的社区进行映射:米兰由 130 个社区组成，但在映射之后，只有 74 个被至少一个列表覆盖。

http://www.museomilano.it/mediateca/media-pg-5/

在无法自动绘制地图的情况下，也可以使用谷歌地图手动绘制地图。

First 20 listing marked with real_neighbourhood

Number of listing related to a neighborhood

使用 listing_id 可以将每个评论连接到real _ neighborhood。

First 20 review marked with real_neighbourhood

Number of review related to a neighborhood

对于列表和评论，我已经检测了使用的语言并标记了每条记录。

First 20 listing marked with detected_language

大约 34%的列表有一个无法检测语言的社区概览，37%是英语，26%是意大利语。

Listing neighborhood_overview detected languages

First 20 review marked with detected_language

大约 58%的评论是英文的，20 %是意大利文的。

Review comments detected languages

然后我决定把重点放在英文列表和评论上，只使用这样标记的记录。在使用 neighborhood_overview 的列表中，我们可以直接获得邻居的情感，但是对于评论的评论，我们必须只提取与邻居相关的句子。

对于每个列表，我们现在都有一个邻居情绪

First 20 listing marked with neighborhood_sentiment

同样的做法也适用于评论，使用同义词列表提取与街区相关的句子:街区、区域、街区、区、贫民区、教区、管区、区域、区、贫民窟、街、

例如，让我们考虑第一个评论:

**住在弗朗西丝卡和阿尔贝托家是一件乐事。正如所描述的那样，对于我的目的来说，这是一次去托托纳地区的愉快的步行。房间很好，每天打扫，有私人浴室。

弗朗西丝卡超级友好，非常乐于助人；同时尊重隐私。

总体来说很棒的体验！**

出于我们的目的，我们只需考虑:

正如所描述的那样，对于我的目的来说，这是一次去托托纳地区的愉快的步行

First 20 review marked with neighborhood_sentiment

现在，通过按邻域分组，我们获得了我们正在寻找的情感:

First 20 neighborhood sentiment comparison sort by neighborhood_sentiment_review

评估结果

我们问题的答案是:

First 5 neighborhood by score

Last 5 neighborhood by score

*均而言，与主持人给出的邻居 _ 概述相比，由客人评论的上下文句子给出的邻居的情感要高得多。一个可能的解释是 neighborhood_overview 文本的过长会对情感分析分数产生负面影响。而只提取有用的句子允许清理用于分析的字符串，从而给出总体较高的分数。

Reporting aggregated value

结论

总结步骤:
1 将数据集邻域映射到真实邻域
2 检测 neighborhood_overview 中用于列表和评论的语言
3 用于列表:计算neighborhood _ overview**
4用于评论的情感分析:隔离与邻域相关的句子并计算情感分析
5**

这个项目的代码可以在这个 github 资源库中找到，并且在我的博客上有一个意大利语的帖子。

Python 开发的 Docker？

原文：https://towardsdatascience.com/docker-for-python-development-83ae714468ac?source=collection_archive---------5-----------------------

第 1 部分 涵盖了什么是 docker。

在本文中，我们将讨论如何开始使用 Docker 进行 python 开发。

一个标准的 python 安装包括设置环境变量，如果你在处理不同版本的 python，无论是 Windows 还是 Linux，都有大量的环境变量需要处理。

如果您正在处理对 python 版本非常挑剔的产品，您需要确保您的程序在该版本上经过测试，并且没有您可能在本地系统上认为理所当然的额外和缺失的依赖项。

同时处理 Python 2 和 3 仍然是可管理的，但是想想如果你必须处理已经安装的 python 3.6 并且需要试用 python 3.7。

码头工人来救援了！

改变 python 版本就像FROM python:3.6.7到FROM python:3.7一样简单。

Docker 不仅允许进行快速实验，而且有助于限制保持稳定性所需的特定包版本。

可以把它想象成 Anaconda 中的一个虚拟环境。

但是，当您配置了 Anaconda 之后，大多数包已经预安装在系统上，当您尝试部署它时，您可能会认为它们是理所当然的。

此外，python 3.7 版的 Anaconda 占用了超过 3GB 的磁盘空间。

另一方面，docker 图像几乎不占用千兆字节。

Sizes of Python Full and Alpine Images

准备文档

决定你需要的 python 版本，如果你只是在寻找最新版本，就写python:latest。

图像的方式通常被命名为image_name:tag，当您使用docker build -t image_name:tag .构建图像时需要提供这个名称。如果您在构建过程中没有提供任何标签，docker 会自动分配给它latest。

在 docker hub 上， Python 提供了不同的图片供选择，从 Alpine 版本(这是一个非常小的图片)到完整版本。

# Python 3.6.7FROM python:3.6.7-alpine3.6# author of file
LABEL maintainer=”Chinmay Shah <[chinmayshah3899@gmail.com](mailto:chinmayshah3899@gmail.com)>”

RUN —该指令将在当前图像之上的新层中执行任何命令，并提交结果。生成的提交图像将用于Dockerfile中的下一步，通常以外壳形式，除非指定或。

# Packages that we need 
COPY requirement.txt /app/
WORKDIR /app# instruction to be run during image build
RUN pip install -r requirement.txt# Copy all the files from current source duirectory(from your system) to# Docker container in /app directory 
COPY . /app

你可能会注意到，在中我们复制了requirement.txt两次。这是为了构建优化。

Dockerfile 中的每一行都作为一个单独的步骤执行，并创建一个新的容器。

这是非常低效的，因为您并不总是希望在每个构建命令期间从头开始重新构建一切。

为了解决这个问题，Docker 使用了一种被称为层缓存的东西，这是一种奇特的说法，它不是每次都重新创建一个容器，而是重用在以前的构建中创建的容器并存储它。因此，除非您在前面的步骤中进行了更改，否则构建过程可以重用旧的容器。

这个想法是，需求几乎不会改变，但是代码经常会改变，因此使用缓存是一个更好的方法，而不是每次构建映像时都下载需求包。

The build process

请注意，dockerfile 中的每一行都是一个单独的步骤，而且每个步骤都有一个唯一的字母数字名称。

ENTRYPOINT —指定容器启动时将始终执行的命令。

CMD —指定将提供给ENTRYPOINT的参数。当您想将容器作为可执行文件运行时，可以使用它。

如果没有 entrypoint，默认参数是执行的命令。

对于 entrypoint，CMD作为参数传递给 entrypoint。

更多关于它的这里。

# Specifies a command that will always be executed when the  
# container starts.
# In this case we want to start the python interpreterENTRYPOINT [“python”]# We want to start app.py file. (change it with your file name) # Argument to python command
CMD [“app.py”]

运行 python 文件

构建文件:

docker build -t python:test .

使用 cmd 或 bash 启动容器:

docker run — rm -it -v /c/Users/chinm/Desktop/python_run:/teste pythontest:alpine

-v或--volume用于附加一个卷。

什么是体积？

卷是保存 Docker 容器生成和使用的数据的首选机制。它们完全由 Docker 管理。

要将目录连接到 Docker 容器:

-v source_on_local_machine:destination_on_docker_container

如果您想要创建一个卷，以便可以跨不同的 docker 容器访问它，那么创建一个 docker 卷将是一个不错的选择。更多关于它的在这里。

如果您试图将 Python 用于数据科学，您可能会使用 volume，这样您就可以与容器共享原始数据，对其进行一些操作，并将清理后的数据写回主机。

注意:如果你使用 docker Toolbox 来使用 Docker，那么-v会将你的容器映射到 VM，VM 映射了你本地机器的 C 目录，因此很难将你的其他逻辑驱动器作为 Docker 上的卷来使用。

结论

我希望您已经具备了在 docker 上开始使用 Python 的基础知识。黑客快乐！

你可以随时联系 Twitter、T2、Linkedin 或 T4 的电子邮件。

NLP 的 Docker 图像

原文：https://towardsdatascience.com/docker-image-for-nlp-5402c9a9069e?source=collection_archive---------18-----------------------

现成的解决方案

自然语言处理是我们在波特哈实验室工作的主要方向之一。我们做文本分析，聊天机器人开发和信息检索。所以我们定期使用 Flair，Natasha，TensorFlow 和 Pytorch，NLTK，有时候会遇到英语以外的语言。现有的解决方案并不总是适合我们面临的每一个问题:有些很难启动，有些太复杂和沉重。

因此，我们已经用所有方便的 NLP 框架编译了我们自己的 Docker 映像，包括深度学习。它适合我们几乎 80%的任务，并且节省了安装框架的时间。

当前方法

一般来说，现在大多数数据科学解决方案都是通过以下方式部署的:

One doesn’t simply deploy on bare metal

1. 在裸机上。一个人必须花大量的时间用 cudNN 设置 CUDA，为 Ubuntu 安装驱动程序，并且在成功之后，还要做大量的尝试来一起运行。肯定会出问题。
2. 或者使用 Docker(一种更简单的方法)。然而，常规 Docker 不会工作得很好。需要一个特定的:与 GPU 相关的一切都是预先配置好的。在 Docker Hub 已经有几个现成的镜像可用，它们是用不同的 CUDA、cuDNN 和其他模块的版本准备的。

如何在 Docker 中部署 GPU？首先，一个人必须选择一个特别适合他的显卡的基本图像(为此，在hub.docker.com/nvidia通过标签搜索)。当使用 GPU 时，无论如何一切都是从所需版本的 Nvidia 映像继承的(对于 CPU，相反，可以使用任何方便的映像)。然后，在继承了基本映像之后，一个人创建他自己的基本映像并运行它。整个图像将重约 3Gb，但是，一切都将正常工作。

解决方案

经历了所有这些困难之后，我们又为 NLP ( 源代码)创建了一个产品 Docker 映像，它是免费的。我们的码头中心有现成的图像。它包含了一些现代的 NLP 框架，包括用于深度学习的框架。盒子里面是什么: torch，flair，spacy，dateparser，pymorphy2，yargy，natasha，nltk，yake ( 版本)。更详细:

• flair 是一个最先进的 nlp 模块，它提供了方便的 NER、词性、词义消歧和分类。
• natasha 是俄语中 NER 的一个模块。
• yargy 是一个俄罗斯语言解析器。
• yake 是一个自动关键词提取器。其主要特征是:无监督方法、语料库、领域和语言独立性。

安装镜像的四个简单步骤:

1. 克隆回购
2. 然后是build docker build -t nlp-cpu -f ./Dockerfile.cpu . (或docker build -t nlp-cpu -f ./Dockerfile.gpu .)
3. 并使用:docker run -it — runtime=nvidia iwitaly/nlp:gpu nvidia-smi
4. 还可以传递 CUDA_VISIBLE_DEVICES 环境变量。

在这个 Docker 映像的帮助下，您可以通过快速启动它并直接使用 NLP 来节省部署时间。我们希望它至少能简化一点流程。

如果您对安装有任何疑问，请在这里留下您的意见或直接联系我。还有，随意分叉回购，修改原始文件。

链接

• github:https://github.com/poteha/docker-nlp
• https://hub.docker.com/r/iwitaly/nlp/

感谢您的阅读！请，提出你的问题，留下评论，敬请期待！

docker+Jupyter 1 分钟机器学习

原文：https://towardsdatascience.com/docker-jupyter-for-machine-learning-in-1-minute-30e1df969d09?source=collection_archive---------10-----------------------

许多数据科学应用程序需要与您的主机环境隔离的模型培训/开发环境。轻量级的解决方案是将 Jupyter 与 Docker 集成在一起。设置这样一个容器的最佳实践是使用 docker 文件，这是我按照最佳实践在不到 1 分钟的时间内编写的。我希望这能帮助任何使用 docker 从事数据科学应用的人。

该项目的结构如下。

├── Prject_folder           
│ ├── Dockerfile           #Primary imga building 
│ ├── docker-compose.yml   #Describing the files to mount etc     
│ ├── requirements.txt     #Required python packages for the image

第一步:

将以下 3 个脚本下载到您计算机上的项目目录中。 GitHub 回购可以在这里找到。

Dockerfile

docker-compose.yml

将其更新为{ absolute path _ to _ yourFile }/{ fileName ame }:/root/data science/{ fileName }以挂载您的首选文件。

requirements.txt

更新它以包含您需要的包，即 matplotlib==1.0.0

第二步:

在你的电脑上安装 Dockerhttps://docs.docker.com/install/，

第三步:

docker build -t datascience .

第四步:

将 docker-compose.yml 文件更新为 mount 文件，按照我已经给出的 test.txt 文件的例子，将您需要的文件从主机装载到容器中。

第五步:

docker-compose up 

搞定现在访问 http://localhost:8888 ，默认密码设置为“root”。随便改吧。

补遗

如果遇到问题，运行以下命令将日志文件下载到当前目录。作为对这篇文章的回应，我会尽快给出解决方案。

docker cp <container-name>:/root/dockerLogs/install-logs.log .

如果您想在容器内部启动交互式会话，请键入以下命令

docker exec -it <container name> /bin/bash

如果您想从计算机中完全删除图像

步骤 1: 停止容器

docker container stop <container-id>

步骤 2 :取下容器

docker container rm <container-id>

第三步:删除图像

docker image rm datascience

如果您对我的代码和实践有任何进一步的问题，请留下您的回复，我会尽快回复您。非常感谢 MLSA 团队一如既往的帮助。

Docker 让数据科学家变得简单

原文：https://towardsdatascience.com/docker-made-easy-for-data-scientists-b32efbc23165?source=collection_archive---------4-----------------------

使用 Docker 的机器学习模型部署中的动手学习，并提供各种示例。

"谷歌在容器中运行所有软件，他们每周运行大约 20 亿个容器."

source

在继续之前，你应该想到的第一个问题是为什么我需要 docker，更重要的是它是什么？

那么，Docker 是什么？Docker 是一组*台服务产品，使用操作系统级虚拟化来交付称为容器的软件包中的软件。Docker 的巨大优势在于它使您的部署变得简单，到时候您甚至可以毫不费力地在多台机器上部署它。

您还可以将 Docker 与 Kubernetes 一起使用，Kubernetes 可以通过在不同的 Docker 容器之间分配工作来自动处理工作负载。除此之外，它还负责处理任何 Docker 容器是否离线，并自动重启它以及其他许多事情。

在这里，我们将使用 Docker 构建各种 flask 应用程序。

1. 使用 Flask 的简单 Hello World 应用程序
2. 在 Docker 容器中传递参数
3. Docker 容器中的简单 ML 应用程序
4. 在 Docker 容器中将图像作为参数传递

安装

$ sudo apt update
$ sudo apt install docker.io

这将安装 docker。现在，要检查 docker 是否正在运行，请键入

$ sudo service docker status

如果在活动模式下没有看到 docker，请键入

$ sudo service docker start

基本术语

1. Docker 镜像——简单来说，Docker 镜像就像一个用来安装任何操作系统的 ISO 镜像文件。您可以查看所有 docker 图片(在 DockerHub 上公开)
2. Docker 容器 —当 Docker 映像运行时，它成为 Docker 容器。您可以再次运行相同的映像，将会创建一个不同的 docker 容器。
3. docker file—docker file 包含设置 docker 容器的所有代码，从下载 docker 映像到设置环境。

我把 GitHub 的链接放在了底部，那里有所有的代码。Docker 在你理解了它的流程之后，是非常容易学习的。

示例 1:简单的烧瓶应用程序

这是一个非常简单的应用程序，可以在浏览器屏幕上显示“hello world”。

让我们构建 flask 应用程序

此外，通过以下方式创建 requirements.txt 文件

$ pip3 list > requirements.txt

制作 flask 应用程序时需要记住的几件事是，主机应该设置为“0.0.0.0 ”,因为我们是在 Docker 内部运行它。

让我们构建 docker 文件

1. 用下面的命令，我们正在拉 ubuntu 图像。它还包含一个标签，我们可以用它来指定版本。这里，我们正在拉“最新”的图像。

FROM ubuntu:latest

2.现在，假设您刚刚安装了 Linux 操作系统，您要做的第一件事就是更新包含软件包信息的本地数据库。还添加了一个'-y '标志，以确保它不需要任何用户输入。

RUN sudo apt update -y 

3.下一个任务是安装 python。因为我们只使用一个应用程序，所以不需要设置虚拟环境。

RUN apt install -y python3-pip

4.下一个任务是将目录中的所有文件复制到 docker 映像中。

COPY . /app

在哪里？是当前目录，而'/app '是我们希望复制文件的位置。你可以选择任何你喜欢的文件夹。

5.将工作目录设置为/app。

WORKDIR /app

6.我们已经调出了 ubuntu 映像，安装了 python，复制了所有数据。下一步是通过安装所有必需的包来设置 python 环境。我们已经创建了 requirements.txt 文件。现在，我们只需要安装它。

RUN pip3 install -r requirements.txt

7.现在，将入口点设置为“python3”。

ENTRYPOINT ['python3']

8.最后，运行 app.py 文件

CMD ['app.py']

最终的文件将如下所示。

该文件将被保存为不带扩展名的 Dockerfile。

最终的目录结构将如下所示

最后，通过以下方式构建 docker 文件

$ docker build -t simpleflask .

所有这一切听起来可能令人困惑，请原谅我。我们会看到更多的例子来更好地学习。让我们回顾一下到目前为止我们所学的内容。

1. 您需要创建一个 Docker 文件，其中包含 Docker 容器将安装的信息。它包括一个图像，python，python 环境，然后运行应用程序本身。
2. 然后，您需要构建 Dockerfile。

现在，请注意这里

您可以通过以下方式查看所有 docker 容器

$ docker ps -a

您将看不到任何 docker 容器，因为您刚刚构建了它。现在，我们将运行该图像。

类型

$ docker images

您可以使用此命令查看所有 docker 图像。下一个任务将是运行您刚刚构建 docker 映像。

$ docker run -d -p 5000:5000 <docker_image_id>

• 5000:5000 表示您已经将系统的端口 5000 连接到 docker。后一个端口是烧瓶。默认情况下，flask 在端口 5000 上运行。
• -d 标志意味着您希望以守护模式(后台)运行它。

成功运行后，您会看到一个输出。检查您的容器是否正在运行。类型

$ docker ps -a

如果运行成功，那么在你的网络浏览器中输入 localhost:5000 。你会看到“你好世界”。

示例 2:传递参数应用程序

这不是一个机器学习预测模型，而是我们要学习如何通过 POST 方法从 flask 获取输入并打印出来。

让我们首先创建 flask 应用程序

• 我们通过显式声明 POST 方法来使用它。
• 使用 request.get_json 方法来接收输入。
• 然后简单地打印该值

让我们创建 requirements.txt 文件

$ pip3 list > requirements.txt

docker 文件将与之前的完全相同

要构建 docker 文件，请使用

$ docker build -t passingarguments .

我们将遵循上面的所有步骤。

$ docker images
$ docker run -d -p 5000:5000 <docker_image_id>

现在，注意这里

有多种方法可以调用我们刚刚创建的 API。

1. 在 python 中使用请求。

2.使用邮递员

3.使用卷曲

curl -X POST [http://127.0.0.1:5000/predict](http://127.0.0.1:5000/predict) -d 5

结果将是传递的数字的*方。

示例 3:简单的 ML 应用程序

在这个例子中，我们将看到如何同时传递多个例子。我们将以 JSON 的形式传递参数。

现在，你不用担心模特培训。训练模型的代码在 Docker 文件中，该模型将作为 Docker 构建过程的一部分进行训练。

理想情况下，模型应该在本地系统上进行训练，然后复制到 Docker 容器中。

让我们看一下 Flask 应用程序

这一次在 flask 应用程序中，我们从接收到的 JSON 中获取参数。JSON 的数据格式类似于 python 字典。

实际上，我们还应该在这里包含错误处理。如果参数不是数字或参数为空，则可能会出现错误。

另外，创建一个 requirements.txt 文件

$ pip3 list > requirements.txt

现在，让我们看看 Docker 文件

请注意，我们正在 Docker 容器中训练模型。您还可以在本地系统上训练模型，并将其复制到容器中。在这种情况下，您只需删除训练模型的行。

现在，有多种方法可以得到预测。

1. 在 python 中使用请求

2.使用卷曲

curl -X POST [http://127.0.0.1:5000/predict](http://127.0.0.1:5000/predict) -d '{"f1":4, "f2":5, "f3":10}'

注意我们是如何以 JSON 格式传递数据的。在 python 中使用请求时，您必须使用 json.dumps 来将数据转换成 json 格式。

4.图像分类应用

为简单起见，我使用 MNIST 数据集进行分类。

让我们看看 Flask 应用程序

• 我们正在进口所有必要的包装
• 我们在运行时加载模型，以加快推理速度
• 我们使用 convert('L ')将图像转换为灰度。
• 图像大小调整为 28x28 像素。
• 对于预测，Keras 需要图像的格式(批量大小、宽度、高度、颜色通道)。所以，我们把它转换成(1，28，28，1)。
• 接下来，我们将使用它的预测方法和 no.argmax 来查找概率最高的类。

让我们创建 requirements.txt 文件

$ pip3 list > requirements.txt

让我们看看它的 docker 文件

注意——这里我已经训练好了模型。您还可以在构建 docker 文件时添加培训功能。

我们将遵循上面的步骤

$ docker build -t imageclassification .
$ docker run -d -p 5000:5000 <docker_image_id>

在构建 Docker 映像之前，确保使用文件夹中包含的 train.py 文件训练模型

现在，有多种方法可以得到预测。

1. 使用卷曲

curl -F "file=[@](http://twitter.com/exp)pic_name.extension" [http://localhost:5000/predict](http://localhost:5000/predict)

2.使用请求

现在够了。

如果你已经理解了一些基本的程度，那么祝贺你到此为止。当你尝试新事物并毫不犹豫地去尝试时，你会学到更多。一个大师曾经是一个初学者。

所有代码都在这里。

快乐学习！

Dockerizing Python Flask 应用程序和 Conda 环境

原文：https://towardsdatascience.com/dockerizing-python-flask-app-and-conda-environment-154ab88b599?source=collection_archive---------14-----------------------

使用 Docker 打包您的 Python Flask 应用程序和 Conda 环境

最初发表于【www.easy-analysis.com】

这篇文章将描述如何对接你的 Python Flask 应用程序并重新创建你的 Conda Python 环境。

因此，您正在开发一个 Python Flask 应用程序，并且您已经在本地机器上设置了一个 Conda 虚拟环境来运行您的应用程序。现在，您希望将 Python Flask 应用程序放在 Docker 映像中。

如果可以将当前的 Conda 环境导出为. yml 文件，描述应用程序使用的 Python 版本以及运行应用程序需要哪些 Python 库，这不是很好吗？此外，使用导出的。yml 文件在 Docker 映像中构建一个类似的环境，并在该环境中运行 Flask 应用程序。

下面将准确描述你如何能完成上述所有。

要求

• 您已经安装并运行了 Docker
• 熟悉 Docker 命令。你可以在这里阅读更多关于 Docker 的内容。
• 熟悉 Conda 命令。你可以在这里阅读更多关于康达的内容。

烧瓶应用示例

在这篇文章中，我将使用下面的迷你烧瓶应用程序。

*# -*- coding: utf-8 -*-# 
# Imports 
# 
from flask import Flask, jsonify app = Flask(__name__)# 
# Routes 
# 
@app.route('/', methods=['GET']) 
def hello_world():
    return jsonify({'message': 'Hello World'}) @app.route('/test', methods=['GET']) 
def test():
    return jsonify({'test': 'test'}) if __name__ == "__main__":
    app.run(debug=True) # remember to set debug to False* 

创建一个文件夹，用于存放项目文件。我在本地机器上创建了一个名为“docker_conda_template”的文件夹。在该文件夹中，我创建了一个名为“api.py”的文件，其中包含上述 Python 代码。

导出 Conda Python 环境

为了在 docker 映像中重新创建一个 Conda python 环境，它对应于我们在本地机器上创建的 Conda python 环境，我们首先需要从本地 Conda Python 环境中导出一个 environment.yml 文件。

为此，您首先需要将 cd 放入要创建 environment.yml 文件的文件夹。

*cd home/docker_conda_template*

现在我们想激活一个 Conda 环境，它安装了必要的 Python 版本，并且安装了运行我们的应用程序所需的所有库。我假设你熟悉 Conda CLI，因此这篇文章不会解释如何使用 Conda。

*conda source activate your-environment-name*

为了将您的环境导出为. yml 文件，请运行以下命令。

*conda env export > environment.yml*

这将在您的当前文件夹中创建文件“environment.yml”。
文件看起来会像这样。

*name: your-environment-name 
channels: 
- defaults dependencies: 
- python=3.6 
- flask 
- gunicorn*

该文件包含三条信息。环境创建时的名称、库将从什么渠道下载以及最后要安装什么 Python 版本和库。

用于建立您的 Docker 形象的 Docker 文件

Docker 文件是我们将它们放在一起的地方，这也是 Docker 将使用您的 Python 应用程序及其运行所需的所有要求来创建映像的文件，例如在我们的 environment.yml 文件中定义的 Conda 环境。

以下是最终的 Dockerfile 文件:

*FROM continuumio/miniconda:latest WORKDIR /home/docker_conda_template COPY environment.yml ./ 
COPY api.py ./ 
COPY boot.sh ./ RUN chmod +x boot.sh RUN Conda env create -f environment.yml 
RUN echo "source activate your-environment-name" > ~/.bashrc ENV PATH /opt/conda/envs/your-environment-name/bin:$PATH EXPOSE 5000 ENTRYPOINT ["./boot.sh"]*

我们不打算定义如何在映像上安装 Conda，为此，我们将下载并使用一个已经安装并设置了 Conda 的现有映像。此图片由 continuum 提供，它安装并设置了 Miniconda。我们将用他们的形象作为建立我们形象的基础。为了使用他们的图像作为基础图像，我们必须在 order 文件中声明。这是在第一行“来自 continuumio/miniconda:latest”中完成的。

为了在您的映像中定义一个工作目录，我们声明“WORKDIR/home/docker _ conda _ template”。

我们还想将代码和 environment.yml 文件复制到映像中。下面几行将文件复制到 Docker 映像中。

*COPY environment.yml environment.yml 
COPY api.py ./ 
COPY boot.sh ./*

我们还没有创建和讨论文件“boot.sh”。我们稍后将创建并讨论这个问题。

docker 文件中的以下行运行两个命令，然后设置 Conda 环境的环境路径，该环境将基于我们的 environment.yml 文件进行设置，最后公开端口 5000，这意味着我们将能够通过该端口与我们的 Flask 路由进行交互。

*RUN conda env create -f environment.yml 
RUN echo "source activate your-environment-name" > ~/.bashrc 
ENV PATH /opt/conda/envs/your-environment-name/bin:$PATH EXPOSE 5000*

第一个 run 命令创建一个在 environment.yml 文件中指定的 Conda 环境。第二个运行命令激活创建的 Conda 环境。

然而，有几行我们到目前为止忽略了。Dockerfile 中的最后一行是入口点。这意味着这将在创建映像后运行，而且，这将由非特权用户执行。

boot.sh 文件

在入口点语句中，我们引用了一个名为 booth.sh 的文件。

*#!/bin/sh 
exec gunicorn -b :5000 --access-logfile - --error-logfile - api:app*

这个文件是一个执行一个命令的脚本。该命令启动 Gunicorn 服务器，将端口 5000 绑定到 80，并指定要运行的 Flask 应用程序位于文件 api 中。

或者，我们可以完全删除这一部分，只通过执行 api.py 文件来运行 Flask web 服务器。然而，正如 Flask 文档所述，他们不建议在生产中使用 Flask 内置的 web 服务器。因此，我们希望运行一个生产就绪的 web 服务器，Gunicorn 就是这样的服务器。

为了使这个工作，您需要创建一个名为 boot.sh 的文件，复制上面的代码行，并将文件保存在根文件夹中，在我的例子中，这将是在文件夹“docker_conda_template”中。

最后，Dockerfile 文件中还有两行需要解释:

*COPY boot.sh ./ RUN chmod +x boot.sh*

第一行只是将 boot.sh 文件复制到根文件夹中的 docker 映像中，根文件夹是 docker 文件中指定的工作目录。第二行运行一个命令，该命令修改 boot.sh 文件，以便它可以被识别为可执行文件。

建立并运行您的 Docker 映像

总而言之，现在你应该有下面的文件夹/文件结构。

*docker_conda_template 
--api.py 
--boot.sh 
--environment.yml 
--Dockerfile*

为了构建 docker 映像，您需要执行以下命令。

*docker build -t your-image-name:latest .*

通过运行以下命令启动 Docker 映像。

*docker run –name your-image-name -p 80:5000 –rm your-container-name:latest*

打开浏览器并访问 localhost 或 localhost/test，您应该会得到 api.py 文件中定义的响应。

如果你有兴趣了解我更多。请访问我在 LinkedIn 上的个人简介https://www.linkedin.com/in/vedranmarkulj/

感谢阅读。如果你对我将来写的关于机器学习和类似主题的帖子感兴趣，请在媒体和 LinkedIn 上关注我。更多文章即将发表。

爱丽丝医生和云原生鲍勃，我最喜欢的机器学习用户

原文：https://towardsdatascience.com/doctor-alice-and-cloud-native-bob-my-favorite-machine-learning-users-5c2b36998e0d?source=collection_archive---------17-----------------------

爱丽丝和鲍勃都很棒，这也很好，因为我无论走到哪里都会遇到他们！他们热情、勤奋，尽最大努力构建伟大的机器学习解决方案。不幸的是，很多事情阻碍了他们，让他们慢了下来。

我的工作是倾听并帮助所有的 Alices 和 bob:)在这篇文章中，我将尝试总结他们面临的挑战，他们如何开始用 AWS 服务解决这些问题，特别是 Amazon SageMaker。

Tell me about your first GPU cluster.

信不信由你，我保证你在下面读到的一切都是 100%基于无数的客户互动。

爱丽丝医生

爱丽丝拥有博士学位，在一家大型公共研究实验室工作。她是一名训练有素的数据科学家，在数学和统计学方面有很强的背景。

她把时间花在大型科学项目上(生命科学、物理学等)。)，涉及庞大的数据集(几 TB，往往更多)。她可以用像 Matlab、R 和 Python 这样的高级语言编写数据分析代码:也许它看起来不怎么样，但确实有用。

Alice 通常不太了解 IT 和基础设施，老实说，她根本不关心这些话题。她的重点是推进她的研究，发表论文，等等:其他一切都是“工具”。

对于日常工作，她可以依靠自己强大(但昂贵)的桌面工作站:高端英特尔 CPU、64GB 内存、4TB 本地存储和几个中端英伟达 GPU。她认为自己很幸运有一个这样的人(并不是她的所有同事都这样)，她很高兴自己可以独自工作“”。不过，如果她想保持合理的训练时间，她只能用一小部分数据集进行实验。

她每天晚上和每个周末都运行长时间的工作负载，希望它们不会崩溃…或者没有人会关掉她办公室的电源。当这种情况发生时，她叹了口气，然后重新开始工作。“浪费时间和精力又有什么用呢？”她想，但她对此无能为力。

她试图自己维护她的机器的软件配置，因为它不太了解她使用的深奥工具。尽管如此，她还是希望有人能为她这么做:NVIDIA 驱动程序、Tensorflow 依赖项等等让人感到相当困惑。当出现问题时，她会浪费宝贵的时间来修理“ IT 设备，这令人沮丧。当爱丽丝想要运行大型实验时，她必须使用托管在计算中心的远程服务器:一群非常强大的多 GPU 服务器，连接到 1pb 的 NAS 存储。当然，她必须与其他研究人员共享这些服务器。每周，团队领导都要会面并尝试对项目和工作量进行优先排序:这从来都不容易，决策往往需要上报给实验室主管。宝贵的时间被浪费了，有时实验无法在会议提交截止日期前完成。主管承诺明年的预算将考虑更多的服务器，但即使它们获得批准，采购和部署它们也需要几个月的时间。为了帮助安排工作量，Alice 雇佣了一名暑期实习生来编写一个简单的内部网门户，研究人员可以在那里手动预订服务器。它有点工作，但有时她的同事忘记发布服务器…或者他们不愿意发布服务器，因为他们知道他们必须等待获得另一个服务器。爱丽丝认为一定有更好的方法，但解决这个问题不是她的工作。不管怎样，她尽量用她能得到的东西来凑合。她不禁想到，如果她的实验不受容量限制，她会取得更大的进步。

最后但并非最不重要的一点是，Alice 受邀与位于另一个大陆的世界级实验室合作。在过去的一个月里，她一直试图找出如何与他们共享数据和基础设施。连接是复杂的，鉴于数据集的规模，数据传输几乎是不可能的。再次，“ IT 材料”阻碍了她的研究，她开始认为必须有一种更快更简单的方法来完成所有这些…也许云计算的东西可以有所帮助？

塞格马克土地上的爱丽丝医生

经过一些个人研究和数周的内部讨论，Alice 已经说服实验室主任让她试验 AWS，特别是那个看起来很有趣的 Amazon SageMaker 服务。

在短短几个小时内，她阅读了在线文档，快速创建了一个便宜的笔记本实例，并开始运行一些样本笔记本，以熟悉这项服务及其典型的工作流程。尽管她对 AWS 或 Python 了解不多，但她相信 SageMaker SDK 正是她所需要的，她很快就会上手。她甚至找到了一个关于如何为她心爱的 R 语言[创建定制环境的样本笔记本！

在 IT 的一点帮助下，爱丽丝上传了几兆字节的真实生活数据到](https://github.com/awslabs/amazon-sagemaker-examples/tree/master/advanced_functionality/r_bring_your_own)亚马逊 S3 ，以便在亚马逊 SageMaker 上复制她的桌面环境。在更多的阅读之后，她了解到只需要几行代码就可以在托管实例上训练她的模型，并且她将只为她实际使用的东西付费。她甚至可以根据需要在任意多的 p3.16xlarge 实例上训练她的模型:每一个都配备了八个 NVIDIA V100 GPUs！这与计算中心的大型服务器的配置相同。她现在可以按需创建它们:不再与其他团队争论。

得益于分布式训练和管道模式等高级功能，Alice 发现在自己的大型数据集上训练模型很容易:一切都开箱即用，伸缩自如。Alice 也很高兴看到 SageMaker 包含了一个自动模型调整模块:由于这个，她能够在仅仅几个小时的并行优化中显著提高她的模型的准确性。由于缺乏计算资源，用她以前的设置做这些是不可能的。

部署模型很简单:Alice 可以选择将模型部署到实时端点，或者运行批量预测。后者对她最有用，因为她需要偶尔预测大量数据。同样，只需要几行代码:她实际上复制粘贴了样本笔记本中的所有内容。最后但并非最不重要的一点是，跟踪她的支出很容易:AWS 控制台会告诉她花了多少钱，爱丽丝还可以设置预算警报。在与 IT 部门的同事交谈时，Alice 意识到 AWS 还有很多功能。看起来实验室可以使用名为 AWS Snowball 的服务轻松上传数百兆字节到亚马逊 S3！与已经是 AWS 客户的其他实验室和大学共享这些数据看起来并不复杂。爱丽丝期待着合作和创新的步伐加快！

短短一周左右，她对它的整个看法都变了。她说:“这个云东西实际上非常酷”。过去，AWS 阻碍了我的发展，但现在，它确实帮助我提供了比以前更好、更快、更便宜的结果。

云原生 Bob

鲍勃在一家大公司工作。他是一名后端软件工程师，从记事起就一直与数据打交道:SQL、NoSQL、Hadoop、Spark 以及现在的机器学习。使用现成的库(主要是 scikit-learn，还有一点 Tensorflow)，Bob 和他的队友处理企业数据来训练数百个 ML 模型:线性回归、分类、分段等。繁重的工作(ETL、清理、特性工程)正在运行一个大的 Spark 集群。Bob 的公司使用 AWS 已经五年多了。所有开发、QA 和生产基础设施都托管在那里，他们是 DevOps 和云原生技术的忠实粉丝。最初，他们把一切都建立在亚马逊 EC2 上，因为他们觉得拥有完全控制权很重要。两年前，他们将 Spark 集群迁移到了亚马逊 EMR ，还决定使用 Docker containers 实现标准化生产:他们现在 100%的工作负载都部署到了一个大型的亚马逊 EKS 集群，因为 Kubernetes 是如此之酷，也因为从笔记本电脑到生产的无缝开发体验。他们根据建立了所有的 CI/CD 工具链，并使用 Terraform 实现了一切自动化。使用自动缩放和点实例优化成本。这些人真的很了解他们的东西，他们被邀请在下一次 AWS 峰会上展示他们的架构。当然了。

当然，他们的 ML 工作负载也运行在 EKS 集群上(大部分是在 CPU 实例上，也有一些 GPU)。Bob 为训练和预测维护定制的容器:库、依赖项等。这需要一点时间，但他喜欢这样做。他只是希望没有人会要求他也做 Pytorch 和 Apache MXNet。Bob 听说过深度学习 AMI 和深度学习容器。检查那些东西在他的任务清单上，但是他现在没有时间。

最初，Bob 希望让每个数据科学家使用 Terraform 模板创建他们自己的按需集群，但他担心成本难以管理。此外，创建一个集群需要 15-20 分钟，团队肯定会抱怨这一点。相反，Bob 建立了一个大型的共享培训集群:用户可以在几秒钟内开始他们的分布式工作，Bob 管理单个集群更简单。已经设置了自动扩展，但是仍然需要容量规划来找到预留、现场和按需实例的正确组合。

Bob 每周与团队开会，以确保他们有足够的实例…当他们需要额外的容量时，他们还会让他随时待命。Bob 尝试在晚上和周末集群不太忙的时候自动减少容量，但他很确定他们的花费太多了。哦好吧。

一旦模型经过训练和验证，Bob 会将它们推送到 CI/CD，它们会自动部署到生产集群。绿/蓝部署、服务发现、自动扩展、将日志推送到弹性搜索集群等。:整个九码。Bob 对他构建到系统中的自动化水*感到非常自豪，这是理所当然的。

云土著鲍勃在 SageMaker 土地

鲍勃已经在 SageMaker 上观看了一个 AWS 视频。他喜欢基于 Docker 的训练和预测，并且内置框架的容器是开源的:那么就不需要维护他自己的容器了。

将培训工作负载迁移到 SageMaker 看起来很容易:Bob 可以摆脱 EKS 培训集群，让每个数据科学家完全按需进行培训。随着 Spot 实例即将推出，Bob 当然可以进一步优化培训成本。

就预测而言，Bob 会考虑将批处理作业转移到 SageMaker，但不会转移实时 API:根据公司政策，这些必须部署到 EKS。这不成问题，因为他可以重复使用相同的容器。

几个星期后，鲍勃实现了所有这些改变。数据科学团队现在从实验到培训都是完全自主的，这是他们喜欢的:容量不再是问题，每周会议也变得没有必要。此外，由于 SageMaker 提供了已训练模型的可追溯历史，Bob 也发现自动化模型再训练和重新部署更容易:以前，他必须让数据科学团队来做，这个过程对他来说太不确定了。

像分布式训练、管道模式和自动模型调整这样的高级功能也相当不错。数据科学团队很快就采用了它们，这为他们节省了大量时间。此外，他们不再需要维护自己编写的代码来实现类似的东西。只有一个问题:现在，Bob 必须更新他的 AWS 峰会幻灯片，以说明 SageMaker 用例。也许当地的福音传道者可以帮助他？；)

一如既往的感谢您的阅读。很乐意在这里或者在 Twitter 上回答问题(DMs 开放)。也可以随意分享你自己的趣闻轶事！

我举起我的号角，向世界各地的人们致敬。继续建，我的 M(eta)L 兄弟姐妹:)

神秘博士 Kaggle 数据集和 NLTK 概述

原文：https://towardsdatascience.com/doctor-who-overview-of-the-kaggle-dataset-and-nltk-555f37323eda?source=collection_archive---------24-----------------------

你好，我写这篇短文的目的是:

• 展示一个我在过去几周构建的数据集
• 获得 nltk 的一些特性的概述

《神秘博士》是一部英国电视节目，是一部科幻片，由 BBC 制作于 1963 年，节目讲述了一个外星人(人形)博士的故事，他乘坐他的时间机器/宇宙飞船 Tardis(警察岗亭)在宇宙中旅行。

在这次时空旅行中，博士被来自地球的同伴跟随，因为他对地球有一些偏好(那很方便不是吗)。医生非常聪明、有趣，但角色的两个主要特征(来自他的外星种族时间领主)是:

• 他是不朽的
• 当他死的时候，他会以一种新的人类形式复活(对契约的结束非常有用)。每一次再生都保留着先前形态的记忆，但他有了新的面貌和新的举止。但是这种再生过程在迭代次数上受到限制

就表演而言，可以定义两个阶段(这是我的术语，所以请神秘博士的粉丝不要消灭我):

• 从 1963 年到 1989 年的经典区域
• 从 2005 年到现在的现代区域

就我而言，我在 2010 年左右发现了神秘博士，所以我更喜欢现代区域，我不太熟悉经典区域，但我喜欢现代区域，因为他们重新导入了经典区域的知识，并进行了更新(例如重新设计了博士的敌人)。

不管怎么说，这部剧从参照物到演员都是英国流行文化的一颗钻石，如果你喜欢科幻，绝对值得一看。

所以现在让我们深入研究一下这个项目的数据。

所以说实话，这个数据集受到了的启发，这个数据集聚焦于电视剧《辛普森一家》。

我从不同的网站搜集数据:

• 这几集的剧本来自网站 chakoteya ，在那里可以找到每一集的所有对话等等
• 《摩登地区》每集的收视率来自 IMDB
• 关于这一集的信息来自指导的《神秘博士》,包含关于这一集的细节、演员或工作人员的分布。

这些数据集给出了节目的不同细节，可用于确定节目中可能影响 IMDB 评分的某些特定事件的影响。

例如，下图显示了现代地区不同季节的等级。

似乎所有赛季的收视率都接* 8，但最后一季似乎不太受公众欢迎，我认为这可能是两个原因:

• 2005 年重新推出 sho 的历史节目主持人史蒂文·莫法特离开了制作，所以新的基调不适合观众
• 这位新医生是一位女性，这是第一次在节目中出现，在宣布之后，这位女演员在互联网上引起了轩然大波/负面评论，因为 IMDB 上的评级是基于用户的，负面评论会影响评级(被仇恨者所偏见)

现在让我们看看这部剧的演员阵容，我想看看是否有一些名字出现在这部剧的两个时代之间，而且是一个相当大的数字，在 3146 名演员中，有 1362 名演员似乎出现在两个时代，医生似乎有更多的回归演员，但这很容易与周年纪念集(角色可以在时间中旅行，哈哈)

如果我们将这种分析集中在两个时代的演员身上，我们可以看到这些演员中有很大一部分是一些非人类角色的配音演员，例如尼古拉斯·布里格斯(Nicholas Briggs)扮演的 Dalek 的配音。

让我们深入剧集的脚本，开始用 NLTK 做一些文本分析。

为了对脚本进行分析，我将使用包 NLTK ，它被定义为

“构建 Python 程序以处理人类语言数据的领先*台。它为超过 50 个语料库和词汇资源(如 WordNet)提供了易于使用的接口，以及一套用于分类、标记化、词干化、标记、解析和语义推理的文本处理库，以及工业级 NLP 库的包装器”

对于这一部分，我将遵循 datacamp 制作的 NLTK 上的教程，在开始对文本进行分析之前，对脚本进行一些处理(标记化、停用词的清理和词汇规范化)。

我的分析将分为 3 个部分:

• 获取最常用的单词和单词的索引
• 为一些特定的字符画一些文字云
• 做一些情绪分析

最常用的单词和索引

首先，在对不同的句子和单词进行标记化并对元素进行停用词过滤后，我们可以看到 10 个最流行的单词是:

猜猜哪个医生是最受欢迎的词，现在让我们调查一下医生这个词与之前和之后的词的一致性，并统计出现的次数。这是与“医生”这个词最相关的前 20 个词。

有趣的是,“the”是与医生更相关的单词的一个很好的候选词，但令人难过的是,“who”没有排在前 20 位(它排在第 34 位)。现在让我们来看看一些特定角色使用的单词。

Wordcloud

在这一部分，我将确定一系列字符中使用最多的单词(受这篇文章的启发，使用了一个单词云)

我们可以看到，医生是一个在医生的同伴口中反复出现的词。现在让我们看看这些疯狂的 Dalek 罐子说的话。

灭绝是剧中 daleks 使用最多的词之一，他们基本上想摧毁一切。

现在让我们对脚本进行一点情感分析

情绪分析器的使用

我将使用可以在 NLTK 上找到的情绪分析器，称为 Vader 情绪分析器

Vader 分析器来自 2014 年的出版物，它参考了化合价感知词典和情感推理器，你可以找到关于这个主题的一篇有趣的文章。这个开箱即用的分析器非常有用，下图是医生在第一季的一集里说的话的演变。

正如我们所看到的，在一集的不同阶段，医生会引用不同的话，但大多数时候，医生对他的讲话是中立的。在下图中，有另一个引用医生的话的情绪的图示，有一个引用的积极和消极的图。

结论

这篇文章是对我的 kaggle 数据集的介绍。通过对 NLTK 的简单了解，我对这个数据集有了一些想法，将来我一定会用它来做一些关于 NLP 的实验。如果您对数据集、应用程序等有任何意见，请随时联系我。

原载于http://the-odd-dataguy.com。

文档嵌入技术

原文：https://towardsdatascience.com/document-embedding-techniques-fed3e7a6a25d?source=collection_archive---------1-----------------------

关于这一主题的著名文献综述

单词嵌入——将单词映射到数字向量空间——*年来已被证明是自然语言处理(NLP)任务的一种非常重要的方法，使各种依赖向量表示作为输入的机器学习模型能够享受更丰富的文本输入表示。这些表示保留了单词的更多语义和句法信息，从而提高了几乎所有可以想象的 NLP 任务的性能。

这种新颖的想法本身及其巨大的影响促使研究人员考虑如何为更大的文本单元(从句子到书籍)提供更丰富的矢量表示这一好处。这一努力导致了一系列产生这些映射的新方法，对该问题提出了各种创新的解决方案，并取得了一些显著的突破。

这篇文章是我在介绍自己这个话题的时候写的(作为大熊猫项目的一部分，在那里我咨询了几年 ❤️🐼)，旨在展示从业者产生文档嵌入的不同方式。

注意:我在这里使用单词 文档 来指代 任何单词序列 ，从句子和段落到社交媒体帖子，一直到文章、书籍和更复杂结构的文本文档(例如表格)。

Figure 1: A common example of embedding documents into a wall

在这篇文章中，我不仅会谈到直接扩展单词嵌入技术的方法(例如，以 doc2vec 扩展 word2vec 的方式)，还会谈到其他值得注意的技术，这些技术有时会产生其他输出，例如在ℝⁿ.中从文档到矢量的映射

只要有可能，我还会尽量提供链接和参考资料，既指向原始论文，也指向被评审方法的代码实现。

注:这个题目和学习结构化文本表示的问题有些关联，但不等价(例如【刘& Lapata，2018】)。

目录

1. 文档嵌入的应用

2. 突出方法和趋势

   • 文档嵌入方法-
     -趋势和挑战

3. 经典技巧

   • 词汇袋-
     -潜在狄利克雷分配(LDA)

4. 无监督文档嵌入技术

   • n-gram 嵌入
   • *均词嵌入
     -sent 2 vec
     -段落向量(doc 2 vec)
     -doc 2 vec-Skip-think 向量
     -fast sent

5. 监督文档嵌入技术

   • 从标记数据中学习文档嵌入
   • 特定任务监督文档嵌入
     --GPT
     ---深度语义相似度模型(DSSM)
   • 联合学习句子表示
     -通用句子编码器
     -根森

6. 如何选择使用哪种技术

7. 最后的话

8. 参考文献

文档嵌入的应用

将文档映射到信息向量表示的能力具有广泛的应用。以下只是部分列表。

[ Le & Mikolov，2014 ]在几个文本分类和情感分析任务上展示了他们的段落向量方法的能力，而[ 戴等人，2015 ]在文档相似性任务和[ Lau & Baldwin，2016 ]在一个论坛问题复制任务和语义文本相似性(STS) SemEval 共享任务上对其进行了基准测试。

【 Kiros 等人，2015 】已经展示了他们的跳过思维向量用于语义相关度、释义检测、图像句子排序、问题类型分类和四个情感和主观性数据集。[Broere，2017]使用它们来预测词性标签和依存关系。

【陈等，2018 】展示了 BioSentVec ，他们在生物医学文本上训练的句子嵌入集，在句子对相似度任务上表现良好(官方 Python 实现)。

最后，深度语义相似性模型被各种作者用于信息检索和网页搜索排名、广告选择/相关性、上下文实体搜索和兴趣任务、问题回答、知识推理、图像字幕和机器翻译任务。

突出的方法和趋势

我最后写这一部分，已经花了很多时间思考如何组织这篇文章，如何将下面几节中涉及的各种技术归类到突出的方法中，以及在检查该领域中不同的作品如何相互关联以及它们彼此遵循的方式时会出现什么趋势。

但是，请注意，虽然文档嵌入的问题由来已久，但许多目前有影响力的解决方案还很年轻，而且这个领域最*(大约在 2014 年)在当代基于编码器-解码器的单词嵌入技术取得成功之后又出现了复兴，所以这仍然处于早期阶段。说了这么多，我希望这一部分能把下面的部分放到一个更广阔的背景中，并以一种有意义的方式框定它们。

文档嵌入方法

绘制该领域的一种可能方法是以下四种主要方法:

1. 总结词语向量
   这是的经典做法。单词袋对一个热门单词向量就是这样做的，你可以对它应用的各种加权方案都是这种总结单词向量的方法的变体。然而，这种方法在与最先进的单词表示一起使用时也是有效的(通常通过求*均值而不是求和)，尤其是当单词嵌入考虑到这种用途而被优化时，并且可以抵抗这里介绍的任何更性感的方法。
2. 主题建模
   虽然这通常不是 LDA 和 PLSI 等主题建模技术的主要应用，但它们最*生成了一个文档嵌入空间来建模和解释语料库中的单词分布，其中维度可以被视为隐藏在数据中的潜在语义结构，因此在我们的上下文中很有用。在这篇文章中，我并没有真正涉及这种方法(除了对 LDA 的简单介绍)，因为我认为 LDA 很好地代表了这种方法，而且这种方法也广为人知。**
3. 编码器-解码器模型
   这是场景中最新的无监督添加，具有 doc2vec 和 skip-thought 之类的功能。虽然这种方法自 21 世纪初就已经存在，名为神经概率语言模型，但最*随着它在单词嵌入生成方面的成功应用，它获得了新的生命，当前的研究集中在如何将其应用扩展到文档嵌入。这种方法比其他方法从不断增加的大量未标记语料库中获益更多。
4. 监督表示学习
   这种方法的生命力归功于神经网络模型的伟大崛起(或复兴)，以及它们使用各种非线性多层运算符学习输入数据的丰富表示的能力，这可以*似大范围的映射。通过简单地将旧的单词袋输入到神经网络学习中，以解决一些与监督文本相关的问题，您可以获得一个模型，其中隐藏层包含输入文本的丰富表示，这正是我们所追求的。

有几个无监督的方法不适合上述任何一组(特别是，快速思考和单词移动器的距离浮现在脑海中)，但我认为大多数技术都属于这四大类别之一。

注:虽然人们很容易指出经典的单词袋技术缺乏订单信息，但这实际上是一种规律，而不是例外。这里回顾的大多数新方法获得的主要信息是将分布假设扩展到更大的文本单元。基于神经网络的序列模型是例外。

趋势和挑战

当从整体上考察文档嵌入技术的研究和应用时，出现了几个大的趋势，以及人们可能会发现的几个挑战。

1. 编码器-解码器优化:研究的一个显著部分集中在优化确切的架构(例如 NN/CNN/RNN)和一些组件/超参数(例如 n-gram、投影函数、称重等)。)的无监督编码器-解码器方法来学习文档嵌入。虽然这种微调的部分目标是提高各种任务的成功指标，但在更大的语料库或更短的时间内训练模型的能力也是一个目标。
2. 学习目标设计:无监督(或自我监督)表示学习的关键在于设计一个学习目标，它利用数据中可自由获得的标签，以某种方式生成对下游任务有用的表示。对我来说，这是最令人兴奋的趋势，我认为这是对 NLP 任务影响最大的趋势，可能等同于单词嵌入技术。目前，我认为只有思维敏捷的和字移动器的距离可以作为编码器-解码器方法的替代方案。这一趋势的另一个吸引人的方面是，这里的创新可能也适用于单词嵌入的问题。
3. 基准测试:一般来说，作为机器学习研究领域趋势的一部分，文档嵌入，也许是因为它是一个年轻的子领域，很好地证明了对大范围和大量任务的技术基准测试的研究的日益关注(参见 the GLUE leaderboard )。然而，几乎每一篇关于这一主题的论文都宣称其结果与目前的 SOTA 技术相当或更好，这还没有导致一个明确的领导者出现在这群人的前面。
4. 开源:同样，作为更广泛趋势的一部分，易于使用的代码实现技术(通常也是实验)的火热发布实现了可重复性，并推动了学术界以外更广泛的数据科学社区的参与和对真实世界问题的使用。
5. 跨任务适用性:虽然不是所有的无监督技术都以相同水*的全面性作为基准，但这可能更多是监督嵌入学习的情况。无论如何，依赖于文本数据中不同类型的信息的各种各样极其不同的 NLP 任务，使得这个问题成为一个突出的问题。从几个任务中联合学习嵌入是一种有趣的方式，其中有监督的方法可能解决这个挑战。
6. 标记语料库:非常大的标记语料库的有限可用性也是未来监督方法的一个问题。这可能代表了未来几年无监督方法在监督表示学习方面的真正优势。

注意:如果你觉得这部分有点断章取义，我建议你在看完这篇文章中的大部分技巧后再来看一看。

经典技术

本节简要介绍了两种已建立的文档嵌入技术:单词袋和潜在狄利克雷分配。随意跳过。

词汇袋

该方法在[Harris，1954]中提出，将文本表示为其单词的包( multiset )(丢失语法和排序信息)。这是通过决定将形成映射所支持的词汇表的一组 n 个单词，并给词汇表中的每个单词分配一个唯一的索引来完成的。然后，每个文档由一个长度为 n 的向量表示，其中第 i 个条目包含单词 i 在文档中出现的次数。

Figure 2: A bag-of-words representation of an example sentence

比如那句“狗咬狗的世界，宝贝！”(在清除标点符号之后)可以由 550 长度的向量 v 表示(假设选择了 550 个单词的词汇)，除了以下条目之外，该向量在任何地方都是零:

• V₇₆=1，作为词汇表的第 76 个单词是世界。
• V₂₀₀=2，作为词汇表的第 200 个单词是狗。
• V₃₂₂=1，作为词汇表中的第 332 个单词是吃。
• 单词 baby 没有被选择包含在词汇表中，因此它在没有向量条目时导致值 1。

尽管它非常简单，除了单词出现频率之外的所有信息都丢失了，并且表示大小有快速增长以支持丰富词汇的趋势，但这种技术几十年来几乎只在大量的 NLP 任务中使用，并取得了巨大的成功。尽管*年来文本的矢量表示取得了重大进展，但这种方法的常见细微变化(见下文)今天仍在使用，而且并不总是作为第一个被迅速超越的基线。

n 字袋 为了重新获得由字袋方法丢失的一些词序信息，短词序列(长度为二、三等)的频率。)可用于(附加地或替代地)构建单词向量。自然，单词袋是这种方法的一个特例，因为 n=1 。

对于那句“狗咬狗的世界，宝贝！”，单词对是“狗食”、“吃狗”、“狗世界”和“世界宝宝”(有时也有“狗”和“宝宝”)，词汇由输入语料库中所有连续的单词对组成(或用其增强)。

Figure 3: 2-grams representation of the sentence “The movie is amazing”

这种方法的一个主要缺点是词汇大小对唯一单词数量的非线性依赖，这对大型语料库来说可能非常大。过滤技术通常用于减少词汇量。

tf-idf 加权 词袋上下文中最后一个值得一提的相关技术是 词频——逆文档频率 ，通常表示为 tf-idf 。该方法用每个单词的逆文档频率* (IDF)对上述单词(或 n-gram)频率向量重新加权。一个单词的 IDF 就是语料库中文档数量的对数除以该单词出现的文档数量。*

简而言之，TF 术语随着该词出现得越来越频繁而增长，而 IDF 术语随着该词出现得越来越少而增长。这是为了调整频率分数，因为一般来说，有些词出现的频率更高(或更低)。参见[ Salton & Buckley，1988 ]对术语加权方法的全面概述。

潜在狄利克雷分配

LDA 是一个生成统计模型，它允许用未观察到的组来解释观察结果集，从而解释为什么数据的某些部分是相似的。例如，如果观察是收集到文档中的单词，那么它假设每个文档是少量主题的混合物，并且每个单词的出现都归因于文档的一个主题。

为了将这一点与词袋联系起来，前一种方法可以被认为是一种过于简单的概率模型，将文档作为词的分布。单词袋向量则代表我们对每个文档中的非标准化单词分布的最佳*似；但是这里的文档是基本的概率单位，每一个都是其唯一分布的单个样本。

因此，问题的关键是通过增加一个潜在的(隐藏的)K 主题的中间层，从这个简单的文档概率模型转变为一个更复杂的模型。

Figure 4: The probabilistic model shift from bag-of-words to LDA

主题现在的特征是单词上的分布，而文档是主题上的分布。文档的概率模型对应于文档的生成模型；为了生成一组长度为 {Nᵢ} 的 M 个文档，假设预定数量的 K 个主题，其中 Dir() 表示一个狄利克雷分布:

1. 对于每个题目 v ，取样一个单词分布φᵥ~ Dir(β) 。
2. 对于每个文档 i ，抽取一个主题分布(或混合)θᵢ~ Dir( α ) 。
3. 生成长度为 Nᵢ 的文件 i ，每个字 j :
   3.1。样题 zᵢⱼ ~ Multinomial(θᵢ) 作词 j 。3.2。样字j~multinomial(zᵢⱼ)。

给定这个模型和一个文档集，问题就变成了推理，在推理过程中可以找到上述各种分布的*似值。其中有θᵢ，每个文档的主题分布 i ，维度矢量 K 。

因此，在推断模型的过程中，推断出维度为 K 的向量空间，该向量空间以某种方式捕获了我们语料库中的主题或主题以及它们在其中的文档之间共享的方式。当然，这可以作为这些文档的嵌入空间，并且——取决于对 K 的选择——它可以比基于词汇表的文档小得多。

事实上，虽然 LDA 的主要使用情况是无监督的主题/社区发现，但是其他情况包括使用所得的潜在主题空间作为文档语料库的嵌入空间。还要注意，其他主题建模技术——例如非负矩阵分解(NMF) 和概率潜在语义索引(PLSI)——可以以类似的方式用于学习文档嵌入空间。

注意:从业者对于概率主题模型的一个主要问题是它们的稳定性。因为训练主题模型需要概率分布的采样，所以可以预期相同语料库的模型随着随机数生成器的种子变化而不同。这个问题由于主题模型对相对小的语料库变化的敏感性而变得复杂。

无监督文档嵌入技术

本节中介绍的许多方法都是受著名的单词嵌入技术的启发，其中最主要的是 word2vec ，它们有时甚至是这些方法的直接推广。这些单词嵌入技术有时也被称为神经概率语言模型；这些不是相同的术语，因为概率语言模型是单词序列的概率分布，但是由于这种方法是作为一种学习语言模型的方法在[ Bengio，2003 中介绍的，所以它们是紧密相关的。

因此，对单词嵌入技术的基本理解对于理解本节至关重要。如果你不熟悉这个主题，Chris McCormick 写得很好的关于 word2vec 的两部分教程是一个很好的起点(第二部分，Joshua Bengio 教授写的关于神经网络语言模型的 Scholarpedia 文章也是如此(参见 Hunter Heidenreich 的帖子，以获得关于单词嵌入的更一般和简明的概述，以及 [Alex Minnar 的然而，为了深刻理解细节，我强烈建议您阅读 Bengio，2003 年 ]、[ Mikolov 等人，2013 年 a ]和[ Pennington 等人，2014 年 ]关于该主题的开创性论文，这些论文在许多方面塑造了这一子领域。

即使假设你熟悉这个模型的一个重要假设，我仍然希望注意到这个模型所做的一个重要假设，这个假设可能被这里回顾的每一个模型所继承:分布假设。下面是来自维基百科的简要描述:

语言学中的分布假设来源于语言使用的语义理论，即在相同语境中使用和出现的词语倾向于表达相似的意思。“一个词由它所结交的朋友来表征”的基本思想是由弗斯推广开来的。分布假设是统计语义学的基础。

事实上，很容易看出 word2vec 以及其他用于学习单词表示的自我监督方法严重依赖于这一假设；毕竟，该模型的关键在于，在学习从单词本身预测单词的上下文(或反之亦然)时学习的单词表示表示捕获深层语义和句法概念和现象的向量空间。意义，从一个词的上下文中学习可以教我们关于它的意义和它的句法作用。

在本节中，涵盖自我监督的文档表示学习，您将看到所有这些方法都保持了对单词的假设，并以某种方式将其扩展到更大的文本单元。

n 元文法嵌入

[ Mikolov 等人，2013b ]扩展了 word2vec 的 skip-gram 模型，通过使用数据驱动的方法识别大量短短语(作者专注于两个和三个单词的短语)，然后在 word2vec 模型的训练期间将这些短语视为单独的标记，来处理短短语。自然，这不太适合学习更长的短语——因为当短语长度增加时，词汇量会爆炸——而且肯定不会推广到看不见的短语以及跟随它的方法。

Moshe Hazoom 写了一篇关于这种方法的精彩实用评论，他的雇主将其用于一个专注于金融领域的搜索引擎。

*均单词嵌入

从有意义的单词嵌入中构造文档嵌入有一种非常直观的方法:给定一个文档，对该文档的单词对应的所有向量执行一些向量运算，以在相同的嵌入空间中将它们概括为单个向量；两种常见的汇总运算符是 average 和 sum。

在此基础上，您也许已经可以想象扩展 word2vec 及其相关的编码器-解码器架构来学习如何将单词向量组合到文档嵌入中会很有趣；这个方法之后的方法属于这一类。**

第二种可能性是使用固定的(不可学习的)算子来进行向量汇总，例如*均，并使用旨在产生丰富的文档嵌入的学习目标来学习在前一层中的单词嵌入；一个常见的例子是使用一个句子来预测上下文句子。因此，这里的主要优点是单词嵌入被优化用于*均到文档表示中。

Figure 5: Siamese CBOW network architecture from [Kenter et al, 2016]

[ 肯特等人，2016 ]正是这样做的，使用一个简单的神经网络对单词向量进行*均，通过预测给定的句子表示来学习单词嵌入。他们将结果与*均的 word2vec 向量和 skip-thoughts 向量进行比较(参见下面相应的小节)。【 Hill 等人，2016 】比较了过多的方法，包括训练 CBOW 和 skip-gram 单词嵌入，同时优化句子表示(这里使用单词向量的元素相加)。[ Sinoara 等人，2019 ]还提出了一种将单词嵌入向量和其他知识源(如词义向量)直接组合到它们的质心中来表示文档。

最后，[ Arora 等人，2016 ]进一步表明，当增加两个小的变化时，这种方法是一种简单但难以击败的基线:(1)使用*滑的逆频率加权方案，以及(2)从词向量中移除常见话语成分；这个成分是使用 PCA 发现的，并且它被用作最频繁话语的校正术语，推测与句法有关。作者提供了一个 Python 实现。

注意:当观察基于注意力的机器翻译模型时，也许可以找到正确*均的单词“嵌入”的力量的另一个证明。单向解码器 RNN 获得先前翻译的单词作为输入，加上不仅要翻译的当前单词的“嵌入”(即来自编码器 RNN 的双向激活)，而且要翻译其周围单词的“嵌入”；这些以加权的方式被*均成一个上下文向量。它教导了这种加权*均能够保持来自编码器网络激活的复杂的组成和顺序相关的信息(回想一下，这些不像在我们的情况中那样是孤立的嵌入；每一个都注入了前面/后面单词的上下文)。

Sent2Vec

在[ Pagliardini 等人，2017 ]和[ Gupta 等人，2019 ](包括一个官方的基于 C++的 Python 实现)中介绍了这种技术，这种技术在很大程度上是上述两种方法的结合: word2vec 的经典 CBOW 模型都进行了扩展，以包括单词 n-grams 和，它们适用于优化单词(和 n-grams)嵌入，以便对它们进行*均

Figure 6: sent2vec can be thought of as an unsupervised version of fastText

此外，去除了输入二次采样的过程，而是将整个句子视为上下文。这意味着 (a) 放弃使用频繁的单词二次采样——以便不阻止 n-grams 特征的生成——以及(b)word 2 vec使用的动态上下文窗口被取消:整个句子被视为上下文窗口，而不是在 1 和当前句子的长度之间均匀地采样每个二次采样单词的上下文窗口大小。

另一种思考 sent2vec 的方式是作为 fastText 的无监督版本(见图 6)，其中整个句子是上下文，可能的类别标签都是词汇单词。巧合的是，[ Agibetov 等人，2018 ]针对生物医学句子分类的任务，比较了使用 sent2vec 向量作为特征的多层感知器与 fastText 的性能。

段落向量(doc2vec)

有时被称为 doc2vec ，这种方法在[ Le & Mikolov，2014 中提出，可能是第一次尝试将 word2vec 推广到处理单词序列。作者介绍了 p 图向量模型的两种变体:分布式内存和分布式单词包。**

段落向量:分布式内存(PV-DM) PV-DM 模型通过添加内存向量来增强标准编码器-解码器模型，旨在从输入中捕捉段落的主题或上下文。这里的训练任务和连续包话挺像的；一个单词可以从它的上下文中预测出来。在这种情况下，上下文单词是前面的单词，而不是周围的单词，就像段落一样。

Figure 7: The Distributed Memory model of Paragraph Vectors (PV-DM)

为了实现这一点，每个段落都被映射到一个唯一的向量，由矩阵中的一列表示(用 D 表示)，词汇表中的每个单词也是如此。上下文是固定长度的，从段落上的滑动窗口中采样。段落向量在从同一段落生成的所有上下文之间共享，但不在段落之间共享。自然地，单词嵌入是全局的，并且可以使用预先训练的单词嵌入(参见下面的实现和增强)。

正如在 word2vec 中，向量必须以某种方式汇总成一个单一的向量；但是与 word2vec 不同，作者在他们的实验中使用了串联。请注意，这保留了订单信息。类似于 word2vec ，一个简单的 softmax 分类器(在这种情况下，实际上是分层的 softmax)被用于这个概括的向量表示，以预测任务输出。训练以标准方式进行，使用随机梯度下降并通过反向传播获得梯度。

注意，只有训练语料库中的段落具有来自 D 的与其相关联的列向量。在预测时，需要执行推理步骤来计算新段落的段落向量:文档向量是随机初始化的。然后，重复地从新文档中选择一个随机单词，并使用梯度下降来调整输入到隐藏层的权重，使得对于所选择的单词，softmax 概率最大化，而隐藏到 softmax 输出的权重是固定的。这导致新文档的表示为训练语料库文档向量(即 D 的列)的混合，自然地驻留在文档嵌入空间中。

段落向量:分布式单词包(PV-DBOW)
段落向量的第二种变体，顾名思义，或许是 word2vec 的 skip-gram 架构的并行；分类任务是仅使用段落向量来预测单个上下文单词。在随机梯度下降的每次迭代中，采样一个文本窗口，然后从该窗口中采样单个随机单词，形成下面的分类任务。

Figure 8: The Distributed Bag of Words model of Paragraph Vectors (PV-DBOW)

训练在其他方面是相似的，除了单词向量不与段落向量一起被联合学习的事实。这使得 PV-DBOW 变体的内存和运行时性能都要好得多。

注:在 its Gensim 实现中，PV-DBOW 默认使用随机初始化的字嵌入；如果 dbow_words 设置为 1，则在运行 dbow 之前，会运行一步 skip-gram 来更新字嵌入。[ Lau & Baldwin，2016 ]认为，尽管 dbow 在理论上可以处理随机单词嵌入，但这严重降低了他们所研究的任务的性能。

一个直观的解释可以追溯到模型的目标函数，即最大化文档嵌入与其组成单词嵌入之间的点积:如果单词嵌入是随机分布的，则更难以将文档嵌入优化为接*其更关键的内容单词。

应用、实现和增强 【Le&miko lov，2014】演示了段落向量在几个文本分类和情感分析任务中的使用，而【Dai et al，2015】在文档相似性任务的背景下对其进行了检查，并且【Lau & Baldwin，2016】将其与论坛问题复制任务和 语义文本相似性(STS) SemEval 共享任务进行了基准测试。后面的两篇论文对该方法进行了扩展评估(前者侧重于 PV-DBOW 变体)，将其与其他几种方法进行了比较，并给出了实用建议(后面的包括代码)。

这个方法有一个 Python 实现，作为 gensim 包的一部分，还有一个 PyTorch 实现。同样，【 Lau & Baldwin，2016 】也提供了他们考试用的代码。

最后，提出了对该方法的各种改进。例如，【李等，2016 】将该方法扩展为也包含 n-gram 特征，而【thong tan&phiconstrakul，2019】建议在计算嵌入投影时使用余弦相似度而不是点积(还提供了一个 Java 实现)。

Doc2VecC

【陈，2017 】提出了一种有趣的方法，该方法受段落向量方法(PV-DM)的分布式记忆模型和*均单词嵌入的方法的启发来表示文档。

Figure 9: The architecture of the Doc2VecC model

与段落向量，doc 2 vecc(文档
向量穿越讹误的首字母缩写)由输入层、投影层和输出层组成，预测目标词(上例中为“仪式”)。相邻单词的嵌入(例如“开始”、“for”、“The”)提供局部上下文，而整个文档的向量表示(以灰色显示)用作全局上下文。与直接学习每个文档的唯一向量的段落向量相反，doc 2 vec将每个文档表示为从文档中随机采样的单词的嵌入的*均值(例如，在位置 p 的“性能”，在位置 q 的“称赞”，以及在位置 r 的“巴西”)。

此外，作者选择通过随机删除单词的重要部分来破坏原始文档，通过*均化剩余单词的嵌入来表示文档。这种损坏机制允许在训练期间加速，因为它显著地减少了在反向传播中要更新的参数的数量。作者还展示了它如何引入一种特殊形式的正则化，他们认为这导致了观察到的性能改善，基准测试是情感分析任务、文档分类任务和语义相关度任务，而不是过多的最先进的文档嵌入技术。

在一个公共的 Github 库中可以找到一个基于 C 的方法和代码的开源实现，用于重现论文中的实验。

[ 希尔等人，2016 年 ]还将破坏或添加噪声到文档嵌入学习过程以产生更鲁棒的嵌入空间的一般思想应用于跳过思维模型(见以下小节)，以创建他们的顺序去噪自动编码器(SDAE)模型。

跳跃思维向量

在[ Kiros et al，2015 中提出，这是另一个早期推广 word2vec 的尝试，并与一起发布了一个官方的纯 Python 实现(最*还宣称实现了 PyTorch 和 TensorFlow )。

然而，这以另一种直观的方式扩展了word 2 vec——特别是 skip-gram 架构:基本单元现在是句子，一个编码的句子用于预测它周围的句子。使用在上述任务上训练的编码器-解码器模型来学习矢量表示；作者使用具有 GRU 激活的 RNN 编码器和具有条件 GRU 的 RNN 解码器。两个不同的解码器被训练用于前一个和下一个句子。

Figure 10: The skip-thoughts model. Given a tuple of contiguous sentences, the sentence sᵢ is encoded and tries to reconstruct the previous sentence sᵢ₋₁ and the next sentence sᵢ₊₁

skip-thought 中的词汇扩展
skip-thought编码器使用单词嵌入层，将输入句子中的每个单词转换为其对应的单词嵌入，有效地将输入句子转换为一系列单词嵌入。这个嵌入层也由两个解码器共享。

Figure 11: In the skip-thoughts model, sentence sᵢ is encoded by the encoder; the two decoders condition on the hidden representation of the encoder’s output hᵢ to predict sᵢ₋₁ and sᵢ₊₁ [from Ammar Zaher’s post]

然而，作者只使用了 20，000 个单词的小词汇量，因此在各种任务中使用时可能会遇到许多看不见的单词。为了克服这一点，通过为参数化该映射的矩阵 W 求解非正则化的 L2 线性回归损失，学习从在大得多的词汇表(例如 word2vec )上训练的单词嵌入空间到跳过思想模型的单词嵌入空间的映射。

应用、增强和进一步阅读 作者演示了将跳过思维向量用于语义相关度、释义检测、图像句子排序、问题类型分类和四个情感和主观性数据集。【 Broere，2017 】通过对 skip-thought 句子表征进行训练逻辑回归来预测词性标签和依存关系，从而进一步研究其句法属性。

[ Tang et al，2017a ]提出了一种针对 skip-thought 的邻域方法，丢弃排序信息并使用单个解码器预测上一句和下一句。【【唐等，2017b 】扩展该检查，提出对模型的三个增强，他们声称使用更快和更轻的模型来提供可比的性能: (1) 仅学习解码下一句话， (2) 在编码器和解码器之间添加 avg+max 连接层(作为允许非线性非参数特征工程的方式)，以及 (3) 执行良好的字嵌入初始化。最后，【 Gan et al，2016 】在广泛的应用中，使用基于 CNN 的分层编码器而不是仅基于的编码器来应用相同的方法。

在[ Lee & Park，2018 ]中提出的另一种变体，通过基于文档结构为每个目标句子选择整个文档中有影响的句子来学习句子嵌入，从而使用元数据或文本样式来识别句子的依存结构。此外，【 Hill 等人，2016 】提出了顺序去噪自动编码器(SDAE)* 模型，这是 skip-thought 的变体，其中输入数据根据一些噪声函数被破坏，模型被训练以从被破坏的数据中恢复原始数据。*

对于关于 skip-thought 模型的进一步非学术阅读， Sanyam Agarwa 在他的博客上给出了该方法的一个非常详细的概述，而 Ammar Zaher 展示了其用于构建烹饪食谱的嵌入空间。

快速发送

【 Hill 等人，2016 】在skip-thinks模型的基础上提出了一个明显更简单的变体； FastSent 是一个简单的加法(对数双线性)句子模型，旨在利用相同的信号，但计算开销低得多。给定一些上下文句子的 BOW 表示，该模型简单地预测相邻的句子(也表示为 BOW)。更正式地说， FastSent 学习模型词汇表中每个单词 w 的源 uᵂ和目标 vᵂ嵌入。对于连续句的训练示例 Sᵢ₋₁,Sᵢ,Sᵢ₊₁，Sᵢ被表示为其源嵌入的总和**=∑t34】uᵂ超过 w∈Sᵢ 。这个例子的成本是简单的∑𝜙(sᵢ， vᵂ)除以w∑sᵢ₋₁∪sᵢ₊₁，其中𝜙是 softmax 函数。这篇论文附有官方的 Python 实现。**

思维敏捷的向量

[ Logeswaran & Lee，2018 ]将文档嵌入任务——预测句子出现的上下文的问题——重新表述为监督分类问题(见图 12b)，而不是之前方法的预测任务(见图 12a)。

Figure 12: The Quick-Thought problem formulation (b) contrasted with the Skip-Thought approach (a)

要点是使用当前句子的含义来预测相邻句子的含义，其中含义由从编码函数计算的句子的嵌入来表示；注意这里学习了两个编码器:输入句子的 f 和候选句子的 g 。给定一个输入句子，由编码器(本例中为 RNNs)进行编码，但模型不是生成目标句子，而是从一组候选句子中选择正确的目标句子；候选集是从有效的上下文句子(基本事实)和许多其他非上下文句子中构建的。最后，所构建的训练目标最大化了为训练数据中的每个句子识别正确上下文句子的概率。将以前的句子预测公式视为从所有可能的句子中选择一个句子，这种新方法可以被视为对预测问题的一种判别*似。

作者评估了他们在各种文本分类、释义识别和语义相关任务上的方法，并提供了官方 Python 实现。

文字移动器嵌入(WME)

一个最*的方法，来自 IBM 的研究，是字移动器嵌入()，在 Wu et al，2018b 中提出。提供了一个官方的基于 C、Python 包装的实现。

【库什纳等人，2015 】提出 W 移动者距离(WMD)；这将两个文本文档之间的相异度度量为一个文档的嵌入单词需要在嵌入空间中“行进”到达另一个文档的嵌入单词的最小距离量(见图 13a)。此外，[ Wu et al，2018a ]提出了 D2KE(到核和嵌入的距离)，一种从给定的距离函数推导正定核的通用方法。****

Figure 13: Contrasting WMD with WME. (a) WMD measures the distance between two documents x and y, while (b) WME approximates a kernel derived from WMD with a set of random documents 𝜔.

WME 基于三个组件来学习不同长度文本的连续矢量表示:

1. 以无监督的方式学习高质量单词嵌入的能力(例如，使用 word2vec )。
2. 使用 Worder Mover 的距离 (WMD)基于所述嵌入为文档构建距离度量的能力。
3. 使用 D2KE 从给定的距离函数导出正定核的能力。

使用这三个组件，应用以下方法:

1. 使用 D2KE，通过由字移动器到来自给定分布的随机文档𝜔的距离 (WMD)给出的无限维特征映射，构造一个正定字移动器的核 (WMK)。由于使用了 WMD，特征图考虑了由预训练单词嵌入给出的语义空间中的文档之间的单个单词的对齐(参见图 13b)。
2. 基于该核，通过核的随机特征*似来导出文档嵌入，其内积*似精确的核计算。

这个框架是可扩展的，因为它的两个构建模块，word2vec 和 WMD，可以被其他技术代替，例如 GloVe(用于单词嵌入)或 S-WMD(用于将单词嵌入空间转换成文档距离度量)。

作者在 9 个真实世界文本分类任务和 22 个文本相似性任务上评估了 WME，并证明它始终匹配，有时甚至超过其他最先进的技术。

句子-BERT (SBERT)

NLP 中的 2018 年以 transformers 的崛起为标志(见图 14)，最先进的神经语言模型受[ Vaswani et al 2017 ]中提出的 transformer 模型的启发-一种序列模型，它无需卷积和递归，而是使用注意力将序列信息纳入序列表示。这个蓬勃发展的家庭包括伯特(及其延伸)，GPT (1 和 2)和 XL 口味的变形金刚。

Figure 14: Rise of the transformers

这些模型生成输入标记(通常是子词单元)的上下文嵌入，每个标记都注入了其邻域的信息，但并不旨在为输入序列生成丰富的嵌入空间。BERT 甚至有一个特殊的[CLS]令牌，其输出嵌入用于分类任务，但对于其他任务来说仍然是输入序列的不良嵌入。[ 雷默斯&古雷维奇，2019

Sentence-BERT ，在【 Reimers & Gurevych，2019 中提出，并伴随有一个 Python 实现，旨在通过使用连体和三联体网络结构来调整 BERT 架构，以导出语义上有意义的句子嵌入，可以使用余弦相似度进行比较(见图 15)。

Figure 15: The SBERT architecture in training on a classification objective (left) and inference (right)

监督文档嵌入技术

前一节中介绍的非监督方法允许我们从大型未标记的语料库中学习有用的表示。这种方法不是自然语言处理所独有的，它通过设计学习目标来关注学习表示，这些学习目标利用数据中可自由获得的标签。因此，这些方法的强度和稳健性不仅在很大程度上取决于学习框架，还取决于人工设计的学习目标要求或带来在各种下游任务中证明有用的有意义特征或知识的学习的程度。例如，我们希望单词和文档嵌入空间能够很好地捕获语义和句法信息。

学习有意义的数据表示(在我们的例子中是单词序列)的对比方法是利用显式标签(几乎总是由人类注释者以某种方式生成)。这里，与各种任务的相关性取决于明确的任务和标签与最终应用的接*程度，同样，该任务对可概括的特征和知识的学习有多好。

我们将看到监督方法的范围从那些直接利用特定的标记任务来学习表征，到那些重组任务或从中提取新的标记任务来引出更好的表征。

从标记数据中学习文档嵌入

已经有各种尝试使用标记的或结构化的数据来学习句子表示。具体来说，[ Cho 等人，2014a ]和[ Sutskever 等人，2014 ]可能是首次尝试应用编码器-解码器方法来显式学习带有标记数据的句子/短语嵌入；第一个使用了用于统计机器翻译的*行短语语料库 Europarl ，第二个使用了来自 WMT 14 数据集的英语到法语的翻译任务。另一个值得注意的尝试在[ Wieting 等人，2015 和[Wieting & Gimpel，2017]中提出，其中单词嵌入及其到文档嵌入的映射被联合学习，以最小化释义对之间的余弦相似性(来自PPDB 数据集)。[ Hill 等人，2015 ]训练神经语言模型，将字典定义映射到由那些定义定义的单词的预训练单词嵌入。最后，【 Conneau et al，2017 】在斯坦福自然语言推理任务上训练了各种架构的 NN 编码器(见图 16)。

Figure 16: Generic NLI training scheme

文档相似性的上下文嵌入 上述方法的一个具体情况是由文档相似性驱动的。[ Das 等人，2016 ]展示了通过社区问答的暹罗网络学习到的最大化两个文档之间相似性的文档嵌入(参见图 17)

Figure 17: The SCQA network consists of repeating convolution, max pooling and ReLU layers and a fully connected layer. Weights W1 to W5 are shared between the sub-networks.

同样，[ Nicosia & Moschitti，2017 ]在学习二进制文本相似性的同时，使用暹罗网络产生单词表示，将同一类别中的示例视为相似。(参见图 18)

Figure 18: The architecture of the siamese network from [Nicosia & Moschitti, 2017]. Word embeddings of each sentence are consumed by a stack of 3 Bidirectional GRUs. Both network branches share parameter weights.

跨语言降秩岭回归(Cr5) 【Josifoski 等人，2019】介绍了一种将任何语言编写的文档嵌入到单一的、与语言无关的向量空间的方法。这是通过训练基于岭回归的分类器来完成的，该分类器使用语言特定的词袋特征来预测给定文档所涉及的概念。当将学习的权重矩阵限制为低秩时，作者表明它可以被分解以获得从语言特定的词袋到语言无关的嵌入的期望映射。提供了官方的 Python 实现。

特定任务的监督文档嵌入

产生文档嵌入的普通监督方法使用各种神经网络体系结构，学习将单词向量映射到文档向量的合成算子；这些被传递给受监督的任务，并依赖于类标签，以便通过合成权重反向传播(参见图 19)。

因此，网络的几乎所有隐藏层可以被认为产生输入文档的矢量嵌入，直到该层的网络前缀是从单词矢量到嵌入空间的学习映射。在[ Wieting et al，2015 ]中可以找到基于单词向量和监督学习任务的学习句子向量的不同方法的严格检查。

Figure 19: Neural networks implicitly learn to map word embedding sequences to document embeddings

请注意，虽然所使用的单词嵌入可以是预先生成的，并且是任务不可知的(至少在一定程度上)，但是从单词嵌入到文档嵌入的映射是任务特定的。虽然这些对于相关的任务可能是有用的，但这种方法肯定不如无监督的方法健壮和通用，至少在理论上是这样。[ Kiros 等人，2015 年 ]

值得注意的应用包括使用 RNNs 的情感分类[Socher 等人，2013]，使用 CNN 的各种文本分类任务[Kalchbrenner 等人，2014] [Kim，2014]，以及使用递归卷积神经网络的机器翻译和文本分类任务[Cho 等人，2014a，2014 b][赵等人，2015]。

GPT
拉德福德等人，2018提出了生成式预训练 (GPT)方法 ( 伴随一个 Python 实现)，结合无监督和有监督的表示学习，使用瓦斯瓦尼等人 2017 提出的 transformer 模型在无标签语料库上学习一个无监督的语言模型，然后使用有监督的数据分别对其用于每个任务进行微调。[他们后来在 拉德福德等人，2019 ]中展示了 GPT-2 ，专注于支持他们工作的无监督学习部分，再次发布了官方的 Python 实现。

深度语义相似度模型(DSSM) T22【微软研究项目，DSSM 是一种深度神经网络建模技术，用于在连续的语义空间中表示文本串，并对两个文本串之间的语义相似度进行建模(见图 20)。

Figure 20: The architecture of a DSSM neural network

在其他应用中，DSSM 用于开发潜在的语义模型，该模型将不同类型的实体(例如，查询和文档)投影到公共的低维语义空间中，用于各种机器学习任务，例如排序和分类。例如，【黄等，2013 】使用 it 将查询和文档投影到一个公共的低维空间，在该空间中，文档与给定查询的相关性被计算为它们之间的距离。

实现包括 TensorFlow 、 Keras 和两种 PyTorch 变体。

共同学习句子表征

[ Ahmad 等人，2018 ]提出，从多个文本分类任务中联合学习句子表示，并将它们与预先训练的单词级和句子级编码器相结合，会产生对迁移学习有用的健壮句子表示

Figure 21: Jointly learning sentence embeddings using auxiliary tasks

[ 于&姜，2016 ]类似地表明，使用两个辅助任务来帮助诱导句子嵌入对于跨领域的情感分类来说应该是很好的，与情感分类器本身一起共同学习这个句子嵌入(图 21)。

通用句子编码器 在 Cer et al，2018a 和 Cer et al，2018b 中提出，并伴随一个 TensorFlow 实现，该方法实际上包括了两种可能的句子表征学习模型:变换器模型和深度*均网络(DAN) 模型(见图 22)。两者都被设计成允许多任务学习，支持的任务包括(1)类似于无监督学习的任务；(2)用于包含解析的会话数据的会话输入-响应任务；以及(3)用于对监督数据进行训练的分类任务(参见前面的小节)。作者专注于迁移学习任务的实验，并将他们的模型与简单的 CNN 和 DAN 基线进行比较。该方法后来扩展到解决多语言设置。**

transformer 模型直接基于 Vaswani et al 2017 中提出的 transformer 模型，这是第一个完全基于注意力的序列转导模型，用多头自注意力取代了编码器-解码器架构中最常用的递归层(见图 22a)。

该模型使用转换器架构的编码子图来构建句子嵌入。编码器使用注意力来计算句子中单词的上下文感知表示，同时考虑其他单词的顺序和身份。上下文感知单词表示被*均在一起以获得句子级嵌入。

Figure 22: The two models of the Universal Sentence Encoder: (a) Transformer and (b) DAN

相反，在丹模型中，在[ Iyyer et al，2015 ]中，单词和双字母组合的输入嵌入首先被*均在一起，然后通过前馈深度神经网络(DNN)产生句子嵌入(见图 22b)。

GenSen 与通用句子编码器非常相似，GenSen 方法,【 Subramanian 等人，2018 】与官方 Python 实现一起提出，结合多个监督和非监督学习任务来训练基于 RNN w/ GRU 的编码器-解码器模型，从该模型中提取嵌入。四个支持的任务是:(1) 跳过思维向量，(2)神经机器翻译，(3)选区分析，以及(4)自然语言推理(三向分类问题；给定一个前提和一个假设句子，目标是将它们的关系分为蕴涵、矛盾或中性。官方 Python 实现发布。

如何选择使用哪种技术

我在这里没有简单的答案，但这里有一些可能的要点:

1. *****均单词向量是一个很好的基线，所以一个好主意是通过集中精力生成非常好的单词向量，并且首先简单地*均它们，来开始你对好的文档嵌入的探索。毫无疑问，文档嵌入的大部分功能来自于构建它们所基于的词向量，我认为可以肯定地说，在继续前进之前，该层中有大量的信息需要优化。你可以尝试不同的预训练单词嵌入，探索哪些源域和哪些方法(例如 word2vec vs GloVe vs BERT vs ELMo)可以更好地捕捉你需要的信息类型。然后，通过尝试不同的摘要操作符或其他技巧(像[ 阿罗拉等人，2016 ]中的那些)来稍微扩展这一点可能就足够了。
2. ****绩效可能是一个关键的考虑因素，尤其是在方法中没有明确的领导者的情况下。在这种情况下，无论是*均字向量的，还是像 sent2vec 和 FastSent 这样的精益方法，都是不错的选择。相比之下，使用 doc2vec 时，每个句子所需的实时向量表示推理可能会被证明在给定应用约束的情况下代价很高。 [SentEval，在 Conneau & Kiela，2018 ]中提出的一个句子表征的评估工具包，就是在这种背景下值得一提的工具。
3. 考虑学习目标对你的任务的有效性。上面提到的不同的自我监督技术以不同的方式扩展了分布假设，跳跃思维和快速思维分别根据句子和段落在文档中的距离建立了它们之间的强关系。这也许适用于书籍、文章和社交媒体帖子，但可能不适用于其他文本序列，尤其是结构化的文本，因此可能会将您的文档投影到一个对它们不适用的嵌入空间。同样，WME 所依赖的单词对齐方法可能并不适用于每种情况。
4. ****开源实现非常丰富，因此针对您的任务对不同的方法进行基准测试可能是可行的。
5. 没有明确的任务负责人。论文经常针对分类、转述和语义相关度任务测试不同的方法。然而，当考虑关于该主题的所有文献时，特别是考虑 2018 年的两个最新基准测试的结果时，上述结论就会出现，第一个由[ Logeswaran & Lee，2018 在介绍他们的快速思考方法时完成，第二个由[ Wu 等人，2018b 作为他们关于字移动器嵌入的论文的一部分完成。

最后的话

就是这样！一如既往，我确信我写的帖子并不完整，所以请随时对以上概述提出更正和补充建议，要么在此评论，要么直接联系我。😃

我还要感谢 Adam Bali 和 Ori Cohen，他们提供了非常有价值的反馈。去看看他们的帖子！

最后，我发现值得一提的是，代码为的论文有致力于文档嵌入的任务，脸书研究公司开源了 [SentEval，这是一个在 Conneau & Kiela，2018 ]中展示的句子表示的评估工具包。

现在坐好，让参考文献淹没你。📕 📗 📘 📙

参考

Agibetov，a .，Blagec，k .，Xu，h .，和 Samwald，M. (2018 年)。用于生物医学句子分类的快速可扩展神经嵌入模型。 BMC 生物信息学， 19 (1)，541。

艾哈迈德，吴伟国，白，徐，彭，张国威(2018)。学习用于文本分类的健壮的、可转移的句子表示。 arXiv 预印本 arXiv:1810.00681 。

阿罗拉，s .，梁，y .，，马，T. (2016)。一个简单但难以攻克的句子嵌入基线。[ 非官方实施

Bengio，r . Ducharme，Vincent，p .和 Jauvin，C. (2003 年)。一个神经概率语言模型。机器学习研究杂志，3(2 月)，1137–1155。

B.Broere，(2017)。跳过思维向量的句法属性。蒂尔堡大学硕士论文。

Cer，d .，Yang，y .，Kong，S. Y .，Hua，n .，Limtiaco，n .，John，R. S .，和 Sung，Y. H. (2018 年)。通用语句编码器。 arXiv 预印本 arXiv:1803.11175 。

Cer，d .，Yang，y .，Kong，S. Y .，Hua，n .，Limtiaco，n .，John，R. S .，和 Strope，B. (2018 年 11 月)。英语通用句子编码器。在2018 自然语言处理经验方法会议记录:系统演示(第 169-174 页)。

陈，男(2017)。通过讹误对文档进行有效的矢量表示。 arXiv 预印本 arXiv:1707.02377 。

陈，秦，彭，杨，陆，钟(2018)。 BioSentVec:为生物医学文本创建句子嵌入。arXiv 预印本 arXiv:1810.09302。

Cho，k .，Van merrinboer，b .，Gulcehre，c .，Bahdanau，d .，Bougares，f .，Schwenk，h .，和 Bengio，Y. (2014 年)。使用用于统计机器翻译的 RNN 编码器-解码器学习短语表示。 arXiv 预印本 arXiv:1406.1078 。

Cho，k .，Van merrinboer，b .，Bahdanau，d .，和 Bengio，Y. (2014 年)。关于神经机器翻译的性质:编码器-解码器方法。 arXiv 预印本 arXiv:1409.1259 。

Conneau，a .，Kiela，d .，Schwenk，h .，Barrault，l .，和 Bordes，A. (2017 年)。从自然语言推理数据中监督学习通用句子表示。 arXiv 预印本 arXiv:1705.02364 。

Conneau，a .，& Kiela，D. (2018 年)。 Senteval:通用语句表示评估工具包。 arXiv 预印本 arXiv:1803.05449 。

戴，A. M .，Olah，c .，& Le，Q. V. (2015 年)。用段落向量嵌入文档。 arXiv 预印本 arXiv:1507.07998 。

Das，a .，Yenala，h .，Chinnakotla，m .，& Shrivastava，M. (2016 年 8 月)。我们站在一起:相似问题检索的连体网络。《计算语言学协会第 54 届年会论文集》(第 1 卷:长篇论文)(第 378–387 页)。

甘，钟，蒲，杨，，李，何，林(2016)。使用卷积神经网络的句子表示的无监督学习。 arXiv 预印本 arXiv:1611.07897 。

甘，钟，蒲，杨，，李，何，林(2016)。使用卷积神经网络学习通用语句表示。arXiv 预印本 arXiv:1611.07897 。

Gupta，p .，Pagliardini，m .，和 Jaggi，M. (2019)。通过解开上下文 n 元语法信息实现更好的单词嵌入。 arXiv 预印本 arXiv:1904.05033 。

哈里斯，Z. S. (1954)。分配结构。Word，10(2–3)，146–162。

f .希尔、k .乔、a .科尔霍宁和 y .本吉奥(2015 年)。通过嵌入字典学习理解短语。计算语言学协会汇刊， 4 ，17–30。

Hill，f .，Cho，k .，和 Korhonen，A. (2016 年)。从未标记数据中学习句子的分布式表示。 arXiv 预印本 arXiv:1602.03483 。

黄，张*，何，高，邓，阿塞罗，海克，(2013 年 10 月)。使用点击链接数据学习用于 web 搜索的深度结构化语义模型。在第 22 届 ACM 国际信息会议论文集&知识管理(第 2333–2338 页)。ACM。

Iyyer、v . Manjunatha、j . Boyd-Graber 和 h . daum III(2015 年)。深度无序组合匹敌文本分类的句法方法。在计算语言学协会第 53 届年会暨第 7 届自然语言处理国际联席会议论文集(第 1 卷:长篇论文)(第 1 卷，第 1681-1691 页)。

Josifoski，m .，Paskov，I. S .，Paskov，H. S .，Jaggi，m .，& West，R. (2019，1 月)。作为降秩岭回归的跨语言文档嵌入。第十二届 ACM 网络搜索和数据挖掘国际会议论文集(第 744–752 页)。ACM。

Kalchbrenner，e . Grefenstette 和 Blunsom，P. (2014 年)。用于句子建模的卷积神经网络。 arXiv 预印本 arXiv:1404.2188 。

茨韦塔纳·肯特、博里索夫和米·德·里基(2016 年)。 Siamese cbow:优化句子表达的单词嵌入。 arXiv 预印本 arXiv:1606.04640 。

金，尹。"用于句子分类的卷积神经网络." arXiv 预印本 arXiv:1408.5882 (2014)。

Kiros，r .，Zhu，y .，Salakhutdinov，R. R .，Zemel，r .，Urtasun，r .，Torralba，a .，& Fidler，S. (2015 年)。跳过思维向量。在神经信息处理系统的进展(第 3294–3302 页)。

m .库斯纳、孙、n .科尔金和 k .温伯格(2015 年 6 月)。从单词嵌入到文档距离。在机器学习国际会议(第 957–966 页)。

刘，J. H .，，鲍德温，T. (2016)。对 doc2vec 的实证评估，以及对文档嵌入生成的实际见解。 arXiv 预印本 arXiv:1607.05368 。[ 代码 ]

Le，q .，& Mikolov，T. (2014 年 1 月)。句子和文档的分布式表示。在机器学习国际会议(第 1188–1196 页)。

李，t .，&帕克，Y. (2018)。使用基于文档结构的上下文的无监督句子嵌入。

Logeswaran，l .，& Lee，H. (2018 年)。学习句子表征的高效框架。arXiv 预印本 arXiv:1803.02893。

李，b，刘，t，杜，x，张，d，赵，z(2015)。通过预测 n-grams 学习文档嵌入，用于长电影评论的情感分类。 arXiv 预印本 arXiv:1512.08183 。

刘，杨，&拉帕塔，M. (2018)。学习结构化文本表示。计算语言学协会汇刊，6，63–75。

Mikolov，Chen，k .，Corrado，g .，& Dean，J. (2013 年)。向量空间中单词表示的有效估计。arXiv 预印本 arXiv:1301.3781。

Mikolov，Sutskever，I .，Chen，k .，Corrado，G. S .，& Dean，J. (2013 年)。单词和短语的分布式表示及其组合性。在神经信息处理系统的进展(第 3111–3119 页)。

尼科西亚，m .，& Moschitti，A. (2017 年 8 月)。使用分类信息学习结构语义相似性的上下文嵌入。在第 21 届计算自然语言学习会议论文集(CoNLL 2017) (第 260–270 页)。

Pagliardini，m .，Gupta，p .，和 Jaggi，M. (2017 年)。使用合成 n-gram 特征的句子嵌入的无监督学习。 arXiv 预印本 arXiv:1703.02507 。

Pennington、r . Socher 和 c . Manning(2014 年 10 月)。 Glove:单词表示的全局向量。在2014 年自然语言处理(EMNLP)经验方法会议记录(第 1532-1543 页)。

a .拉德福德、k .纳拉辛汉、t .萨利曼斯和苏茨基弗(2018 年)。 用无监督学习提高语言理解 。技术报告，OpenAI。

a .、吴、j .、Child、r .、Luan、d .、Amodei、d .、& Sutskever，I. (2019)。语言模型是无人监督的多任务学习者。 OpenAI 博客， 1 (8)。

Reimers 和 Gurevych，I. (2019)。句子伯特:使用连体伯特网络的句子嵌入。 arXiv 预印本 arXiv:1908.10084 。

鲁道夫，m .，鲁伊斯，f .，阿塞，s .，，布莱，D. (2017)。分组数据的结构化嵌入模型。在神经信息处理系统的进展(第 251–261 页)。

g .索尔顿和 c .巴克利(1988)。自动文本检索中的术语加权方法。信息处理&管理， 24 (5)，513–523。

Sinoara，R. A .、Camacho-Collados，j .、Rossi，R. G .、Navigli，r .、& Rezende，S. O. (2019)。用于文本分类的知识增强文档嵌入。基于知识的系统， 163 ，955–971。

Socher，r .、Perelygin，a .、Wu，j .、Chuang，j .、Manning，C. D .、ng，a .、Potts，C. (2013 年 10 月)。情感树库语义合成的递归深度模型。在2013 年自然语言处理经验方法会议记录(第 1631-1642 页)。

Subramanian，s .，Trischler，a .，Bengio，y .，& Pal，C. J. (2018)。通过大规模多任务学习来学习通用分布式句子表示。 arXiv 预印本 arXiv:1804.00079 。

Sutskever，I .，Vinyals，o .，& Le，Q. V. (2014 年)。用神经网络进行序列对序列学习。在神经信息处理系统的进展(第 3104–3112 页)。

唐，苏，金，洪，方，王，张，&德萨，V. R. (2017)。反思跳跃思维:一种基于邻域的方法。 arXiv 预印本 arXiv:1706.03146 。

唐，苏，金，洪，方，王，张，&德萨，V. R. (2017)。修剪和改进跳跃思维向量。 arXiv 预印本 arXiv:1706.03148 。

Thongtan 和 t . phiquethrakul(2019 年 7 月)。基于余弦相似度训练的文档嵌入的情感分类。《计算语言学协会第 57 届会议记录:学生研究研讨会》(第 407-414 页)。

Vaswani，a .、Shazeer，n .、Parmar，n .、Uszkoreit，j .、Jones，l .、Gomez，A. N .、… & Polosukhin，I. (2017)。注意力是你所需要的全部。神经信息处理系统进展(第 5998-6008 页)。

j .维廷、m .班萨尔、k .金佩尔和 k .利维斯库(2015 年)。走向普遍的倒装句嵌入。arXiv 预印本 arXiv:1511.08198。

j .维廷和 k .金佩尔(2017 年)。重新考察用于反对比句子嵌入的循环网络。 arXiv 预印本 arXiv:1705.00364 。

吴，严，刘怡红，徐，李，李，李(2018)。 D2ke:从距离到内核和嵌入。arXiv 预印本 arXiv:1802.04956 。

Wu，l .，Yen，即，Xu，k .，Xu，f .，Balakrishnan，a .，Chen，P. Y，... & Witbrock，M. J. (2018)。 Word Mover 的嵌入:从 Word2Vec 到文档嵌入。 arXiv 预印本 arXiv:1811.01713 。

俞军、蒋军(2016 年 11 月)。跨领域情感分类辅助任务学习句子嵌入。在2016 年自然语言处理经验方法会议论文集(第 236–246 页)。

张，杨，陆，张(2019)。用子词信息和网格改进生物医学词嵌入。科学数据， 6 (1)，52。

赵，洪，陆，张，等(2015 年 6 月)。自适应层次句子模型。在第二十四届国际人工智能联合大会。

神经网络在不知道的时候知道吗？

原文：https://towardsdatascience.com/does-a-neural-network-know-what-it-doesnt-know-c2b4517896d7?source=collection_archive---------6-----------------------

简要介绍神经网络跳出框框思考的技术

如果你一直在关注数据科学和机器学习，你可能知道，*年来，深度神经网络彻底改变了人工智能和计算机视觉。自从 AlexNet 在 2012 年以较大优势赢得 ImageNet 挑战赛以来，深度神经网络已经征服了许多以前无法解决的任务。神经网络令人惊叹。他们可以学习如何将冬天的风景变成夏天的风景，给马穿上斑马条纹，在基本没有监督的情况下学习单词之间的语义表示，从草图中生成逼真的图像，以及许多令人惊叹的技能。这项技术已经发展到如此程度，以至于基本上每个拥有笔记本电脑的人都可以使用和构建神经网络架构，实现以前无法实现的壮举。许多开源深度学习框架——如 TensorFlow 和 py torch——都可用，将这一令人惊叹的技术带到您触手可及的地方。

每天早上都有几十份新的预印本发布在 arXiv 上，通过不断的技术创新击败最先进的技术。然而，除了提高性能，深度学习研究还有一个同样重要的领域，涉及一系列与理解神经网络如何感知世界和一个模型如何概括已知之外的事物相关的问题。在实际应用中，最后一个问题至关重要。考虑以下情况。您正在构建一个根据制造商和型号对汽车进行分类的应用程序。但是，如果发布了一款全新设计的新车型，该怎么办呢？在这种情况下，神经网络在训练期间没有看到这个实例。在这种情况下，正确的答案是什么？

识别未知并不是神经网络的默认功能。这个问题叫做开集识别，有几种方法可以解决这个问题。在这篇文章中，我将对它们做一个简单的概述。

自信错了

在深入细节之前，让我们考虑一个玩具例子。假设我们有一个非常简单的二进制分类问题，为此我们训练一个分类器。决策边界被学习，模型很好地概括了我们的测试数据，所以我们很高兴。

模型部署后，我们开始看到类似这样的情况。

我们还幸福吗？嗯，可能没那么多。从右边的点群来看，我们——人类专家——可能会认为这是一个新的类。也许它不是我们感兴趣的课程，也许它很重要。但是神经网络是如何感知这一点的呢？因为它落在相对远离决策边界的地方，所以新实例被非常有把握地归类为橙色。然而，在这种情况下，我们的分类器是错误的。

为了有效地检测这些情况，需要采用额外的方法。本质上，网络只有有限的工具来识别新的类:它有一个特征变换，一个 Softmax 函数和一个只有两个类的承诺。我们如何利用这些来解决我们的问题？一种简单的方法是设定 Softmax 概率的阈值:如果预测类别的概率低于一个给定的阈值，比如 0.5，我们就拒绝这个未知的项目。正如我们之前看到的，这在许多情况下可能不起作用，因为神经网络可能会给出高置信度的错误预测。

查看上下文:OpenMax 方法

我们的网络提供的预测概率可能是错误的，但看看这些点的分布，很明显可能存在一个新的类别。让我们来看看激活向量！例如，这是上面模型中激活分数的分布情况。

蓝色是我们在培训中看到的数据，红色是来自部署的奇怪的新实例。通过激活向量值的分布，我们可以判断一个新的数据点在知识方面是否新颖。这是 OpenMax 方法的基本原理，由 Abhijit Bendale 和 Terrance E. Boult 在他们的 CVPR16 论文中开发，致力于开放集深度网络。在他们的实验中，他们使用了一个 ImageNet 预训练模型，给它输入真实的、愚弄的和开放的图像(即来自训练中看不到的班级的图像)；然后检查了激活向量模式。他们的基本发现是，这些模式可以用来检测神经网络不知道的。

Activation patterns of the Softmax layer. Source: Abhijit Bendale and Terrance E. Boult, Towards Open Set Deep Networks

在左侧，您可以看到使用不同图像的已训练模型的激活向量的热图。他们发现异常值的方法如下。

1)对于每个类别，使用该类别的正确分类的训练示例，将威布尔分布拟合到激活分数。
2)给激活向量添加一个新的“未知”类。
3)使用威布尔分布的参数转换激活分数。这些被称为 OpenMax 分数。
4)对于新图像，基于 OpenMax 分数，拒绝为未知或接受为已知。

The OpenMax algorithm. Source: Abhijit Bendale and Terrance E. Boult, Towards Open Set Deep Networks

与基于阈值 Softmax 概率的朴素方法相比，使用这种方法，他们能够提高开集检测的准确性。

OpenMax performance. Source: Abhijit Bendale and Terrance E. Boult, Towards Open Set Deep Networks

因此，OpenMax 基本上是神经网络的替代最终层，取代了优秀的旧 Softmax。但是，这一层是不可训练的！因此，它不会让你的神经网络在开集识别方面更聪明，它只是以更聪明的方式使用它的预测。这似乎是一个错失的机会。有没有办法训练一个网络来识别未知？

着眼于已学习的表示:嵌入空间中的开集识别

让我们深入了解神经网络是如何看待数据的！为了简单起见，让我们看看 LeNet-5，这是字符识别的经典架构，由 Yann LeCun 及其同事在改变游戏的论文基于梯度的学习应用于文档识别中提出。

The LeNet architecture. Source: Yann LeCun et al., Gradient-Based Learning Applied to Document Recognition

如您所见，网络的输入是原始数据本身。这可以被认为是一个真正高维空间中的向量，在我们的例子中是 32 x 32。如果你能在这个高维空间中看到与我们的训练数据集相对应的所有向量，你可能会认为与每个类相对应的子集是相当混乱的。基于这种表示，没有简单的方法来区分类。这正是神经网络最初看到的。然而，对于每一层，它都连续地将数据转换为越来越有形的表示，最终输出一个非常简单的表示:低维单纯形(三角形在多维中的推广)，每个顶点对应一个类。

就我们的目的而言，最有趣的表示是上一个之前的表示。最后一种表示——输出——有点不自然，因为它被限制在一个维度等于类数量的空间中。正如我们之前看到的，在这个表述中没有未知的空间。但是，这对于倒数第二层的输出来说就大不一样了！这通常称为嵌入，嵌入向量代表数据的高级特征表示。在这个嵌入空间中，理想情况下，每个类都应该是一个独立的集群，与其他类分开。在这个空间里，你会把未知数放在哪里？好吧，如果每个类确实由一个簇表示，那么一个开集例子应该远离任何已知的簇。

沿着这个思路，Hassen 和 Chan 在他们的论文(学习基于神经网络的开集识别表示)中开发了一种方法，旨在训练网络来实现这一点。它们引入了一种新的损耗，将集群彼此推得更远，并将集群本身挤压在一起:

ii-loss.

ii-loss 可以附加到嵌入层，产生以下设置。

ii-loss setups. Source: Mehadi Hassen and Philip K. Chan, Learning a Neural-network-based Representation for Open Set Recognition

嵌入空间中的开集识别原则上很简单:只需将落在聚类之外的点分类为未知。这种方法是对 OpenMax 的改进，但是它仍然错过了非常重要的一点:它没有明确地教会网络识别未知。这样我们会获得更好的开集识别性能吗？

教神经网络知道它不知道的东西(真的)

我们在第一个例子中已经看到，不确定性不是识别开集例子的好方法:网络可以以非常高的置信度将未知的例子分类为已知类的成员。然而，在这个例子中，我们在训练期间没有向网络显示任何未知实例。按照公开的术语，套用美国前国防部长唐纳德·拉姆斯菲尔德的话:有已知的未知和未知的未知。前一个类由培训期间可用的实例组成，尽管不是我们感兴趣的。如果我们用这些来训练未知的网络，并显示这些是你应该不确定的例子，会怎么样？

这是 Dhamija 等人在他们最*的论文中提出的想法，他们引入了两个新的损失函数来将未知的例子从已知的例子中分离出来:熵开集损失和物圈损失。它们是如何工作的？

作者的第一个观察结果是，通过为专门在 MNIST 训练的网络可视化 MNIST 数字和梵文手写字符的特征表示，未知的例子往往在某种程度上围绕原点聚集。

Softmax activations of MNIST digits and Devanagari handwritten characters of a network trained exclusively on MNIST. Colored dots are MNIST classes, black dots are unknowns. Below are histograms of Softmax activation values for both classes. Source: Akshay Raj Dhamija et al, Reducing Network Agnostophobia

为了利用这一点，他们引入了一个新的损失，称为熵开集损失，它将未知实例的 Softmax 分数驱动到均匀的概率分布。

Entropic Open Set loss. On the top: loss when instance known. On the bottom: loss when instance is unknown. Source: Akshay Raj Dhamija et al, Reducing Network Agnostophobia

让我们停下来研究一下这个问题。对于具有已知类别(定义的顶部)的样本，这只是好的旧的交叉熵损失。当 Softmax 分数将概率 1 赋予真实类别时，交叉熵被最小化。然而，在定义的底部，我们看到了一些有趣的东西。这是负对数似然向量的*均值，当 Softmax 向量中的所有概率相等时，该值最小！实际上，这个损失告诉网络“这个实例是未知的，你现在应该是不确定的”。

所以，让我们假设我们已经用熵开集损失代替了我们通常的交叉熵损失。我们的要素制图表达会发生什么情况？事实证明，这种损失有一种特殊的影响:它使未知样本的范数下降！

Feature magnitudes for networks trained with and without Entropic Open Set loss. Source: Akshay Raj Dhamija et al, Reducing Network Agnostophobia

我们能增强这种效果吗？熵开集损失并不直接影响特征量级:未知样本接*最优的分数仍然可以有很大的量级，只要它们的激活分数对于每个类都是相似的。为了实现这一点，作者为这个损失函数引入了一个新术语。他们把这种新的损失统称为大气层损失。

Objectosphere loss. Source: Akshay Raj Dhamija et al, Reducing Network Agnostophobia

如我们所见，第二项迫使已知类中的样本具有较大幅度(顶行)，而迫使未知样本具有较小幅度(底行)。这些术语共同实现了开集识别任务的相当大的改进。

Correct Classification Rates at different False Positive Ratios. Source: Akshay Raj Dhamija et al, Reducing Network Agnostophobia

开集识别的状态

正如我们之前看到的，开集识别在过去的几年里取得了很大的进步。然而，我们离一个强大的通用解决方案还很远。尽管它在实际应用中很重要，但却是一个被忽视的话题。然而，对于任何给定的问题，甚至不可能集合一个训练集来覆盖所有可能的情况并包括所有相关的知识。在许多情况下，领域专家甚至不知道这一点。想想细胞生物学家，他们使用显微图像来分析细胞表型，或许还能发现新的表型。如果一个表现型真的未知，你怎么能提前推理出来呢？

在我个人看来，关于深度学习的真正有趣的问题始于我们研究神经网络如何超越已知进行概括。对人类来说，这是智力的本质。想一想:随着你不断积累知识和个人成长，最能推动你前进的一句话是什么？

“我不知道。”

参考文献。

[1] A. Bendale 和 T. E. Boult，迈向开集深度网络 (2016)，IEEE 计算机视觉和模式识别会议(CVPR)，2016，第 1563-1572 页
2 M. Hassen 和 P. K. Chan，学习基于神经网络的开集识别表示法，(2018) arXiv 预印本
[3] A. R. Dhamija 等人，【T8

如果你喜欢把机器学习概念拆开，理解是什么让它们运转，我们有很多共同点。看看我的博客，我经常在那里发表这样的技术文章！

大数据是否承诺在未来给每个人带来巨大的好处？

原文：https://towardsdatascience.com/does-big-data-promise-big-benefits-to-everyone-in-the-future-ab1186f9f6b1?source=collection_archive---------13-----------------------

大数据对话

以下是未来 12 个月大数据的预期

可以毫不夸张地说，过去大多数企业的运营就像一个新手用不同材料制成的子弹瞄准目标，希望一些(如果不是全部)能坚持下来。

不管是好是坏，自动化时代带来了智能机器，它们正在越来越多的领域挑战人类的优势。大数据、机器学习和自动化现在正不经意地帮助企业每天做出高效、更智能的决策。

数据驱动的经济

大数据正在对全球经济产生重大影响。到 2021 年，全球大数据市场预计将增长至* 670 亿美元。根据 Andreessen Horowitz 的说法，世界上 90%的数据都是在过去的二十年里产生的。如今，每天都有 2.5 万亿字节的数据被创建出来，而且这一速度在未来几年还会加快。事实证明，学习如何理解这些海量数据对各种规模的企业都大有裨益。欢迎来到数据驱动的经济，在这个经济中，所有伟大的商业决策都是由数据驱动的。

对企业的好处

随着数据以如此快的速度增长，企业主适应数字化转型变得前所未有的重要。这是每个企业家在未来几年必须了解的事情，以便他们能够找到充分利用大数据潜力的方法，并最大限度地提高生产力和投资回报。

大数据可以为企业带来巨大好处的几种方式有:

• 快速获得更准确的答案

对于一个企业家来说，一个简单的问题，比如“谁是我的 10 个最好的客户？”可能需要几个月的研究才能找到答案。一个业务团队可能需要 60 天或更长时间来分析一切，以得出此类问题的最佳答案，即使这样，它也可能是非常错误的。但是，在强大的大数据商业智能解决方案的帮助下，回答这些问题只需几个小时。大数据的最大好处之一是能够更有力地提问和回答问题。整个回答复杂问题的过程可以从几个月缩短到几天甚至几分钟。

• 更好地了解消费者并预测他们的行为

"到 2025 年，将有超过 150 兆字节(150 万亿千兆字节)的数据需要分析."— 福布斯

市场研究是受益于大数据革命的一个领域。对大型数据集和尖端云技术的可访问性使公司能够在短短几分钟内收集和分析超过一百万条信息。预测分析和深度学习的进步进一步简化了这一过程，使企业能够提高其营销战略的成功率。然而，许多消费者数据是无用的，因此关键是通过研究转化的客户类型和迫使他们进行购买的行为因素来收集正确的数据。

通过显示消费者购物和与企业互动的模式，数据还可用于预测消费者行为。通过确定客户需要什么以及何时需要，可以利用这一点为客户提供相关的解决方案。这种大数据应用最常被引用的例子可能是塔吉特如何在一名少女的父亲怀孕之前发现她怀孕了。

• 探索趋势

谷歌是世界上最大的数据农业公司之一，它提供谷歌趋势，允许用户根据术语或关键字搜索热门趋势。有了这样的工具，公司可以很容易地找到合适的模式，这有助于他们构建未来的产品。

• 目标广告

“经过多年的谨慎热情，营销和广告技术部门现在能够大规模接受大数据。”安德鲁奖章

企业在投放广告中损失了数百万美元，结果证明是灾难性的。当人们很少或根本不关注研究阶段时，就会发生这种情况。大数据可以让公司在开展新活动之前获得准确的客户洞察，从而节省人力资源。这一过程是通过广告商和营销人员使用的类似方法进行的，包括监控客户的在线活动、销售点交易和客户趋势的变化。结果，最终的活动变得更有针对性，只针对正确的受众。

• 风险管理——用准确的数据增强信心

不管是哪个行业，风险管理计划对任何企业来说都是一项重要的投资。能够预见潜在的风险并在风险发生前降低风险对于企业保持成功至关重要。事实证明，大数据分析在开发卓越的风险管理解决方案方面发挥了重要作用。这些解决方案允许企业对他们经常面临的风险进行量化和建模，然后使他们能够做出更好的决策，以创建更智能的风险缓解策略。

对消费者的好处

如今，大数据完全是为了增强客户体验。从向用户推荐他们想看的节目到建议购买的产品，数据正在让公司在你能想到的每个领域赢得人心。事实上，消费者现在 期望 品牌监控他们的在线活动，以便他们能得到更好的服务。

Big data is watching — for good!

以下是大数据向未来消费者承诺的更多好处:

• 更智能的个性化购物体验

智能聊天机器人、虚拟造型师和类似的产品推荐是大数据革命带来的众多创新中的几个。欢迎来到客户时代，在这个时代，各公司都在努力通过数据的力量为客户提供卓越的客户体验，从而让客户满意。

• 降低成本，获得更好的交易

利用数据进行有针对性的营销，不仅能为客户提供相关优惠，还能帮助企业降低产品和服务的价格。向 20 万目标明确的潜在客户发送电子邮件的成本与向整个城市进行营销的成本相比，可能会对公司提供的产品和服务的总成本产生重大影响。因此，对于各种规模的企业来说，数据都是降低成本的重要工具。

• 通过消费者偏好的渠道改善沟通

未来，大数据和自动化承诺客户可以在一天中的任何时间，通过他们首选的渠道，在他们首选的设备上，更快地响应他们的查询。

数据驱动的世界

这仅仅是大数据能够为世界带来什么的开始。数据永不停息，每一秒钟都在继续增长，随之而来的是数据造福人类的可能性越来越多。随着技术的不断进步，越来越多的组织越来越容易获得数据。因此，这些组织有责任确保信息技术在未来以最佳方式为消费者服务。

差异中的差异方法实践指南

原文：https://towardsdatascience.com/does-minimum-wage-decrease-employment-a-difference-in-differences-approach-cb208ed07327?source=collection_archive---------11-----------------------

实验和因果推理

卡德和克鲁格论文的翻版:“工资上升，就业率下降？”

Photo by Dean Nahum on Unsplash

执行摘要

• 在完全竞争的市场中，传统经济理论预测最低工资的增加会导致失业率上升。
• 横断面研究提供了相互矛盾的证据，但不是因果关系。
• 卡德和克鲁格采用了一种 DID 方法，发现工资增长会带来更高的就业率。

Photo by Alexander Mils on Unsplash

前言

在这篇文章中，我将复制 Card 和 Krueger 的论文，一步一步地解释，并补充关于准实验设计的定义、假设、R 代码和潜在结果框架解释的附加信息。

什么是准实验？

准实验设计是一种没有真正随机化过程的实验设计。由于缺乏随机分配，治疗组和对照组在干预前是不相等的。因此，这两组之间的任何差异都可能是由先前存在的差异造成的。

这种准设计受到了政策分析师、医疗保健提供商和直接面向消费者的公司(特别是网飞和 Airbnb)的欢迎。

为什么是准实验设计？

在其他帖子中，我解释了实验研究的好处，以及如果可能的话，为什么它们应该是因果推断的首选。那么，我们为什么不一直进行实验呢？

很棒的问题！一个简单的答案是，实验设计对某些类型的问题并不适用。例如，将人们随机分配到可能损害他们健康的危险环境(如吸烟)是不道德的。

在政策领域，我们不能随意指定加州而不是纽约获得新的税收优惠。

此外，在实验设计中，实验组和对照组之间存在溢出效应。网飞没有对某些类型的问题进行 A/B 测试，而是依靠准实验性的解决方案(在本文中，网飞解释了为什么 A/B 测试并不总是可行)。

在这种情况下，当完全成熟的实验研究不可行时，准设计就派上了用场。

“准实验的结果不会像 A/B 那样精确，但我们渴望对因果关系进行定向解读。”

— — 科林·麦克法兰 ，迈克尔·波，朱莉娅·格里克@ 网飞

Photo by Christian Regg on Unsplash

背景

1989 年 11 月签署成为法律的一项法案将联邦最低工资从每小时 3.35 美元提高到 3.8 美元，于 1990 年 4 月 1 日生效，并于 1992 年 4 月 1 日从每小时 4.25 美元进一步提高到 5.05 美元。新泽西州经历了工资上涨，但宾夕法尼亚州没有。戴维和克鲁格在涨价前后进行了两轮调查。

一个简短的时间表可能有所帮助:

1. 1992 年 2 月和 3 月:第一轮调查
2. 1992 年 4 月:新泽西州最低工资从 4.25 加元提高到 5.05 加元
3. 1992 年 11 月和 12 月:后续调查

以下是我们运行准设计的原因。#1 新泽西和宾夕法尼亚在很多方面没有可比性。#2 立法过程不是随机的。

然而，我们可以根据 DID 方法确定工资增长对失业率的因果影响。

准实验设计不需要同等组。

潜在成果框架 分析研究

这是注释。设 D 代表是否接受治疗，T 代表时间，I 代表研究对象数量。

Di = 1:新泽西接受待遇(最低工资增加)

Di = 0:宾夕法尼亚州不接受治疗

T=1:工资增长后(1992 年 11 月和 12 月)

T=0:工资增长前(1992 年 2 月和 3 月)

y:结果变量(失业率)

I made this

Based on the poor handwriting, it’s my credits.

有一个潜在的问题。我们不知道对照组(宾夕法尼亚州)如果接受治疗会有什么表现(missing E[Y0i(1)| D = 1】)。

我们可以用 DID 的方法解决这个问题:

****ATTE[Y1(1)—Y(0(1)| D = 1]=

{ E[Y(1)| D = 1]—E[Y(1)| D = 0]}—{ E[Y(0)| D = 1]—E[Y(0)| D = 0]，假设*行趋势。

*行趋势假设意味着如果没有治疗，治疗组和对照组之间的差异将保持不变。在这种情况下，如果没有工资增长法，新泽西州和宾夕法尼亚州的就业率之间的差异将是相同的。

R 分析:

**# Credits to Jonathan Mummolo**d <- read.csv(“wage_data.csv”,convert.factors = FALSE)
head(d[, c(“ID”, “nj”, “postperiod”, “emptot”)])with(d, 
 (
 mean(emptot[nj == 1 & postperiod == 1], na.rm = TRUE) — mean(emptot[nj == 1 & postperiod == 0], na.rm = TRUE) 
 )-
 (mean(emptot[nj == 0 & postperiod == 1], na.rm = TRUE) — mean(emptot[nj == 0 & postperiod == 0], na.rm = TRUE)
 )
)ols <- lm(emptot ~ postperiod * nj, data = d)
coeftest(ols)

为了控制地区和时间差异，我们可以建立一个固定效应回归模型，该模型具有单位和期间固定效应。

#A set of estimators and tests for panel data econometrics
library(plm)
library(lmtest)
d$Dit <- d$nj * d$postperiod
d <- plm.data(d, indexes = c("ID", "postperiod"))
did.reg <- plm(emptot ~ postperiod + Dit, data = d,model = "within")
coeftest(did.reg, vcov=function(x)
#Heteroskedasticity-Consistent Covariance Matrix Estimation
vcovHC(x, cluster="group", type="HC1"))

****

The original paper, Table 3

在将其与原始表进行比较后，我们成功地复制了结果！

原文是这里的。

复制数据集在这里是。警告:这是原始数据，我们需要处理它进行分析。

Medium 最*进化出了自己的 作家伙伴计划 ，支持像我这样的普通作家。如果你还不是订户，通过下面的链接注册，我会收到一部分会员费。

** [## 阅读叶雷华博士研究员(以及其他成千上万的媒体作家)的每一个故事

作为一个媒体会员，你的会员费的一部分会给你阅读的作家，你可以完全接触到每一个故事…

leihua-ye.medium.com](https://leihua-ye.medium.com/membership)**

喜欢读这本书吗？

请在 LinkedIn 和 Youtube 上找到我。

还有，看看我其他关于人工智能和机器学习的帖子。

薪酬会影响科技行业的忠诚度吗？简单数据可视化研究。

原文：https://towardsdatascience.com/does-pay-impact-loyalty-in-tech-a-study-in-simple-data-visualization-f15e93659a6d?source=collection_archive---------28-----------------------

旧金山的技术领域以敏捷著称:公司转向，产品更新，员工跳槽。为一家公司工作，当员工达到一年或两年的纪念日时，该公司会庆祝他们，这种情况并不少见。这种情况不仅发生在初创公司(通常只有几年历史)，也发生在大型企业。由于劳动力市场的泡沫化，员工们已经习惯了每周(如果不是每天的话)来自脸书招聘公司、合同招聘公司和代表他们投资的风投公司的连珠炮。

看来招聘人员才是这个行业的真正赢家:因为挖人而获得奖励，但很少因为留住员工而获得奖励。但是肯定有一些公司已经想出了如何留住员工，从而停止无休止的 LinkedIn 挖掘、电话筛选、杠杆审查循环，这些循环会消耗团队的时间。

带着这样的想法，我很兴奋地偶然发现了去年围绕这个问题发布的调查数据。Blind 是一款应用程序，时尚、大型科技公司的员工可以匿名参与讨论话题。在本次调查中，Blind 要求用户二对两项陈述做出回应:

1. 我得到了公*的补偿
2. 我对换工作/换公司感兴趣

然后，他们获取这些用户的雇主，并提供汇总结果。请记住，这是对非代表性员工样本的自愿调查数据，发现公司之间的差异仍然很有意思。Blind 将此描绘成一个堆积条形图。

虽然这张图有它的优势，你可以很快找到一家公司，并看到它在哪里，但我发现它(以及后来的出版物: BI 、 Inc 、 Dice 、 SFGate )在传达任何真正的洞察力方面令人失望。充其量，这是一张记分卡，告诉我们一家公司最终在哪里，但没有告诉我们为什么他们可能会在那里。

所以我深入研究了一下数据。首先，公司回应的分布讲述了一个有趣的故事。

在左侧，我绘制了一个直方图，显示了公司数量以及员工/受访者对“薪酬合理”这一说法的认同程度。大多数公司位于 40-70%的范围内，中间值正好是 50%。这意味着，大多数公司的“典型”感觉大致相当:员工(作为一个群体)没有被利用的感觉，也没有沉浸在薪资满足感中。

右边是“换公司”的柱状图。在这里，图表严重向右移动，中间值接* 70%。很少有公司的价值低于 50%。这意味着几乎所有 T2 主要科技公司的大多数员工都在考虑离开 T3！

但是这些有联系吗？换句话说，付更多的钱会让人呆得更久吗？虽然这里真正的黄金标准是进行一项受控实验(随机挑选一半的员工，提高他们的工资，监控留用情况)，但我们仍然可以从盲目的数据中梳理出一些要点。

盲目地试图用一个双条形图来解决这个问题，该图筛选出了 30 多家公司中的 10 家，但我发现它太忙了，没有时间吸取任何教训。

通过将数据转换成散点图，每个公司用“公*补偿”协议(x-轴)与“考虑改变”(y-轴)来绘制，一些趋势开始出现。您可以将鼠标悬停在各个点上来查看公司。

很快你就能看到一个强烈的下降趋势，员工感觉收入高的公司很少有员工考虑离职。相关性在-0.59 处相当强。

因此，薪酬有着强烈的影响，这可能对我们大多数人来说并不奇怪。在网飞，几乎每个人的工资都很高(88%的人同意)，很少有人有兴趣离开(27%)，而在另一端，惠普企业(HPE)有工资问题(13%)和挽留问题(91%)。

但我会走得更远:你必须支付高薪来留住你的团队。这些调查数据显示，没有一家公司找到了留住人才的廉价良方；尽管所有的工作都是关于使命宣言，健康计划和战利品。一般来说，每个有薪酬差距的公司都有很高的变化考虑。

该图还显示，感觉收入丰厚的员工(图的右侧)仍然有很高的辞职率。在极端情况下，NerdWallet 受访者是对薪酬最满意的人之一(78%的人同意“我得到了合理的补偿”)，但也是最不想留下来的人之一(90%的人同意“我想换工作/公司”)。Intuit 和 LinkedIn 的薪酬协议相似(分别为 61%和 63%)，但 Intuit 的员工对离职的兴趣是 LinkedIn 的两倍(80%，LinkedIn 的 40%！).光靠高薪是不够的！

让你的公司在稳固的薪酬满意度上似乎是一个必要的，但不是充分的，解决员工保留的策略。在 SF tech 的旋转门文化中，它应该被认为是桌面上的标杆。我会从检查你的员工的脉搏开始:如果大多数人觉得他们早就该加薪了，那就等着看他们定期离开吧。

一些必须的脚注:

感谢盲人做调查。这是一个伟大的公关举措，我从来没有听说过这家公司，直到我听的一个播客选择了这个调查作为一个故事。

但是没有一个内容营销驱动的调查是完美的。数据现在已经有一年多了(所以我猜脸书已经看到了“对改变感兴趣”的增加……)，并且对盲人用户有反应偏差和选择偏差。我可以想象一个系统性的问题，即正在考虑换工作的员工与盲人接触，以更多地了解其他公司。最重要的是，我使用的数字是我对盲人图表的手动解释。这将是很酷的，看看如何比较，比如说，玻璃门审查和工资数据。

最后，我将我的数据和 python 分析笔记本存储在 github 中，如果有人有兴趣的话。

你的产品有用吗？

原文：https://towardsdatascience.com/does-your-product-actually-work-5fe8134c5144?source=collection_archive---------25-----------------------

随机对照试验、不完全依从性和反事实时间机器

我们开发软件来解决人类的问题。但是人类的问题可能是混乱的，有时并不十分清楚我们是否真的解决了它们。

Snapchat 可能会说，如果他们看到 50%的普通用户检查他们的新狗过滤器，他们就成功了，脸书可以说，他们已经打破了他们的增长里程碑，显示他们已经实现了超过 23 亿的月活跃用户。

但是，当你的应用程序被设计成帮助会员应对焦虑时，你的接受标准是什么？当你的软件被构建来培养正念时，你能监控什么标准？

或者，以我的公司为例——甚至——我们如何判断我们是否对会员的财务健康产生了影响？

我们与我们的移动应用高度互动，我们已经向我们的会员发送了价值超过 10 亿美元的工资，我们还自动为他们在雨天账户中节省了数百万美元。这些都是值得庆祝的事情。

但这还不够。

我们更直接关心的是，我们的产品是否能在物质上改善我们会员的生活。作为一名致力于了解我们功效的数据科学家，这基本上是我所关心的全部。

这是从度量优化到更像科学实验的地方。我需要了解的是我们的*均治疗效果——也就是我们在用户生活中造成影响的预期值。

为了解释我如何做到这一点，我将深入一种因果分析，这种分析被朱迪亚·珀尔在他的奇幻书和本文(与亚历山大·巴尔克合著)中分解。

如果你是数据驱动型组织的一员，在这个组织中跟踪应用程序的使用模式相对容易，那么这种分析与执行涉及产品对用户影响的实验高度相关。即便如此，我还没有看到甚至是最学术性的科技研究使用我将要深入探讨的那种思维。

快速警告:深度潜水将涉及一点科学方法、许多概率论、一点 Python 和一点线性编程。你不需要成为任何一个主题的专家来理解我将要讨论的内容，但是这几乎肯定需要一些时间，努力，也许还需要一些背景阅读。

不过，我向你保证，这很酷，值得一试。

让我们从科学复习开始:随机对照试验。

随机对照试验

相关性不是因果关系——我们感兴趣的是因果关系。我们希望让成员的生活得到改善。不过，在我开始宣扬“因果关系”之前，先定义一下它是有用的。的反事实定义是我个人认为最清楚的一个:

事件 A“引发”了事件 B，当且仅当，我们把事件 A 从历史中删除，事件 B 就不会发生。

成为一个原因就是成为引发连锁反应的多米诺骨牌，成为引爆炸丨药的导火索。如果你消除了这个原因，无论发生什么都不再发生了。

为了研究因果关系，我们可以去除我们认为是因果关系的东西，看看它的影响是否仍然存在，其他一切都是一样的。这就是“受控试验”试图做的事情。

我们自然一直在做对照试验。想想你上一次尝试安装一盏新灯，却发现它不起作用。你是如何着手解决这个问题的？

你可能对哪里出了问题有一些想法。灯泡可能已经烧坏了。或者你插的插座是个哑弹。

让我们取其中的一个想法，正式称之为我们的假设。

假设:插座不起作用，这意味着没有电力可以到达灯泡，它不能点亮。

我们如何检验这个假设？嗯，我们有一个试验，我们尝试了当前的插座，插座 a。这是我们的治疗试验——我们用我们认为导致我们最终黑暗和沉闷状态的输入来治疗我们的系统。

现在我们需要一个控制试验——我们把插座 A 换成一个我们知道有效的插座:插座 B，它已经忠实地为我们的手机充电几个月了。系统中的一切都保持不变，除了插座。

在我们进行这个试验之前，让我们尽可能正式地设计这个实验。我们寻找的是插座 A 对房间照明的*均处理效果(ATE)。

Treatment Effect = The probability of a non-functional lamp given that we use Outlet A, minus the probability of a non-functional lamp given that we use Outlet B.

我们已经知道 P(黑暗|出口 A) = 1 。如果当我们将插座 A 与插座 B 交换时，房间仍然是黑暗的，那么 P(黑暗|插座 B) = 1 也是如此，因此 ATE = 0 。这意味着插座是我们问题的 0%原因。

但是，如果我们把灯插到插座 B 上，灯瞬间就亮了，那么 P(暗度|插座 B) = 0 ，我们的 ATE = 1。或者换句话说，插座 A 100%是我们问题的原因！

所以，让我们把灯插到插座 b 上。砰:

…Surprise! We were talking about a lava lamp this whole time. Now the living room of your imagination is just a tiny bit more whimsical. Source: Warisan Lighting

灯亮了；出口 A 是黑暗的原因。

问题解决了。

就像我说的，我们一直在做这种事情。对使用我们软件的人进行对照试验的复杂之处在于，其中涉及到一个特别棘手的变量:人。

虽然家用电器(通常)是完全确定的，但人却不是。没有一个人是相同的，他们使用你的产品的方式和对它的反应经常会让你吃惊。他们中的一些人会下载它并忘记它，一些人会每天登录。你的一些成员可能会从这个产品中得到帮助，但是——这是一个可怕但必要的想法——他们中的许多人可能会受到伤害。

当你的实验的一个输入变量如此多变时，你如何对你的产品进行受控试验？

这就是统计学介入的地方。我们不能再像在确定性系统中那样做单一的对照试验和单一的治疗试验。我们需要做数百次试验。成千上万。

每次试验将针对不同的人。重要的是，将一个人分配到控制或治疗条件的标准是完全随机的。这确保了在每种情况下的实验参与者的样本在总体上或多或少是相同的:他们将有来自每种性别、身高、收入水*、性格等的相同比例的人。不在审查范围内的因素的影响应该会互相抵消。

到目前为止，我们已经把相当多的片段放在一起:我们控制着一个单一的解释变量，并且随机化以减轻我们没有研究的一堆外生变量的影响。我们现在有了一个随机对照试验(T12)和一个研究什么导致什么的黄金标准(T13)。

但是故事还没有结束。我们可以将人分配到治疗状态(被分配使用你的产品的人)和控制状态(不使用你的产品的人)，但是谁敢说你的参与者真的会遵守你的分配呢？

谁能说你的治疗组的参与者真的会下载并使用你的软件，或者你的对照组的人不会在应用商店找到它并试用它？

当你不知道参与者是否真的接受了你的治疗时，你不能进行因果归因。所以。我们如何做到这一点？

处理不完全合规

让我们回顾一下我们在 RCT 的设置。

1. 我们将参与者随机分配到治疗组或对照组。
2. 他们可能决定服从他们的任务，这取决于一些不可观察的因素。
3. 他们会以某种方式对你的产品作出反应(或缺乏产品)，这取决于他们是否接受了治疗，以及一些不可观察的因素。

我们可以描述这些事件如何与贝叶斯网络相互作用，如下所述。

Bayesian Network description of an RCT: This diagram describes conditional dependences of the events we’d expect to see. Z is completely independent of anything else, since it’s done via random coin-flip. U is a catch-all variable for the whole universe of unknowns that affect X and Y, and is also conditionally independent from other variables. X would be conditionally dependent on Z and U. Y would be conditionally dependent on X and U.

我们将使用 Z 、 X 、 Y 和 U 符号来简写它们在该图中代表的随机变量。例如，当我们提到 Y 时，我们谈论的是参与者可能意识到的结果变量(或者是好的结果，或者是坏的结果)。使用小写字母， y ，表示随机变量的实际实现(例如 Good )。

这种图表只是一种方便的方式来描述我们可能如何计算一些联合的概率 Z 、 X 、 Y 、 U 配置(例如，“ Z = 治疗、 X = 真、 Y = 好、用象征性的术语来说，这个图表是在说:

根据图表/表达式，你或许可以说出一些直观的东西:

1. 知道 X = x 改变了 Y 等于特定 y 的概率。
2. 知道 Z = z 和/或 U = u 改变 X 为特定 x 的概率。
3. 知道 Z = z 不会给我任何关于 u 值 U 可能是什么的额外信息。

我们所做的就是在这里捕获条件依赖。

然而，我们的最终目标是能够计算出*均治疗效果，即:

i.e: The probability of having a good outcome given that we force a participant to take the treatment, vs. the probability of a good outcome given that we force them not to take the treatment. This difference is the ‘goodness’ directly attributable to our intervention

注意那个 do() 操作符，那里。也就是说，我们想知道当我们迫使 X 进入特定状态时，好结果的概率是多少——而不仅仅是被动地观察它。

问题是，在 RCT，我们从来没有强迫任何人做任何事情。我们让参与者接触到产品，然后他们想做什么就做什么。我们能做的就是被动观察！

有鉴于此，一个幼稚的方法可能是宣布: