2.谷歌云账户

该机器人使用一些谷歌云 API 来展示其魔力:

• 用于单词发音的文本到语音转换 API
• 用于检查用户发音的语音到文本 API
• 翻译 API，用于将英语转换为选择的语言

最棒的是，谷歌云为新注册用户提供了 300 美元的免费试用版，而且上述 API 大部分都是免费的，所以你可以免费试用。

本地设置

要在您的本地环境中设置 bot 进行测试，您只需要 5 个简单的步骤。

1.启用 API

我们三个火枪手的截图

2.创建存储桶

语音转文本 API 需要一个 Google 云存储桶来读取文件。因此，要创建一个 bucket，请前往 Google Storage 并创建一个。不要担心许多选项，您可以只保留默认设置。记下存储桶的名称，因为我们稍后会用到它。

3.下载服务帐户密钥

为了让我们从本地环境与 Google Cloud 交互，我们需要一个服务帐户密钥。

首先，创建服务帐户密钥。在“授予此服务帐户对项目的访问权限”下选择角色时，选择基本- >所有者。您可以跳过创建服务帐户的第 3 步。

之后，您可以创建一个密钥，并作为 JSON 下载到您的本地环境中。记下保存文件的目录。

4.Git 克隆并安装必要的包

这里的码基是这里的。Git 克隆到您的本地环境。

git clone [https://github.com/jiahao87/sensei_bot.git](https://github.com/jiahao87/sensei_bot.git)

必要的包列在 requirements.txt 中。在创建新环境并相应地安装软件包之前，将目录切换到 sensei_bot 文件夹。

pip install -r requirements.txt

5.安装ˌ使成形

我们的最后一步是将我们的配置输入到代码库中的 config.py 文件中。

相应地填写 BOT_TOKEN 、GOOGLE _ APPLICATION _ CREDENTIALS和 BUCKET_NAME 。

完成最后一步后，我们现在可以通过运行我们的主脚本 app.py 来启动我们的机器人。

python app.py

如果一切正常，您应该会看到类似下面的消息，并且您可以开始在 丨t丨e丨l丨e丨g丨r丨a丨m丨s丨 中与您的机器人进行交互。😄

Google 云设置

除非你计划 24/7 全天候开启你的电脑，否则你需要通过三个简单的步骤将你的机器人托管在云中

1.设置虚拟机(VM)

我们的第一步是通过谷歌云控制台设置一个计算引擎虚拟机实例。

b)启动谷歌云壳

您应该会在控制台页面的右上角看到一个类似于下面红框中按钮的按钮。点击它，会弹出一个终端。我们将使用这个终端来启动我们的虚拟机。

c)创建一个计算引擎虚拟机实例

将以下内容复制并粘贴到 Google Cloud Shell 中，创建一个名为 sensei-bot 的 VM 实例。

gcloud compute instances create sensei-bot \
--machine-type f1-micro \
--zone us-central1-a \
--image-family ubuntu-1804-lts \
--image-project ubuntu-os-cloud \
--scopes [https://www.googleapis.com/auth/cloud-platform](https://www.googleapis.com/auth/cloud-platform)

2.启用 API 并创建云存储桶

对于步骤 1 和步骤 2 ，遵循本地设置下的先前步骤。如果您已经这样做了，请随意跳过这一步。

3.Git 克隆和配置

让我们通过 SSH 进入我们的 sensei-bot 实例来配置我们的 VM。

转到计算引擎页面并为您的实例点击 SSH 按钮。您的 VM 实例的终端应该会弹出。

键入以下脚本来安装包并 git 克隆我们的代码库。

sudo apt update
sudo apt-get -y install python-dev build-essential
sudo apt -y install python3-pip
python3 -m pip install -U pip
export PATH="$HOME/.local/bin:$PATH"
pip3 install --upgrade setuptools
sudo apt-get -y install ffmpeg tmux
git clone [https://github.com/jiahao87/sensei_bot.git](https://github.com/jiahao87/sensei_bot.git)
cd sensei_bot
pip3 install -r requirement.txt

输入您的 BOT_TOKEN 和 BUCKET_NAME 修改 config.py :

nano config.py

由于我们的实例在 Google Cloud 本身中，我们已经在gcloud compute instances create脚本中提供了允许访问云 API 的指令，所以我们可以将Google _ APPLICATION _ CREDENTIALS保持不变，作为 None 。

修改完 config.py 后，按Ctrl+x y Enter保存修改并退出编辑器。

通过执行以下命令，使用 tmux 打开一个新窗口:

tmux

您现在可以通过运行以下命令来启动您的 bot:

python3 app.py

其他配置

为了让机器人真正个性化，我们在 config.py 中添加了一个名为 丨t丨e丨l丨e丨g丨r丨a丨m丨s丨_ID 的参数，只允许指定的用户与机器人对话。毕竟，即使云 API 是免费的，也有一个配额，你不会想因为别人在和你的机器人说话而超过这个配额。

想知道你的电报 ID，可以看看这个 wikiHow 。

但是，请注意，这并不是为了生产级的安全性，尽管它满足了我们的目的。

发送给未授权用户的消息截图

最后，人们也可以探索将 LANGUAGE_CODE 和 TEXTTOSPEECH_NAME 改为其他语言。你可以在这里看到谷歌支持的语言。根据语言的独特特征，可能需要对代码进行一些修改。

通过上面的指南，我们希望你现在能够在本地和谷歌云上部署你的个人机器人来学习新的语言。也可以随意修改代码，因为可以添加更多的功能，例如每天通知新单词/短语，甚至让机器人成为高级语言学习者的会话。

感谢阅读，我希望这篇文章是有用的:)也请随时评论您可能有的任何问题或建议。

参考

https://core.丨t丨e丨l丨e丨g丨r丨a丨m丨s丨.org/bots

Python 3.8 中的 Hessian 矩阵和优化问题

原文：https://towardsdatascience.com/hessian-matrix-and-optimization-problems-in-python-3-8-f7cd2a615371?source=collection_archive---------6-----------------------

如何在没有 TensorFlow 或 PyTorch 的情况下执行经济优化

建议

与 Python 3.8 的兼容性测试，在 MacOS 11.3 和 Linux Ubuntu Server 20.04 LTS 环境下执行。

使用的库:Numpy，Sympy。

pip3.8 install numpy sympy

Hessian 矩阵用于牛顿型方法中的大规模优化问题，因为它们是函数的局部泰勒展开的二次项的系数。偏导数在经济学中扮演着重要的角色，在经济学中，大多数描述经济行为的函数都假设经济行为取决于不止一个变量。例如，一个社会消费函数可以描述消费商品的花费取决于收入和财富；边际消费倾向就是消费函数相对于收入的偏导数。

Hessian 矩阵也通常用于在图像处理和计算机视觉中表达图像处理算子(参见高斯拉普拉斯(LoG)斑点检测器)。海森矩阵也可以用于正常模式分析，以计算红外光谱中不同的分子频率。

由christofer engstrm在 Unsplash 上拍摄的照片

数值函数的 Hessian 矩阵是其二阶偏导数的方阵，记为 H(f)。在数学中，多变量函数的偏导数是它对其中一个变量的导数，其他变量保持不变。

示例:

梯度向量可以解释为“最快增加的方向和速率”。

如何用 sympy 求偏导数？

如果函数的梯度在点 p 不为零，梯度的方向就是函数从 p 增加最快的方向，梯度的大小就是那个方向的增加率，最大的绝对方向导数。

在有序集合 E 中，部分 A 的一个元素是 A 的最大元素或最大值，如果它属于 A 并且大于 A 的任何其他元素。对于有序集合的任何部分，最大值的存在通常是不确定的。另一方面，在存在条件下，这样的元素是唯一的。类似地，最小元素或最小值(如果存在的话)是比的任何其他元素都小的的元素。

目标是通过求解以下方程来确定最大或最小候选值:

Python 3.8 中的实现非常简单，需要 Sympy 库中的“solve”函数。

现在，我们需要执行二阶导数来获得 hessian 矩阵:

顺便说一下，这是程序的主要功能，它仲裁所有指令块之间的变量分配:

在我们的程序中，我们将施瓦兹定理应用于多变量函数的二阶偏导数，使得:

然而，我们不会证明这个定理，也不会试图在本文中解释它。下面是一个 numpy.matrix 格式的 hessian 矩阵示例，用于函数:

Hessian matrix that organizes all the second partial derivatives of the function x**2–1.5*x*y + y**2 is : 
[[2 -1.50000000000000]
[-1.50000000000000 2]]Determinant in the critical point {x: 0.0, y: 0.0} is : 1.75000000000000

行列式是一个标量值，它是一个方阵的元素的函数。

它允许表征矩阵和由矩阵表示的线性映射的一些属性。特别地，行列式非零当且仅当矩阵可逆，且矩阵所表示的线性映射是同构的。

因此，对于正半定和负半定 Hessian，该测试是不确定的(Hessian 半定但不确定的临界点可能是局部极值或鞍点)。

图片由 Louis Brulé Naudet 提供。

在我们的例子中，对于临界点(0；0)，行列式为 1.75 > 0，f'xx > 0，那么，临界点是一个局部极小值，所以函数是严格凸的。

Tensorflow 或其他机器学习库无疑是强大的，但它们仍然过度消耗资源，并且可能成为低性能机器的障碍，本文旨在解释一种构建 Hessian 矩阵的新方法，使用一种更轻便的科学计算工具:sympy。

Louis Brulé Naudet 拥有巴黎萨克莱大学的法律和经济学/管理学双学位。

回归模型中的异方差性

原文：https://towardsdatascience.com/heteroscedasticity-in-regression-model-21d9f5a93e59?source=collection_archive---------6-----------------------

使用统计模型检查异方差性

图片来自 Unsplash

简介

通常，回归分析是对可能具有跨不同自变量值的高方差的内置特征的数据进行的。这类数据的一个缺陷是异方差，它表示拟合值周围的可变方差。当我们观察异方差时，通常需要验证模型，有时在这种情况下回归数据可能不可靠。

什么是异方差？

当我们执行回归时，数据点分散在拟合线周围。对于一个好的回归模型，散射应该尽可能小。当散射是均匀的时，这个模型称为均匀散射模型。如果不是，模型就是异方差的。典型的异方差分布类似于锥形，如下所示

异方差数据的锥形分布。作者图片

从上图可以看出，很明显，在独立变量(n)的值较低时，散射非常紧密，而当 n 的值较高时，方差较高。

什么原因导致异方差？

大多数情况下，数据本身就是这种锥形分布的原因。有时，因变量的方差在整个数据集内变化且不恒定是很自然的。例如，在时间序列数据的情况下，因变量的初始值可能非常接*，但在最*的时间内，分散可能会扩大。在 20 世纪 50 年代，美国所有 50 个州的苹果价格可能非常相似，但在最*一段时间可能会有很大差异。换句话说，最*的数据点之间的变化可能比早期数据之间的变化更大。

用 python 实现

对于上面显示的数据集，我们可以通过使用 python 的 statsmodels 库来检查异方差性。 Statsmodels 包含 het_white 模块，这是针对异方差性的 white 拉格朗日乘数检验。文档显示可以对任何样本数据进行测试，输出 p 值作为异方差检验的指标。零假设取为“残差数据无异方差”。

让我们先检查一下同质数据。

拟合线周围的均匀散射。作者图片

我创建了一个合成数据集作为异方差数据的样本。

拟合线周围的非均匀散射。作者图片

我们可以对这个数据进行 White 的检验1来检验是否存在异方差。

作者图片

在这种情况下，p 值非常小，因此我们拒绝零假设，并确认数据集中存在潜在的异方差。

修正异方差

异方差使得回归模型不太可靠，因为残差不应该遵循任何特定的模式。为了使模型稳健，散射应该在拟合线周围是随机的。处理异方差的一个非常流行的方法是转换因变量【2】。我们可以对变量执行对数转换，并用 White 的测试再次检查。为了演示，我们删除了 y 轴上的一些低值。

转换变量。作者图片

作者图片

当进行怀特检验时，p 值变高，表明数据变得同方差。然而，当执行数据转换时，原始数据的定义不再存在，而是被新的变量所取代。

结论

异方差会降低回归模型的稳健性。本质上，预测误差因自变量的不同范围而异，表明模型并不完美。在本文中，我们使用 statsmodel 演示了异方差的原因及其在 python 中的检测实现。在进行任何回归分析后，应始终检查残差图，并确保残差的可变性不遵循任何模式，或者换句话说，残差的散布应在整个回归线上是均匀的。

Github 页面

参考文献

1 异方差没什么可怕的

[2] 多元回归分析中的异方差性:什么是异方差性，如何检测异方差性，如何解决异方差性，以及在 R 和 SPSS 中的应用

Python 的隐藏宝石

原文：https://towardsdatascience.com/hidden-gems-of-python-76020b14e42f?source=collection_archive---------1-----------------------

我甚至不知道 Python 有哪些特性

由 Unsplash 上 Ksenia Makagonova 拍摄的照片

这些天我有了一个新的消遣——阅读 Python 文档只是为了好玩！当你在闲暇时阅读一些东西，你会注意到一些有趣的花絮，否则你会错过的。所以，这是让我“哦！你可以用 Python 来做吗？”

1.功能属性

类似于设置类和对象的属性，也可以设置函数的属性。

我们在第 10 行设置了属性‘optional _ return ’,在第 11 行设置了属性‘is _ awesome’。在后面的第 19 & 20 行中，我们已经在函数之外访问了这些属性。代码的输出将是:

Final answer is 2197
Show calculations --> 13
Is my function awesome? --> Yes, my function is awesome.

当您希望选择检索某个中间变量，而不是在每次调用函数时用 return 语句显式返回它时，这就很方便了。还要注意，属性可以从函数定义内部或从函数定义外部设置。

2.For-else 循环

在 Python 中，可以为循环的添加一个 else 子句。只有在执行过程中在循环体中没有遇到 break 语句，才会触发 else 子句。

All elements at least 3 letters long

注意 else 对于缩进在的层次上，而对于不在的层次上。这里，没有元素的长度短于 3。所以，永远不会遇到 break 语句。因此， else 子句将被触发(在循环的被执行后)并打印如上所示的输出。

有人可能会说，这可以通过使用一个单独的变量来实现，该变量跟踪是否遇到了 break 语句。也许它也能减少下一个阅读代码的人的困惑。以下是实现相同结果的等效方法:

不过，我想知道还是好的。

3.“int”的分隔符

很难在视觉上区分 10000000 和 10000000 这样的整数(它们甚至是不同的数字吗？).我们不能像在英语中一样在 Python 中使用逗号，因为 Python 会将其解释为多个整数的元组。

Python 有一个非常方便的处理方法:我们可以使用下划线来提高可读性。因此，1_000_000 将被解释为单个 int 。

<class 'int'>
<class 'int'>
True

4.eval()和 exec()

Python 能够动态读取一个字符串，并像处理一段 Python 代码一样处理它。这是通过使用 eval ()和 exec ()函数实现的(‘eval’用于评估表达式，‘exec’用于执行语句)。

b = 5
c is 9

在第 3 行， eval ()函数将输入字符串作为 Python 表达式读取，对其求值，并将结果赋给变量‘b’。在第 6 行， exec ()函数将输入字符串作为 Python 语句读取并执行。

您甚至可以将动态创建的字符串传递给这些函数。例如，您可以创建 1000 个名为 x_0，x_1，…，x_999 的变量，而不必在代码中手动编写每个变量声明。这可能看起来像是一个完全没有意义的特性，但事实并非如此。

在更广泛的编程环境中，不仅仅是 Python，eval/exec 的使用非常强大，因为它允许您编写动态代码，使用运行时可用的信息来解决甚至无法在编译时表达的问题。[……]exec 实际上是嵌入在 Python 中的 Python 解释器，因此如果您有一个特别难解决的问题，您可以解决它的方法之一是编写一个程序来编写一个程序来解决它，然后使用 exec 运行第二个程序。

你可以阅读更多史蒂文·达普拉诺的美丽解释。

5.省略

省略号或“…”是 Python 的内置常量，类似于无、真、假等内置常量。它可以以不同的方式使用，包括但不限于:

5.1 未成文代码的占位符

与 pass 类似，省略号可以在代码没有写完整时用作占位符，但需要一些占位符来保证语法准确性

5.2 替代'无'

当想要表示一个空的输入或返回时，通常选择 None。但有时 None 可以是函数的预期输入或返回之一。在这种情况下，省略号可以作为占位符。

给定 n，函数 nth_odd() 计算第 n 个奇数。给定第 n 个奇数，函数 original_num ()计算原始数 n。这里， None 是函数 original_num ()的预期输入之一，因此我们不能将其用作参数 m 的默认占位符。代码的输出将是:

This function needs some input
Non integer input provided to nth_odd() function
9 is 5th odd number
16 is not an odd number

5.3 NumPy 中的数组切片

NumPy 使用省略号对数组进行切片。下面的代码显示了分割 NumPy 数组的两种等效方法:

[ 0  2  4  6  8 10 12 14]
[ 0  2  4  6  8 10 12 14]

因此，'…'表示需要多少':'就有多少。

省略的布尔值

与无(的布尔值为假)相反，的省略号的布尔值被视为真。

TL；速度三角形定位法(dead reckoning)

总之，到目前为止我发现的有趣的特性是:

1. 函数属性:像对象一样给函数分配属性
2. For-else 循环:跟踪循环是否在没有 break 语句的情况下执行
3. int 的分隔符:32_534_478 是一个 int
4. eval ()和 exec ():将字符串作为 Python 代码读取并运行
5. 省略号:通用内置常量。

离别赠言

Python 不仅是一种有用的语言，而且是一种非常有趣的语言。我们在生活中都很忙，但是为了更好地了解这门语言并没有坏处。我很想知道一些你可能发现的复活节彩蛋。

资源

您可以在下面的 Python 文档页面上阅读更多关于我上面提到的内容:

1 功能属性

For-else

[3] 评估/执行

省略号

隐马尔可夫模型:综述

原文：https://towardsdatascience.com/hidden-markov-models-an-overview-98926404da0e?source=collection_archive---------15-----------------------

实践教程、行业笔记

有许多工具可用于分析顺序数据。隐马尔可夫模型(HMMs)是最简单、最灵活、最经得起时间考验的模型之一。它们最初是为信号处理而开发的，现在在生物信息学中无处不在。

在数据科学社区中，有一种倾向是支持像 LSTMs 这样的机器学习选项。虽然这些工具非常强大，但它们也是出了名的复杂和难以理解。因此，你经常会看到数据科学家努力使用复杂的方法，而简单的方法会更好。

本文旨在解决这一问题，让技术人员了解经常被忽视的 HMM 的概念和应用。在 Zeitworks 我们非常依赖最先进的机器学习技术，但作为经验丰富的数据科学家，我们也知道有时 HMM 是这项工作的工具。

激发真实世界的例子

以下是我使用 hmm 解决的一些问题:

1. 在zei networks我们使用计算机事件日志研究人类工作流程。其中一部分是获取用户的原始事件日志(击键、访问的 URL 等。)并确定他们每次都在做什么(背景研究、文档审查等)。).有时你可以孤立地从一个事件中猜测，但通常你也需要看看前后的事件才能有信心。
2. 你有一本小说中某一页的照片，你想将文本数字化。照片已经被分割成单词的图像。大部分都可以用 OCR 解码，但是有些字因为原页面上的污垢而模糊不清(那是“快”还是“嘎嘎”？).你想用周围的词来挑选最佳选项。
3. 当一个人在玩电子游戏时，你有一系列每秒钟拍摄的大脑扫描。在游戏中，他们的化身在建筑物中进进出出，你的目标是仅使用大脑扫描来猜测它是在室内还是室外。任何给定的扫描都是非常不明确的，但是头像通常会在里面/外面停留几秒钟。你预计化身在(外)侧的时间跨度很大，大脑扫描*均看起来稍微更偏向(外)侧。

为这些问题中的每一个建立一个定制的解决方案是可能的，但是这是一个非常大的任务，有脆弱或易受攻击的风险。通常，特别是如果工作部分是探索性的，你想要更轻的东西。hmm 提供了一个框架，它足够通用，可以涵盖所有这些情况，足够灵活，可以包含大量领域知识，并且足够简单，可以理解。

数学模型

让我们从商业现实过渡到数学理想化。上述业务问题有几个共同点:

1. 有一个离散的潜在现实世界的“状态”，随着时间的推移而变化。在示例(1)和(3)中，状态很少改变。在示例(2)中，状态是页面上的单词，并且它几乎在每个时间步都发生变化。我们把这个现实世界的状态叫做 s。
2. 在每个时间步长，您都有一个“观察”，可以用来以一定的置信度猜测状态(对于 OCR 示例，置信度通常很高，但是对于大脑扫描，置信度很低)。让我们把这个观测称为 O。注意，虽然状态 S 是离散的，O 可以是离散的，也可以是连续的。
3. 这个想法是使用时间 T 时的观察值 O 来猜测状态 S，然后使用 T 前后的观察值来改进我们的猜测。

整体情况看起来是这样的，状态一个接一个，每一个都产生一个观察结果:

HMM 中状态和观察值之间的依赖结构

具体来说，在你的头脑中保持下面的画面。状态 S 是可以掷出的骰子，观察值 O 是哪一面出现。为简单起见，假设有两个骰子，其中一个是公*的，另一个有 50%的机会是 6。掷出公*骰子后，有 10%的几率我会换到另一个骰子，在掷出装载的骰子后，有 20%的几率我会换。我做了很多次掷骰子——从来没有告诉你我用的是哪个骰子——而你的工作就是猜测骰子什么时候是公*的或者是装满的。你需要的最后一条信息是，在第一次掷骰子时，我使用公*骰子还是装载骰子的可能性有多大；让我们称之为 50/50。这种情况可以归纳为三个表格:

一个简单的 HMM 的数学描述与骰子，一个加载和一个公*。

为了用数学术语表达这一点，我们需要:

• 每个州的初始概率，P[S⁰=s].这个矢量通常被称为π。
• 转移概率矩阵

为了简单起见，我称之为 Pr[a → b] 。

• 给定状态下观察值的概率分布，Pr[O=o|S=s]。因为骰子 O 是离散的，概率分布放在一个表格里。但是数学上 O 可以是任何东西；对于算法，我们只需要一个函数，它接受状态(从 1 到 k 的整数)和观察值(可以是任何值)并返回一个非负数。

我应该指出，如果我们忘记观察，状态 S 构成一个更简单的模型，称为“马尔可夫链”。几乎随机分析中的所有东西要么是马尔可夫链，要么是马尔可夫链的变体；hmm 是一种变体，其中链的状态对我们的知识是隐藏的(因此得名)，并且必须通过不完美的观察来猜测。

hmm 的局限性及优化

我想讨论一下 HMM 模型中一些很少是 100%真实的理想化情况，以及对此你能做些什么。如果您只想了解如何使用 HMMs，可以跳过这一部分:)

最大的理想化是所谓的“马尔可夫假设”，即下一个状态只依赖于当前状态。我喜欢把它比作一只患了健忘症的青蛙，在睡莲叶间跳跃；他不知道他在当前的发射台呆了多久，也不知道他之前在哪里，所以他只根据他从当前位置看到的东西来选择下一个发射台(或者根本不跳)。您可以通过一个 n 阶马尔可夫链来部分解决这个问题，其中您的“状态”实际上是一个滑动窗口，覆盖了包括当前状态在内的最后 n 个状态。在自然语言中使用 hmm 时，你会经常看到这种情况。这在计算上变得有风险，因为你现在要跟踪 k^n 不同的“州”。

HMMs 的下一个假设是状态是真正离散的。通常情况下，状态是由人来决定的，地面上的现实可能并不完全符合其中一种状态。hmm 没有混合状态的概念，但是它们支持关于状态的不确定性；当模型表明两种状态的可能性相当时，可能是信号很弱，但也可能是世界不适合我们的盒子。

最后是最重要的 Pr[O|S],给定潜在状态下你观察到的概率。在我们的玩具骰子示例中，它只是一个查找表。不过，在我引用的现实世界的例子中，制作 Pr[O|S]本身就是一个项目，包括建模假设和拟合历史数据。HMM 对 Pr[O|S]的复杂程度没有限制，但它确实假设 O 仅依赖于当前的 S，而不依赖于任何先前的 S 或 O。这一假设当然不成立——因为 S 中没有捕捉到真实世界的动态，所以观察值通常是相关的——但在实践中这很少会有问题。

计算状态:维特比算法

现在让我们把这个模型付诸实践吧！你可以用 HMM 做很多事情，但是在商业中 90%的时间是这样的:给定一系列 N 次观察，猜猜状态是什么。为此，我们使用著名的维特比算法，该算法计算给定我们的观察的基础状态的最优序列。

当我说“最优”时，我指的是“最有可能”——1)从基础马尔可夫链中获得状态序列，然后 2)该序列生成已知观察值的概率。

为了做到这一点，考虑一个相关的子问题:找到直到时间步 i 的最佳序列，该时间步 I在特定状态 s* 结束。让我们定义σ(i，s)为该序列的概率。想想骰子的例子:关键的见解是，直到 i+1 结束的最佳序列是公*的，或者是{直到 I 结束的最佳序列是公*的}+{公*}，或者是{直到 I 结束的最佳序列是装载的}+{公*}。如果我们知道到时间 I 为止的最佳序列，那么 i+1 就很容易了！在数学中，这告诉我们:*

我们可以将所有σ(i，s)排列在一个表格中，如下所示:

一旦这个表被填充，我们几乎完成了维特比算法！我们可以通过查看哪个 s 最大化σ(N，s)来找到最优序列中的最后一个状态。然后我们逆向工作——在计算σ(N，s)时，我们用哪个 x 来表示σ(N-1，x)？您可以通过画一个从σ(i，s)到σ(i-1，x)的箭头来形象化这个过程，如下所示:

这样，我们可以重建整个最佳序列。如果我们想表达这是伪代码，我们可以写:

只有一个小的实现细节我必须注意。所述的算法将会遇到数值问题，因为概率变得如此之小。这很容易通过对概率的对数进行操作，并计算 Log[σ(i，s)]而不是σ(i，s)的表来解决。最大化 Log[σ(i，s)]等价于最大化σ(i，s)。

离别赠言

当我告诉科技行业的人我们在 Zeitworks 做什么时，我得到的典型回应是“哦，你可以用 LSTM 来做这个！”。虽然这些现在确实很流行，但是还有很多分析序列数据的工具，它们各有所长。

lst ms——以及其他深度学习模型——在现实世界模式不可理解的情况下大放异彩。这些是“数据驱动”的工具；有了足够的数据来训练，有了足够的旋钮来转动，它们可以学习模仿人类从未记录下来的复杂模式。作为交换，它们很难解释，如果问题发生变化也很难概括，并且依赖于大量的数据。

hmm 则相反。它们是“模型驱动的”:一种对人类友好的世界叙事，被浓缩成方程式。这些方程中的参数符合数据，但它们是有意义的数字，有现实世界的解释，而不是一个数字巫术。模型驱动的工具不如数据驱动的工具强大，但是作为交换，它们训练起来很便宜，很容易理解，而且你可以把专业知识融入其中。

数据驱动和模型驱动工具是互补的，而不是对立的。它们是解决不同问题的理想选择，在 Zeitworks，我们将两者结合在一起。但是做到这一点取决于批判性地思考你的武器库中所有工具的能力，理解它们的优势，以便你可以将它们与正确的任务相匹配。

我在本文中的目标是让您理解 hmm。它们是强大的模型——尽管在数据科学界经常被低估——它们通常是这项工作的最佳工具。

蟒蛇的隐藏宝藏

原文：https://towardsdatascience.com/hidden-treasures-of-python-78ae604f7e33?source=collection_archive---------23-----------------------

很少使用的库以及如何使用它们

来自 Unsplash

Python 编程语言中有成千上万的库，所以本文的标题基本上可以涉及到几乎所有的库，只有几百个库除外。描述所有的 Python 库可能需要一个真正的图书库。不过，在本文中，我们将重点介绍几个用于解决特定任务或娱乐的工具。

为了实践我们的库，我们将从 Kaggle 下载一个数据集— 动物护理和控制收养的动物。

import pandas as pd
df = pd.read_csv('animal-data-1.csv')
print('Number of pets:', len(df), '\n')
print(df.columns.tolist())**Output**:Number of pets: 10290 ['id', 'intakedate', 'intakereason', 'istransfer', 'sheltercode', 'identichipnumber', 'animalname', 'breedname', 'basecolour', 'speciesname', 'animalage', 'sexname', 'location', 'movementdate', 'movementtype', 'istrial', 'returndate', 'returnedreason', 'deceaseddate', 'deceasedreason', 'diedoffshelter', 'puttosleep', 'isdoa']

1.缺少编号

库安装 : pip install missingno

Missingno 是一个特殊的库，用于显示数据帧中缺失的值。当然，出于这个目的，我们可以使用任何可视化库中的 seaborn 热图或条形图。然而，在这种情况下，我们必须首先使用df.isnull().sum()创建一个包含每列中缺失值的序列，而 missingno 在幕后完成所有工作。该库提供了几种类型的图表:

• matrix显示数据帧中多达 50 列的数据完成密度模式，它类似于 seaborn 缺失值热图。此外，通过右侧的迷你图，它显示了数据完整性的大致形状，强调了具有最大和最小空值的行。
• bar chart以列为单位显示无效可视化。
• heatmap测量范围从-1 到 1 的无效相关性。本质上，它显示了一个变量的存在与否对另一个变量的存在有多么强烈的影响。没有丢失值或正好相反，完全为空的列被排除在可视化之外，没有有意义的相关性。
• dendrogram与热图一样，度量列之间的空关系，但在这种情况下不是成对的，而是在列组之间，检测缺失数据的簇。那些在图表上位置更*的变量显示出更强的零相关性。对于少于 50 列的数据帧，树状图是垂直的，否则，它翻转成水*的。

让我们在 pet 数据集上使用默认设置来尝试所有这些图表:

import missingno as msno
%matplotlib inline
msno.matrix(df)

msno.bar(df)

msno.heatmap(df)

msno.dendrogram(df)

我们可以对数据集进行以下观察:

1. 一般来说，缺少的值很少。
2. 最空的列是deceaseddate和returndate。
3. 大多数宠物都有芯片。
4. 无效相关性:

• 被植入芯片和死亡之间有一点负面影响，
• 略显积极——被植入芯片与被归还，被归还与死亡。

有几个选项可以自定义缺失无图表:figsize、fontsize、sort(按完整性对行进行排序，升序或降序)、labels(可以是True或False，表示是否显示列标签)。有些参数是特定于图表的:矩阵图和条形图的color，矩阵图的sparkline(是否绘制)和width_ratios(矩阵宽度到迷你图宽度)，条形图的log(对数刻度)，热图的cmap颜色图，树状图的orientation。让我们将其中一些应用到上面的图表中:

msno.matrix(
            df, 
            figsize=(25,7),
            fontsize=30, 
            sort='descending',
            color=(0.494, 0.184, 0.556), 
            width_ratios=(10, 1)
            )

最后，如果还有什么我们想要调整的，我们总是可以将 matplotlib 的任何功能添加到缺少的图形中。为此，我们应该添加参数inline并将其赋给False。让我们给矩阵图添加一个标题:

import matplotlib.pyplot as plt
msno.matrix(
            df, 
            figsize=(25,7),
            fontsize=30, 
            sort='descending',
            color=(0.494, 0.184, 0.556), 
            width_ratios=(10, 1),
            inline=False
            ) 
plt.title('Missing Values Pet Dataset', fontsize=55)
plt.show()

2.有*面的

库安装 : pip install tabulate

这个库用于用 Python 漂亮地打印表格数据。它允许智能和可定制的列对齐，数字和文本格式，通过小数点对齐。

tabulate()函数采用表格数据类型(dataframe、列表或字典列表、字典、NumPy 数组)、一些其他可选参数，并输出一个格式良好的表格。让我们在 pet 数据集的一个片段上练习一下，从最基本的漂亮打印的表格开始:

from tabulate import tabulate
df_pretty_printed = df.iloc[:5, [1,2,4]]
print(tabulate(df_pretty_printed))**Output**:-  -----------  -----------------------  ------
0  Jadzia       Domestic Short Hair      Female
1  Gonzo        German Shepherd Dog/Mix  Male
2  Maggie       Shep Mix/Siberian Husky  Female
3  Pretty Girl  Domestic Short Hair      Female
4  Pretty Girl  Domestic Short Hair      Female
-  -----------  -----------------------  ------

我们可以在表中添加一个headers参数。如果我们赋值headers='firstrow'，则使用第一行数据，如果headers='keys'，则使用数据帧/字典的键。对于表格格式化，我们可以使用一个tablefmt参数，该参数可以从众多选项中选择一个(以字符串形式赋值):simple、github、grid、fancy_grid、pipe、orgtbl、jira、presto、pretty等。

默认情况下，制表将包含浮点数的列靠小数点对齐，整数靠右，文本列靠左。这可以通过使用numalign和stralign参数(right、center、left、decimal用于数字，或None)来覆盖。对于文本列，可以禁用默认的前导和尾随空格删除。

让我们自定义我们的表格:

print(tabulate(
               df_pretty_printed, 
               headers='keys',
               tablefmt='fancy_grid',
               stralign='center'
               ))**Output**:╒════╤══════════════╤═════════════════════════╤═══════════╕
│    │  animalname  │        breedname        │  sexname  │
╞════╪══════════════╪═════════════════════════╪═══════════╡
│  0 │    Jadzia    │   Domestic Short Hair   │  Female   │
├────┼──────────────┼─────────────────────────┼───────────┤
│  1 │    Gonzo     │ German Shepherd Dog/Mix │   Male    │
├────┼──────────────┼─────────────────────────┼───────────┤
│  2 │    Maggie    │ Shep Mix/Siberian Husky │  Female   │
├────┼──────────────┼─────────────────────────┼───────────┤
│  3 │ Pretty Girl  │   Domestic Short Hair   │  Female   │
├────┼──────────────┼─────────────────────────┼───────────┤
│  4 │ Pretty Girl  │   Domestic Short Hair   │  Female   │
╘════╧══════════════╧═════════════════════════╧═══════════╛

这里唯一要记住的是，漂亮打印的表格最好在笔记本电脑和计算机上显示，但有时在较小的屏幕上可能会有问题(智能手机和 iPhones)。

将文件制成表格

3.维基百科(一个基于 wiki 技术的多语言的百科全书协作计划ˌ也是一部用不同语言写成的网络百科全书ˌ 其目标及宗旨是为全人类提供自由的百科全书)ˌ开放性的百科全书

库安装 : pip install wikipedia

维基百科图书馆，顾名思义，方便从维基百科获取信息。使用它可以完成的一些任务包括:

• 搜索维基百科— search()，
• 获取文章摘要— summary，
• 获取完整的页面内容，包括图片、链接、维基百科页面的任何其他元数据，
• 选择页面语言— set_lang()。

在上面印刷精美的表格中，我们看到了一种叫做西伯利亚哈士奇的狗。作为练习，我们将把语言设置为俄语(我的母语🙂)并搜索相应维基百科页面的一些建议:

import wikipedia 
wikipedia.set_lang('ru') 
print(wikipedia.search('Siberian Husky'))**Output**:'Сибирский хаски', 'Древние породы собак', 'Породы собак по классификации кинологических организаций', 'Маккензи Ривер Хаски', 'Ричардсон, Кевин Майкл']

让我们取第一个建议，取该页摘要的第一句话:

print(wikipedia.summary('Сибирский хаски', sentences=1))**Output**:Сибирский хаски — заводская специализированная порода собак, выведенная чукчами северо-восточной части Сибири и зарегистрированная американскими кинологами в 1930-х годах как ездовая собака, полученная от аборигенных собак Дальнего Востока России, в основном из Анадыря, Колымы, Камчатки у местных оседлых приморских племён — юкагиров, кереков, азиатских эскимосов и приморских чукчей — анкальын (приморские, поморы — от анкы (море)).

现在，我们将从该页面获得一张哈士奇图片的链接:

print(wikipedia.page('Сибирский хаски').images[0])**Output**:[https://upload.wikimedia.org/wikipedia/commons/a/a3/Black-Magic-Big-Boy.jpg](https://upload.wikimedia.org/wikipedia/commons/a/a3/Black-Magic-Big-Boy.jpg)

想象这个美丽的生物:

来自维基百科

维基百科文档

4.Wget

库安装 : pip install wget

Wget 库允许下载 Python 中的文件，而不需要打开它们。我们还可以添加一个保存该文件的路径作为第二个参数。

下面下载上面哈士奇的图片:

import wget
wget.download('[https://upload.wikimedia.org/wikipedia/commons/a/a3/Black-Magic-Big-Boy.jpg'](https://upload.wikimedia.org/wikipedia/commons/a/a3/Black-Magic-Big-Boy.jpg'))**Output**:'Black-Magic-Big-Boy.jpg'

现在，我们可以在与此笔记本相同的文件夹中找到该图片，因为我们没有指定保存它的路径。

由于互联网上的任何网页实际上都是一个 HTML 文件，这个库的另一个非常有用的应用是抓取整个网页，包括所有的元素。让我们下载数据集所在的 Kaggle 网页:

wget.download('[https://www.kaggle.com/jinbonnie/animal-data'](https://www.kaggle.com/jinbonnie/animal-data'))**Output**:'animal-data'

产生的animal-data文件如下所示(我们将只显示前几行):

<!DOCTYPE html>
<html lang="en">
<head>
    <title>Animal Care and Control Adopted Animals | Kaggle</title>
    <meta charset="utf-8" />
    <meta name="robots" content="index, follow" />
    <meta name="description" content="animal situation in Bloomington Animal Shelter from 2017-2020" />
    <meta name="turbolinks-cache-control" content="no-cache" />

获取文档

5.骗子

库安装 : pip install Faker

该模块用于生成假数据，包括姓名、地址、电子邮件、电话号码、工作、文本、句子、颜色、货币等。faker 生成器可以将区域设置作为参数(默认为 en_US 区域设置)，以返回本地化数据。为了生成一段文本或一个句子，我们可以使用缺省的 lorem ipsum 或者，我们可以提供我们自己的单词集。为了确保所有创建的值对于某个特定的实例都是惟一的(例如，当我们想要创建一长串惟一的假名时)，应用了unique属性。相反，如果有必要产生相同的值或数据集，就使用seed()方法。

让我们看一些例子:

from faker import Faker
fake = Faker()print(
      'Fake color:', fake.color(), '\n'
      'Fake job:',   fake.job(),   '\n'
      'Fake email:', fake.email(), '\n'
      )*# Printing a list of fake Korean and Portuguese addresses*
fake = Faker(['ko_KR', 'pt_BR'])
for _ in range(5):
    print(fake.unique.address())     *# using the `unique` property*print('\n')*# Assigning a seed number to print always the same value / data set*
fake = Faker()
Faker.seed(3920)
print('This English fake name is always the same:', fake.name())**Output**:Fake color: #bde2f9 
Fake job: Transport planner 
Fake email: chad52@yahoo.com 

Rua Marcos Vinicius Costela, 66
Vila Nova Gameleira 2ª Seção
86025006 da Costa / MG
충청남도 평창군 언주1거리 (우진장읍)
Núcleo de Peixoto, 87
Havaí
90291-013 Campos / MS
Lago da Luz
Minas Brasil
85538436 Porto da Mata / TO
인천광역시 중랑구 서초중앙0로

This English fake name is always the same: Kim Lopez

回到我们的数据集，我们发现至少有两只不幸的宠物有着不太好听的名字:

df_bad_names = df[df['animalname'].str.contains('Stink|Pooh')]
print(df_bad_names)**Output**: identichipnumber animalname            breedname speciesname 
1692              NaN    Stinker  Domestic Short Hair         Cat    
3336  981020023417175       Pooh  German Shepherd Dog         Dog  
3337  981020023417175       Pooh  German Shepherd Dog         Dog  

     sexname           returndate                     returnedreason  
1692  Male                    NaN                              Stray  
3336  Female  2018-05-14 00:00:00  Incompatible with owner lifestyle  
3337  Female                  NaN                              Stray

最后 2 排的狗实际上是同一只，因为与主人的生活方式不兼容而被送回收容所。用我们的新技能，让我们拯救这两种动物的名声，给它们重新起个更体面的名字。因为这只狗是德国牧羊犬，我们将为她选择一个德国名字。至于猫，根据这个维基百科页面，家养短毛是美国最常见的品种，所以我们会为它取一个英文名字。

*# Defining a function to rename the unlucky pets*
def rename_pets(name):
    if name == 'Stinker':
        fake = Faker()
        Faker.seed(162)   
        name = fake.name()
    if name == 'Pooh':
        fake = Faker(['de_DE'])
        Faker.seed(20387)
        name = fake.name()
    return name*# Renaming the pets*
df['animalname'] = df['animalname'].apply(rename_pets)*# Checking the results*
print(df.iloc[df_bad_names.index.tolist(), :] )**Output**: identichipnumber            animalname     breedname speciesname
1692             NaN         Steven Harris  Domestic Short Hair  Cat          
3336 981020023417175  Helena Fliegner-Karz  German Shepherd Dog  Dog   
3337 981020023417175  Helena Fliegner-Karz  German Shepherd Dog  Dog       

     sexname           returndate                     returnedreason  
1692    Male                  NaN                              Stray  
3336  Female  2018-05-14 00:00:00  Incompatible with owner lifestyle  
3337  Female                  NaN                              Stray

对于一只猫和一只狗来说，史蒂文·哈里斯和海伦娜·弗利格纳-卡兹听起来有点太夸张了，但绝对比他们以前的名字好得多！

Faker 文档

6.数字计算器

库安装 : pip install numerizer

这个小 Python 包用于将自然语言数字转换成数字(整数和浮点数)，并且只包含一个函数— numerize()。

现在让我们在数据集上尝试一下。一些宠物的名字包含数字:

df_numerized_names = df[['identichipnumber', 'animalname', 'speciesname']][df['animalname'].str.contains('Two|Seven|Fifty')]   
print(df_numerized_names)**Output**: dentichipnumber animalname speciesname
2127              NaN      Seven         Dog
4040  981020025503945  Fifty Lee         Cat
6519  981020021481875   Two Toes         Cat
6520  981020021481875   Two Toes         Cat
7757  981020029737857    Mew Two         Cat
7758  981020029737857    Mew Two         Cat
7759  981020029737857    Mew Two         Cat

我们将把这些名字的数字部分转换成实数:

from numerizer import numerize
df['animalname'] = df['animalname'].apply(lambda x: numerize(x))
print(df[['identichipnumber', 'animalname','speciesname']]\
        .iloc[df_numerized_names.index.tolist(), :])**Output**: identichipnumber animalname speciesname
2127              NaN          7         Dog
4040  981020025503945     50 Lee         Cat
6519  981020021481875     2 Toes         Cat
6520  981020021481875     2 Toes         Cat
7757  981020029737857      Mew 2         Cat
7758  981020029737857      Mew 2         Cat
7759  981020029737857      Mew 2         Cat

编号器文档

7.表情符号

库安装 : pip install emoji

通过这个库，我们可以根据由 Unicode Consortium 定义的表情符号代码，将字符串转换成表情符号，如果指定了use_aliases=True，还可以补充别名。表情包只有两个功能:emojize()和demojize()。默认英语(language='en')可以更改为西班牙语(es)、葡萄牙语(pt)或意大利语(it)。

import emoji
print(emoji.emojize(':koala:'))
print(emoji.demojize('🐨'))
print(emoji.emojize(':rana:', language='it'))**Output**:🐨
:koala:
🐸

让我们给我们的动物表情符号。首先，我们将检查它们独特的物种名称:

print(df['speciesname'].unique())**Output**:['Cat' 'Dog' 'House Rabbit' 'Rat' 'Bird' 'Opossum' 'Chicken' 'Wildlife' 'Ferret' 'Tortoise' 'Pig' 'Hamster' 'Guinea Pig' 'Gerbil' 'Lizard' 'Hedgehog' 'Chinchilla' 'Goat' 'Snake' 'Squirrel' 'Sugar Glider' 'Turtle' 'Tarantula' 'Mouse' 'Raccoon' 'Livestock' 'Fish']

我们必须将这些名称转换成小写，给每个名称添加前导和尾随冒号，然后将emojize()应用于结果:

df['speciesname'] = df['speciesname']\
 .apply(lambda x: emoji.emojize(f':{x.lower()}:', use_aliases=True))
print(df['speciesname'].unique())**Output**:['🐱' '🐶' ':house rabbit:' '🐀' '🐦' ':opossum:' '🐔' ':wildlife:' ':ferret:' ':tortoise:' '🐷' '🐹' ':guinea pig:' ':gerbil:' '🦎' '🦔' ':chinchilla:' '🐐' '🐍' ':squirrel:' ':sugar glider:' '🐢' ':tarantula:' '🐭' '🦝' ':livestock:' '🐟']

让我们将家兔、乌龟和松鼠重命名为表情库可以理解的同义词，并再次尝试对它们进行表情符号化:

df['speciesname'] = df['speciesname']\
                      .str.replace(':house rabbit:', ':rabbit:')\
                          .replace(':tortoise:', ':turtle:')\
                          .replace(':squirrel:', ':chipmunk:')
df['speciesname'] = df['speciesname']\
  .apply(lambda x: emoji.emojize(x, variant='emoji_type'))
print(df['speciesname'].unique())**Output**:['🐱' '🐶' '🐇️' '🐀' '🐦' ':opossum:️' '🐔' ':wildlife:️' ':ferret:️' '🐢️' '🐷' '🐹' ':guinea pig:' ':gerbil:️' '🦎' '🦔' ':chinchilla:️' '🐐' '🐍' '🐿️' ':sugar glider:' '🐢' ':tarantula:️' '🐭' '🦝' ':livestock:️' '🐟']

剩下的物种是或统称(野生动物和家畜)，或者没有一个表情符号对等物，至少现在还没有。我们将让它们保持原样，仅删除冒号，并将它们转换回标题大小写:

df['speciesname'] = df['speciesname'].str.replace(':', '')\
                                     .apply(lambda x: x.title())
print(df['speciesname'].unique(), '\n')
print(df[['animalname', 'speciesname', 'breedname']].head(3))**Output:**['🐱' '🐶' '🐇️' '🐀' '🐦' 'Opossum️' '🐔' 'Wildlife️' 'Ferret️' '🐢️' '🐷' '🐹' 'Guinea Pig' 'Gerbil️' '🦎' '🦔' 'Chinchilla️' '🐐' '🐍' '🐿️' 'Sugar Glider' '🐢' 'Tarantula️' '🐭' '🦝' 'Livestock️' '🐟'] 

  animalname  speciesname                breedname
0     Jadzia           🐱      Domestic Short Hair
1      Gonzo           🐶  German Shepherd Dog/Mix
2     Maggie           🐶  Shep Mix/Siberian Husky

表情符号文档

8.皮阿兹特罗

库安装 : pip install pyaztro

PyAztro 似乎是为了娱乐而不是工作而设计的。这个图书馆为每个星座提供了一个占星术。该预测包括那天的标志描述、该标志的日期范围、心情、幸运数字、幸运时间、幸运颜色、与其他标志的兼容性。例如:

import pyaztro
pyaztro.Aztro(sign='taurus', day='tomorrow').description**Output**:"If the big picture is getting you down, narrow your focus a bit and try to enjoy the smaller aspects of life. It's a good day to remember what you're truly thankful for in life and to spread the word."

好建议！事实上，我不会等到明天，现在就把注意力集中在数据集上，研究一些相关的信息😀

有一只猫和一只狗叫白羊座:

print(df[['animalname', 'speciesname']][(df['animalname'] == 'Aries')])**Output**: animalname  speciesname
3036      Aries           🐱
9255      Aries           🐶

还有很多叫狮子座的宠物:

print('Leo:', df['animalname'][(df['animalname'] == 'Leo')].count())**Output**:Leo: 18

让我们假设那些是他们相应的黄道十二宫😉有了 PyAztro，我们可以查看明星们今天为这些动物准备了什么:

aries = pyaztro.Aztro(sign='aries')
leo = pyaztro.Aztro(sign='leo')print('ARIES: \n',
      'Sign:',             aries.sign,          '\n',
      'Current date:',     aries.current_date,  '\n',
      'Date range:',       aries.date_range,    '\n', 
      'Sign description:', aries.description,   '\n',
      'Mood:',             aries.mood,          '\n', 
      'Compatibility:',    aries.compatibility, '\n',
      'Lucky number:',     aries.lucky_number,  '\n',
      'Lucky time:',       aries.lucky_time,    '\n',
      'Lucky color:',      aries.color,       2*'\n',

      'LEO: \n',
      'Sign:',             leo.sign,            '\n',
      'Current date:',     leo.current_date,    '\n',
      'Date range:',       leo.date_range,      '\n', 
      'Sign description:', leo.description,     '\n',
      'Mood:',             leo.mood,            '\n', 
      'Compatibility:',    leo.compatibility,   '\n',
      'Lucky number:',     leo.lucky_number,    '\n',
      'Lucky time:',       leo.lucky_time,      '\n',
      'Lucky color:',      leo.color)**Output**:ARIES: 
 Sign: aries 
 Current date: 2021-02-22 
 Date range: [datetime.datetime(2021, 3, 21, 0, 0), datetime.datetime(2021, 4, 20, 0, 0)] 
 Sign description: Throw away your old to-do list and start over. There may be some stuff on it that just holds you back because you know you'll never do it and you might pop off some cool new projects while you're at it. 
 Mood: Refreshed 
 Compatibility: Scorpio 
 Lucky number: 67 
 Lucky time: 1am 
 Lucky color: Sky Blue 

 LEO: 
 Sign: leo 
 Current date: 2021-02-22 
 Date range: [datetime.datetime(2021, 7, 23, 0, 0), datetime.datetime(2021, 8, 22, 0, 0)] 
 Sign description: Try something new and different today - eat out somewhere you've never been, experiment with new techniques to clean your house or just pick an activity at random and give it a go! 
 Mood: Curious 
 Compatibility: Taurus 
 Lucky number: 75 
 Lucky time: 11am 
 Lucky color: Teal

这些预测在 2021 年 2 月 22 日有效，所以如果你想查看我们宠物当天的星座(或者你自己的)，你必须重新运行上面的代码。很明显，除了sign和date_range之外，所有的属性在 GTM 午夜都在改变。

皮阿兹托文件

当然，还有许多其他有趣的 Python 库，如 PyAztro，包括:

• 艺术 —用于将文本转换为 ASCII 艺术，比如:ʕ •`ᴥ• ʔ
• 龟 —用于绘图，
• 象棋 —用于下棋，
• 圣诞老人——随机配对秘密圣诞老人礼物和接收者，

甚至

• 火绒——用于使用火绒。

我们可以肯定，有了 Python，我们永远不会感到无聊！

结论

总之，我希望数据集中的所有宠物都能找到他们可爱和有爱心的主人，以及 Python 用户——发现更多令人惊叹的库，并将其应用到他们的项目中。

如果你喜欢这篇文章，你也可以发现下面这些有趣的:

https://medium.com/mlearning-ai/11-cool-names-in-data-science-2b64ceb3b882 https://medium.com/geekculture/creating-toyplots-in-python-49de0bb27ec1 https://python.plainenglish.io/the-little-prince-on-a-word-cloud-8c912b9e587e

知识图问答中期望答案类型的层次分类

原文：https://towardsdatascience.com/hierarchical-classification-of-expected-answer-type-in-knowledge-graph-question-answering-6c7b72d65923?source=collection_archive---------10-----------------------

思想和理论

机器如何理解用户在问什么？

TLDR

人们在寻找一个问题的答案时使用的一个重要步骤是了解哪种类型的答案最适合1。例如，对于“现在几点了？”我们希望听到“时间”类型的回答，以及“伊万·彼得罗夫出生在哪里？”—类型为“城市”或“国家”的答案。

基于知识图的问答系统也是如此，其目的是找到仿真问题的答案。本文介绍了一个用于确定预期答案类型(EAT)的模块，该模块不仅能够预测单个类，还能够构建类的层次结构作为预测值。该模块既作为网络界面(UI) 提供，也作为 RESTful API 提供。该功能允许最终用户获得 104 种语言的答案类型预测，查看预测的可信度并留下反馈。此外，API 允许研究人员和开发人员将 EAT 分类模块集成到他们的系统中。

通过问题理解一个人在问什么是人类用来找到相应答案的第一步。

预期答案类型分类器的 Web 用户界面(图片由作者提供)

知识图问答系统

开发问答系统有两种范式:(1)基于非结构化数据(基于 IR)，其目标是在一组文本文档中找到最相关的段落，(2)基于结构化数据和知识(KBQA)，这类系统将自然语言问题翻译成形式化的查询(SQL、SPARQL 等)。) [2].另外，我们应该提到知识图问答系统(KGQA)，它是 KBQA 的一个子集，最*变得越来越流行。

开发问答系统的范例(图片由作者提供)

向 KGQA 系统提出的问题是基于事实的。例如，当我们问“安格拉·默克尔出生在哪个城市？”我们希望看到“城市”类型的答案，在这个例子中是汉堡。在这种情况下，“城市”是预期的答案类型。根据 KGQA 系统中使用的特定知识图，这些类型通常被组织成层次分类法或本体(例如 DBpedia 本体)。考虑“安格拉·默克尔出生在哪个城市？”预期的答案类型层次结构(基于 DBpedia 本体中的类)如下所示。

问题“安格拉·默克尔出生在哪个城市？”的预期答案类型层次结构给出 DBpedia 本体(图片由作者提供)

在这个层次中，第一种类型是最具体的，而最后一种类型是最普遍的。

为什么 KGQA 系统需要知道预期的答案类型？非常简单——它将答案的搜索空间缩小了数倍。这可以通过一个简单的例子(参见下面的代码片段)来说明，这个例子使用了我们熟悉的安格拉·默克尔问题。

# without EAT prediction
PREFIX dbr: <[http://dbpedia.org/resource/](http://dbpedia.org/resource/)>
SELECT (COUNT(DISTINCT ?obj) as ?count)
WHERE {
  dbr:Angela_Merkel ?p ?obj .
}
# ?count = 861

如代码片段所示，这个 SPARQL 查询根据 DBpedia 中的安格拉·默克尔资源计算可能的候选答案。结果是巨大的——861。让我们试着用预测的 EAT 缩小搜索空间。

# with EAT prediction
PREFIX dbr: <[http://dbpedia.org/resource/](http://dbpedia.org/resource/)>
PREFIX rdf: <[http://www.w3.org/1999/02/22-rdf-syntax-ns#](http://www.w3.org/1999/02/22-rdf-syntax-ns#)>
SELECT (COUNT(DISTINCT ?obj) as ?count)
WHERE {
  dbr:Angela_Merkel ?p ?obj .
  ?obj rdf:type ?type .
  FILTER(?type = dbo:City)
}
# ?count = 6

现在，由于我们使用类型“城市”限制了候选答案集，因此只有 6 个可能的候选答案。这确实令人印象深刻，因为从 6 个候选人中找出正确答案比从 861 个候选人中找出正确答案要容易得多。在下一节中，将介绍特定的 EAT 分类器架构。

预期答案类型分类器的体系结构

层次分类有三种方法【3】:扁*化、局部化、全局化。扁*方法忽略了层次结构，甚至可以说是扁*的，在这种情况下，我们处理的是多标签分类。局部方法为层次结构的每个级别(节点)使用几个分类器，而全局方法在一次调用中预测整个层次结构。

在本文中，我们使用局部方法(见架构图)对 EAT 进行分层分类。该解决方案基于多语言 BERT 模型[4]，其中一个由 n 个神经元组成的全连接层被附加到【CLS】令牌输出中，其中 n 是在特定层次级别(节点)预测的类的数量。

分层 EAT 分类器的架构(图片由作者提供)

该图示出了 3 种模型——类别分类器、文字分类器和资源分类器。总共有三个类别:布尔、文字和资源。还有三种文字:数字、数据和字符串。对于资源，事情要复杂得多，因为有一个完整的层次分类(参见简介中的例子)。在我们的解决方案中，资源分类器预测最具体的响应类型(例如 dbo:City )，然后我们简单地使用 SPARQL query 从 DBpedia 获取层次结构的其余部分到顶层，如下所示。

给定最具体的本体类型，获取 DBpedia 本体层次结构的源代码

下面的代码用于创建基于 BERT 的 EAT 分类器。完整的源代码可以在我们的 Github 资源库中找到。

使用变压器库创建多类分类器的源代码

分类器输出的例子如下所示。

[
 {
   "id": "dbpedia_1",
   "question": "Who are the gymnasts coached by Amanda Reddin?",
   "category": "resource",
   "type": ["dbo:Gymnast", "dbo:Athlete", "dbo:Person", "dbo:Agent"]
 },
 {
 "id": "dbpedia_2",
 "question": "How many superpowers does wonder woman have?",
 "category": "literal",
 "type": ["number"]
 }
 {
   "id": "dbpedia_3",
   "question": "When did Margaret Mead marry Gregory Bateson?",
   "category": "literal",
   "type": ["date"]
 },
 {
   "id": "dbpedia_4",
   "question": "Is Azerbaijan a member of European Go Federation?",
   "category": "boolean",
   "type": ["boolean"]
 }
]

类别分类器的质量由准确度度量来测量，而其他分类器使用 NDCG 5 和 NDCG 10 度量来评估，这些度量被设计来评估排名列表。运行评估脚本后，我们获得了以下结果:准确率:98%，NDCG@5: 76%，NDCG@10: 73%。这些结果也可以在语义答案类型预测任务 2020 的公共排行榜上找到:https://smart-task.github.io/2020。

结论

这篇短文介绍了一个用于分类预期答案类型的组件，它可以用于基于知识图的问答系统。分类器支持多语言输入，在预测质量方面表现相当好。重要链接如下:

• Out 原文 PDF:http://ceur-ws.org/Vol-2980/paper349.pdf
• GitHub:https://github.com/Perevalov/iswc-classification
• web UI:https://web engineering . ins . hs-an halt . de:41009/eat-class ification
• API:【https://webengineering.ins.hs-anhalt.de:41020/docs

参考

1. 郝，，等。“利用问题目标词特征通过语义关系扩展进行答案类型分类。”基于知识的系统133(2017):43–52。
2. 朱拉夫斯基、丹尼尔和詹姆斯·马丁。"语音和语言处理(草案)."可从: https://web。斯坦福。edu/~茹拉夫斯基/slp3 (2021)。
3. 卡洛斯·新罗和亚历克斯·弗雷塔斯。"不同应用领域的层次分类综述."数据挖掘和知识发现22.1(2011):31–72。
4. 伯特:用于语言理解的深度双向转换器的预训练。 arXiv 预印本 arXiv:1810.04805 (2018)。

感谢

我要感谢我的导师 Andreas Both 教授，他给了我写博士论文的机会。我还要感谢安哈特应用科技大学的支持。最后，我要感谢 T21 的 Axel-Cyrille Ngonga Ngomo 博士教授，他同意共同指导我的博士论文。

数据科学 R 中的层次聚类和树状图

理解聚类技术、它的应用、优缺点以及用 r。

在执行数据分析的早期阶段，一个重要的方面是获得对多维数据的高级理解，并找到不同变量之间的某种模式——这就是聚类的用武之地。定义层次聚类的一个简单方法是:

根据相似的特征将一个庞大的数据集划分成较小的组，这将有助于以一种信息丰富的方式理解数据。

图片 via【unsplash.com】上的 @jeremythomasphoto

分层聚类可以分为两种类型:

分裂(自上而下):一种聚类技术，其中 N 个节点最初属于单个聚类，然后根据距离度量被分解成更小的聚类，直到在分层结构中达到期望的聚类数量。

agglomerate(自下而上):一组 N 个观察值，其中最接*的两个节点被分组在一个单独的簇中，剩下 N-1 个点，然后递归地遵循相同的模式，直到我们得到一个单独的簇，形成最终的树状图，该树状图将所有的簇解决方案包含在一个单独的树中。

这篇博文将关注凝聚层次聚类，它的应用以及 r 中的一个实际例子。 1) 当我们说我们将两个最*的节点分组在一起时，我们如何定义 close？和 2) 用什么合并方法将它们分组？

为了计算距离，可以使用几种方法(欧几里德距离是最常用的):

欧几里德距离:一种连续的直线相似性，即毕达哥拉斯定理

连续相关相似度

二元曼哈顿距离:计算两个向量之间的绝对距离(用于不能用直线定义距离的地方，如城市地图)

让我们从一个小数据集开始，了解 RStudio 中的树状图是如何形成的:

步骤 1:生成随机数据

我使用了正态分布来计算数据集的 x 和 y 坐标，并且为我们的理解对数据点进行了编号。

Set.seed(12)
x <- rnorm(10, sd = 1)
y <- rnorm(10, sd = 1)plot(x, y, col = "red", pch = 19, cex = 2)
text(x + 0.07, y + 0.06, labels = as.character(1:10))

(图片由作者提供)数据图

第二步:准备好我们的地块来创建一个树状图

首先，我们将 x 和 y 数据集存储为数据帧的 x 和 y 坐标。接下来，我们缩放坐标以使用*均值 0 和方差 1(标准化)来标准化我们的特征。最后，我们使用 dist()函数来计算数据帧中各行之间的距离。

dF <- data.frame(x = x, y = y)
dF <- scale(dF)
distxy <- dist(dF)

(图片由作者提供)例如，从点 3 到点 2 的距离是 2.94，而从点 6 到点 4 的距离是 0.603

第三步:调用 hclust()

这形成了基于数据集(在这种情况下为 10 个)中对象集合的距离度量(在这种情况下为“欧几里得”)的数据点的分级聚类

cluster <- hclust(distxy)

作者图片

第四步:创建一个树状图

另一种尝试的方法是使用图(as.dendrogram(cluster)) ，它会产生相同的结果。

plot(cluster, ylab = "Height", xlab="Distance", xlim=c(1,10), ylim=c(1,10))

作者图片

第五步:获得您想要的集群数量

根据手头的问题，你想要从你的系统树图中分离出来的类的数量根据你画线的位置而变化。这里，由于直线在 1 处切割高度，我们得到 4 个集群。

abline(h=1.0, col= "blue")

作者图片

应用:

从动物/植物物种的分类到确定病毒变体的相似性到营销活动的客户分类，树状图有许多用途。例如，在客户细分中，将具有相似特征和购买可能性的人分组。一旦你有了分组，你就可以用不同的营销文案对每个分组进行测试，这将有助于你更好地确定未来活动的目标。

好的和坏的:

树状图是 1) 一种简单的方法，通过聚集的方法来聚集数据，并且 2) 帮助更快地理解数据。不需要有一组预定义的聚类，我们可以在数据集中看到所有可能的关联。

然而，树状图的最大问题是 1)可扩展性。拥有包含大量观察值(即 100+或 1000+等)的大型数据集。)根本不会得出结论性的结果。它在计算上是昂贵的，因为一个不良凝聚簇具有 O(n)的时间复杂度。

分层聚类解释

实践教程

以简化的方式说明层次聚类中使用的分析和过程

照片由Unsplash 的 Alina Grubnyak 拍摄

在我们的上一篇关于高斯混合模型(GMM) 的文章中，我们探索了一种基于样本在其特征向量空间中的位置来聚类数据点的方法。在 GMM，基于系统中数据点的分布，我们能够以概率的方式分配每个样本属于每个聚类的可能性。

但是，如果我们不仅仅关注数据点在整个系统中的分布密度，而是想定量估计系统中每个样本之间的关系，并研究系统中每个数据点之间的相关程度，会怎么样呢？为了实现这个目标，在本文中，我们将探索另一种聚类方法，它属于一个完全不同的聚类分析家族，称为层次聚类。

系统树图

层次聚类的唯一概念在于构建和分析树状图。树状图是一种树状结构，它解释了系统中所有数据点之间的关系。

x 轴为数据点，y 轴为聚类距离的树状图(图片由作者提供)

然而，像常规的系谱树一样，树状图不需要从上到下以规则的间隔分支，因为其中的垂直方向(y 轴)以某种度量表示聚类之间的距离。随着您沿着一条路径继续走下去，您会不断地将集群分成越来越小的单元，直到您的粒度级别达到数据样本。在反过来的情况下，当你在向上的方向上移动时，在每一层，你都将较小的集群包含到较大的集群中，直到到达整个系统。因此，层次聚类也被称为聚类的聚类。

遍历树状图时粒度和聚类大小的影响(图片由作者提供)

聚类数

在层次聚类中，在构建树状图时，我们不需要对聚类数做任何假设。一旦构建了树状图，我们就可以水*分割这个结构。在水*切割下形成的所有结果子分支代表系统中最高级别的单个分类，它为每个数据样本定义相关的分类成员。请注意，我们之所以称之为最高级别，是因为即使在您创建了集群之后，您仍然知道后续子集群之间的关系，并且您始终可以选择增加/减少集群的粒度级别。

然而，树状图并不能正确理解放置水*切割后集群的样子。您必须用得到的聚类索引在特征向量空间中单独标记数据点，以便直观地看到聚类的效果。

切片树状图，其结果聚类标记在右侧相应的特征向量空间中(图片由作者提供)

下一个要考虑的问题是你应该在哪里放置水*切口。切片的位置可以通过视觉来决定，甚至可以根据您希望聚类之间的最小距离“y”(y 轴上的切割位置)来决定。

聚类距离为 y1、y2、y3 时的树状图切片可能性(图片由作者提供)

此外，它不是一个约束，你必须在一个恒定的距离切割树状图。基于您试图解决的问题的应用程序和领域知识，树状图可能被不一致地切割。例如，在下面的异常值检测应用程序中，为了分离两个相邻的异常值，水*切割在不同的位置发生变化。

右侧为特征向量空间投影的异常值检测应用程序的可变长度树状图切割(图片由作者提供)

树状图的解释

树状图的每一层对其数据成员之间的关系都有微妙的意义。在一个常规的关系图中，你可以解释为最上面是祖父母或第一代，下一层是父母或第二代，最后一层是孩子或第三代。同样，在树状图的每一个分支过程中，所有具有每一层成员资格的数据点都属于某一类。

然而，为了推断这个类实体，必须仔细检查公式化聚类中每个级别的几个单独的样本，并找出结果聚类中的共同特征。此外，这些推断的类在姐妹分支处不需要相似。例如，在级别 2 中，猫被聚集在大耳朵和*静的行为上，但是狗被聚集在相似的大小属性上。

用户在树状图中推断的数据类别(图片由作者提供)

树状图的构建

既然我们已经理解了什么是树状图，让我们学习如何构建它。有两种方法来构建它。构建它的一种方法是自下而上，从底层开始，不断合并各个数据点和子聚类，一直到顶层。这就是所谓的凝聚集群。

另一种方法是与自顶向下相反的过程，首先将整个系统视为一个集群，然后继续对其进行子集群，直到获得单个数据样本。这个过程被称为分裂聚类。这些方法中的每一种都有单独的算法来实现其目标。

a)聚集聚类

用于执行聚集聚类的最简单和容易理解的算法之一是单链接。在该算法中，我们首先将每个数据点视为一个子聚类。我们定义了一个度量来度量每一步中所有子聚类对之间的距离，并在每一步中保持合并最*的两个子聚类。我们重复这个过程，直到系统中只有一个集群。

b)分裂聚类

用于执行分裂聚类的算法之一是递归 k-means。顾名思义，在每个中间聚类上递归地执行 k-means 过程，直到遇到系统中的所有数据样本或一个聚类中您希望拥有的最小数量的数据样本。在该算法的每一步中，您都必须注意接下来要创建多少个集群。

用黑点表示的数据样本形成聚集/分裂聚类(图片由作者提供)

在这两种聚类方法中，当我们绘制树状图时，我们必须注意两个包含类之间的距离，并且距离尺度的变化保持在树状图的 Y 轴上。

基于聚类距离的树状图中分枝高度的变化(图片由作者提供)

最后，让我们来看看层次集群的优点和缺点。

优势

• 使用分层聚类，您可以创建形状更复杂的聚类，这在 GMM 中是不可能的，并且您不需要对聚类的最终形状做任何假设。

分层聚类形成的复杂结构形状(图片由作者提供)

• 在一次操作中，您可以首先以不同的粒度级别对数据集进行聚类，然后决定您希望在数据集中包含的聚类数量。
• 如果你使用某种类型的闵可夫斯基距离，比如说欧几里德距离来测量你的聚类之间的距离，那么从数学上来说，你的聚类过程会变得非常容易理解。

不足之处

• 当您开始分析树状图并做出决策时，您会意识到层次聚类在很大程度上是由试探法驱动的。这导致过程中的大量手动干预，因此，需要应用程序/领域特定的知识来分析结果是否有意义。
• 尽管层次聚类在数学上很容易理解，但它是一种数学上非常繁重的算法。在任何层次聚类算法中，您必须不断计算数据样本/子聚类之间的距离，这增加了所需的计算量。
• 我们将列出的最后一个缺点是最大的不利因素之一，这就是为什么分层聚类通常被 ML 工程师避开。在我们所有的可视化中，我们已经展示了数据样本非常少的树状图。如果数据样本的数量增加(很可能每次都增加)，那么可视化地分析树状图并做出决策就变得不可能了。

在本文中，我们探讨了层次聚类的概念。请在评论区分享你的观点。

人工智能代理引擎的分层有限状态机

原文：https://towardsdatascience.com/hierarchical-finite-state-machine-for-ai-acting-engine-9b24efc66f2?source=collection_archive---------13-----------------------

学习分层有限状态机(HFSM)的细节，它如何解决有限状态机(FSM)中发现的问题，以及它如何与行为树进行比较。

Pacman HFSMs(图片由作者提供)

介绍

实现人工智能代理(如机器人或视频游戏中的角色)正变得越来越复杂，因为它们需要复杂的行为来在动态环境中执行任务。今天，有限状态机(FSM)仍然是模拟人工智能主体行为最常用的算法。

尽管分层有限状态机(HFSM)部分解决了它的缺点，但它易于理解和实现的事实使它成为最常用的算法。

这篇文章将研究 FSM，它的优点和缺点，以及为了减轻 FSM 的一些缺点而开发的 HFSM。

我们在这里的讨论集中在从自动规划和行动的角度来组织我们的人工智能代理的行为 HFSM。

在下面的部分中，我们将研究什么是 FSM 和 HFSM，并将它们用于 Pacman 代理，并将它们与行为树进行比较。

在以前的文章中，我们已经看到了一个更新的，也可以说是更好的方法，行为树。请参见下面链接中的帖子，了解行为树。

在整篇文章中，我们将互换使用这些术语:行为、决策和代理引擎。

分层有限状态机

有限状态机

一个 FSM 或者有时只是简称为简单的状态机是 一个数学计算模型。

它(sigma)由一组有限的状态(S)、转换(gamma)、事件(E)和动作(A)组成。

过渡系统(图片由作者提供)

我们用动作来表示代理人做了什么导致了世界的变化，而事件则用于表示代理人控制之外发生的事情，它们可能是其他代理人的动作或世界动态的一部分。

在实践(实现)中，为了简单起见，我们将事件用于事件和动作。

现在让我们看一个简单的门的有限状态机的例子。我们有两个状态{打开，关闭} ，两个动作/事件{打开，关闭} 和下面的转换。

门 FSM 的过渡(图片由作者提供)

一扇门 FSM(图片由作者提供)

很简单，不是吗？现在让我们看看 FSM 的更多特性。

州

有两种状态，简单状态和复合状态。

简单状态(图片由作者提供)

它可以简单到仅仅是状态的名称，或者用标签来指定在以下时间执行什么动作:

• 进入:进入状态时
• 做:该状态下正在进行的动作
• 退出:退出一种状态时

复合状态是一个包含子状态的状态，我们将在下面关于 HFSM 的章节中讨论。

除了这两种状态之外，还有特殊的状态，或者也称为伪状态，例如初始状态和退出状态。UML(统一建模语言)定义了一些其他的状态，但是对于我们的实现，我们很少使用它们。

过渡

转换表示作为动作/事件被触发的结果，从一种状态到另一种状态的变化。

过渡具有以下属性:

• 触发转换的一组动作/事件
• 发生转换时需要满足的条件
• 转换发生时执行的动作

过渡(图片由作者提供)

只有当事件被触发并且条件被满足时，转换才会发生。

这里需要注意的一点是，当发生转换时，操作的执行顺序是:状态 1 的退出操作、状态 2 的转换操作和进入操作

现在我们来看看 FSM 的优势:

• 它在软件工程中被广泛使用
• 它易于理解和实现

然而，在这个例子中，我们只有两种状态。在实践中，复杂的系统，如人工智能代理引擎，将有更多的状态，这将导致非常复杂的有限状态机，难以维护，容易出现人为错误。下面是有限状态机的缺点:

• 每次我们想要对 FSM 进行更改，比如添加或删除状态，我们都需要重新评估所有相关的转换。这使得维护和扩展变得困难，而维护和扩展是软件工程中的两件重要事情
• 模块化和可重用性问题，很难为其他 FSM 重用一些状态，因为它们可能依赖于一些内部变量

分层有限状态机

HFSM 通过改进以下内容解决了我们在 FSM 中看到的问题:

• 模块化和可重用性
• 层级(顾名思义)结构

HFSM 引入了以下概念:

• 父状态机:一个状态所属的状态机
• 子状态机:一个状态拥有的状态机，当进入该状态时启动，当退出该状态时停止

关于为什么等级制度是必要的一点背景知识。这是因为可以说，我们在生活中所做的几乎所有事情(我们的行动)都是有层次的，它们从一些抽象的东西开始，可以被分解成我们可以执行的更具体的行动。因此，对我们来说更直观的是将一些本质上接*的状态分组到更高级别的状态中，并使用多级 FSM。转换可以发生在 FSM 的所有级别。

AI 智能体的决策组件也是如此。在“行动者对自动化计划和行动的看法:一份立场文件”，马利克、达纳和保罗认为，不管代理的内部架构如何，它都会分层次地查看、准备和执行其行动。

这正是 HFSM 为我们提供的解决我们在 FSM 中发现的问题的方法。

HFSM 让 FSM 对我们来说更直观，更容易理解。

现在让我们看一个例子来理解所解释的内容。

让我们想象一下，我们有一个货运机器人，它配备了一个可以从一个房间移动到另一个房间的手臂，可以携带一块积木。它能够通过抓住石块并将其放在身上来装载石块。它的工作是去积木所在的房间，装上积木，在这个过程中通过躲避障碍物回到原来的位置。FSM 将如下所示:

货运机器人 FSM(图片由作者提供)

可能会有更多的转换和状态，但是这个图对于我们的目的来说已经足够了。如果我们看一下这个 FSM，它对于这个简单的任务来说是不必要的复杂。我们可以看到有两个主要任务:

• 正在向目的地移动
• 以及，加载块

使用这种高级 FSM 将更容易理解:

高级 FSM(图片由作者提供)

HFSM 的图表是这样的:

货运机器人 HFSM(图片由作者提供)

我们可以在多个层次上看到整个系统，在最高层次上它只包含两个状态，在每个状态下它有三个子状态。

现在我们可以看到为什么它是分层的、可重用的和模块化的。子状态机是可以作为软件模块实现的独立状态机。这意味着我们可以很容易地在其他父状态机中使用它，使其模块化和可重用。

我们已经有了足够的概念，现在我们可以在我们的 Pacman 代理上实现它，看看它的表现如何。

“吃豆人”用 HFSM 作为代理引擎

为了完成它的任务，我们的 Pacman 必须以最有效的方式吃掉世界上的所有食物，在这个过程中避免鬼魂，并吃胶囊让鬼魂害怕，这样它就不需要在移动到食物位置时担心它们。

我们设计 FSM 具有以下状态:

• 寻找最*的食物
• 规划路径
• 执行计划路径
• 寻找最*的太空舱
• 还有，避开鬼魂

有限状态机版本

下图描述了 FSM 版本:

Pacman 简单有限状态机(图片由作者提供)

你可能注意到的一件事是我们在美国使用标签。在每种状态下，只要它停留在该状态，您就可以很容易地看到当它进入、退出和执行时采取了什么动作。

一个例子是在规划一条路径状态下:

• 进入此状态将执行“获取目的地”操作
• 在这种状态下，路径规划是异步执行的
• 当路径规划正在进行时离开这种状态将导致它被取消，例如当幽灵在规划时离 Pacman 太*时(因为当它在规划/思考时，幽灵仍在移动)

使用这种 FSM，Pacman 可以很好地完成它的任务，正如你在下面的视频中看到的。

吃豆人与 FSM(视频由作者提供)

HFSM 版本

如果我们使用正确的层次结构，在最高级别我们有三个状态:

• 吃食物
• 东方胶囊
• 躲避鬼魂

这是吃豆人的三个高级状态。只要它在执行任务，它就应该处于这些状态之一。

Pacman 高级 FSM(图片由作者提供)

吃食物和吃胶囊这两种状态可以分解成以下状态机。

吃食物 FSM(图片由作者提供)

食用胶囊 FSM(图片由作者提供)

它们非常相似，都有规划路径和执行规划路径的状态。区别在于它找到食物或胶囊的最*位置的状态。

另一个不同点是，在执行计划的路径进食后，进食 FSM 将重复该过程，而进食胶囊 FSM 将退出。

将这三个 FSM 组合起来，得到下面的 HFSM。

吃豆人 HFSM(图片由作者提供)

我们可以看到，与简单的 FSM 实现相比，这更容易理解，更模块化，更可重用。Pacman 的行为或多或少与 FSM 版本相同，可以在下面的视频中看到。

吃豆人和 HFSM(视频由作者提供)

结论

我们现在已经研究了什么是有限状态机，因为它容易理解，所以被广泛使用。然而，它也有一些缺点:

• 由于许多过渡必须手动设计，因此难以维护和扩展
• 它在模块化和可重用性方面也有问题

分层有限状态机通过引入父状态机和子状态机的概念解决了模块化和可重用性的问题。它还通过使用组件的层次结构帮助我们理解一个更复杂的系统。

与行为树相比

然而，即使有了 HFSM，难以维护和扩展的问题依然存在。正如我们在以前的帖子中讨论的，行为树已经改进了这一点。

的确，我们可以用 HFSM 和行为树来实现一个人工智能代理的决策/执行引擎，但是我认为使用行为树是一个更好的方法。我们可以在下面看到 HFSM 和英国电信为吃豆人制作的图表，以作比较。

Pacman HFSMs(图片由作者提供)

Pacman BTs(图片由作者提供)

我希望这篇文章能让你很好地理解 FSM，HFSM，以及它如何与 BT 相比较，以便你能为你的 AI 代理选择正确的决策或代理引擎。

Python 中的 HFSM 开源

我试图在 Python 中寻找一个好的 HFSM 实现，但找不到，所以我实现了它。我会在我的 Github 上分享，并在下一篇帖子中更新！

分层隐马尔可夫模型

思想和理论

雷·库兹韦尔认为这是大脑皮层结构的*似

在最*的一篇帖子中，著名的未来学家雷·库兹韦尔提到——在他看来——新皮层中的大脑结构在技术上类似于层级隐马尔可夫模型(HHMM)。他还在 2012 年出版的《如何创造思维》一书中详细阐述了这一观点1。

然而不幸的是，这篇文章和这本书都没有足够的信息来详细理解这个机器学习模型，更不用说实现它了。对于任何对意识机器的实现感兴趣的爱好人工智能科学家来说，这是一个遗憾！

因此，让我们利用这篇文章来尝试和理解层次隐马尔可夫模型。我们将对它所构建的大多数概念进行简要的、高层次的介绍，并为实际的实现做好准备(由于篇幅原因，将在另一篇文章中介绍)。

分层隐马尔可夫模型顾名思义是基于隐马尔可夫模型，而隐马尔可夫模型又是基于马尔可夫链，都是随机过程。我们将从最后一个概念开始，并向后追溯。

注意:这是一个关于 HHMM 话题的简单介绍。我们将坚持使用例子和简单的概念，并将数学推迟到后续文章中实现它的时候。

随机过程，简要介绍

如前所述，本文中我们要研究的所有东西都是随机过程。我相信您可能已经知道那是什么，但是因为它是整篇文章的基础，所以让我们再简单地看一下:

维基百科将随机过程非正式地定义为:

随机变量序列

为了理解这意味着什么，想象一个特定类型的随机事件，如天气或掷硬币，按顺序测量或观察，例如每天一次，或连续 10 次。当试图用数学方法描述它时，我们可以利用一个随机过程。我们会简化现实世界的现象，并试图计算未来状态的概率分布。

与统计模型不同的是，这将包括迭代的元素:先前的状态影响当前的观察。今天下雨了吗？那么，根据经验，很有可能明天至少会是多云天气。

另一方面，我觉得这也更类似于我们在心理上构建模型的方式:我们倾向于考虑“如果-x-发生-现在-然后-y-可能发生-以后”类型的模型，而不是考虑输入与输出变量(线性或其他)的*滑函数关系。

例如，代替思考

如果我观察到温度为 ABC，气压为 XYZ，以 UVW 的速率变化，那么在 3 小时 20 分钟内(或多或少 10 分钟)，我可以预计降雨强度为 DEF。

我们可能宁愿认为

整天都是阴天，而且似乎越来越暗，越来越冷，所以很有可能很快就会下雨。

这不仅仅是因为我们没有坐下来用温度计、气压计和秒表来预测天气，还因为很难在头脑中建立和使用这种功能模型。我假设这与卡尼曼在“思考，快与慢”[2]中的观点有关，我从中得出结论，我们通常更喜欢使用快速的模式匹配思维，而不是缓慢的分析思维——但我无法为此提供任何科学证据。

无论如何，随机过程的理论比这些例子所暗示的要丰富得多。然而，为了理解 HHMMs，我们现在不需要所有的细节。

基于这些想法，现在理解马尔可夫链几乎是微不足道的——我保证！所以事不宜迟，现在让我们进入下一个话题。

马尔可夫模型和链

以俄罗斯数学家安德烈·马尔科夫命名的马尔科夫模型是一个随机模型(或过程),它具有一个特定的属性——可能有人已经猜到了，叫做马尔科夫属性——要求过程的未来状态只取决于当前状态。

让我们回到天气上，简单地用三种状态(我们每天早上检查的状态)建模:“晴天”、“多云”和“雨天”。现在，通过写下我们在一段时间内的观察结果，并计算“晴”之后出现“多云”的频率，我们可以创建一个与此类似的模型:

一个简单天气模型的状态转移概率图。请注意，从一个状态到另一个状态的所有转换仅取决于当前状态，它们的概率总和为 100%。(图文由作者提供)

这样，我们定义了一个简单的马尔可夫链。也就是说，我们包括了建模系统的简化状态及其转移概率。这也清楚地显示了马尔可夫性质:概率仅依赖于当前状态。

让我们再坚持这个概念一会儿，看看另一个例子:简化的文本生成。

我们可以将文本视为单词(和标点符号)的序列，其中某些单词的组合比其他组合更有可能出现，即一些单词比其他单词更有可能一个接一个出现。在某种程度上，这可以通过简单地读取样本文本并计算单词到单词的出现次数来用马尔可夫链来表示。(这里:赫尔曼·梅尔维尔的《莫比·迪克》的开头)

叫我 以实玛利。几年前——不要管具体是多久——我的钱包里很少或没有钱，在岸上也没有什么特别感兴趣的东西，我想我应该航行一段时间，看看世界上的水上部分。

• 调用 → me (100%)
• me→Ishmael(50%)
• me → on (50%)
• …

诸如此类。这也可以扩展到几个单词，即在两个或多个单词组合后找到下一个单词(也分别称为 2-grams 或 n-grams )。

这不仅允许我们建立一个研究文本的随机模型，我们还可以用它来生成更多类似的文本:从一个随机的起始单词开始，然后根据记录的概率选择下一个单词。

隐马尔可夫模型

为了建立前面讨论的马尔可夫链，我们需要能够直接观察状态的出现。继续上一个例子:为了创建词到词的概率模型，你需要读入大量的文本，即大量的词到词对。

但是世界上的很多事情都是无法直接观察到的，我们只能通过观察这些‘隐藏’状态有哪些可测量的影响来估计正在发生的事情。

回到天气的例子，你可以想象站在室内透过窗户向外看，试图判断天气是否冷到可以穿外套、戴帽子和手套，或者你是否可以只穿毛衣就出门。如果你没有温度计，感觉不到温度，你仍然可以通过观察它的影响来推理:例如，其他人穿什么或者外面是否有雪和霜。

对这些不可观察的过程及其影响进行建模就是隐马尔可夫模型的目的。直观地说，根据我们之前所学的，它们的核心是一个马尔可夫链，包含状态和概率转移。现在的问题在于，系统的这些状态是不可观察或测量的，这使得我们没有简单的方法来直接计算转移概率。然而，除此之外，我们还可以测量国家造成的其他影响。这些影响本身是随机的。

让我们再来看看天气以及它可能对世界产生的潜在影响:

具有影响及其概率的‘隐藏’马尔可夫链的状态转移图。请注意，一个状态可能具有一个以上的可观测效应，这导致了状态不能从观测值直接推断的问题。(图文由作者提供)

在这个例子中，我们同样有三种潜在的天气状态(有点简单，但是很好)。然而，这一次我们也展示了它们对世界的可观察到的影响(在这种情况下，人们穿着什么)以及看到它们的概率。

注意，马尔可夫链在概念上也可以建模为 hmm。如果每种状态只能确切地产生一个观察结果(100%的时间)，那么我们又回到了更简单的马尔可夫链模型。

典型应用

像这样的模型通常以两种不同的方式用于预测:

• 1.估计某个观察序列的概率。例如:观察穿“毛衣”→“雨衣”→“毛衣”→“雨衣”的可能性有多大？我想这也取决于你是否在英国…
• 2.基于一系列的观察，尝试估计它产生的状态序列。例如，如果你看到“t 恤”→“毛衣”→“t 恤”，世界的状态很可能是“晴朗”、“晴朗”、“晴朗”。不错！

也就是说，如果您已经创建了模型并推断出了它的参数。如果这还没有完成，您将面临另一个挑战:

• 3.给定一个模型结构(即状态、转换和效应)和一系列观察序列，尝试找出所有“箭头”最可能的概率。也就是说，训练模型。

最后但同样重要的是，一个很少提及的用途是数据创建:

• 4.使用现有的训练模型和起始状态(也基于模型参数选择)来迭代模型的状态。根据模型中记录的概率选择下一个状态(和输出)。

不言而喻，所有这些问题都已经解决了很多年，公式也是众所周知的。我们将在实现它们时更详细地讨论它们。

分层隐马尔可夫模型

到目前为止，我们只看了一些天气状态的非常简单的 HMM。这很简单，但是很清楚地说明了模型的要点。让我们对 Fine 等人在 1998 年的论文[3]中描述的分层隐马尔可夫模型做同样的事情。

正如我们已经看到的，hmm 可以理解为状态的有向图，其中每个状态都是可到达的。从某种意义上来说，分级版本更受限制，同时也更复杂。(实际上,[3]的作者还提到，HHMM 可以表示为全连接的 HMM，其缺点是失去了层次结构的语义，正如我们将看到的)。

那么什么是层次隐马尔可夫模型呢？简单地说，顾名思义，分层 HMM 为隐藏状态添加了一个树状层次结构。

它从代表顶层(或第一层)的根节点开始，该层具有到第二层状态的每个状态的可能状态转换。第二层本身的结构类似于马尔可夫链，即状态之间有转换。然而，该层中的每个状态都可以是另一个 HHMM 的根节点。

这样循环下去，直到我们到达叶节点，称为生产状态，其行为类似于“正常”HMM 状态，因为它们输出单个观察或符号。它们也是相互关联的。

每一层都有最后一个特殊的“结束”状态，当到达该状态时，会自动(100%可能)跳回到上一层的父状态。

就顺序而言，状态转换首先深入。然后，当信号通过较低级别的结束状态返回时，同一级别的其他状态被激活。使用这种结构，非生产状态没有直接分配的输出。然而，它们的输出隐含地由较低级别的生产状态的输出序列来描述。

为了说明这一点，可以把生产节点想象成文本中的字母或字符。然后，更高级别的节点可以逐步表示音节、单词、单词组合、句子等等。这就是这里的层次结构的本质:它用于表示简单概念的抽象。

前面提到的论文使用该方法在英语文本语料库上训练该模型，该模型很好地展示了该思想。让我们用这个例子来描绘这样一个网络的一部分可能是什么样子:

简化分层隐马尔可夫模型中的状态转移和示例路径。这里，我们展示了从字母或字母组合到短词再到句子的各个部分的文本生成。概率不包括在内，以提高易读性。(图文由作者提供)

在上面的例子中，我们跟踪了一个生产路径，从根节点通过第二层向下到生产状态，生产状态将输出字母(或字母组合)。

每个向下的灰色箭头都是一个“垂直”过渡，如果可能的话，将在考虑任何黑色“水*”箭头之前进行。这意味着一个状态的灰色箭头和黑色箭头的概率总和必须分别为 1。

用红色标记的部分路径将产生单词“The ”,作为第二级激活状态的隐含输出。然后，这种产生可以继续通过第二层的其它状态，直到它最终跳回到根节点，并且完成字符的发射。

与人类大脑的关系

在文本生成模型中，层级越高，输出就越复杂。最低级别的生产状态将生成一些单个字母，而在根节点级别，我们可以期望看到完整的句子。

Kurzweil 提到在新大脑皮层中也有类似的层级。他们处理语言处理，从单词的一部分到最高层的幽默和讽刺的概念。这种相似性是他建议 HHMMs 作为有意识思维建模的可能基础的原因。

使用

一般来说，HHMMs 和 hmm 都用于类似的领域:顺序数据不能直接记录，但其他数据可以直接记录的地方。那么，这个模型的目的就是从记录的任何其他效应中推断出实际的数据。

一个非常著名的例子是语音识别和语音合成(实际上从 20 世纪 70 年代开始)。在那里，使用傅立叶变换分析短的声音序列，并将其“翻译”成最可能的音素，并在更高的层次上翻译成已知词汇表中的单词。

从那时起，这些算法不断改进，现在我们可以在移动设备上使用 Siri 或 Alexa 等语音助手。

对于更多的灵感，维基百科有一个更长的应用列表。

限制

拓扑。正如 Kurzweil 在文章中提到的，到目前为止，我们希望提前知道网络的拓扑结构是什么样的(即有多少内部状态和级别，以及状态是如何连接的)。有了这些信息，我们就可以使用上述算法来训练模型，并从中提取有用的信息。

但是这种网络拓扑的前期知识很少存在。例如，我们必须如何构建网络才能正确地生成一定长度的英语句子？即使没有分配概率，这也是一项极其困难的任务。

文献[3]作者的实验表明，层级结构的微小变化会对网络的语言分析能力的质量产生相当大的影响。

一种用于语音识别的解决方案是，开始创建只能识别单个单词的小部分网络，并将这些网络聚合成一个更大的模型。

Kurzweil 还提到了一种基于遗传算法的改进网络拓扑的方法，我认为这只是许多可应用的优化技术之一。

状态空间。在我们看到的例子中，状态空间以及可能输出的空间都是离散且有限的。这意味着我们在前面提到的网络拓扑中有一组状态和观察值。

我不确定 HHMMs 是否可以推广到更广的范围，但是 hmm 在一定程度上显然可以。例如，可以假设一个连续的状态空间(想想:实数，例如在多维向量中指定一个状态)。

这似乎与 Kurzweils 的模拟大脑部分的想法无关，所以我们不会详细讨论这部分。

转移和输出概率。这些模型的另一个限制来自马尔可夫属性本身:由于概率是静态的，并且只取决于当前状态，因此没有办法将依赖于时间的上下文信息包括到模型输出中。

这对于使用 HHMM 或 HMM 的文本生成来说将是特别有趣的，因为它将使我们能够学会对外部刺激做出“响应”。

例如，想象一下，您有一个巨大的 HHMM，可以生成关于各种主题的复杂文本。如果你想在一个对话界面中使用这个模型(比如说一个聊天机器人)，能够学习根据用户的要求用什么来响应将会很棒。有趣的是，这已经在所谓的输入/输出 hmm[4]中进行了探索。

后续步骤

如前所述，我将根据[3]中的研究，用一篇更具技术性的文章来阐述 HHMM 的实现，从而继续这个主题。我的希望是复制(在一篇教程风格的文章中)他们在自然语言分析上的一些结果。在最好的情况下，我们可以看到如何将样本文本映射到一些好的层次级相关抽象上。

与此相关的所有完成的源文件、笔记本和代码也可以在 Github 上获得。请留下反馈并提出改进建议。

如果你想支持这篇和类似精彩文章的创作，你可以注册一个中级会员和/或关注我的账户。

1 R. Kurzweil，“如何创造思维:揭示人类思维的秘密”(2012)，企鹅出版社

[2] D .卡尼曼，《思考，快与慢》(2011)，麦克米伦出版社

[3] S. Fine、Y. Singer 和 N. Tishby，“分层隐马尔可夫模型:分析和应用” (1998)，机器学习 32.1(第 41-62 页)

分层线性建模:逐步指南

原文：https://towardsdatascience.com/hierarchical-linear-modeling-a-step-by-step-guide-424b486ac6a3?source=collection_archive---------1-----------------------

入门

利用 R 进行混合模型分析

在大多数情况下，数据往往是聚集的。分级线性建模(HLM)使您能够探索和理解您的数据，并降低 I 型错误率。本教程用 R 来演示 HLM 在社会科学研究中的基本步骤。

鸣谢:【https://pixabay.com/users/geralt-9301/】T2 来自 Pixabay

在开始分析之前，让我们先简要谈谈什么是 HLM。

HLM(又名多层建模)分析以有组织的模式聚集的数据，如各州的大学、科技公司的非白人男性和医院的诊所。HLM 是一个普通的最小二乘法(OLS ),要求满足所有假设(查看我的教程OLS 假设和数据筛选),除了误差假设的独立性。这一假设很可能被违背，因为 HLM 允许跨集群的数据相互关联。

HLM 的预测因子可以分为随机效应和固定效应。随机效应指的是不是研究的主要焦点，但可能影响因变量，因此需要包括在模型中的变量。另一方面，固定效应是这项研究的关键预测因素。例如，一位心理学家想要预测童年的不利创伤对一个人成年后发展为边缘型人格障碍(BPD)的趋势的影响。参与者来自集体主义和个人主义文化，这两种文化可能对父母的行为有不同的定义。个人主义文化中的人，如美国或英国的人，可能会认为父母打屁股是虐待，而集体主义者，如亚洲人和非洲人，可能会认为打屁股是加强孩子纪律的一种方式。因此，来自不同文化的参与者可能在童年时期受到来自其父母的相同行为的不同影响，并且可能在不同的水*上发展出 BPD 症状。根据这个例子，童年创伤被视为基于人格文学和研究者作为心理学家的兴趣的固定效应。文化可以被视为随机效应，因为这一变量可能会影响边缘型人格的发展，但不是研究的主要焦点。值得注意的是，随机效应应该是分类的，而固定效应可以是虚拟变量(具有两个水*的分类变量)或连续变量。

你们中的一些人可能会想，为什么我们不使用一个单一水*的回归模型来控制潜在的随机效应(例如，根据上述例子的文化)？这样做可能会引入错误的标准误差估计，因为残差(即同一组中的观察值)往往是相关的。例如，来自相同文化的人可能以相同的方式看待一种行为。单水*模型的误差项代表跨水*的聚类数据误差，限制了我们在控制参与者嵌套的文化后，了解关键预测因子(如童年创伤)对一个人发展 BPD 倾向的影响。

还在迷茫？让我们看看下面的等式:

易=β0+β1xi+ei一元回归模型— (1)

yij=β0+uj+*eij一个方差分量模型——(2)*****

yij=β0+β1xij+uj+eij混合模型(带随机截距)——(3)**

i 是观察的数量(例如，参与者#1、#2、#3..).

j 是每个观察所属的文化的范畴(即 j = 1 是集体主义，j = 0 是个人主义)。

β1 是不良童年创伤

y 是 BPD 倾向。

u 是无法用文化解释的 y 方差，控制其他预测因子。

e 是 y 的方差，它不能通过控制其他预测因子的童年创伤来解释。

根据等式 1，误差项( ei )表示未被关键独立变量(例如，童年创伤)解释的结果方差。等式 2 显示了两个误差项，包括随机效应的误差项( uj )(即文化)和嵌套在随机效应中的固定效应的误差项( eij )(不同文化中的童年创伤评分)。等式 3 表示整合了等式 1 和等式 2 的混合模型，相对于等式 1 中的单级回归模型，说明了更精确的误差估计。

现在你已经有了一些 HLM 的基础，让我们在分析之前看看你需要什么。

*install.packages("nlme")
library(nlme)*

个案研究

本教程使用了一个虚构的数据集。我们将研究一个人的自恋是否能预测他们对亲密关系的满意度，假设自恋症状(例如，自恋、说谎、缺乏同理心)会随着不同生活事件发生的时间而变化。因此，固定效应是自恋型人格障碍的症状(NPD)。结果变量是一个人的亲密关系满意度(满意度)。随机效应是时间，三个等级编码为 1(婚前)，2(婚后 1 年)，3(婚后 5 年)。

分析前步骤

第一步:导入数据

*#Set working directory
setwd("insert your file location:")
#import data
library(foreign)
data<-read.spss("HLM.sav(your data name)," use.value.label = TRUE, to.data.frame = TRUE)*

第二步:数据清理

HLM 分析步骤

步骤 1 :仅拦截型。

仅截距模型是 HLM 的最简单形式，建议作为添加任何其他预测项之前的第一步。这种类型的模型测试使我们能够了解在不考虑其他预测因素的情况下，结果变量得分(即本教程中的关系满意度)是否明显不同于零(即参与者表示了特定的关系满意度)。对于 OLS 模型，截距也称为常数，在仅截距模型中，截距是结果变量的*均值，如下式所示:

作者图片

*model1=gls(Satisfaction~1, data = data, method = "ML," na.action = "na.omit")
summary(model1)*

结果如下:

*Generalized least squares fit by maximum likelihood
  Model: Satisfaction ~ 1 
  Data: data 
      AIC      BIC    logLik
  6543.89 6555.678 -3269.945Coefficients:
               Value  Std.Error t-value p-value
(Intercept) 5.087982 0.01582679 321.479       0Standardized residuals:
       Min         Q1        Med         Q3        Max 
-4.9894040 -0.5142181  0.0960345  0.7644064  1.1131222Residual standard error: 0.8193328 
Degrees of freedom: 2681 total; 2680 residual*

p 值显著，表明参与者的关系满意度与零显著不同。

第二步:随机截距模型。

这一步添加了我的随机效应(即时间)，以查看相对于之前的仅截距模型(模型 1)，预测值是否增加了我的因变量中解释的显著方差。

从统计学的角度来说，如果你还记得前面的等式，单截距模型整体回归的截距仍然是 β 0。但对于每组随机效应(即婚后的每个时间点)，截距为 β 0+ uj (当 uj 表示因变量的误差未被时间解释时)。

在将时间作为随机效应包括在内之前，请确保变量是明确的:

*is.factor(data$Time)
[1] FALSE*

输出显示“false”，因此我需要将时间转换为分类变量。

*data$Time = as.factor(data$Time)#Check again whether Time is categoricalis.factor(data$Time)[1] TRUE*

模拟随机截距；

*model2 = lme(Satisfaction~1, data = data, method = “ML”, na.action = “na.omit”, random = ~1|Time)summary(model2)*

结果是:

*Linear mixed-effects model fit by maximum likelihood
 Data: data 
       AIC      BIC    logLik
  6533.549 6551.231 -3263.775Random effects:
 Formula: ~1 | Time
        (Intercept)  Residual
StdDev:  0.06596515 0.8165719Fixed effects: Satisfaction ~ 1 
               Value  Std.Error   DF  t-value p-value
(Intercept) 5.092783 0.04124424 2678 123.4786       0Standardized Within-Group Residuals:
       Min         Q1        Med         Q3        Max 
-5.0747125 -0.4169725  0.1953434  0.6985522  1.2158700Number of Observations: 2681
Number of Groups: 3*

现在，你可能想知道我如何知道我的随机效应(即时间)是否显著。有几种方式来看待这个问题。

从我的模型 1 和模型 2 的输出，你会看到模型 1 的 AIC = 6543.89，模型 2 的 AIC = 6533.549。通常，两个 AIC 值相差超过 2 表示模型拟合有显著差异。AIC 值越低，模型越适合。你可以看到在模型 2 中把时间作为随机效应包括进来改进了我的模型 1 (6543.89 -6533.549 > 2)。

*anova(model1, model2)*

结果如下:

*Model df      AIC      BIC    logLik   Test  L.Ratio p-value
model1     1  2 6543.890 6555.678 -3269.945                        
model2     2  3 6533.549 6551.231 -3263.775 1 vs 2 12.34079   4e-04*

p 值 4e-04 等于 4 x 10^-4，表明结果非常显著。因此，添加随机截距显著改进了仅截距模型。

除了 nlme 包中的 gls 和 lme 函数，我们还可以使用 lme4 包中的 lmer。一般来说，lme 和 lmer 都是混合数据分析的有效函数，但需要考虑一些差异:

1. lmer 不像 lme 那样分析一些相关结构。
2. nlme 是一个更大的工具包，他们关于混合模型的代码更容易理解。
3. nlme 可以用来定义交叉随机效应，比 lme 更容易和更快。
4. 由 nlme 软件包(例如 lme 和 gls 函数)和 lme4 软件包(例如 lmer 函数)拟合的模型假定抽样方差是已知的。

简单地说，对于简单的 HLM 分析，lme4 和 nlme 都应该提供相*的参数值。你可以查看这一页来比较这些包装。

如果你想尝试 lme4，你需要先安装 merTools :

*install.packages(“merTools”)
library(lme4)
library(merTools)*

让我们使用 lme4 的 lmer 来运行我们的随机截距模型

*model2.1<-lmer(Satisfaction~1+(1|Time), REML = FALSE, data = data)
summary(model2.1)*

结果:

*Linear mixed model fit by maximum likelihood  ['lmerMod']
Formula: Satisfaction ~ 1 + (1 | Time)
   Data: dataAIC      BIC   logLik deviance df.resid 
  6533.5   6551.2  -3263.8   6527.5     2678Scaled residuals: 
    Min      1Q  Median      3Q     Max 
-5.0747 -0.4170  0.1953  0.6986  1.2159Random effects:
 Groups   Name        Variance Std.Dev.
 Time     (Intercept) 0.004351 0.06597 
 Residual             0.666790 0.81657 
Number of obs: 2681, groups:  Time, 3Fixed effects:
            Estimate Std. Error t value
(Intercept)  5.09278    0.04124   123.5*

可以看到模型 2 (lme4)和模型 2.1 (nlme)的参数相当接*。

我们还可以运行 ICC(又名组内相关系数)来查看组内观察结果的相关性(例如，在我的案例中，每个时间点内的关系满意度)。ICC 指数范围从 0 到 1，数值越大表明组内同质性越高(Gelman & Hill，2007)。

*ICC(outcome = “Satisfaction”, group = “Time”, data = data)
[1] 0.01019326*

你可以看到我的 ICC 值大约是. 01，说明嵌套在一个时间点内的参与者的关系满意度彼此差异很大。

在进入下一个 HLM 分析步骤之前，我想确保我的固定效应回归系数是准确的。为此，我将使用 confint 请求 95%的置信区间(CI)。

如果您不熟悉 CI，该术语指的是一系列值，可能包括具有一定置信百分比范围(通常为 95%)的真实总体参数。公式是

作者图片

x 条是样本*均值

z 是置信水*值

n 是样本大小

s 是样本 SD

现在，的置信水*不同于的置信区间。如果我们多次重新运行一项研究，并以 95%置信区间估计一个感兴趣的参数，我们每次都会得到不同的 95%置信区间值，这是由于我们的数据中存在误差，这些误差可能是由多种因素造成的，例如参与者的因素、测量误差、我们每次分析时的情绪。然而，那些不同 CI 值的 95%将覆盖真实参数值，这个概念就是置信水*。如果我们将置信水*的下限设置为 1%，这意味着在我们重复进行的许多实验中，只有 1%的实验的真实参数值低于 1%的限制。如果我们设置一个 96%的上限，我们将发现高于上限的真实参数值的概率是我们重复进行的几次实验的 4%。**

由于人类喜欢对称的东西，所以人们经常将 95%的置信区间设定为下限 2.5%和上限 97.5%。在 2.5%的重复研究中，真实总体参数值将低于该区间，而在另外 2.5%的重复研究中，真实总体参数值将高于该区间。因此，在所有进行的研究中，置信水*将覆盖 95%的真实参数。

让我们回到我们的例子。如果我想知道模型 2.1 的置信水*，我将使用下面的代码。

*confint(model2.1)*

结果:

*2.5 %    97.5 %
.sig01      0.0267156 0.2084871
.sigma      0.7951820 0.8389382
(Intercept) 4.9785129 5.2081911*

结果表明，如果我重新运行我的研究几次，95%的情况下，截距系数(即，考虑时间随机影响的人群中关系满意度的真实*均值)将大约在 4.98-5.21 之间。

第三步:随机截距模式中的固定效果

由于我主要对 NPD 的固定效应感兴趣，我将在我的随机截距模型(模型 2 或模型 2.1)中包括预测值。我仍然让截距变化，这意味着每个时间点可能有不同的关系满意度得分截距。为了在随机截距模型中生成固定效果，我将使用 nlme 包中的 lme()。

*model3 = lme(Satisfaction~ NPD, data = data, method = “ML”, na.action = “na.omit”, random = ~1|Time)
summary(model3)*

结果:

*Linear mixed-effects model fit by maximum likelihood
 Data: data 
      AIC      BIC   logLik
  6468.46 6492.036 -3230.23Random effects:
 Formula: ~1 | Time
        (Intercept)  Residual
StdDev:  0.07411888 0.8063175Fixed effects: Satisfaction ~ NPD 
               Value  Std.Error   DF  t-value p-value
(Intercept) 4.672165 0.06842444 2677 68.28210       0
NPD         0.122980 0.01491822 2677  8.24362       0
 Correlation: 
    (Intr)
NPD -0.746Standardized Within-Group Residuals:
       Min         Q1        Med         Q3        Max 
-5.0666244 -0.4724214  0.1792983  0.7452213  1.6161859Number of Observations: 2681
Number of Groups: 3*

固定效应是显著的。我们来比较一下固定效应的随机截距模型(模型 3)是否优于随机截距模型(模型 2)。

*anova(model3, model2)*

结果:

*Model df      AIC      BIC    logLik   Test L.Ratio p-value
model3     1  4 6468.460 6492.036 -3230.230                       
model2     2  3 6533.549 6551.231 -3263.775 1 vs 2 67.0889  <.0001*

结果显示了两个模型之间的显著差异，表明添加固定效应显著改善了随机截距模型。

步骤 3 中模型拟合的替代方法是使用 lmer 函数:

*model3.1 <-lmer(Satisfaction~1+NPD+(1| Time), REML = FALSE, data = data)
summary(model3.1)*

结果:

*Linear mixed model fit by maximum likelihood  ['lmerMod']
Formula: Satisfaction ~ 1 + NPD + (1 | Time)
   Data: dataAIC      BIC   logLik deviance df.resid 
  6468.5   6492.0  -3230.2   6460.5     2677Scaled residuals: 
    Min      1Q  Median      3Q     Max 
-5.0666 -0.4724  0.1793  0.7452  1.6162Random effects:
 Groups   Name        Variance Std.Dev.
 Time     (Intercept) 0.005494 0.07412 
 Residual             0.650148 0.80632 
Number of obs: 2681, groups:  Time, 3Fixed effects:
            Estimate Std. Error t value
(Intercept)  4.67216    0.06840  68.308
NPD          0.12298    0.01491   8.247Correlation of Fixed Effects:
    (Intr)
NPD -0.746*

可以看到，lme 和 lmer 函数的参数估计值非常接*。

第四步:添加随机斜率项。

在 HLM，添加随机斜率允许随机效应组的回归线在斜率系数方面有所不同。在我的案例中，一个人的 NPD 和结果(关系满意度)在不同时间水*上的斜率可能会有所不同，因为人们的 NPD 症状可能会在不同时间点减弱或增强，这取决于他们的生活事件。为了测试这一假设，我将把 NPD 特质按时间嵌套，并允许 NPD 和关系满意度的斜率在不同的时间水*上变化。

*model4= lme(Satisfaction~ NPD, data = data, method = “ML”, na.action = “na.omit”, random = ~NPD|Time, control = lmeControl(msMaxIter = 200))
summary(model4)*

结果:

*Linear mixed-effects model fit by maximum likelihood
 Data: data 
      AIC      BIC   logLik
  6472.46 6507.823 -3230.23Random effects:
 Formula: ~NPD | Time
 Structure: General positive-definite, Log-Cholesky parametrization
            StdDev      Corr  
(Intercept) 0.072374062 (Intr)
NPD         0.002428596 0.131 
Residual    0.806315723Fixed effects: Satisfaction ~ NPD 
               Value  Std.Error   DF  t-value p-value
(Intercept) 4.672058 0.06779927 2677 68.91016       0
NPD         0.123021 0.01498469 2677  8.20977       0
 Correlation: 
    (Intr)
NPD -0.742Standardized Within-Group Residuals:
       Min         Q1        Med         Q3        Max 
-5.0663508 -0.4722466  0.1806865  0.7456579  1.6137660Number of Observations: 2681
Number of Groups: 3*

输出表明时间截距的变化符合 0.0724 的较大 SD。预测关系满意度的 NPD 斜率的变化符合 0.0024 的较小 SD。结果表明，参与者的关系满意度在不同时间水*上的差异可能比每个时间点内 NPD 症状的严重程度更大。

弱正相关(Corrr=0.131)意味着截距的更正值与斜率的更正值稍微相关。如果参与者的截距增加一个标准差单位，斜率只会增加 0.131 个标准差。换句话说，关系满意度的截距随时间明显不同，而 NPD 和关系满意度之间的相关性斜率的变化更微妙。因此，模型 4(添加随机斜率项)很可能不会显著改善模型 3(随机截距模型)。让我们测试一下这个假设。

*anova(model3, model4)*

结果:

*Model df     AIC      BIC   logLik   Test     L.Ratio p-value
model3     1  4 6468.46 6492.036 -3230.23                           
model4     2  6 6472.46 6507.823 -3230.23 1 vs 2 0.000787942  0.9996*

附加步骤:

如果您有一个交互项，您可以测试添加该交互项是否会改进您的模型。我将测试是否添加边缘型人格障碍特征(BPD)，它与 NPD 高度共病，作为一个调节子将改善我的随机截距模型(模型 3)。我选择忽略随机斜率模型(model4 ),因为这个术语并没有改进模型，而且研究认为 NPD 特征可能不会随着时间点而改变。

*model3withBPD<-lme(Satisfaction~NPD+BPD+BPD*NPD,
data = data, method = “ML”, na.action = “na.omit”, random = ~1|Time)
summary(model3withBPD)*

结果:

*Linear mixed-effects model fit by maximum likelihood
 Data: data 
       AIC      BIC    logLik
  6425.735 6461.098 -3206.867Random effects:
 Formula: ~1 | Time
        (Intercept)  Residual
StdDev:  0.07982052 0.7992555Fixed effects: Satisfaction ~ NPD + BPD + BPD * NPD 
                Value  Std.Error   DF  t-value p-value
(Intercept)  4.443310 0.09474416 2675 46.89799       0
NPD          0.153825 0.02988573 2675  5.14709       0
BPD          0.017154 0.00251750 2675  6.81408       0
NPD:BPD     -0.003436 0.00058873 2675 -5.83621       0
 Correlation: 
        (Intr) NPD    BPD   
NPD     -0.807              
BPD     -0.417  0.251       
NPD:BPD  0.600 -0.578 -0.907Standardized Within-Group Residuals:
       Min         Q1        Med         Q3        Max 
-5.2024359 -0.4590723  0.1866308  0.7317000  1.8891006Number of Observations: 2681
Number of Groups: 3*

相互作用项是重要的。我们将看到添加交互是否会改进模型 3:

*anova(model3, model3withBPD)*

正如所料，添加交互项显著改进了我的仅随机截距模型:

*Model df      AIC      BIC    logLik   Test  L.Ratio p-value
model3            1  4 6468.460 6492.036 -3230.230                        
model3withBPD     2  6 6425.735 6461.098 -3206.867 1 vs 2 46.72568  <.0001*

我希望到现在为止，你已经知道如何指挥简单的 HLM 了。请继续关注未来更复杂的 HLM 分析。

有关本教程中使用的完整代码，请参见以下内容:

使用 PyTorch 中预先训练的卷积神经网络从胸部 X 射线图像进行高精度 Covid 19 预测

原文：https://towardsdatascience.com/high-accuracy-covid-19-prediction-from-chest-x-ray-images-using-pre-trained-convolutional-neural-2ec96484ce0?source=collection_archive---------5-----------------------

利用 Efficientnet 架构在与 Covid19 相关的医学成像数据集上实现 99%以上的预测准确率

在这篇文章中，我将分享我开发卷积神经网络算法的经验，以高精度从胸部 X 射线图像预测新冠肺炎。我在参加深度学习博士课程的课堂 Kaggle 竞赛时开发了这个算法。我很高兴从最终的比赛排行榜中得知 我在比赛 中在 40 名参赛的统计学和计算机科学系的博士和硕士研究生中名列第一！我将提及我在开发和训练模型时所面临的挑战，以及我如何找到解决这些挑战的方法，而不是直接讨论结果。在研究这个问题的时候，我亲身体验了“享受过程，结果会自然发生”这句话的道理！

你可以在 GitHub 这里找到我的完整代码。

挑战简介

给定一幅输入的胸部 x 光图像，算法必须检测该人是否感染了新冠肺炎病毒。我们有一组受监督的 X 射线图像，已经由放射科医生仔细标记，模型必须在这些图像上进行训练。这种模型可以帮助卫生保健专业人员比放射科医师更快地诊断新冠肺炎病例，尤其是在需要在短时间窗口内对大量人员进行测试的情况下，放射科医师必须逐个进行每次扫描。

我们举个例子。下面的图片来自竞赛网站，分别是没有(阴性)和有(阳性)新冠肺炎的人。

没有(左)和有(右)新冠肺炎的人的胸部 x 光照片(来源:竞赛网站:https://www.kaggle.com/c/stat946winter2021/overview)

数据集描述

训练数据集由 15264 幅(512×512 像素)图像组成，这些图像已经由放射科专家分类。测试数据集由来自相同分布的 400 个这样的图像组成。你可以在这里找到数据集。

我发现训练数据集明显不*衡，大约 90%的图像属于非 Covid 类。显著不*衡集合的问题是，即使简单地输出多数类的类作为输出的朴素学习算法也将获得高精度。换句话说，它会将每个人标记为无 Covid，并达到 90%的“准确率”，即使大约 10%的人实际上有 Covid。最初，我从不*衡的训练数据集开始。事后看来，这并不是最好的起点，但我们必须从自己拥有的东西开始，在这种情况下，就是训练数据集。我将在本文后面更详细地描述它。

攀登绩效阶梯——步骤和失误

深度学习算法有许多活动的部分，我发现训练一个高性能的模型既是一门艺术，也是一门数学。一个人在开始时并不知道大多数答案，必须通过实验来学习。

我现在将描述我是如何选择每个超参数的，以及我在这个过程中学到了什么。

学习率:学习率越低，收敛越好，但不一定测试精度最好。问题可能是算法还没有学习到导致测试集的最低误差的权重集。另一方面，较高的学习速率会导致算法超过最优的权重集。我试验了 10e-3、10e-4 和 10e-5 的学习率，发现 10e-4 导致测试数据集的错误率最低。

批处理大小:在将批处理大小增加到 256 甚至减少到 64 时，我遇到了内存问题，因此不得不选择更小的批处理大小。我用 32 和 16 做实验。在这两个批量中，32 的批量导致最低的错误率，学习率为 10e-4。在这篇论文中，我们已经很好地探讨了学习速度、批量大小和准确性之间的相互作用。作者为 VGG16 CNN 实验了各种学习速率和批量大小。我从一个较低的学习速率(lr = 0.0001 as aginst 0.001)开始，后来证明这是一个更好的选择，并根据经验将批量大小设置为 32，这在深度学习实践中很常见。我感谢作者让我从他们的研究中得到的线索。

像深度学习这样的复杂领域从来都不是孤狼式的努力，我们都站在彼此的肩膀上，而不仅仅是巨人的肩膀上，向前看。

预训练模型:来到T3 使用哪个预训练模型的问题；我在谷歌人工智能博客上看到了一篇有趣的文章，该文章比较了 Imagenet 数据集上的准确性与几个预训练模型的模型参数数量。计算机视觉是一个快速发展的领域，新的模型也在快速发展。最初，我计划使用 VGG16 或 Resnet50，但当我在 Efficientnet 上看到这篇文章时，我改变了主意，转而支持 Efficientnet。我有一个 RTX 2070 GPU，我的硬件限制对我可以使用的模型施加了约束。我开始使用 b7 版本的 Efficientnet，但我的 GPU 很快就放弃了，因为这个模型不适合它的内存。在 b7、b6、b5 和 b4 模型上运行了无数次 Kill -9 job_number(在 Linux 中从计算机内存中删除模型的命令:)之后，我选择了 Efficientnet b3。当时这样做的唯一原因是，它是 Efficientnet 系列中最大的型号，最终适合我的 GPU 内存。后来，这被证明是一个极好的选择！

时期:对于像 Efficientnet b3 这样拥有 1200 万个参数和数万个训练数据集实例的模型，很容易过度训练模型。实际上我在用 20 个纪元训练模型的时候，得到的训练准确率是 1！不要问我那种情况下的测试精度:)我使用了范围从 1 到 30 的 epochs，用于各种学习速率和批量大小的组合。

采样:我从没有采样开始。奇怪的是，这个模型将几乎所有的测试用例归类为“1”，与我预期的“0”相反。我觉得问题是测试图像没有像训练图像那样被转换，并且未转换的测试图像在某种程度上类似于标签为“1”的转换后的训练图像(稍后将详细讨论这个关键主题)。然后，我使用了一个加权随机采样器，这导致了在训练数据集中 0 和 1 类几乎各占一半。但是，这也导致整个训练数据集的大小从大约 15000 减少到大约 3000 以下。使用这种采样技术，精度有所提高，但稳定在 0.86 左右。接下来，我从少数民族类中进行了额外的采样，并将两个类中的图像数量进行了对比。通过这样做，我的训练数据集从 15000 增加到 26000。这当然有帮助，因为我现在的准确度达到了 90 %,我得到了大约 0.94 的准确度。

转换——将训练数据集上使用的相同转换应用于测试数据集:我的准确率稳定在 0.94，其他人的准确率达到了 0.975。这让我开始认真思考我的模型中缺少了什么。在洗澡、做饭和走路的时候，我一遍又一遍地追踪这些步骤。

突然，灵机一动:配送！所有的机器学习都基于这样的假设，即测试数据的分布与训练数据的分布相同。否则，我们从训练数据集中学到的东西将不会应用到测试数据集中。通过旋转和*移变换训练图像，我改变了分布。然而，通过让测试图像保持原样，我无意中在一个“不同的”分布上应用了该算法。我立即对测试图像应用了相同的变换，你瞧，我第一次看到了 0.975 的精确度！

调优:一旦有了这种认识，剩下要做的就是调优超参数，以获得可能的最佳结果。我尝试了各种时期，发现对于这个具有我使用的预训练模型、学习率和批量大小的数据集，在 11 个时期的训练后，我获得了最佳的测试准确性。

我还能做得更好吗？

或许使用 Efficientnet-b7 配合更大的批量可以获得更高的准确度。如果有人有更强大的 GPU/分布式计算系统，请尝试一下并告诉我。

实际应用:使用这种算法，医生可以快速准确地识别 100 个人中的 99 个人的 Covid(在 15000 幅图像上训练该算法并在 400 幅图像上运行该算法大约需要 40 分钟)，仅考虑测试图像的分类时间，该算法对 400 幅图像进行分类仅需要 1 分钟。因此，这对于现场工作人员快速筛选图像并识别测试呈阳性的人非常有用。

在向您介绍了算法发现之旅之后，我现在转到具体的开发部分。

py torch 中的算法开发

我在 PyTorch 中开发了我的算法，py torch 是一个非常适合计算机视觉任务的机器学习库。

1. 作为第一步，我导入了 numpy、pandas、os、torch 等，并设置了数据文件夹所在的基本路径。然后，我创建了 pandas 数据框，分别包含训练数据集图像名称及其标签和测试数据集图像名称。

导入库和创建数据框架(作者代码片段)

2.要检查数据帧是否正确加载，最好检查 train_dataset 和 test_dataset 的前几行。下面是 Jupyter 笔记本的代码和结果输出:

查看训练和测试数据集数据帧的前几行(图片由作者提供)

我们看到图像的名称在文件列中，标签在训练图像的标签列中。对于测试图像，我们在文件列中有名称。

3.下面是查看训练数据集文件夹中的一些图像的代码，

绘制一些训练数据集图像的代码(图像由作者提供)

该代码将产生 15 个如上所示类型的 X 射线图像。

4.下一步是以 Pytorch 可以处理的形式从图像和标签中创建训练数据集。Dataloader 是 Pytorch 中的一个功能，它使我们能够方便地将图像和它们的标签配对，以创建一个矩阵/张量，然后 PyTorch 可以将其用作学习算法的输入。

创建将图像和标签配对的类(按作者分类的图像)

5.然后，我将学习率设置为 10e-4

设置学习率(图片由作者提供)

6.接下来，我使用在步骤 4 中创建的 Dataset dataloader 类准备了训练集。我将其命名为 training_set_untransformed，因为我还没有对图像应用旋转或*移等数据转换。

创建训练数据集(图片由作者提供)

7.然后我创建了一个变换。Compose 方法来调整图像的大小，随机应用旋转和水**移，并将结果矩阵转换为张量。这种变换对于数据扩充是有用的。

创建一个变换函数来增强图像(作者的图像)

8.下一步是对训练数据集使用 transforms 方法。对于少数类中的图像(covid 情况)，我对它们进行了上采样，以便在应用变换后两个类中的图像数量相同。

对少数类进行上采样并应用变换(图片由作者提供)

9.然后，我将这些新创建的图像按照 80:20 的比例分成训练集和验证集。

将数据集拆分为训练集和验证集(图片由作者提供)

10.使用 Pytorch 的 Dataloader 函数，我从训练数据集中创建了每批 32 个的数据，并对它们进行了混洗，以确保所有批中两个类的表示大致相等。

从训练数据集创建批次(作者图片)

11.为了启用 GPU 计算，我使用了 cuda.is_available()命令。深度学习代码也可以在 CPU 上运行，但需要更长的时间。

启用 GPU 计算(图片由作者提供)

12.以下是从 Pytorch 导入 Efficientnet-b3 并将类的数量设置为 2 的命令。

导入 Efficientnet-b3 模型(图片由作者提供)

13.导入后，模型必须加载到 GPU 的内存中。如果您的型号对于 GPU 内存来说太大，您将会收到一条错误消息，并且需要选择另一个适合内存的型号。在 Jupyter 笔记本上运行该命令，欣赏 Efficientnet 的复杂性！

将模型加载到系统中(图片由作者提供)

14.定期保存训练过程产生的权重是有好处的。如果模型由于某种原因崩溃，我们可以调用保存的权重并恢复训练，而不是从头开始。

创建一个文件夹来保存权重(图片由作者提供)

15.我使用交叉熵损失作为损失计算的标准，因为我们正在处理一个分类问题。我使用了 Adam 优化器，这是一种众所周知的深度学习的权重更新方法，并将历元数设置为 11(这种学习是在大量实验后产生的)。学习率衰减是用于在每个时期之后更新学习率的参数，并且我设置了 0.99 的保守衰减率，因为学习率已经很低了。我创建了两个列表来跟踪准确性和损失历史。

设置超参数(图片由作者提供)

16.训练模型:下面是代码的训练部分。我运行了 11 个时期的模型，并保存了模型的第 1、第 10 和最终(第 11)版本。训练它大概花了 40 分钟。

训练模型(图片由作者提供)

*At the end of the 11th Epoch, I got an accuracy of 99% on the training dataset for both classes.* Accuracy of     0: 99 %
Accuracy of     1: 99 %
[11 epoch] Accuracy of the network on the Training images: 99 

17.这是一张训练精度和迭代交叉熵损失的图表。有 7227 次批量迭代，该图显示了这些值如何随着批量迭代而变化。

损失和准确性历史(图片由作者提供)

18.下一步是应用变换。组合到测试数据集，使其符合与训练数据集相同的分布。

将转换应用到测试数据的函数(图片由作者提供)

19.为了预测测试图像的类别，我们需要定义一个 predict_image 函数:

预测和图像功能(作者提供的图像)

20.以下代码片段检查模型在验证数据集上的表现。

预测验证准确性(图片由作者提供)

21.通过下面几行，我们可以预测测试集图像的类别，并将它们存储在一个 csv 文件中。

预测测试图像类别并存储它们(按作者分类的图像)

结论

通过这次 Kaggle 比赛，我了解到构思和开发深度学习算法需要一些耐心，我们必须不断寻找模型中的漏洞以及其他人的发现，以使我们的模型变得更好。我的文章是将它转发给机器学习社区的一种小小的方式，这样我们就可以一起分享和学习，并改进我们的算法，以更好的方式解决问题！

希望你能从我的帖子中学到一些有用的东西。请分享您的宝贵反馈！

鸣谢:我非常感谢 Kartik Dutt，他为一个不同的计算机视觉挑战开发了代码，我发现他的代码部分适合这个深度学习任务，并融入了我的工作。(https://github . com/kartikdutt 18/ka ggle-ATPOS-Efficient _ Net/blob/master/Efficient _ Net . ipynb)

大量的唯一值和基于树的模型

原文：https://towardsdatascience.com/high-number-of-unique-values-and-tree-based-models-c30167b63edd?source=collection_archive---------18-----------------------

照片由 Siora 摄影在 Unsplash 上拍摄

基数有多高会影响购物车的性能和解释

H 使用高基数的数据列会对模型的性能产生负面影响。这篇文章的想法源于我在各种项目中使用基于树的解决方案的个人经历。在本文中，我将尝试使用简单的决策树来展示这对几个数据集的影响。在进入示例之前，让我们首先了解

什么是基数，树模型如何工作

基数可以定义为机器学习上下文中数据的唯一性。具有大量唯一值的字段示例包括城市、国家、医疗诊断代码、网飞电影类别、冰激凌口味等。

作者图片

决策树示例。作者图片

为了使大多数树模型工作，所有变量类型都必须转换成数字。机器学习树基于高于或低于值来分割它们的节点，即年龄大于低于 25，权重小于 50。这对于连续数据或任何顺序数据都非常有效。

收入数据示例

为了说明高基数对树分裂的影响，我将使用的第一个数据集是来自 Kaggle 的收入分类数据。该数据包含连续和分类的个人数据，以预测个人是高收入还是低收入的二元结果。

我将缩小范围的特征是职业类别变量。这一列中有 13 个唯一值，它们是用标签编码的。

编码映射。作者图片

在拟合决策树之后，通过观察整个树模型模式，我捕获了在任何节点中使用 occupation 进行分割的所有值。完整的树模式太大，无法显示，可在此处查看。

通过提取使用 occupation 拆分节点的所有节点，我们可以从右侧的表中看到哪些点的数据用于拆分。作者的图表和表格

占领的分裂发生在这些值:

0.5，2.5，3.5，5.5，8.5，9.5，10.5

将其映射到编码表显示了在整个树中用于分类数据点的决策边界。

这似乎不对

观察决策边界后，我的第一个想法是，所有的值都应该被分成离散值。它们彼此之间没有关系，不能用更高或更低的数值来表示。

如果不对每个不同的值进行拆分，一些值将属于同一个存储桶，在进行拆分时会被集中在一起。这导致某些分组没有直观意义，例如

武装部队，和****

[ 机器操作检查、其他服务、私人服务 ]

如从上面的分裂边界所观察到的。

此外，默认情况下，职业是按字母顺序编码的。通过改变编码顺序，模型超参数实际上受到了影响！

在第一次运行中，使用网格搜索交叉验证在 max_depth 为 8 处拟合最佳估计值。但是，使用新的编码顺序再次运行它，同时保持其他所有内容不变，会产生不同的最大深度值 10 和不同的 occupation 类分割边界。

使用虚拟数据进行调查

为了更好地理解这些影响，我决定深入研究以验证我的发现。我对只有 4 行的简单虚拟数据运行了相同的步骤。用决策树对初始数据进行编码和分割。一眼看去，该树可以在值[1，2]和[3，4]之间一分为二。

********

作者提供的图片

决策树架构。作者图片**

左侧显示了用 sklearn.tree 绘制的相应树模式。

为了以文本形式描述它，顶部的节点指定那些值小于 1.5 的被归类为 1，那些值大于 1.5 的被归类为 0，最佳地将我们的数据分成正确的结果(0 基尼系数杂质)。到目前为止一切顺利。

接下来，我以不同的顺序重新排列了变量，并将它们编码如下:

********

作者提供的图片

由于决策树是基于数值来分隔数据点的，因此为了分隔数据，决策树必须创建更多的拆分。

决策树架构。作者图片**

也就是说，现在需要三个不同的分裂 ≤0.5、≤1.5 和 ≤2.5 ，创建一个更深的树以达到最佳结果，即使使用的数据完全相同。

这表明编码顺序影响结果，树分裂将持续分裂，直到它不再能减少杂质。

因此，我们知道，对于收入分类数据，即使数据点仍然集中在一起，这也是分离可以达到的最高粒度级别。树的分割按预期工作，进一步分割值只会使模型过拟合。

如果这棵树能做出最佳的分裂次数，为什么不顺其自然呢？

事实上，虽然模型结果没有受到显著影响，但我们已经观察到树必须更加努力地分割数据。这仅仅是因为列中的唯一值越多，树就必须进行越多的拆分来分隔数据。

这种影响在使用最大深度或其他等效超参数控制数据分割程度时最为明显。上述任何增加都会反过来增加模型训练时间。虽然我在我的例子中使用了决策树，但是这个问题影响了所有基于树的模型。给定足够多的具有高基数的特征，即使更复杂的算法也会受到影响。

我敢肯定，我们不希望以较差的模型性能为代价，*衡拟合一个较浅/不太复杂的树来减少训练时间。

那么我们该如何着手呢？

处理数据中的高基数

在这里，我将简要介绍一些解决这个问题的有用方法:

1. 将数据组合成组。这可能需要领域知识。这个想法是通过将唯一值分成有意义的集合来减少它们的数量。这是一个很好的方法，只要分组不会显著降低模型性能和对业务涉众的可解释性。****
2. 尝试不同的编码方法。诸如均值/计数编码、散列等方法在减少数据级别方面特别有效。然而，它们可能对模型的可解释性有害。
3. 使用非基于树的模型，例如带有实体嵌入的神经网络。如果没有树，基于树的模型没有问题，但现在你将有一个全新的问题要处理。
4. 具体来说，为了处理输入数据中所示的解释问题，可以使用一个热编码,尽管它仍然不得不创建更多的分割。

****https://github.com/WeiHanLer/Tree-Cardinality-Article ****

利用 Pedalboard 和 tf.data 实现高性能音频处理

原文：https://towardsdatascience.com/high-performance-audio-processing-with-pedalboard-and-tf-data-9bd2c64ca5bd?source=collection_archive---------48-----------------------

最*，Spotify 发布了一个用于音频处理的 Python 库，名为 Pedalboard。在这个故事中，我想研究它在 tf.data 管道中机器学习任务的数据增强环境中的表现。

图 1:表达爱意|作者图片

因为我对音频数据进行机器学习的主要工具是 TensorFlow，所以我一直在寻找能够加速我的预处理流水线的库。我常常羡慕 Torchaudio，它已经有了一组不同的函数和自己的 SoX 包装器。当然，有很多音频处理的替代方案，但是所有流行的解决方案要么是像 SoX 和 ffmpeg 这样的命令行工具，要么不是线程安全的。因此，Pedalboard 似乎是 TensorFlow 中快速高质量音频处理的一个很有前途的库。

今天我想比较一下 Pedalboard 和 SoxBindings 在 tf.data 管道中使用时的处理速度。SoxBindings 是一个很棒的围绕 SoX 的 Python 包装器，它至少在多线程环境中不会失败，但也不会使用它(参见正在进行的 Iissue)【2】。

方法

对于这个任务，我们将使用 LJ 语音数据集 [3]作为我们的音频数据输入。该数据集在美国属于公共领域，对其使用没有限制[4]。该数据集由 13，100 个长度为 1 至 10 秒的音频片段组成，总长度约为 24 小时[3]。在下面的每个实验中，我们将迭代整个数据集并测量运行时间。我们选择了一组在 Pedalboard 和 SoxBindings 中都存在的音效:

• 压缩机
• 合唱
• 高通滤波器
• 低通滤波器
• 相位器
• 混响

然后我们单独使用每个效果来转换数据集。在第二个实验中，我们将所有 6 个效果链接成一个转换。当然，在大多数增强任务中，你会想要随机初始化每个效果的参数。然而，初步测试表明随机参数化对处理速度没有负面影响，所以为了代码的可读性，我们忽略了它。所有实验都在一个 12 核的 CPU 上运行。

密码

首先，我们加载 LJ 语音数据集，并将其仅映射到音频数据:

然后，我们定义一个包装 SoxBindings 转换的包装器，这样我们就可以在 tf.data map 调用中使用它:

踏板也是如此:

当在 tf.data map 中调用 SoxBindings 函数时，保留num_parallel_calls = None很重要，否则您的内核会无声无息地死去。这可能是由于 SoxBindings 没有在C扩展中释放 GIL[5]。

结果

第一个实验的结果不言自明，Pedalboard 在处理时间上远远落后于 SoxBindings。在图 2 中，我们可以看到所选效果的加速在 2.5 倍到 6 倍之间。

图 2:按效果分类的数据集转换持续时间|按作者分类的图像

第二个实验展示了使用 Pedalboard 和 SoxBindings 的内置效果链的性能。第三个设置Pedalboard Chain w/TF . data使用 tf.data map 调用来连续链接各个 pedal board 效果。这种方法产生了迄今为止最好的性能，比另一种方法快 4 倍。

图 3:使用效果链的数据集转换持续时间|作者图片

摘要

结果显示，在 tf.data 管道中，通过 SoxBindings 使用 Pedalboard 时，速度有了很大的提高。然而，当使用 Pedalboard 的内置效果链时，似乎会有巨大的性能损失，在这种情况下，性能会低于 SoxBindings 实现。也许 tf.data 只是在并行计算方面比 Pedalboard 更好，我们只是看到了让 tf.data 做它的事情的好处。使用 Pedalboard 的一个缺点是此时可用的效果相对较少。虽然 SoX 和 SoxBindings 已经有了相当多的算法库，但 Pedalboard 仍然需要迎头赶上。这种情况将来可能会改变，在某些情况下，您已经可以使用 VST3 或 AU。

就我而言，我肯定会在一些现实世界的应用程序中尝试一下 Pedalboard，看看它是否能给我更好更快的音频处理管道！

如果有人在我的实现方法中发现系统缺陷，请告诉我，我很乐意让音频处理更快；)

资源

1【https://juce.com】
【2】https://github.com/pseeth/soxbindings
【3】k . Ito 和 l . Johnson:LJ 语音数据集(2017 年)https://keithito.com/LJ-Speech-Dataset/
【4】LJ 语音数据集许可(2021 年)https://librivox.org/pages/public-domain/
【5】https://github.com/pseeth/soxbindings/issues/6

如果你正在阅读这篇文章，我们可能有相似的兴趣或在同一个行业，欢迎你联系我。在LinkedIn上找我。

高性能代码带来回报

原文：https://towardsdatascience.com/high-performance-code-pays-dividends-ce97768b5fa5?source=collection_archive---------29-----------------------

快速代码变得更快，成本变得更低，创造力被释放，自由之声响起。

我花了几年时间开发的 connected components 库的性能随着版本和月份/年份的增加而增加。横轴是每秒数百万个 3d 像素(“体素”)。纵轴是测量的 RAM 使用峰值。有更快的算法可用，但据我所知，不是用于 3D 多标签图像。许可证:图片由作者提供

在公共领域，如果不是在每一扇紧闭的门后，软件社区会用 Donald Knuth 的一句无处不在且被误解的名言“过早优化是万恶之源”来阻止任何关注性能的建议虽然我和 Knuth 一样不喜欢投机性的微优化，但是对软件性能的认真关注带来了巨大的好处，并且受到反馈循环的影响，可以在几个层面上从根本上改进项目。

我自己的经验是在 3D 图像处理领域积累的，那里的数据非常大。一个典型的输入图像是一个 512 体素无符号 64 位图像剪切块(~1 GB RAM)，它是一个更大的图像的一部分，该图像可以由成千上万的这些任务组成。如果不仔细关注每个算法的设计，单个任务的运行时间可能会长达几个小时，同时 RAM 的使用也会激增。

在高性能计算方面，肯定有比我更有经验的工程师。然而，在过去的几年里，我对加速和减少内存压力的好处有了一些小小的见解。也许你会发现它们很有用。

阿姆达尔定律反面的正反馈

用英语解释，阿姆达尔定律(Amdahl ' s Law)说，加速一段代码最多可以提高代码开始所用时间比例的整体速度。换句话说，如果一个程序在段 A 中花费 50%的时间，在段 B 中花费 50%的时间，段 B 的 100%加速将导致最多 2 倍的总运行时间改进，因为段 A 没有被改变。Amdahl 定律通常是关于串行和并行组件的代码并行化，但它同样适用于没有完全改进的单线程代码。

当我第一次遇到阿姆达尔定律时，它有点悲观。无论给定代码段的解决方案多么巧妙，它的最终潜力都受到周围一切的限制。在花时间改进算法并与剖析器一起迭代工作之后，我修改了这个视图。

一个领域的加速使得代码其他部分的加速更有价值。用前面的例子来说，如果 A 部分占用了 50%的时间，那么在这个等式的任何一边，我所做的任何改进最多是两倍。如果我将 A 部分的性能提高一倍，它现在占用了总时间的 33%。这意味着 B 段的贡献从 50%增加到 66%。如果我把 A 段加速 4 倍，B 段的贡献是 80%。这放大了程序其余部分的额外优化的效果，并使以前看似微不足道的贡献者突然值得攻击。

换句话说，你越是从根本上提高目标部门的绩效，潜在的新目标领域就变得越丰富。如果您仅将性能提高 2 倍而不是 10 倍，您的目标区域将继续掩盖其他贡献者。随着您改进的代码继续成为瓶颈，您提高性能的选择将显得更加混乱。

你成为一名更好的工程师

在高性能领域，算法知识和对系统的复杂理解变得至关重要。虽然日常工程的内容是让事物工作，但解决执行时间、内存容量或资源争用等物理问题迫使人们对基础科学原理进行更系统和实用的研究。

在工程学中，当你开始在你的工具和材料所能承受的极限范围内工作时，数学是非常有用的。当建造一个典型的乐高塔时，人们不需要知道塑料砖的弹性模量或拉伸强度，因为它们比施加的力要大得多。然而，如果你试图用它们建造一个可居住的结构，你需要更多地了解它们的属性和环境相互作用。

计算也是如此。当内存和计算负载开始达到物理极限或与系统的其他元素相互作用时，就需要进行规划和系统分析。这时，你不得不考虑文献，计算最坏情况下的负载，并调整算法。此外，如果你足够深入地研究一个问题，你可能会发现它的一些新的共性，并成为一名科学家。

高性能计算(HPC)远远不是提高技能的唯一主题领域。例如，自然语言处理、搜索、运动规划和计算机视觉与性能只有很小的关系。然而，HPC 对于实践中的工程师来说是非常容易理解的，它的含义涉及到每个项目。

释放创造力，避免问题

每个程序在开发者耐心、用户耐心、精力和成本方面都有隐含的时间预算。对于开发人员来说，更快的代码允许对周围的设计进行更快速的迭代。对最终用户来说，程序的等待时间减少了，因此程序有机会过渡到他们意愿的自然而灵活的扩展。

更高的效率还能增加原本难以想象的功能。如果一个库只改进到满足当前性能标准的程度，而不是更多，那么一旦问题发生变化，添加特性就变得很麻烦。性能曲线的任何显著下降都会立即将运行状态变为黄色或红色。尤其是在科学或其他开创性工作中，成功的第一种方法将让位于对更复杂方法的渴望。这些复杂的方法可能需要额外的空间来适应。

例如，我致力于改进大规模骨骼化，这是一种从神经元的 3D 标记图像中提取简笔画的方法。我估计，一个早期但严肃的尝试将需要在我们最大的数据集上租用大约 50 万美元的计算时间。经过大约两年断断续续地解决这个问题，纯粹基于改进的软件，成本降低到不到 1000 美元。这使得我们可以在任何时候运行这个算法，反复修正错误，并提高质量，而不会产生重大后果。

从另一个角度来看，性能代码只是避免了问题。避免问题意味着计划没有障碍，没有会议，没有资源转移，并且可能在组织环境中减少压力。不幸的是，证明问题被避免比问题被解决更难。尽管如此，你可以表明你的解决方案明显优于一个可比较的解决方案，或者如果不是对所述代码相当有效，所选择的方法是不可能的。

减少物理磨损

虽然软件通常被认为是抽象的系统或数学对象，但它也是运行在物理系统上的电流的主动过程。有时，软件也操作简单的机械设备或引导复杂的机器人。

当考虑物理世界时，有效的软件可以被认为是最小化能量消耗的软件。在纯计算系统中，这通常意味着减少 CPU 或 GPU 的电力消耗。节能计算可以减少计算机组件的物理降级热循环，并减少移动设备的电池消耗。对于电池供电的设备，低功耗代码更好。通过首先减少电池的消耗，不仅延长了电池的当前充电时间，而且每次充电的运行时间的增加降低了电池的循环速率，增加了组件的总寿命。类似的论点也适用于闪存硬盘的写入耐久性和总存储容量。更少的书写意味着更大的空间和更长的耐力。

在机械领域，选择最短路线的软件(其他条件相同)可以降低燃料成本和机械零件的磨损。一个简单的例子是路线图，其中更短或更快的路线可以通过减少每次旅行的里程来减少燃料消耗并延长汽车的寿命，同时还使乘客*均更快乐(只要他们没有试图享受风景优美的路线或在目的地推迟一些可怕的遭遇)。

适应狭小的空间

某些优化，比如 SIMD 内部函数并不总是可移植的。当我假设英特尔 x86_64 将永远占据主导地位，并在第二年购买了一台 ARM64 笔记本电脑时，我发现了这一点。然而，使用可移植方法编写的具有良好性能的库代码可以容纳比您所能预见的更多的空间。

如果你的代码有合理的内存效率，它可以适合一个嵌入式设备。然而，根据我的经验，更常见的情况是，当我的设计标准是数百兆像素时，我看到有人编写 Github 问题来解决在超过 10 千兆像素的巨大图像上运行我的库的问题。通常，我们可以让它工作(例如通过支持 64 位内存寻址)，然后我再也没有听到任何人的消息，因为现在它已经工作了。如果代码的单线程性能一开始就太慢，那么扩展到这样的规模会很痛苦。

另一方面，高性能代码也避免了基础设施灌注。在某一点上，一台机器有一个物理限制，即它可以处理多少请求，可以处理多少数量，可以存储多少数据。然而，这些限制通常有些灵活，因为工程师可以调整每个操作所需的工作量，并根据空间或时间进行权衡。

高效的代码减缓了机器的垂直增长需求(垂直意味着更多的 RAM、CPU、SSD、更快的网卡)，同时也减缓了水*增长(意味着更多的机器)。纵向增长成本高昂，并且不会永远扩展。水*增长的规模很大，但在许多不同的层面上很复杂。运营商希望保持最新的部署，避免机器遇到资源争用、构建数据中心的物理挑战(如布线、冷却和移动重物)以及相关的难题。臭名昭著的是，SEC 描述了Knight Capital 未能正确更新所有机器是如何导致 2012 年股市闪电崩盘的。

虽然 Knight Capital 可能将他们的机器推到了极限，他们的问题更多地是沿着变更控制的路线，但是如果您的代码可以推动极限，您将在硬件上花费更少的钱，并且可能在协调由此产生的更少的机器方面有更少的问题。管理 1 台、2 台、20 台、200 台和 2000 台服务器的难度相差很大。当然，像 Knight 一样，无论每个组件的速度有多快，您仍然会遇到设计应用程序中不同服务之间的接口的问题。

表演是解放

高效的工具更简单，因为它们增加了单机计算的操作范围。一个有效的算法可以将一个程序从一个大型集群移动到一个较小的集群，或者从一个较小的集群移动到一台笔记本电脑。

计算机是一个强大的计算引擎，是一种通常为个人所有的生产手段。由于需要其他人的设备和代码，变得过于复杂的计算成为其他人对你施加影响的一种方式。例如，如果您需要数百 GB 的 RAM、一个奇特的 GPU 或几十个 CPU 内核，突然之间您需要与一位实业家签订合同来完成这项工作。计算工作越大，关于该任务的决策(是否做、何时做、如何做以及成本如何)就越取决于那些拥有设备、资金、关系和劳动力资源来实现它的人的意愿。

高效的代码将更多的决策权放在个人和不太富裕的人群手中，这些人的动机可能与公司简单的积累动机不同。自由的一个方面是做出决定的能力，这种决定会对你的生活产生积极的影响。虽然软件性能远远不是这些事情的唯一决定因素，但与支持开源和自由软件许可的观点相比，它被忽略了，因为开源和自由软件许可让最终用户可以选择审计或更改软件。高性能的软件使得以你想要的方式运行你的代码成为可能。

在我的神经影像领域，我之前提到的简笔画骨架是分析中的一个基本结构。如果在有用的大型数据集上大量创建它们需要数万到数十万美元的成本，并且需要云合同，那么这项任务将被限制在资金最充足、人脉最广的玩家身上。即使是仁慈的科学家也只有有限的时间、注意力和金钱来帮助他人。通过将成本降低两到三个数量级，突然之间更小的实验室、研究生和好奇的局外人都可以自己完成。

环境影响呢？

气候危机在很大程度上威胁着人类文明，而电力经常由化石燃料产生。然后，电力被计算机代码的运行所消耗。根据其 2020 年环境报告，仅谷歌一家在 2019 年就使用了 12.8 太拉瓦时，超过许多国家和超过几个美国州。提高代码效率应该会减少对环境的影响，这似乎很直观。是吗？

答案一点也不清楚，必须逐个系统地考虑。主要原因是诱导需求。

诱导需求甚至不是一个偶然的副作用。我们提高软件效率的一个主要原因是为了让它更适合在更多的环境中更频繁地运行。如果你把一个图书馆的速度提高了 10 倍，但它的运行频率却提高了 1000 倍，从环境的角度来看，你真的有所收获吗？如果代码提高了 100 倍，但运行频率只有 10 倍，这就是胜利。诱发需求与改善绩效的比率必须小于 1，才能对环境有利。有时，快速代码会使下游代码运行得更加奢侈，在这种情况下，即使是极低的比率也可能不会带来好处。

工程师和科学家应该设计出能够在大工业规模上运行的程序，以避免不必要的过度。然而，只要组织还在生存和发展，他们就会想方设法用尽空闲的数据中心容量，这是组织的本性。如果所有团队都编写高性能代码，它将调整增长轨迹，但我怀疑它通常不会走向萎缩。

因此，关于购买能力和消费者基础的规模和胃口的决定是环境影响的更强驱动力。如果只有有限的能力可用，一些代码将被改进，一些计划将被搁置，而其他的将被缩减。换句话说，总能耗不会受到单个工程师的强烈影响，除非在特殊情况下，例如在移动或嵌入式设备中频繁运行的程序。

尽管如此，如果使用的能源是 100%可再生的，我们应该担心吗？一些大公司如谷歌声称他们已经过渡到 100%的可再生能源，或者承诺这样做，如 T2 微软 T3。有趣的是，两者都承诺最终会变成负碳排放，大概是通过购买碳抵消。

缩小来看，美国整体能源生产的组合在几年或几十年内变化缓慢。有一些方法可以做到真正的绿色环保，比如开发一个闲置的资源，比如一个与电网断开或利用不足的水电站。另一种方法是在不干扰其他建设的情况下建设新的发电设施(例如，通过用尽有限的部件或劳动力)。不过，总的来说，馅饼在某一年是合理固定的。因此，在缺乏这些因素的情况下，任何声称运行可再生能源大型工业流程的组织都只是重新分配一块缓慢变化的馅饼，并迫使其他市场参与者使用肮脏的能源。

许可:美国政府出版物，公共领域

在某种程度上，购买可再生能源确实刺激了额外的可再生能源市场。然而，公司可以开始声称他们正在使用可再生能源的事实可能更证明了一个真正乐观的消息，即大量新的可再生能源发电即将上线。个别组织声称使用 100%可再生能源，主要是为了让员工、供应商、投资者和客户对他们所做的事情感觉良好，而没有看到更大的画面。

消费者的选择，甚至是企业的选择，在改善我们命运的能力上是有限的。我认为，要解决气候问题，需要在国家和国际层面开展一个集中协调的进程，将能源分配给不同的工业和消费部门，并代表整个社会管理能源生产组合。只有这样，我们才能用一种不依赖运气的理性方式来解决这个问题。

公*地说，软件公司不是电力公司，期望他们建立自己的一代有点可笑。我们能从他们那里得到的更多的期望是支付 税收，从持有证券的化石燃料公司中撤资，并在社会尽快改变能源结构的同时，将他们的总能耗控制在监管机构设定的上限之下。

高性能代码带来的好处是相当可观的，无论是对开发它的人还是对使用和适应它的人来说都是如此。与直觉相反，开发高效的代码并不总是对环境有益，所以如果没有仔细的上下文相关的推理和测量，环境保护论就不应该被用作一个理由。

Spark 上变压器模型的高性能推理

原文：https://towardsdatascience.com/high-performance-inferencing-with-large-transformer-models-on-spark-beb82e71ecc9?source=collection_archive---------14-----------------------

使用 PySpark、Hugging Face 和 AWS GPU 实例的代码教程

想要通过拥抱脸或 Tensorflow 模型实现高达 100 倍的速度提升并节省 50%的成本吗？借助 GPU 实例和 Spark，我们可以同时在两个或数百个 GPU 上运行推理，从而毫不费力地获得更高的性能。

作者使用 Canva 的许可内容制作的图片

概观

• 设置驱动程序和工作实例
• 为并行化对数据进行分区
• 使用变压器模型进行推理
• 讨论

设置驱动程序和工作实例

对于本教程，我们将使用数据块，如果你还没有一个免费账户，你可以注册一个。请注意，DataBricks 将需要连接到云托管提供商，如 AWS 、谷歌云*台或微软 Azure 来运行 GPU 实例。

在本练习中，我们将使用" g4dn.large "类型的 AWS GPU 实例。如果您使用 Google Cloud 或 Microsoft Azure，并且从它们中选择了等效的 GPU 实例，您仍然可以遵循这些说明。

一旦您的 DataBricks 帐户设置完毕，登录并创建一个集群，配置如下所示:

配置一个虚拟命名为“gpu_cluster”的 GPU 集群

接下来，创建一个笔记本，通过在下拉菜单中选择它将其附加到集群:

设置笔记本的群集

现在，我们都开始编码了。

安装拥抱脸变压器

https://huggingface.co/

首先，让我们将支撑面变压器安装到组合仪表上。

在笔记本的第一个单元格中运行:

%pip install transformers==4.2

拥抱脸变形金刚 Python 库安装在集群上

这样安装的库被称为笔记本范围的 Python 库。这很方便，而且必须在会话开始时在其他代码之前运行，因为它会重置 Python 解释器。

现在，我们从实际的 Python 代码开始。在下一个单元格中，运行:

如果上面一行运行没有任何错误，恭喜你，拥抱脸变形金刚安装成功。

为并行化对数据进行分区

在 Spark 中，创建可并行处理的数据的最简单方法是创建 Spark 数据帧。对于本练习，包含两行数据的数据帧就足够了:

显示创建的火花数据帧。

本练习的 Transformer 模型每行接受两个文本输入。我们在这里把它们分别命名为“标题和“摘要”。

出于好奇，这里有一篇 Laurent Leturgez 的精彩文章，深入探讨了 Spark 分区策略:

https://medium.com/datalex/on-spark-performance-and-partitioning-strategies-72992bbbf150

使用变压器模型进行推理

我们将为 PySpark 使用奇妙的熊猫 UDF 来处理内存高效分区中的 Spark 数据帧。数据帧中的每个分区都作为 Pandas 数据帧呈现给我们的代码，您将在下面看到，作为函数" embed_func 的参数，它被称为" df "Pandas 数据框架使得用 Python 处理数据变得很方便。

定义 embed_func(df) 的代码

您可能已经从上面的代码中注意到了两件事:

• 代码进一步将 Pandas 数据帧中的输入文本分割成 20 个块，如变量" batch_size 所定义的那样
• 我们使用 AllenAI 的Spectre—一个预训练的语言模型来生成文档的文档级嵌入(此处预打印)。)请注意；然而，我们可以很容易地把它换成另一个拥抱脸模型，比如伯特。

绕开 GPU 内存限制

当 GPU 被用于对这个拥抱面部变形器模型进行推理时，输入和输出被存储在 GPU 存储器中。GPU 内存是有限的，尤其是大型变压器模型需要大量的 GPU 内存来存储其参数。这留下了相对较少的内存来保存输入和输出。

因此，我们通过一次推理 20 行来控制内存使用。这 20 行完成后，我们将输出复制到驻留在 CPU 内存中的 NumPy 数组(CPU 内存更丰富)。这是在上面第 21 行用“”完成的。cpu()。分离()。numpy() ”。

最后，在 GPU 上进行实际变压器模型推理

如上所述，这就是为 PySpark 处决熊猫 UDF 的地方。在这种情况下，熊猫 UDF 就是“ embed_func 本身。请仔细阅读上面的链接，了解关于这个强大的 PySpark 特性的更多信息。

这个练习的结果输出——Spectre 给出了文档嵌入的 768 长的浮点数组。

讨论

我希望您能看到 Spark、DataBricks 和 GPU 实例如何使大型 transformer 模型的扩展推理变得相对简单。

这里展示的技术使得对数百万行进行推理成为可能，并在几个小时内完成，而不是几天或几周。这使得在更多的情况下对大量数据运行大型变压器模型变得可行。

成本节约

但是等等，还有更多。尽管成本是 CPU 实例的 5 到 20 倍，但由 GPU 实例完成的推理实际上更具成本效益，因为它的速度快 30 到 100 倍。

因为我们是按小时付费的，所以在这里时间就是金钱。

花在管道上的时间更少

数据可以很容易地导入到 DataBricks 中，并保存为 AWS S3 桶上的拼花文件，或者更好的是，数据湖表(又名类固醇蜂箱表)。之后，它们可以作为 Spark 数据帧进行操作，正如本文所见，对于转换和推理来说，并行化是微不足道的。

所有数据、代码和计算都可以在一个地方“云上”访问和管理，更不用说它在本质上是可扩展的，因为数据从千兆字节增长到千兆字节，这使得这种简洁的解决方案更加“经得起未来考验”

无缝协作

作为基于云的解决方案，意味着随着团队的发展，我们可以向项目中添加更多的人员，以安全地访问笔记本电脑上的数据和代码。我们只需点击几下鼠标，就可以为报告创建图表并与其他团队共享。

请继续关注 Tensorflow 的这篇文章以及我计划的更多文章。如果你觉得这有帮助，请跟随我，我是一个新的作家，我需要你的帮助。如果你有任何想法和问题，一定要发表出来。

使用通用制图工具的现代界面制作高质量地图

原文：https://towardsdatascience.com/high-quality-maps-using-the-modern-interface-to-the-generic-mapping-tools-a90a2969877f?source=collection_archive---------33-----------------------

毫无疑问，在地球物理学领域工作的最喜欢的部分之一就是创造惊人的可视化效果。可视化是将我们的发现有效传达给科学界的最佳工具。

GMT 或通用绘图工具已经成为绘制地球、海洋和行星科学地图的同义词。它可以用于处理数据，生成出版物质量的插图，自动化工作流程，甚至制作令人惊叹的动画。GMT 的另一个优点是，它支持许多地图投影和变换，并包括支持数据，如海岸线、河流和政治边界，以及可选的国家多边形。

在 Unsplash 上由露丝拍摄的照片

我已经在多篇帖子中谈到了 GMT 5 以及如何使用它绘制高质量的地图。我还详细讨论了 GMT 6 的 Python 接口 PyGMT。侏儒在引擎盖下使用 GMT 6 完成所有任务。

在这篇文章中，我的目标是向你介绍使用 GMT 6 创建简单地图的基础知识，并让你熟悉语法。GMT 6 中的大多数风格几乎与 GMT 5 相同，除了编码语法有了显著的改进。它变得更有组织性，可以用更少的代码完成更多的工作。它增加了使用有意义的完整命令的选项，而不仅仅是别名。当我们用一些例子来讨论这个问题时，它会变得更加清楚。

https://www.earthinversion.com/utilities/GMT-advanced-II/

安装 GMT

照片由西格蒙德在 Unsplash 上拍摄

要安装 GMT，您可以遵循这里的步骤安装所需的软件。

我使用 Ubuntu(作为 Windows 子系统— WSL)，所以我可以简单地使用 conda 软件包管理器进行安装。参见本。对于任何 Linux 或 Unix 操作系统，步骤都是相似的。

我们的代码将被写入bash。我在这里假设你对bash有基本的了解。但是即使你对bash不太熟悉，你仍然可以跟着我做，因为我会试着让这个脚本“准备好生产”，这样你就不需要学习太多就可以完成本教程中的任务。

第一眼

GMT 6 的第一个不同之处是以下语法:

gmt begin [session-name] 
[graphics-formats] <LIST OF COMMANDS> 
gmt end [show]

上述语法仅适用于 GMT6，并且不向后兼容。因此，您不会意外地运行 GMT 版本< 6。GMT 时段以gmt begin开始，以gmt end结束。可选地，如果输出格式为graphics-formats，您可以提供将用于输出的会话名称。如果您不提供session-name或graphics-formats，那么将使用默认值。如果您在gmt end处选择了show，该图将不会被保存，而是仅被显示。

如果您想快速浏览文档，可以通过键入

这将打开本地 GMT 文件，所以你不需要互联网。

第一个情节

gmt begin taiwan pdf,png 
gmt coast -RTW -Wthin 
gmt end

上面的脚本绘制了一张台湾的海岸线地图，并以 pdf 和 png 格式保存。png 是光栅图像格式，期刊要求出版。如果你想要一个矢量图像，pdf给出了矢量格式。也支持其他矢量格式，如ps或eps等。

使用 GMT6 的台湾底图(图片由作者提供)

我们可以使用-B选项将默认框架添加到绘图中。我们可能还想将图形从框架边界偏移一点。我们可以通过简单地将+r0.5指定给-RTW来告诉 GMT 将台湾地图偏移0.5度来实现快速偏移。

使用 GMT6 的带框台湾底图(图片由作者提供)

我们可以通过简单地指定地图边界而不是使用TW作为区域来得到上面的图。这给了我们更多的绘图控制。

gmt begin taiwan pdf,png 
gmt coast -R119/122.5/21.5/25.5 -Wthin -B 
gmt end

在这里，您可能已经注意到，我们没有指定地图的任何投影。上面的图使用默认投影进行绘制。在科学中，出于大多数实际目的，我们使用墨卡托投影。要使用墨卡托投影，我们可以在-JM之前告诉 GMT 我们想要它，然后我们可以指定地图的宽度，-JM15c例如，对于 15 厘米的地图。

给土地和水填充颜色

接下来，我们可以填充一些颜色到地图上，使它更有吸引力。

gmt begin taiwan png 
gmt coast -R119/122.5/21.5/25.5 -Wthin -B -JM15c -Gbeige -Slightblue 
gmt end

我们用-G指定土地的颜色，用-S指定水彩。您可以在“获取颜色”列表中查找更多颜色。简单地运行命令gmt docs gmt colors。

带有陆地和海洋颜色的台湾底图(图片由作者提供)

地图的插图

现在，让我们试着在上面的图上画另一张地图作为插图。我想把插图放在地图的左上角，宽度为 4 厘米。在插图中，我想在世界地图上展示台湾。

gmt begin taiwan png 
gmt coast -R119/122.5/21.5/25.5 -Wthin -B -JM15c -Gbeige -Slightblue 
gmt inset begin -DjBL+w4c+o0.2c -M0 -F+gwhite+pthick 
    gmt coast -Rg -JG120.5/23.5/4c -Gbeige -Slightblue -B -ETW+gred 
gmt inset end 
gmt end

让我们看一下上面代码的每一部分。我们通过使用“上下文管理器”gmt inset begin开始插图，并在脚本的插图子部分结束插图。我们使用-Dj指定我们想要使用对齐方法来指定插入的位置，并将位置设置为“左下角”(BL)。我们想要宽度为 4 厘米、偏移量为 0.2 厘米的地图。此外，我们指定，我们不想要空白(M0)和框架的背景是白色的，框架边界与粗线。

我们用和以前一样的方法在插图中绘制海岸线地图。此外，我们告诉 GMT 用红色突出显示台湾(-ETW+gred)。

嵌入世界地图的台湾彩色地图(图片由作者提供)

GMT 中的支线剧情

现在，让我们看看如何使用 GMT 来制作带有多个支线剧情的图形。

gmt begin subplotMap png 
gmt subplot begin 2x2 -Ff16c/25c -M0 -A 
    #figure a
    gmt coast -R119/122.5/21.5/25.5 -BNWse -Wthin -Gbeige -Slightblue #figure b 
    gmt coast -R119/122.5/21.5/25.5 -BswNE -Wthin -Gbeige -Slightblue -c 
    gmt grdcontour @earth_relief_01m -Wared -Wcthinnest,blue -C1000 -A2000 #figure c 
    gmt coast -R119/122.5/21.5/25.5 -BnWSe -Wthin -Gbeige -Slightblue -c 
    gmt grdcontour @earth_relief_01m -LP -Wared -C1000 -A2000 
gmt grdcontour @earth_relief_01m -Ln -Wablue -C2000 -A4000    #figure d 
    gmt coast -R119/122.5/21.5/25.5 -BSwne -Wthin -Gbeige -Slightblue -c 
    gmt makecpt -Cabyss -T-10000/0 gmt coast -Sc #clip out the land part 
    gmt grdimage @earth_relief_01m -C -I+d 
    gmt coast -Q 
    gmt colorbar -DJBC -B2000 
    gmt makecpt -Cgeo -T0/5000 
    gmt coast -Gc 
    gmt grdimage @earth_relief_01m -C -I+d 
    gmt coast -Q 
    gmt colorbar -DJRR -B1000 
    gmt subplot end 
gmt end

四人台湾支线剧情图。(a)台湾彩色底图(b)带等高线的台湾地图带等高线的台湾地图-陆地和海洋分别绘制(d)台湾地形图(图片由作者提供)

现在让我们看一下上面的脚本。

我用 4 个支线剧情(2 x 2)绘制了支线剧情。我可以通过简单地输入2x2来指定。每个子情节的尺寸由参数-Ff16c/25c指定。我们要求每个支线剧情宽 16 厘米，长 25 厘米。通过参数-A，我们要求 GMT 自动注释支线剧情。可以使用-c参数指定到下一个子情节的导航。

接下来，我在支线剧情里做了四个数字。

图(a)只是我们在上一节中所做的，但是这里我们只在顶部和左侧放置了刻度线。

在图(b)中，我们绘制了分辨率为 1m 的地形等高线。我们用红色绘制了带注释的等高线，用蓝色绘制了常规等高线。规则等高线以最细的线宽绘制。每隔 1000 米绘制一次等高线，每隔 2000 米进行一次标注。

在图中，我们分离了陆地和海洋部分的等高线。这可以简单地用参数-L后跟P或N来指定。P代表阳性，N代表阴性。大写字母包含 0，反之亦然。因此，我们用红色绘制了正的标注等高线，用蓝色绘制了负的标注等高线。

在图(d)中，我们用两个色带绘制地形图。对于该图，我们也从海岸线开始(注意，这不是必需的，您可以简单地跳到下一步)。然后我们基于abyss标准色图创建了我们的自定义色图，但是指定了-10000到0之间的范围。然后我们剪下陆地部分，并为海洋部分绘图。接下来，我们做了同样的事情，剪去了海的部分，我们用不同的颜色绘制了陆地的部分。最后，我们分别为陆地和海洋部分绘制色带，一个在bottom-center处，另一个在右角。

结论

人们可以用 GMT 做更多的事情。我会在以后的文章中尝试解决这个问题。更多 GMT 相关的例子，可以看看我博客里的其他帖子。我希望这篇教程能在你的努力中派上用场。

https://www.earthinversion.com/utilities/High-quality-maps-using-the-modern-interface-to-the-Generic-Mapping-Tools/

参考

1. GMT 网站
2. 2020 大地测量学通用制图工具(GMT)短期课程
3. 大地测量通用制图工具

原载于 2021 年 4 月 2 日【https://www.earthinversion.com】。

自然语言处理中使用变形器的高质量句子解释器

原文：https://towardsdatascience.com/high-quality-sentence-paraphraser-using-transformers-in-nlp-c33f4482856f?source=collection_archive---------6-----------------------

在定制数据集和 T5 大型模型上训练的开源解释工具

作者图片

注意:这个解释器被训练来解释简短的英语句子，最适合这些输入。

投入

我们程序的输入将是任何英语句子

**Four private astronauts launched to orbit by Elon Musk’s SpaceX returned to Earth Saturday evening, splashing down into the ocean off the east coast of Florida after a three-day mission.**

输出

输出将是转述版本的同一句话。解释一个句子意味着，你创造一个新的句子，用一个不同的词语选择来表达与 T4 相同的意思。

**After a three-day mission, four private astronauts sent by Elon Musk's SpaceX returned to Earth on Saturday evening, splashing down into the ocean off the east coast of Florida.**

实际使用案例

从重写你以前的社交媒体文章到大学论文，当你没有很多文本分类模型的例子时，有几个解释器的用例。

资料组

作为构建 Questgen.ai 的一部分，我们创建了一个在 ParaNMT 之上过滤的自定义数据集，以仅保留多样化的高质量释义。

这里的多样性意味着句子对的选择使得在词序上有显著的差异，或者至少转述输出由于多个单词变化而不同。

怎么用？

如果你喜欢易于使用的谷歌 Colab 笔记本，可以在 Questgen 的 Github Repo 找到。

1.装置

**!pip install transformers==4.10.2
!pip install sentencepiece==0.1.96**

2.运行代码

我们将使用上传到 HuggingFace Transformers 库中心的预训练模型来运行解释器。我们将使用不同的波束搜索解码策略，为释义输出提供最佳结果。

更多的例子可以在上面提到的 Google Colab 演示中找到。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLMmodel = AutoModelForSeq2SeqLM.from_pretrained("**ramsrigouthamg/t5-large-paraphraser-diverse-high-quality**")
tokenizer = AutoTokenizer.from_pretrained("**ramsrigouthamg/t5-large-paraphraser-diverse-high-quality**")import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print ("device ",device)
model = model.to(device)**# Diverse Beam search**context = "**Once, a group of frogs was roaming around the forest in search of water.**"
text = "paraphrase: "+context + " </s>"encoding = tokenizer.encode_plus(text,max_length =128, padding=True, return_tensors="pt")
input_ids,attention_mask  = encoding["input_ids"].to(device), encoding["attention_mask"].to(device)model.eval()
diverse_beam_outputs = model.generate(
    input_ids=input_ids,attention_mask=attention_mask,
    max_length=128,
    early_stopping=True,
    num_beams=5,
    num_beam_groups = 5,
    num_return_sequences=5,
    diversity_penalty = 0.70)print ("\n\n")
print ("Original: ",context)
for beam_output in diverse_beam_outputs:
    sent = tokenizer.decode(beam_output, skip_special_tokens=True,clean_up_tokenization_spaces=True)
    print (sent)

上述代码的输出是:

原文:有一次，一群青蛙在森林里四处游荡寻找水源。一群青蛙在森林里四处游荡寻找水源。一群青蛙在森林里四处游荡寻找水源。一次，一群青蛙在森林里四处游荡寻找水源。一群青蛙在森林里游荡寻找水源。一群青蛙在森林里四处游荡，再次寻找水源。

就是这样！你有一个高质量的最先进的句子解释器，你可以在你的项目中使用。需要注意的是，转述者的输出并不总是完美的，因此人在回路中的系统可能是必要的。

祝 NLP 探索愉快，如果你喜欢它的内容，请随时在 Twitter 上找到我。

高质量的世界范围的增强现实越来越*了——部分是因为机器学习

原文：https://towardsdatascience.com/high-quality-world-scale-augmented-reality-is-getting-closer-partially-because-of-machine-975a68fa6fe5?source=collection_archive---------25-----------------------

美国宇航局在 Unsplash 拍摄的照片

由于 GPS 的不精确和定位，在我们的物理世界上覆盖一个数字世界一直是很困难的。

增强现实介绍

广义而言，日常消费者创建并随后使用了两种类型的增强现实(AR)。

第一种类型是 AR，它检测你附*的物体，从中产生数字物体/世界。这可以是从*面检测到图像目标的任何东西，其中您已经设置了在满足检测标准后如何产生游戏对象的参数。

在谷歌 ARCore 教程 (CC BY 4.0)中的*面检测(绿色和紫色网格)和从 HelloAR 衍生的 Android

在这里你可以看到图片和模型被放置在 Unity 游戏引擎中。当你的手机检测到图像时，这些模型就会产生

最受欢迎的是，这第一种 AR 使用面部识别来给你提供你在 Snapchat、Instagram 甚至 Zoom 上看到的众多滤镜。Spark AR 是一个很棒的库，可以用你的 PC/Mac 相机来玩这个。你可以在这里看到用于 Snapchat AR 滤镜的面部网格，类似于它在 Instagram 或任何其他具有过滤功能的*台上的使用方式。

第二种形式的 AR 检测你的物理位置，并在其上覆盖一个缩放的、预先构建的数字世界。这通常被称为世界规模的 AR 。这方面最好的直接例子是 Pokemon GO，其中特殊事件、pokestops 和健身房将显示在特定的地理坐标上。你去那里，调出第一人称视角，然后做你的事。但是，世界规模的 AR 计划并不局限于游戏，它们包括室内导航和多人单次 AR 活动的圣杯等用例。

通过地图框进行室内导航，图片来自媒体文章

尚未发布的 Niantic 多人 AR 游戏 Neon 的测试片段

世界规模的 AR 有什么难的？

如果你有敏锐的眼光，我相信你已经注意到最后两帧中的某些东西似乎有点不对劲。物品的放置和标记并没有完全符合它们应该达到的水*——这就让我们想到了为什么 AR 还没有完全达到它应该达到的水*:数字和物理世界的一致。

假设我在洛杉矶，正在寻找我停车的地方。我有一个应用程序 FindMyCar，当我打开相机时，它会指向我最初停车时放下书签的地方。信号可能不太好，所以我的全球定位系统显示我正朝向我实际朝向的东方 10 度。现在在应用程序中，我面前的数字汽车标记现在将移动 10 度，并且物体越远，情况越糟。

作者图片，谷歌数学

所以，如果我在找我停车的地方，那就没什么用了。这也是其他两个应用程序在早期照片中似乎关闭的原因。对于一些像 Pokemon GO 这样的世界范围的应用程序，位置可以稍微偏一点，因为如果 Charizard 稍微偏左或偏右，不会影响你的沉浸感。沉浸感对用户体验和应用程序的有用性都非常重要。

如果你想看看 Matthew Halberg 如何在 2017 年试图建立一个基于户外导航/文本的 AR 应用程序，并对遇到的问题进行更深入的解释，请在这里查看他的旧视频。回购是不赞成现在，所以不要费心尝试启动它。

世界规模的 AR 的第二大问题是本地化——或者通俗地说，检测你周围的世界，并与你在数字世界中的位置同步(想想 x 和 y 位置)。在上面的例子中，这相当于距离我实际所在的位置大约 200 英尺，使失调误差更大。这通常也需要时间，你必须将手机指向你周围的不同方向，以帮助检测足够多的表面来催生数字世界。

对我们来说幸运的是，多年来聪明的工程师和产品团队解决这个问题已经带来了很多有趣的解决方案。

变大还是变小

正如生活、商业和技术中的许多问题一样，人们要么试图一次解决所有问题，要么从整体中分离出一部分。这个问题的处理方式没有什么不同。

我们的第一个方法是“让我们以 1:1 的比例开始建造这个房间”的方法，本质上是创建这个房间中所有物品的完美克隆，以创建一个不受地理位置限制的无缝体验。第二种方法是“世界数字克隆”方法，它专注于将数字体验从地理上映射到现实世界。

让我们更深入地研究这两种方法:

重建您的房间，体验您的房间

比方说，我正在为新生计划一次寻宝游戏，以帮助他们更好地适应校园主楼。如果我有十组学生，我可以隐藏十组物品或找到一百个隐藏点——或者我可以在 AR 中建立一个更有趣和可扩展的体验！

在室内寻宝游戏中，为了获得准确的体验，我们需要的不仅仅是一个云锚。那么，如果我们先把所有的提示和隐藏物品放在建筑物的数字模型中，会怎么样呢？

你可以走进 Blender，手动精心制作每个房间(和里面的家具)的模型——或者我们可以将物体扫描成点云/数字网格。几年前，6D.ai 的团队使用手机在 3 分钟内扫描了他们的办公室，生成了以下网格:

显然，它并不完美，物体的边缘越粗糙或越细致，就越难扫描。幸运的是，用户永远不会看到这个扫描——它只是用于本地化。假设我们为校园建筑做了这些，当学生在任何房间内启动应用程序时，应用程序将尝试扫描周围环境，并将自己放置在数字模型中。通过人工智能和激光雷达等景深传感器的结合，手机将快速扫描周围环境，并“识别”学生站在哪里。然后，无论我们把寻宝游戏的提示和物品放在哪里，它们都会出现在屏幕上——没有杂乱的扫描网。

2020 年发布的 iPad Pro 配备了激光雷达，为更快的*面检测和 AR + ML 应用的定位打开了大门。

实时扫描内摄像机范围内的一切。

因此，现在我们有了建立数字模型以及在该模型中定位用户的解决方案，但我们需要一个*台来建立完整的寻宝游戏(放置物品、提示和各种交互)。Unity 是一个强大的游戏引擎，最*专注于建立一套跨机器学习和 VR/AR 的更多样化的应用程序。最*推出的一个功能叫做 Unity AR Mars ，专为特定空间的活动打造，比如我们已经详述的寻宝游戏。

在这里我们看到了房间的数字模型和在顶部放置的互动对象。当用户打开应用程序时，只会看到该对象。

但是如果我想在整个校园里创建一个寻宝游戏呢？扫描包括户外在内的所有东西是不可行的，而且有些房间看起来可能非常相似。我们需要在应用程序中融入地理信息。

最好用别针别住它，快点

您是否曾针对您所在的特定事件或地点使用过 Snapchat 过滤器？这些基本上是作为一个可用的地理区域来实现的，也称为“栅栏”。

这是 Snapchat 网站上的一个截图，你可以自己试试这里

然而，对于需要精确定位的 AR 应用程序来说，绘制围栏不起作用——在停车场上设置围栏并不能帮助我找到我的车。在这种情况下，我们需要使用云锚来代替。

老实说，云锚设置起来还是有点笨拙，因为文档和好的例子都很分散。然而，旧主播只能持续一天，而现在新主播可以持续一年！本质上，您正在扫描一个区域(比如一个雕像)，然后将它附加到一个地理点(在纬度和经度坐标中)。对于一个更微妙的实现，查看谷歌的解释者这里。

为了帮助放置锚点，特别是如果像 Pokemon GO 那样由算法驱动，可以通过管理适当位置的数据集来找到合理的放置。Niantic 已经利用来自 wayfarer 等应用和倡议的数据做到了这一点，最终形成了一个“最全面的数据集，包含数百万个世界上最有趣、最容易玩游戏的地方，这些地方几乎都是用户生成的( 来源 )。

两全其美

虽然这些方法解决了不同的问题，但最终它们会在构建像寻宝游戏这样的新 AR 应用程序时结合使用。让我们快速看一下实现中的两个例子:

口袋妖怪 GO 前面已经提到过了，尽管这主要是一种共享游戏状态的单人 AR 体验。Niantic 即将推出的游戏代号:城市传说确实包含了多人游戏(可能是从前面提到的 Neon 开发的)。

Superworld 是区块链(以太坊)上的一款房地产应用，每块土地都可以在上面建立 AR 体验。这意味着每个地块都将有自己的云锚，从视频和海报到 3D 动画模型的一切都可以由地块所有者放置在它周围的数字覆盖中。

作者截图来自超世界手机 app

构建这一切的合理堆栈可以是 Unity 作为游戏引擎，Mapbox 用于地理数据/模型，AR Core 用于云锚 API，6D.ai(现在是 Niantic 的一部分)用于扫描。本地化在很大程度上取决于硬件(你的手机有景深能力吗，它能处理 5G 吗，量化模型与完整模型的优化，因为云端点会太慢)。

我们将何去何从？

最终，我们希望准确快速地覆盖数字世界。这确实是一个艰难的要求，但回报将是值得的努力和等待。随着 GPS、5G 和电话硬件以及 AR 工程工具的未来改进，我绝对迫不及待地想在未来体验和构建世界规模的 AR 应用。

通过“完美”从高方差到高偏差

原文：https://towardsdatascience.com/high-variance-to-high-bias-via-perfection-fd69de3a1237?source=collection_archive---------21-----------------------

过拟合和欠拟合是非常常见的问题，我们已经指定了处理它们的方法和工具。虽然，所有方法背后的基础科学是相同的，也值得一提。

伊莎贝拉和路易莎·菲舍尔的照片在 Unsplash

数据科学社区获得了许多托管大量预测建模问题的*台。这简化了初学者在这一领域超越和达到熟练程度的途径。我们不打算谈论这些*台，而是谈论一些让我们结束训练“最优模型之旅的东西。术语“最佳”在这里意味着模型的精度类似于基础精度。

我们在训练模型时面临的最常见问题是数据的过拟合和欠拟合。在某种程度上，我们有能力控制它，但深度学习中的这些能力没有被我们大多数人发现。然而，这篇文章不仅仅是关于处理数据问题的方法，而是关于为什么这些技术如此强大以及它们在后台做什么。

为了顺利开始，让我们定义一些用于从一组图像中对狗进行分类的预测建模问题的术语。

模型性能类型的不同术语(由作者出版)

我们假设基本误差为零，因为人类可以识别误差为 0%的狗。或者在它的附*。要理解这篇文章，有必要熟悉这些术语(先决条件！！).

要深入了解这些术语，让我们看看这些模型所映射的决策边界或函数因为: 要解决任何问题，都需要先了解它。

有一个小假设，我们只有两个特征，这将有助于我们在 2-D *面中绘制数据点。

描述数据拟合不同问题的三种不同模型的决策边界(由作者发布)

最佳模型

该模型精确地拟合了给定的数据点，并且还包含了数据中的噪声。这个模型所映射的函数既不复杂也不简单。让我们假设它相当于一个抛物线函数，其中训练和测试集误差也相当于基本误差。

欠拟合

当训练集误差和测试集误差远离基本误差时，就说模型对数据拟合不足。由该模型映射的函数作为线性函数相当简单，因此没有抛物线函数复杂。

过度拟合

当测试集误差远离基本误差，而训练集误差远离基本误差时，则该模型被认为过拟合了数据。这个模型映射了一个比抛物线更复杂的函数。

这些对映射函数的观察对于理解数据问题至关重要。在深度神经网络中，我们有几个超参数要调整。一些超参数，例如隐藏层的数量和隐藏层中隐藏单元的数量，决定了模型在给定数据点上映射的函数的复杂性。

让我们假设我们已经训练了一个非常深的神经网络，并且我们有过拟合数据的条件，并且正在使用 L2 正则化技术来达到最佳拟合。

L2 正则化

我们的价值成本函数如下

二元分类问题的梯度下降中定义的代价函数(由作者发表)

其中 J 是成本函数，带上限的 y 是预测值，y 是第个训练示例的目标特性的实际值。在 L2 正则化中，我们在代价函数中增加了一个正则项。所以，J 变成了-

带有正则项的成本函数(由作者发表)

其中λ被称为正则化参数，因此是另一个超参数，求和项是权重矩阵的 L2 范数的*方。上图给出了 L2 范数的定义。

为了理解这个正则项的影响，让我们计算梯度，这是在反向传播过程中计算的。

反向传播步骤中计算的权重梯度(由作者发表)

“反向投影项对应于成本函数相对于权重矩阵的导数。我们可以假设，对于梯度下降的特定迭代，它将保持不变。添加正则项的含义是在关于λ和m的 dW 的定义中添加新项。现在，如果我们更新参数，我们将具有以下含义:

更新权重(由作者发布)

可以直接推断出，当我们应用 L2 正则化时，我们正在减少或最小化 w 中的元素。在大多数处理高方差等问题的方法中，我们正在减少权重。这就是为什么它也被称为“重量控制”过程。

如果我们有一个非常深的神经网络，有许多隐藏层和隐藏单元，那么它将倾向于过度拟合数据。一旦我们应用 L2 正则化，我们就间接地将一些隐藏单元的权重降低到接*零，但不完全为零。

现在假设我们有一个如下的密集神经网络，我们应用 L2 正则化，几乎关闭了一些隐藏单元。

在成本函数中添加正则项后关闭的神经元(由作者发表)

这是一个完全关闭一些神经元的极端条件，但将有助于我们理解 L2 正则化的含义。现在剩下的神经网络可以组合如下-

多个连续的神经单元可以由单个神经单元代替。(作者发布)

这是可能的，因为每个神经元随着权重和偏差线性变化，如果我们在另一个线性函数中输入一个线性函数，那么得到的函数也是线性的。最终，我们只是改变了线性函数的常数。

这种极端情况意味着，当我们应用 L2 正则化技术时，从一个非常复杂的函数(由密集的神经网络生成),我们得到了一个非常不复杂的线性函数。换句话说，从一个模型过拟合数据到一个模型欠拟合数据，或者从一个具有高 方差的模型到一个具有高偏差的模型。

另一个观察结果是，我们问题的最佳解决方案位于我们从过度拟合到欠拟合数据的路径之间。这个目标可以通过调整超参数 lambda 轻松实现(不那么容易，因为调整超参数需要耐心)。

通过“完美”(由作者发表)从高方差到高偏差

还有其他正则化技术，如反向丢弃(或简单丢弃)正则化，它们随机关闭神经单元。所有这些正则化技术都在做同样的工作，即最小化成本函数或映射函数的复杂度。

“提前停止”方法述评

“早 停”是另一种常用的避免数据过拟合的方法。在这种方法中，我们定义了一个训练集和一个测试或开发集，并观察了这两个集上的成本函数在迭代次数方面的变化。

随着迭代次数的增加，训练集中的错误会减少，但是测试集中的变化是显著的。它首先下降，显示成本值的增加，表明数据过度拟合的开始。

训练和测试集的成本随迭代次数的变化(由作者发布)

这种方法可能不太准确，因为我们有两个不同的任务，一是优化成本函数 J，二是防止过拟合。这两项任务必须分开解决。“提前停止”同时完成了这两个任务，因此它有效地优化了成本函数。

通过使用其他技术作为正则化，您将能够更加自信和准确地优化您的成本函数。

常见的解决方案

解决这两个问题的常用方法是提供更多的训练数据集。有时候，获取更多的训练数据可能代价很高。但是，有一些方法，如数据扩充，可以生成更多的训练数据集。

例如，我们可以通过随机缩放、裁剪或翻转图像，从预先存在的图像生成新图像。

数据扩充(原始照片由维克多·格拉巴奇克在 Unsplash 上拍摄)

总结

我们已经看到了如何在从高方差到高偏差模型的过程中达到最优模型。

然而，我们应该注意，L2 正则化将权重衰减到接*零，但不完全为零，而在丢弃正则化中，我们随机关闭一些单元。

除正则化之外，还有各种技术，如归一化、梯度检查等，可帮助您优化成本函数并防止数据过度拟合，但所有这些方法都在同一个框中，即它们都降低了成本函数或模型在数据点上映射的函数的复杂性。一旦复杂度降低到一定限度，就可以找到最优解。

Spark 3.1 的高阶函数

在 Spark SQL 中处理数组。

唐纳德·詹纳蒂在 Unsplash 上的照片

复杂的数据结构，如数组、结构和映射在大数据处理中非常常见，尤其是在 Spark 中。每当我们希望在一列中表示每行上的多个值时，就会出现这种情况，在数组数据类型的情况下，这可以是一个值列表，在映射的情况下，这可以是一个键值对列表。

从 Spark 2.4 开始，通过发布高阶函数(Hof)，对处理这些复杂数据类型的支持增加了。在本文中，我们将了解什么是高阶函数，如何有效地使用它们，以及在最*几个 Spark 和 3.1.1 版本中发布了哪些相关功能。对于代码，我们将使用 Python API。

让我们首先看看 Spark 提供的三种复杂数据类型之间的区别。

数组类型

l = [(1, ['the', 'quick', 'braun', 'fox'])]df = spark.createDataFrame(l, schema=['id', 'words'])df.printSchema()root
 |-- id: long (nullable = true)
 |-- words: array (nullable = true)
 |    |-- element: string (containsNull = true)

在上面的示例中，我们有一个包含两列的数据帧，其中列 words 是数组类型，这意味着在数据帧的每一行上，我们可以表示一个值列表，并且该列表在每一行上可以有不同的大小。此外，数组的元素是有顺序的。重要的属性是数组在元素类型方面是同质的，这意味着所有元素必须具有相同的类型。要访问数组的元素，我们可以使用如下的索引:

df.withColumn('first_element', col('words')[0])

结构类型

StructType 用于将一些可能具有不同类型(不同于数组)的子字段组合在一起。每个子字段都有一个类型和一个名称，并且对于数据帧中的所有行都必须相同。可能出乎意料的是，一个结构中的子字段是有顺序的，所以比较两个具有相同字段但顺序不同的结构 s1==s2 会导致 False 。

请注意数组和结构之间的基本区别:

• 数组:类型相同，允许每行有不同的大小
• 结构:类型异构，每行都需要相同的模式

地图类型

您可以将 map 类型视为前面两种类型的混合:array 和 struct。设想这样一种情况，每一行的模式都没有给出，您需要在每一行上支持不同数量的子字段。在这种情况下，您不能使用 struct。但是使用数组对您来说并不是一个好的选择，因为每个元素都有一个名称和一个值(它实际上是一个键-值对),或者因为元素有不同的类型——这是 map 类型的一个很好的用例。使用 map 类型，您可以在每一行上存储不同数量的键-值对，但是每个键必须具有相同的类型，并且所有的值都必须是相同的类型(可以与键的类型不同)。配对的顺序很重要。

变换数组

在我们开始讨论转换数组之前，让我们先看看如何创建一个数组。第一种方法我们已经在上面看到了，我们从一个本地值列表中创建了数据帧。另一方面，如果我们已经有了一个数据帧，我们想将一些列组成一个数组，我们可以使用函数 array() 来实现这个目的。它允许您从其他现有的列中创建一个数组，因此如果您有列 a 、 b 、 c ，并且您希望将值放在一个数组中，而不是放在单独的列中，您可以这样做:

df.withColumn('my_arr', array('a', 'b', 'c'))

除此之外，还有一些函数产生一个数组作为转换的结果。例如，函数 split( ) 会将一个字符串拆分成一个单词数组。另一个例子是collect _ list()或collect _ set()，它们都是聚合函数，也会产生一个数组。

实际上，将数组放入数据帧的最常见方式是从支持复杂数据结构的数据源(如 Parquet)读取数据。在这种文件格式中，一些列可以存储为数组，因此 Spark 自然也会将它们读取为数组。

现在，当我们知道如何创建一个数组时，让我们看看数组是如何转换的。

从 Spark 2.4 开始，有大量的函数用于数组转换。有关它们的完整列表，请查看 PySpark 文档。例如，所有以 array_ 开头的函数都可以用于数组处理，您可以找到最小-最大值、对数组进行重复数据删除、排序、连接等等。接下来，还有concat()flatten()shuffle()size()【slice()sort _ array()。正如你所看到的，API 在这方面已经相当成熟，你可以用 Spark 中的数组做很多操作。

除了上述这些函数，还有一组函数将另一个函数作为参数，然后应用于数组的每个元素，这些函数被称为高阶函数(Hof)。了解它们很重要的一点是，在 Python API 中，从 3.1.1 开始就支持它们，而在 Scala API 中，它们是从 3.0 开始发布的。另一方面，对于 SQL 表达式，从 2.4 开始就可以使用了。

要查看一些具体示例，请考虑以下简单的数据框架:

l = [(1, ['prague', 'london', 'tokyo', None, 'sydney'])]df = spark.createDataFrame(l, ['id', 'cities'])df.show(truncate=False)+---+-------------------------------------+
|id |cities                               |
+---+-------------------------------------+
|1  |[prague, london, tokyo, null, sydney]|
+---+-------------------------------------+

假设我们想要完成这五个独立的任务:

1. 将每个城市的首字母转换成大写。
2. 去掉数组中的空值。
3. 检查是否有以字母 t 开头的元素。
4. 检查数组中是否有空值。
5. 对数组中每个城市的字符数(长度)求和。

这些是可以用 HOFs 解决的问题的一些典型例子。所以让我们一个一个来看:

改变

df \
.withColumn('cities', transform('cities', lambda x: initcap(x))) \
.show(truncate=False)+---+-------------------------------------+
|id |cities                               |
+---+-------------------------------------+
|1  |[Prague, London, Tokyo, null, Sydney]|
+---+-------------------------------------+

如您所见， transform() 有两个参数，第一个是需要转换的数组，第二个是匿名函数。在这里，为了实现我们的转换，我们在匿名函数中使用了 initcap() ，它被应用于数组的每个元素——这正是转换 HOF 允许我们做的。对于 SQL 表达式，可以按如下方式使用:

df.selectExpr("id", "TRANSFORM(cities, x -> INITCAP(x)) AS cities")

注意，SQL 中的匿名函数是用箭头(->)符号表示的。

过滤器

在第二个问题中，我们希望从数组中过滤出空值。这一点(以及任何其他过滤)可以使用 过滤器 HOF 来处理。它允许我们应用一个匿名函数，该函数对每个元素返回布尔值( True / False )，并且它将返回一个新数组，该数组只包含该函数返回 True 的元素:

df \
.withColumn('cities', filter('cities', lambda x: x.isNotNull())) \
.show(truncate=False)+---+-------------------------------+
|id |cities                         |
+---+-------------------------------+
|1  |[prague, london, tokyo, sydney]|
+---+-------------------------------+

这里，在匿名函数中我们调用 PySpark 函数 isNotNull() 。SQL 语法如下所示:

df.selectExpr("id", "FILTER(cities, x -> x IS NOT NULL) AS cities")

存在

在下一个问题中，我们希望检查数组是否包含满足某些特定条件的元素。请注意，这是一个更一般的例子，在这种情况下，我们希望检查某个特定元素的存在。例如，如果我们想检查数组是否包含城市布拉格，我们可以只调用array _ contains函数:

df.withColumn('has_prague', array_contains('cities', 'prague'))

另一方面， 存在 HOF 允许我们对每个元素应用更一般的条件。结果不再是像前两个 Hof 那样的数组，而只是真 / 假:

df \
.withColumn('has_t_city', 
  exists('cities', lambda x: x.startswith('t'))) \
.show(truncate=False)+---+-------------------------------------+----------+
|id |cities                               |has_t_city|
+---+-------------------------------------+----------+
|1  |[prague, london, tokyo, null, sydney]|true      |
+---+-------------------------------------+----------+

这里在匿名函数中，我们使用了 PySpark 函数【starts with()。

FORALL

在第四个问题中，我们希望验证数组中的所有元素是否都满足某些条件，在我们的示例中，我们希望检查它们是否都不为空:

df \
.withColumn('nulls_free',forall('cities', lambda x: x.isNotNull()))\
.show(truncate=False)+---+-------------------------------------+----------+
|id |cities                               |nulls_free|
+---+-------------------------------------+----------+
|1  |[prague, london, tokyo, null, sydney]|false     |
+---+-------------------------------------+----------+

正如你所看到的，对于所有的 来说 与存在非常相似，但是现在我们正在检查条件是否对所有的元素都成立，之前我们至少要寻找一个。

总计

在最后一个问题中，我们希望对数组中每个单词的长度求和。这是一个例子，我们希望将整个数组简化为一个值，对于这种问题，我们可以使用 HOF 聚合 。

 df \
.withColumn('cities', filter('cities', lambda x: x.isNotNull())) \
.withColumn('cities_len', 
  aggregate('cities', lit(0), lambda x, y: x + length(y))) \
.show(truncate=False)+---+-------------------------------+----------+
|id |cities                         |cities_len|
+---+-------------------------------+----------+
|1  |[prague, london, tokyo, sydney]|23        |
+---+-------------------------------+----------+

使用 SQL:

df \
.withColumn("cities", filter("cities", lambda x: x.isNotNull())) \
.selectExpr(
    "cities", 
    "AGGREGATE(cities, 0,(x, y) -> x + length(y)) AS cities_len"
)

如你所见，与之前的 HOFs 相比，语法稍微复杂了一些。集合接受更多的参数，第一个仍然是我们想要转换的数组，第二个参数是我们想要开始的初始值。在我们的例子中，初始值是零( lit(0) )，我们将把每个城市的长度加进去。第三个参数是匿名函数，现在这个函数本身有两个参数——第一个参数(在我们的例子中是 x )是运行缓冲区，我们将第二个参数表示的下一个元素的长度(在我们的例子中是 y )添加到这个缓冲区中。

可选地，可以提供第四个参数，这是另一个转换最终结果的匿名函数。如果我们想要进行更复杂的聚合，这是很有用的，例如，如果我们想要计算*均长度，我们需要保留大约两个值，即 sum 和 count ，我们将在最后的转换中对它们进行如下划分:

(
    df
    .withColumn('cities', filter('cities', lambda x: x.isNotNull()))
    .withColumn('cities_avg_len', 
        aggregate(
            'cities', 
            struct(lit(0).alias('sum'), lit(0).alias('count')), 
            lambda x, y: struct(
                (x.sum + length(y)).alias('sum'), 
                (x.count + 1).alias('count')
            ),
            lambda x: x.sum / x.count
        )
    )
).show(truncate=False)+---+-------------------------------+--------------+
|id |cities                         |cities_avg_len|
+---+-------------------------------+--------------+
|1  |[prague, london, tokyo, sydney]|5.75          |
+---+-------------------------------+--------------+

如您所见，这是一个更高级的示例，我们需要在聚合过程中保留两个值，我们使用具有两个子字段 sum 和 count 的 struct() 来表示它们。使用第一个匿名函数，我们计算所有长度的最终总和，以及元素总数。在第二个匿名函数中，我们只是将这两个值相除，得到最终的*均值。还要注意，在使用 aggregate 之前，我们首先过滤掉空值，因为如果我们在数组中保留空值，总和(以及*均值)将变成空值。

要查看聚合 HOF 与 SQL 表达式一起使用的另一个示例，请检查 this Stack Overflow 问题。

除了前面提到的这五个 Hof，还有 zip_with 可以用来将两个数组合并成一个数组。除此之外，还有其他的 Hof，如 map_filter ， map_zip_with ，transform _ keys，以及transform _ values与地图一起使用，我们将在以后的文章中了解它们。

结论

在本文中，我们介绍了高阶函数(Hof ),这是 Spark 2.4 中发布的一个特性。首先，只有 SQL 表达式支持它，但是从 3.1.1 开始，Python API 也支持它。我们已经看到了五个 Hof 的例子，它们允许我们在 Spark 数组中转换、过滤、检查存在性和聚集元素。在 HOFs 发布之前，大多数问题都必须使用用户定义的函数来解决。然而，HOF 方法在性能方面更有效，要查看一些性能基准，请参见我最*的另一篇文章，其中显示了一些具体的数字。

2021 年数据+人工智能峰会亮点💥

崇高的紫色夜空。【数码影像】https://unsplash.com/@文森特

又来了，我最喜欢的免费数据会议之一！这个名字已经被重新命名为更好。最初是“火花峰会”，后来是“火花+AI 峰会”，现在是“数据+AI”峰会。Databricks 现在提供几个产品，它不再仅仅被认为是“火花公司”。我下面谈论的很多内容与我去年的重点在这里的趋势相同。但是 Databricks 今年发布了很多有趣的产品！

增量共享

这个新的 Databricks 产品被定义为业界第一个安全数据共享的开放协议。

随着公司转向多云以及云数据仓库的兴起，在数据可用性方面存在巨大挑战。数据工程师花费大量时间移动/复制数据，以便在不同的地方以经济高效和安全的方式访问和查询数据。

Delta sharing 旨在通过存储“once”并在任何地方读取它来解决这一问题。它使用中间件(增量共享服务器)在阅读器和数据提供者之间进行交流。

在我看来，理论上的 Delta 共享是自 Delta 格式以来最大的产品发布。然而，有一些问题值得一提:

• 尽管 Databricks 声称查询是优化的并且便宜，但我认为我们需要考虑出口/入口云的成本。如果数据接收者正在做一个没有优化的难看的查询，会发生什么？
• 只要全球采用，任何开放标准听起来都有希望。尽管如此，德尔塔显然比他们的其他酸性格式兄弟(如冰山和胡迪)更有吸引力，所以它绝对是最好的赌注。

Delta 活动表

另一个 Delta Databricks 产品！您可以从一个增量表中将它视为一个超级强大的“视图”,您可以使用纯 SQL 或 python 进行处理。您可以创建整个数据流，并基于单个增量活动表创建多个表。delta live 引擎足够智能，可以进行缓存和检查点操作，只处理需要的内容。

这非常有趣，因为在数据湖架构(原始/青铜/白银)中，不是将数据的多个副本视为经典的数据管道，而是有一个真实的来源。这使得清晰的谱系成为可能，因此也是转换的良好文档。

此外，因为数据质量很热门(见下文)，Databricks 添加了他们自己的数据质量工具，带有声明性的质量期望。

Unity 目录

Databricks 正在推出自己的数据目录。数据目录是数据行业的另一个趋势。主要开源项目的开发(如阿蒙森、数据中心等)。)去年一直保持这个速度。与此同时，其他大型云提供商，如谷歌，也发布了他们自己的数据目录。最重要的是，随着公司越来越多地转向云计算战略，数据发现和治理成为一个更大的问题。

Databricks 用自己的目录解决的一个有趣的问题是，他们希望通过更高的 API 来简化数据访问管理。这是其他解决方案没有真正关注的，这是一个主要的优势，因为管理低级别的访问(例如基于文件的权限，如 s3 或 GCS)可能非常棘手。细粒度的权限是困难的，并且数据的布局并不真正灵活，因为它常常被像 Hive/Glue 这样的 metastore 所限制。

更多 python

数据档案(数据科学家、数据工程师、数据分析师、ML 工程师等)之间的最大共同点。)可能是 SQL，第二个可能是 python。根据 Databricks 的数据，如今大多数 spark API 调用都是通过 Python (45%)和 SQL (43%)完成的。

很明显，Databricks 希望缩小“笔记本电脑数据科学”和分布式计算之间的差距。降低准入门槛将使更多的用户从事人工智能，并为数据 SAAS 公司带来更多资金😉由于 python 被广泛采用，并且对初学者友好，所以投资 python 是有意义的。

大多数改进都被称为“禅计划”，其中包括:

• pyspark 日志的可读性
• 类型提示改进
• 更智能的自动完成提及

熊猫天生就有火花

如果你不熟悉考拉项目，它是 Apache Spark 之上的熊猫 API。考拉项目将通过 Spark 合并。只要有 spark 数据框，就有 pandas 数据框，无需进行显式转换。

当然，对于小数据用例，Spark 在独立的节点集群上仍然是一个开销，但是它可以在不改变代码库的情况下进行扩展，这非常方便。

构建低代码工具以使数据工程/数据科学民主化

令人难以置信的是，今年有这么多关于 ETL 管道和数据质量框架的讨论。这又是对我去年谈到的趋势的双重押注。许多公司希望降低数据工程的准入门槛，其动机是

• 通过 ETL 降低增加可重用性的复杂性
• 元数据和配置驱动的 ETL。配置可以作为数据流的文档
• 使 SQL 开发人员更容易编写生产就绪的管道，并扩大贡献者的范围。

结论

很高兴看到 Databrick 的产品目录不断增加。感觉他们更倾向于整合战略，而不是试图成为下一个你可以运行一切的*台(即使这也是他们正在销售的)。

但是，围绕 delta 的主要产品也依赖于供应商的采用，所以让我们看看数据社区采用它的速度有多快！

资源:

数据+AI 主题演讲，https://www.youtube.com/playlist?list = PLTPXxbhUt-ywquxdhuxgu 8 ehj 3 bjbhfe

迈赫迪·瓦扎又名迈赫迪欧·🧢

感谢阅读！🤗 🙌如果你喜欢这个，跟随我上🎥 Youtube ，✍️ 中型 ，或者🔗 LinkedIn 了解更多数据/代码内容！

支持我写作 ✍️通过加入媒介通过这个链接

来自数据+人工智能峰会 NA 2021 的亮点

原文：https://towardsdatascience.com/highlights-from-data-ai-summit-na-2021-f5320f5d0fd9?source=collection_archive---------36-----------------------

与 Apache Spark 新特性相关的数据+人工智能峰会笔记

照片由大卫·特拉维斯在 Unsplash 上拍摄

数据领域最大的会议之一— Data + AI Summit 北美 2021 上周发生了，这次我没有用自己的演讲做出贡献，但作为一名听众，我越来越喜欢这些会议。

在这篇简短的报告中，我想总结一下我在 Apache Spark 内部和最佳实践主题中讨论的 Spark 3.1 和即将推出的 3.2 中的新特性。

禅宗项目

Zen 项目开始于一年前，目标是让 Spark 对 Python 用户更加友好。

类型提示

其中一个步骤是添加类型提示，例如允许 ide 和笔记本环境中的自动完成，这样可以使开发更加高效。对类型提示的完全支持是在最新版本 3.1.1 中添加的。

星火上的熊猫

Spark 3.2 的一个新特性是将考拉项目集成到 Spark 中。考拉允许使用 Pandas API，同时将 Spark 作为后端，因此，如果数据科学家使用 Pandas 进行数据操作，并由于数据量大而遇到性能问题，那么很容易切换到考拉，代码保持不变，但在幕后，执行在 Spark 中进行。现在，当考拉将被集成到 Spark 中时，情况变得更加简单，你可以从 Spark 中导入熊猫并使用熊猫 API，同时在引擎盖下有 Spark。熊猫的绘图和可视化工具现在可以在 Spark 中使用了。

本次峰会讨论了 Zen 项目:

性能改进

随着 Spark 的每一次发布，发动机的性能都在不断提高。在峰会上，我们讨论了几个与绩效相关的话题:

混合散列连接(SHJ)

混合散列连接是 Spark 中用于连接数据的算法之一。在实践中，它被避免使用，取而代之的是更健壮的排序合并连接(SMJ)。如果数据不对称，并且其中一个分区太大，SHJ 会导致 OOM 错误。然而，在合理的情况下，SHJ 可以比 SMJ 执行得更快，因为它避免了这种情况。(关于 Spark 使用的算法和决策逻辑的更多细节，请参见我的相关文章关于 Spark 3.0 中的加入的文章

3.1 中实现了几项增强功能，使 SHJ 变得更好、更可用:

在这次首脑会议期间，讨论了 SHJ 的改进和其他改进:

• 深入了解 Apache Spark 3.1 的新特性

…向量化…

矢量化是一种同时处理多行以加快处理速度的技术。在 Spark 的当前版本中，当使用矢量化读取器从 parquet 和 orc 格式读取数据时，会使用矢量化。除此之外，PySpark 中的熊猫 UDF 也支持矢量化。

实现矢量化的一种方法是使用现代硬件支持的 SIMD 指令(单指令，多数据)。当前版本的 Spark 没有明确使用 SIMD，因为 JVM 中的 HotSpot 编译器在某些情况下会生成 SIMD 指令，但在某些情况下不会。然而，新的 Java 16 有 VectorAPI 可用，这个 API 可以确保 SIMD 指令被使用。因此，使用这个 VectorAPI ，可以在 Spark 中为生成的代码实现显式矢量化。本次峰会讨论了矢量化:

• 在 Apache Spark 中启用矢量化引擎

标准压缩编解码器

Apache Spark 支持各种压缩算法，例如，snappy 是将数据保存到 parquet 文件时使用的默认算法，另一方面，lz4 用于 shuffle 文件，也支持其他编解码器。ZStandard 是一种编解码器，可以实现与 gzip 相当的压缩速度和压缩比。

从 Spark 3.2 开始，ZStandard 将在三种情况下有用，它可以带来性能优势(节省本地磁盘空间和/或外部存储以及整体查询执行速度的提高):

• 事件日志压缩(spark . event log . compression . codec = zstd)
• 洗牌期间的 I/O 压缩(spark . io . compression . codec = zstd)
• 压缩 parquet/orc 文件spark . conf . set(" spark . SQL . parquet . compression . codec "，" zstd")**

相关的首脑会议是:

• z standard 的崛起:阿帕奇 Spark/Parquet/ORC/Avro

随机播放增强

Spark 作业中的 Shuffle 通常是开销最大的过程，因为数据必须在集群的节点之间移动。shuffle 是两个阶段之间的界限，在一个阶段完成后，输出被写入文件，然后被提取到下一个阶段。文件保存在执行器的本地磁盘上，或者当使用外部混洗系统时，可以保存到外部存储系统，例如 HDFS。这些文件的数量随着任务的数量成二次方增长(更具体地说，它是上游阶段的任务数量乘以下游阶段的任务数量)，并且这些文件可能变得相当小。有一个吉拉正在进行中，旨在实现所谓的基于推送的洗牌，通过预合并块来优化洗牌 I/O。关于这项技术的相关文章可以在这里找到。在这次首脑会议上讨论了这个主题本身:

• 磁铁洗牌服务:LinkedIn 上基于推送的洗牌

复杂查询计划处理

对于某些查询，查询计划可能会变得非常复杂，其编译可能会成为真正的瓶颈。有一个吉拉正在进行中，它试图简化处理带有别名的列的约束的过程，测试显示有希望加速。与这一主题相关的首脑会议是:

• 优化复杂计划的催化剂优化器

ANSI SQL 符合性

这是 spark 中正在进行的项目，在 3.0 版本中引入了实验性配置设置 spark.sql.ansi.enabled ，当设置为 True 时，Spark 将尝试符合 ANSI SQL 规范，这意味着如果输入无效，查询可能会在运行时失败，否则可能会返回空值。这方面的一个具体例子是无法安全转换或容易混淆的数据类型的转换。与此相关的一些新功能将在 3.2 中发布，例如， TRY_CAST ， TRY_ADD ， TRY_DIVIDE 如果用户希望使用 ANSI 模式，但如果输入无效而不是查询失败，则这些功能会很有用。

在 Spark 3.2 中，将发布两种新的间隔日期类型，年-月和日-时间，这将解决当前 CalendarIntervalType 存在的一些问题。正在进行的吉拉是相关子任务的保护伞。当前区间类型的问题是它不具有可比性，并且不支持排序，因此有两个区间我们无法比较它们并判断哪个更大。另一个问题是我们不能将区间类型保存为文件格式，比如 parquet/orc 甚至 json。另一方面，将在 3.2 中发布的两个新类型 YearMonthIntervalType 和 DayTimeIntervalType 将是可比较和可订购的，并且将符合 SQL 标准。

有关 ANSI SQL 合规性的更多信息和细节，请参见文档或查看峰会中讨论这些主题的以下会议:

• 深入了解 Apache Spark 3.1 的新特性
• Apache Spark 3.2 中区间的综合视图

DataSourceV2 API

DataSourceV2 API 在过去几年中一直在开发中，它旨在解决与 V1 API 相关的各种问题，例如，data frame writer的某些模式的连接器行为不一致，在写入表之前没有模式验证，依赖于其他内部 API，如 SQLContext ，以及新功能不容易扩展。

V2 API 使用目录来检查表是否存在，并使用一致的验证规则，与连接器的实现无关。有一个吉拉正在开发中，旨在支持在 V2 API 中更好地控制连接器的分布和订购，这应该允许更好的灵活性，并计划在 Spark 3.2 中发布。

本次峰会讨论了 V2 API 以及相关的配送和订购功能:

• 高效数据源 V2 的数据分发和排序

结论

Data + AI 峰会 NA 2021 上有很多有趣的环节。在这篇简短的报告中，我总结了我在 Spark 内部机制和最佳实践专题的一些会议中的笔记。这些说明并不完整，我主要关注的是 3.1.1 中发布的新特性或者计划在 3.2 中发布的新特性。

用于可视化数据集和解释模型的高度交互式仪表板

使用 FiftyOne 创建仪表板，帮助构建高质量的数据和计算机视觉模型

来源:作者

可视化图像数据集从来没有那么容易，直到我们引入了 51。它是完美的工具，不仅有助于可视化数据集，而且有助于理解数据集的不同方面，解释模型，评估模型预测等。它具有多种多样的特征，并被强烈推荐用于评估对象检测模型、对象分类模型、寻找图像唯一性等。

FiftyOne 可以与 PyTorch、Tensorflow、Google AI、Jupyter、Colab 等多种工具集成。它的核心功能包括管理数据集、评估模型、查找注释错误等等。我可以写多篇文章涵盖 51 的不同方面，但我们不能涵盖所有的功能。

FiftyOne 是一个开源 python 工具，用于创建高度交互式的图像可视化和模型解释应用程序。在本文中，我们将探讨如何使用 FiftyOne 可视化数据集。

让我们开始吧…

安装所需的库

我们将从使用 pip 安装 51 开始。下面给出的命令可以做到这一点。

!pip install fiftyone

导入所需的库

在这一步中，我们将导入创建第五十一个应用程序所需的库。

import fiftyone as fo
import fiftyone.zoo as foz

加载数据集

五十一应用程序已经有很多预定义的数据集，他们称之为动物园，你可以使用这个动物园中的任何数据集。在本文中，我们使用快速入门地理数据集。让我们从加载数据集开始。

dataset = foz.load_zoo_dataset("quickstart-geo")
print(dataset)

来源:作者

您可以使用下面的命令检查所有数据集的名称。

print(foz.list_zoo_datasets())

来源:作者

可视化数据集

这是最精彩的部分。在这里，我们将在一个应用程序中可视化数据集，FiftyOne 只用一行代码就创建了这个应用程序。

session = fo.launch_app(dataset)

来源:作者

这是由 FiftyOne 创建的应用程序。在左侧，您可以看到标签。同样，您也可以在一个网格中可视化所有图像。如果我们选择 ground__truth 标签，它将向我们显示图像中的所有对象，如下所示。

来源:作者

同样，您也可以选择缩放器，即 Id，以及将在图像网格中显示的文件路径。您还可以更改网格的大小来相应地调整图像。

这只是我们已经开始的视觉化。有更多的事情，你可以使用 51 轻松探索，因为它是高度互动的，易于理解。

继续尝试不同的数据集，并可视化这些数据集。如果您发现任何困难，请在回复部分告诉我。

本文是与 Piyush Ingale 合作完成的。

在你走之前

感谢 的阅读！如果你想与我取得联系，请随时通过 hmix13@gmail.com 联系我或我的 LinkedIn 个人资料 。可以查看我的Github*简介针对不同的数据科学项目和包教程。还有，随意探索* 我的简介 ，阅读我写过的与数据科学相关的不同文章。

高度交互式数据可视化

原文：https://towardsdatascience.com/highly-interactive-data-visualization-cd3a9b082370?source=collection_archive---------25-----------------------

使用 Panel-Highcharts 在 Python 中创建高图表

(来源:作者)

数据可视化影响你讲故事，因为它帮助用户更清楚地了解你想说什么，并且用户可以实际可视化模式、见解等。你想告诉我的。可视化有配色方案，图案，不同类型的图表，如果展示得漂亮，会让用户着迷。

创建可视化有不同的方法，python 也有不同的库，可以创建视觉上吸引人的可视化。 Panel-Highcharts 是一个 python 库，使得在 python 中使用 Highcharts 进行探索性数据分析变得很容易。我们可以用它来使用 Highcharts 创建可视化效果，或者使用 Panel 创建仪表板。

在本文中，我们将探索可以使用 Panel-Highcharts 创建的不同类型的图表。

让我们开始吧…

安装所需的库

像任何其他 python 库一样，我们将使用 pip 安装 Panel-Highcharts。下面给出的命令将安装所需的库及其依赖项。

pip install panel-highcharts

导入所需的库

安装后，现在我们将导入创建可视化、加载数据等所需的库。

import panel_highcharts as ph
import panel as pn
pn.extension('highchart')

创建图表和绘图

现在，我们将开始可视化使用 Panel-Highcharts 创建的不同图表和绘图。

1. 折线图

我们将首先创建一个基本的折线图，然后创建一个小部件来处理该图表。

#Define the configuration and the data to be used in chart 
configuration = {
    "title": {"text": "Line Chart Pane"},
    "series": [
        {
            "name": "Sales",
            "data": [100, 250, 150, 400, 500],
        }
    ]
}ph.HighChart(object=configuration, sizing_mode="stretch_width")

折线图(来源:作者)

在这里，我们可以看到使用 Highcharts 创建的折线图。在给出的图像中，右侧有一个切换按钮，允许用户下载不同格式的图表和数据。

现在让我们创建一个小部件框，它可以用来处理这个图表。

chart = ph.HighChart(object=configuration, sizing_mode= "stretch_width")settings = pn.WidgetBox(
    pn.Param(
        chart,
        parameters=["height", "width", "sizing_mode", "margin", "object", "event", ],
                widgets={"object": pn.widgets.LiteralInput, "event": pn.widgets.StaticText},
        sizing_mode="fixed", show_name=False, width=250,
    )
)
pn.Row(settings, chart, sizing_mode="stretch_both")

带有小部件的折线图(来源:作者)

在这里，我们可以看到一个小部件框，我们可以调整这些值，并在折线图中查看结果。这有助于向观众展示特性的变化如何导致价值观的变化。

2.股票走势图

我们还可以使用这个库创建图表来表示股票数据。我们将导入 request 和 json 来下载股票数据，并使用 highstock 扩展。

pn.extension('highstock')
import requests, json#Downloading Data
data = requests.get('[https://cdn.jsdelivr.net/gh/highcharts/highcharts@v7.0.0/samples/data/new-intraday.json').json()](https://cdn.jsdelivr.net/gh/highcharts/highcharts@v7.0.0/samples/data/new-intraday.json').json())#Creating Configuration
configuration = {
    "title": {"text": "AAPL stock price by minute"},
    "rangeSelector": {
        "buttons": [
            {"type": "hour", "count": 1, "text": "1h"},
            {"type": "day", "count": 1, "text": "1D"},
            {"type": "all", "count": 1, "text": "All"},
        ],
        "selected": 1,
        "inputEnabled": False,
    },
    "series": [
        {"name": "AAPL", "type": "candlestick", "data": data, "tooltip": {"valueDecimals": 2}}
    ],
}#Visualizing the chart
chart = ph.HighStock(object=configuration,  sizing_mode= "stretch_width", height=600)
chart

股票图表(来源:作者

在这里，我们可以使用 Highstock 扩展来可视化股票数据，该扩展创建了一个蜡烛图。类似于折线图，您也可以在此绘制小部件框。

3.地理图

我们也可以使用高图表来创建一个地理图。为此，我们将加载扩展 highmap 并从在线源加载数据。我们将创建一个情节，然后将其作为一个应用程序与部件框渲染。

pn.extension('highmap')**#Creating configuration**
configuration = {
    "chart": {"map": "custom/europe", "borderWidth": 1},
    "title": {"text": "Nordic countries"},
    "subtitle": {"text": "Demo of drawing all areas in the map, only highlighting partial data"},
    "legend": {"enabled": False},
    "series": [
        {
            "name": "Country",
            "data": [["is", 1], ["no", 1], ["se", 1], ["dk", 1], ["fi", 1]],
            "dataLabels": {
                "enabled": True,
                "color": "#FFFFFF",
                "formatter": """function () {
                if (this.point.value) {
                    return this.point.name;
                }
            }""",
            },
            "tooltip": {"headerFormat": "", "pointFormat": "{point.name}"},
        }
    ],
}**#Creating Visualization**
chart = ph.HighMap(object=configuration, sizing_mode= "stretch_width", height=600)#Adding widget box
settings = pn.WidgetBox(
    pn.Param(
        chart,
        parameters=["height", "width", "sizing_mode", "margin", "object", "object_update", "event", ],
                widgets={"object": pn.widgets.LiteralInput, "object_update": pn.widgets.LiteralInput, "event": pn.widgets.StaticText},
        sizing_mode="fixed", show_name=False, width=250,
    )
)
pn.Row(settings, chart, sizing_mode="stretch_both")**#Creating Events**
event_update = {
    "series": [
        {
            "allowPointSelect": "true",
            "point": {
                "events": {
                    "click": "@click;}",
                    "mouseOver": "@mouseOverFun",
                    "select": "@select",
                    "unselect": "@unselect",
                }
            },
            "events": {
                "mouseOut": "@mouseOutFun",
            }
        }
    ]
}
chart.object_update=event_update

在这之后，我们都创建应用程序并呈现它。

chart.object =configuration = {
    "chart": {"map": "custom/europe", "borderWidth": 1},
    "title": {"text": "Nordic countries"},
    "subtitle": {"text": "Demo of drawing all areas in the map, only highlighting partial data"},
    "legend": {"enabled": **False**},
    "series": [
        {
            "name": "Country",
            "data": [["is", 1], ["no", 1], ["se", 1], ["dk", 1], ["fi", 1]],
            "dataLabels": {
                "enabled": **True**,
                "color": "#FFFFFF",
                "formatter": """function () {
                if (this.point.value) {
                    if (this.point.name=="Denmark"){
                        return "❤️ " + this.point.name;
                    } else {
                        return this.point.name;
                    }
                }
            }""",
            },
            "tooltip": {"headerFormat": "", "pointFormat": "**{point.name}**"},
            "allowPointSelect": "true",
            "point": {
                "events": {
                    "click": "@click;}",
                    "mouseOver": "@mouseOverFun",
                    "select": "@select",
                    "unselect": "@unselect",
                }
            },
            "events": {
                "mouseOut": "@mouseOutFun",
            }
        }
    ],
}#Rendering Application
app = pn.template.FastListTemplate(
    site="Panel Highcharts",
    title="HighMap Reference Example", 
    sidebar=[settings], 
    main=[chart]
).servable()

HighMap 地理图(来源:www.github.com)

这就是我们如何使用 Panel-highcharts 创建不同的图。还有很多其他的剧情可以尝试。

在这篇文章中，我们已经经历了某些情节以及如何创建它们，这些情节是高度交互和可下载的。继续尝试不同的数据集，并让我知道您在回复部分的评论。

本文是与皮尤什·英格尔合作完成的

在你走之前

感谢 的阅读！如果你想与我取得联系，请随时通过 hmix13@gmail.com 联系我或我的 LinkedIn 个人资料 。可以查看我的Github*简介针对不同的数据科学项目和包教程。还有，随意探索* 我的简介 ，阅读我写过的与数据科学相关的不同文章。

使用 Python 生成密码

原文：https://towardsdatascience.com/highly-secure-password-generation-with-python-852da86565b9?source=collection_archive---------12-----------------------

在大约 5 分钟内为所有重要文件和网上交易生成安全密码

照片由飞:D 在 Unsplash

安全性是当今时代最重要的问题之一，确保每台设备、设备、社交媒体账户、银行对账单或任何其他类似的重要信息的安全变得至关重要。出于高安全性的目的，我们利用密码锁定必要的数据，以便只有授权用户才能访问相关信息。

大多数人可能已经注意到，密码通常由星号(*)表示，代表字符数。大多数现代电子邮件或其他加密服务拒绝允许弱密码。你不再被允许只输入几个字母或几个数字，因为这些密码很容易被暴力破解。

我们甚至可以注意到，像 Gmail 这样的一些服务甚至为用户提供了一个选项来选择一个强密码的建议。在本文中，我们将利用 Python 编程来实现以下强密码生成任务。使用 Python 进行项目开发的多功能性和案例将使我们能够有效地实现预期的结果。

我们现在将直接进入这个项目，为个人和专业应用程序构建高度安全的密码。但是，如果您不太熟悉 Python，我建议您在继续学习之前先阅读下面的文章。

来自《走向数据科学》编辑的提示: 虽然我们允许独立作者根据我们的 规则和指导方针 发表文章，但我们并不认可每个作者的贡献。你不应该在没有寻求专业建议的情况下依赖一个作者的作品。详见我们的 读者术语 。

生成高度安全密码的 Python 项目:

为了构建这个项目，我们将研究几个方法来执行下面的任务。在第一种方法中，我们将从头开始构建整个项目。在第二种方法中，我们将查看一个可以帮助我们更有效地完成预期任务的库。然而，了解如何从零开始构建这样的项目以在编程和最终数据科学中发展是至关重要的。让我们开始导入一些基本的库。

import random
import string

随机库对于我们从特定字符串的序列中随机选取字母、数字或特殊字符是必不可少的。为了获得生成密码所需的字符，我们将使用导入的字符串模块。键入以下命令来接收可能性字符串。

print(string.printable)

确保您删除了双引号或在它们前面加了一个反斜杠，这样您就可以在项目中使用它们。但是，您可以删除一些您不希望密码包含的不必要的字符。另外，请注意，有些网站可能对特殊字符有特殊要求。确保满足这些要求，并且没有任何不必要的序列。下一个代码块如下。

char_seq = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ!#$%&'()*+,-./:;<=>?@[\]^_`{|}~"
print(type(char_seq))

在下一步中，我们将允许用户选择他们希望在各自的密码中包含的字符数。但是，我们将设置一个最小的八位密码限制，因为这通常是大多数网站对强密码的最小要求。我们还将设置一个最大 16 个字符的阈值，因为任何超过这个长度的字符都可能会很奇怪。下面是解释以下内容的代码片段。

print("Enter the required length of the password ranging from 8 to 16: ")
length = int(input())

现在我们已经允许用户输入所需的密码长度，我们可以继续构建下一个代码块，它将使我们能够计算生成的密码。我们将使用 if 和 else 语句来确保用户输入的长度要求在 8 到 16 个字符的限制范围内。我们将用一个空字符串初始化一个密码变量，这个空字符串将存储我们将生成的随机字符。我们将针对提到的长度运行 for 循环迭代。在每次迭代中，我们将使用随机库中的 choice 函数从我们的字符序列中选择一个随机字母，并将其添加到密码变量中。

通常，第一个过程应该足以创建一个由随机字符组成的强密码。然而，我们将通过给这个新生成的密码增加更多的随机性来使它稍微更安全。因此，我们将把密码从字符串格式转换成一个列表，并从随机库中运行 shuffle 操作。一旦我们打乱了随机生成的密码，我们将把列表中的字母重新组合成字符串格式，并打印出用户选择的强密码。下面提供了执行以下操作的完整代码块。

if length >= 8 and length <= 16:
    password = ''
    for len in range(length):
        random_char = random.choice(char_seq)
        password += random_char

    # print(password)
    list_pass = list(password)
    random.shuffle(list_pass)
    final_password = ''.join(list_pass)
    print(final_password)

最后，我们将通过完成 if-else 条件语句来结束我们的代码。如果范围不合适，我们将返回一个命令，告诉用户输入一个合适的范围。您可以对该项目进行一些改进，使其更有成效和效率。我建议观众多尝试一下这样的方法！

else:
    print("Enter a suitable range")

现在，我们将看看第二种方法，在这种方法中，我们可以构建同一个项目。为了完成这个任务，我们可以用一个简单的 pip 命令安装下面的库。查看安装页面，从这个下载库获得关于这个库的更多信息。

pip install random-password-generator

为了生成所需的密码，导入已安装的库并调用函数，同时将它存储在一个随机变量中。现在，您可以相应地生成所需的密码。执行所需操作的代码片段如下所示。

from password_generator import PasswordGeneratorpwo = PasswordGenerator()
pwo.generate()

有了这个库，您可以实现更多的事情，值得查看官方文档。因此，请随意参观。您可以从这个下载库查看安装页面以获得关于这个库的更多信息。

结论:

照片由杰瑞米·贝赞格在 Unsplash 上拍摄

“因为没什么好隐瞒而辩称自己不在乎隐私权，和因为无话可说而说自己不在乎言论自由没什么区别 。”
- 爱德华·斯诺登

随着安全成为最*几乎所有活动的主要关注点，应用增强的方法来保护您的数据和信息以防止您被网络钓鱼或被类似的黑客方法利用变得至关重要。生成您自己的强密码来保护私人信息是对抗和处理这些现有威胁的最佳方式之一。

在本文中，我们利用 Python 编程语言编写了一个简单的代码，该代码将解决语言如何解决强密码生成这一任务。我建议看看其他技术和方法，以获得更有成效的结果。

如果你想在我的文章发表后第一时间得到通知，请点击下面的链接订阅邮件推荐。如果你希望支持其他作者和我，请订阅下面的链接。

https://bharath-k1297.medium.com/membership

我建议尝试许多这样的项目来适应 Python 编程。看看我的其他一些文章，你可能会喜欢读！

</5-best-python-projects-with-codes-that-you-can-complete-within-an-hour-fb112e15ef44> </7-best-ui-graphics-tools-for-python-developers-with-starter-codes-2e46c248b47c>

谢谢你们坚持到最后。我希望你们都喜欢这篇文章。祝大家有美好的一天！

事后经验回放(HER)实现

原文：https://towardsdatascience.com/hindsight-experience-replay-her-implementation-92eebab6f653?source=collection_archive---------16-----------------------

提示和技巧

算法和代码的解释

由布雷特·乔丹在 Unsplash 上拍摄的照片

我最*为我的研究强化学习库实现了 HER 算法: Pearl 。在这样做的时候，我发现虽然有文章讨论算法的理论，但是没有任何文章讨论如何用代码实现它。就这样吧，这就是我来的原因！在本文中，我将讨论如何用 Python 实现 HER 缓冲区😊

快速算法概述

提醒一下，这是原始论文中的算法:

来源:https://arxiv.org/abs/1707.01495

总之，在二元且稀疏的奖励环境中(在该环境中，当代理获胜时实现唯一的非负奖励)，如果代理从未接收到任何奖励变化，则它可能很难适当地探索环境并学习实现期望目标所需的步骤序列。HER buffer 试图通过复制每个经历的轨迹，并用假设目标是轨迹结束时实现的步骤计算的奖励代替实际奖励来克服这一点。这个想法是，这将帮助代理更好地探索，并学习中间目标，最终达到实际的期望目标。在本文中，我将新的采样目标称为她的目标，而结果轨迹将是她的轨迹，其中包含计算的她的奖励。

实现和代码

该实现将稍微偏离本文中的理论算法。主要区别如下:

1. 我们不会在添加每个轨迹后立即对目标进行采样并计算她的奖励，而是等到采样时，我们可以一次性进行矢量化计算，这在 Python ⚡中要快得多
2. 我们还将使用一个技巧，只使用一个缓冲区来存储观测值和下一个观测值，以将观测值存储的内存需求减少*一半！这可以通过假设存储的观察值是连续的来实现；也就是说，索引 i+1 处的观察值是索引 I 处的下一个观察值💾

初始化

反直觉地，让我们从第 2 点开始，因为这是在下面的类初始化中定义的，注意没有定义self.next_observations。

她的 init

这里需要注意的一点是，这个缓冲区只接受GoalEnv环境！！这让我们能够轻松跟踪剧集目标。请看下面来自 OpenAI 的原始描述:

目标环境描述

在轨迹的末端，下一个观察将是结束状态，并且期望的目标在整个情节中应该是恒定的。因此，我们只需要跟踪观察结果desired_goal和下一次观察结果achieved_goal，就可以计算她的奖励。同样值得注意的是self.episode_end_indices和self.index_episode_map缓冲器:

• self.episode_end_indices:跟踪轨迹缓冲器中的剧集结束索引。
• self.index_episode_map:跟踪哪些过渡属于哪些剧集。

最后，her_ratio变量指示用新的 HER 奖励与标准重放缓冲器轨迹进行采样的轨迹的分数。

添加轨迹

如前所述，在添加轨迹时，我们不会对她的目标和回报进行采样，因此这种方法并不复杂。

将轨迹添加到缓冲区

注意添加next_observation["observation"]在算法上有点复杂，因为我们像observation["observation"]一样将它存储在self.observations中。

抽样

这是真正的处理过程，我们批量计算她的目标和相应的奖励。让我们从定义我们想要从轨迹缓冲区返回哪些索引的高级方法开始:

她的高级抽样方法

这里要注意的关键是，我们想要从完整的剧集中采样索引，这就是为什么我们需要将end_idx定义为轨迹缓冲区中最后一个完整剧集的索引。

接下来，让我们看看返回轨迹的方法。这会以self.her_ratio定义的比率获得标准回放和她的轨迹:

幸运的是，GoalEnv有一个方法compute_reward(achieved_goal, desired_goal, info),这意味着我们不必担心自己计算她的回报。在这种方法中，我们本质上分离了我们需要计算她的回报和目标的指数，然后在最后重新组合一切以获得回报。所有观察值也与算法中指定的期望目标相联系。请再次注意next_observations的采样稍微复杂一些，因为我们从同一个self.observations缓冲区获得这些数据。

最后，还有一个问题是让她的目标本身来计算她的奖励。这定义如下:

尝试她的目标

还记得在算法回顾时，我说过她的目标被假定为轨迹终点观察吗？这只是部分正确，实际上有许多不同的方式来取样她的目标，我已经做了其中的两个以上。最简单的方法是获得最后的观察结果，但这篇论文显示，当你在同一集但在当前过渡之后，以随机状态对她的目标进行采样时，实际上获得了最佳结果。在这个策略中，有一个失败模式。如果采样的情节与缓冲区“重叠”；也就是说，当缓冲区溢出时，剧集在缓冲区的末尾开始，在开头结束，可以在缓冲区的末尾选取该剧集中的轨迹。因此，当调用np.random.randint()时，低值将是缓冲区结尾的索引，而高值将是剧集开头的结尾索引，从而导致错误。因为如果缓冲区大小相对较大(通常应该是 1e6 的量级)，这种情况很少发生，所以作为快速解决方案，我们可以求助于更简单的 HER 目标策略，即在这种情况发生时选取剧集结束索引。

唷！坚持到了最后🎉🎉

如果您觉得这篇文章有用，请考虑:

晋升的方式，让我知道你对这个话题的想法和快乐学习！！

HiPlot:脸书的交互式可视化工具

原文：https://towardsdatascience.com/hiplot-interactive-visualization-tool-by-facebook-f83aea1b639a?source=collection_archive---------27-----------------------

一个非常方便的探索性数据分析工具

照片由 Unsplash 上的 Stesson Bezuidenhout 拍摄

数据可视化技术对于探索数据集非常有用。数据科学生态系统中使用了各种各样的可视化类型。什么最适合给定的任务取决于数据和变量的特征。

在本文中，我们将介绍一个由脸书创建的交互式可视化工具。它本质上是一个*行坐标图。因此，每行(即数据点)用一条线表示。线上的坐标是变量(即列)。

*行坐标图提供了数据集中可能的组(或簇)的图形表示。它们还揭示了某些有助于区分数据点的模式。

*行坐标图也是一种探索高维数据的便捷方式，对于这些数据，传统的可视化技术可能无法提供合适的解决方案。

脸书为神经网络的超参数调整创建了 HiPlot。然而，我们可以在几乎任何数据集上实现它。最终目标是一样的:好好探索数据。我们将使用著名的 iris 数据集来演示如何使用 HiPlot。

第一步是安装 HiPlot。文档详细解释了如何在各种环境下安装它。我正在用 pip 安装它。

pip install -U hiplot

我们现在可以导入所有的依赖项，并将数据集读入 pandas 数据帧。

import hiplot as hip
import pandas as pd
from sklearn.datasets import load_irisiris = load_iris(as_frame=True)['frame']iris.head()

虹膜数据框(图片由作者提供)

使用 Hiplot 创建交互式可视化非常简单。下面一行代码将创建我们将在整篇文章中尝试的内容。

hip.Experiment.from_dataframe(iris).display()

Hiplot 还接受一个 iterable(例如 dictionary)作为输入数据。在这种情况下，我们使用 from_iterable 函数而不是 from_dataframe 函数。

下面是生成的图的截图。我们仅仅通过观察就能注意到一些模式。

(图片由作者提供)

iris 数据集包含 4 个独立变量和一个目标变量。根据独立变量值，目标取三个值中的一个。

Hiplot 与众不同的地方在于交互界面。例如，我们可以选择图表上任何变量的取值范围。

(图片由作者提供)

我们在花瓣宽度栏中选择一个数值范围。仅显示花瓣宽度在选定范围内的数据点。我们立即注意到所选范围与目标值 0 不同。

可以在多个列上选择一个值范围，这样我们就可以创建更具体的模式。

(图片由作者提供)

我们还可以从目标变量中选择一个值，并查看属于该类的数据点的模式。

(图片由作者提供)

Hiplot 允许重新排列图上的列。例如，我们可以移动目标变量并把它放在最左边。如果您想将分类变量放在一边，将数值变量放在另一边，这个特性就很方便了。

(图片由作者提供)

Hiplot 还生成一个表格作为交互界面的一部分。我们可以使用此表来选择数据点并在图表上查看它们。

(图片由作者提供)

结论

我们已经介绍了一个简单的案例，展示了 Hiplot 如何用于探索性数据分析。

随着数据维度的增加(即列数增加)，使用数据可视化来探索数据变得更加困难。在这种情况下，Hiplot 是一个方便的工具。

感谢您的阅读。如果您有任何反馈，请告诉我。

被聘为贵公司首位数据科学家？第一天你应该知道的 3 件事

原文：https://towardsdatascience.com/hired-as-your-companys-first-data-scientist-3-things-you-should-know-on-day-1-e75e7b32b5d0?source=collection_archive---------15-----------------------

办公时间

发起文化变革&避免常见的陷阱

由艾萨克·史密斯在 Unsplash 上拍摄的照片

2020 年 10 月我加入 accuRx 成为公司第一位数据科学家。在加入时，accuRx 是一个由 60 多名员工组成的团队，他们依靠直觉和一流的用户研究团队创造出 GPs 需要和喜爱的产品，完成了令人难以置信的工作。这一点，加上 2020 年医疗保健行业对良好技术解决方案的需求增加，导致我们的业务范围呈指数级扩展。突然间，我们几乎出现在英国所有的全科医生诊所。

我们发现自己处于一个有趣的位置:我们现在有几个每天都被 GPs 广泛使用的产品，以及另一组我们刚刚赋予生命的新生产品想法。我们知道，在这一点上，我们需要开始更多地依靠来自定量数据的洞察力来检验我们的假设，并将我们的产品套件推向正确的方向。

在这一点上，我们不需要先进的 ML 解决方案或最新的大数据处理工具。我们真正需要的是大规模验证我们的假设的能力，了解一个非常庞大和多样化的用户群体的需求，并培养一种决策文化，在这种文化中，依赖定量数据是第二天性。这就是我被带进来的原因，也不是没有挑战。以下是我到目前为止学到的一些东西:

1.新角色创造新对话。

向团队中添加新成员会带来一系列不可避免的挑战:团队动态变化，入职的初始成本很高，现在在决策时房间里又多了一个声音。当你不仅给团队增加一个新成员，而且给团队增加一个新角色时，这种影响会被大大放大。

在我加入之前，数据科学并不是产品开发流程的核心部分。突然，团队被引入了大量以前不需要考虑的新问题、流程和技术要求，解决这些问题通常需要整个团队工作方式的重大转变。

这方面的几个例子有:

• 软件工程师不得不花费更多的时间向功能发布添加分析，并确保产生这些分析的管道是可靠的。
• 有时，AB 测试结果需要一段时间才能慢慢显现出来。鉴于这些结果(希望)会告知产品下一步的发展方向，产品经理、设计师和工程师经常发现自己在如何最好地——以及多快地——重复功能和想法方面面临相当程度的模糊不清。
• 有一组额外的信息需要考虑，这通常意味着我们要花更长的时间来决定产品的发展方向。我们现在不得不将我们的直觉与数据告诉我们的东西相协调，并打电话询问我们认为这两者有多可靠！

这需要一点试错，但重要的是找到一种工作方式，让产品经理、设计师和工程师能够自由地快速发布和迭代，而不牺牲您对分析严谨性的承诺。在我们的案例中，这看起来像是找出哪些产品变化值得测试，什么样的细节值得跟踪，以及在产品开发过程的不同阶段什么样的分析最有用。

2.有效的沟通是成功的一半以上。

你认为你的分析有多有用并不重要——如果人们不知道或不理解它们，它们不太可能产生长期影响。此外，你传达发现的方式将决定你的分析最终会产生多大的影响。

广泛而频繁地交流。

重要的是，仅向团队领导传达您的发现是不够的，整个团队投入了大量时间和精力来适应支持分析的新工作方式，他们希望能够看到这些调整产生了什么影响。交流这些变化如何对决策产生积极影响，将有助于创建一种积极的反馈循环，激励您的团队继续依赖您介绍的流程和技术。

一旦你让你的团队参与进来，真正困难的部分是确保最初围绕使用数据做决策的兴奋持续下去。我犯的一个错误(不止一次！)假设围绕分析的沟通是一张您可以标记为完成的入场券。如果你想推动文化变革，你需要不断提醒人们为什么他们应该像你一样关心这件事。随着人们听到越来越多的关于团队在数据洞察的背后取得积极进展的消息，依靠数据来支持产品决策应该开始变得预期和更加自动化。

始终以洞察力呈现数据。

只要有可能，试着就这将如何影响决策以及人们最终应该做什么来交流你的发现。分析结果越不抽象越好。让你的结果不那么抽象的一个简单方法是清楚地量化你认为变化会产生多大的影响。

例如，如果你已经运行了一个 AB 测试来确定一个新特性是否增加了你的转化率，不要说“这个变化在统计上是显著的”，而是尝试“如果我们向所有用户推出这个新变化，我们的转化率可能会从 5%增加到 7%，这相当于每周增加 200 个活跃用户”。

类似地，当与团队分享数据可视化时，尽量明确图表显示了什么和没有显示什么。请记住，你已经花了很多时间来思考这个观想，但是用新的眼光看待它的人可能没有你那么多的背景知识。使可视化清晰的简单方法是确保您用来定义指标的确切数据得到理解，并在图表旁边提供对趋势或发现的解释。如果可以的话，试着解释你设想的趋势对你团队目标的影响，这样他们就可以根据你分享的观点采取行动。

速度不错，但准确性更好。

没有比养成传达不正确或部分正确结果的习惯更能确保你的工作影响较小的方法了。如果你是团队中第一个或唯一的数据科学家，你就是构成好的或充分的证据的权威，因此，讽刺的是，你几乎没有犯错的余地。

您经常会发现自己不得不在快速向团队提供结果和确保产生这些结果的分析是可靠的之间进行权衡，特别是如果您正在使用新的、次优的或不熟悉的工具。在大多数情况下，我发现通常有一个你可以达成的妥协——但这需要你非常清楚你用来得出特定结论的数据的局限性。如有疑问，请注意！

人们会很快知道他们是否能信任你，而一旦信任被打破，想要恢复就很难了。这并不是说你不会犯错误，但当这些错误发生时，及早发现并得到广泛认可，并建立健全的流程以避免将来出现类似错误，这一点非常重要。

照片由马库斯·温克勒在 Unsplash 拍摄

3.良好的数据基础设施是良好的数据科学的先决条件。

当谈到准确和有用的分析时，可以肯定的结论是，它们是由可访问和可靠的数据实现的。无论您的基础设施有多好，在运行您的分析之前花费大量时间清理数据都是合理的。因此，如果您的数据基础架构没有针对分析进行优化，那么花费在清理数据和将数据转换成可用格式上的额外时间将很快成为主要障碍。到目前为止，我们还没有优先考虑获得同类最佳的分析工具，这是一项艰巨的工作，也是我们仍在努力的方向。

千刀万剐……

这种影响是双重的。首先，它在你的工作流程中增加了足够的摩擦，以至于你可能会放弃使用可能有价值的信息，因为你必须权衡信息的有用性和获取信息的成本。当一个组织行动相当迅速时，所需的时间和精力往往令人望而却步。

其次，每次在不同*台之间转移和转换数据时，出错的可能性都会增加。数据的每一次重新定位或调整都与出错的可能性相关，当然，您做的越多，实际运行分析时数据越不可靠的可能性就越大。这两个障碍一起强烈地抑制了分析角色创造性地解决问题的积极性，并增加了足够的摩擦，以至于您的分析方法可能会变得更加僵化和工具化——这有什么乐趣可言！

你成为瓶颈。

与此相关的是更广泛团队的可访问性问题。如果数据科学家正在努力可靠地访问数据，你可以打赌，其他人可能会更糟！这样做的结果是，简单信息的查询被外包给了你——当人们意识到你能够并愿意涉过这个特殊的泥潭时，讽刺的是，你开始成为数据驱动决策的瓶颈。

在这一点上，你的角色开始变得更加被动——你将花费大部分时间来处理高强度、边际价值的任务，并发现你用于主动思考问题的时间和空间少了很多。

为了避免这些陷阱，你需要确保你在早期就为你需要的工具而努力，你尽可能多地自动化你自己的工作流程，你提供足够的价值，让人们可以看到如果你能够更有效地工作，他们会从你那里得到更多。

成为一家公司的第一位数据科学家很难，但这为你提供了一个独特的机会，让你决定如何在整个组织中使用数据。要做到这一点，首先要优先考虑良好的沟通。这将让人们相信你的愿景，这反过来会帮助你更快地清除基础设施障碍。当你这样做的时候，你需要学会进行有效的权衡，并成为一名专家，以一种能让团队领导对他们的决定有信心的方式展示发现。这将是一个缓慢的过程，但是一旦你证明了一个团队依靠可靠数据的洞察力所能产生的积极影响，你会发现大多数人都有强烈的欲望用证据来支持他们的论点，因此很乐意帮助你保持文化变革！

用 Plotly 表示的直方图

原文：https://towardsdatascience.com/histograms-with-plotly-express-e9e134ae37ad?source=collection_archive---------37-----------------------

主题&模板

图片来自 Unsplash 的 Jayson Hinrichsen

阴谋地表达

Plotly Express (PE)是 Plotly.py 的高级包装器，与 Plotly 生态系统的其余部分完全兼容。基于 JavaScript 库 D3.js 。，它也有 R、Julia 和许多其他编程语言的 API 包装器。它是免费的，可以用于商业应用和产品。该库包括绘制标准图表和地图的函数，以及通过单个函数调用执行刻面和动画的函数。使用 Plotly Express，您可以在线制作交互式图形，也可以离线保存。

Plotly Express 适用于快速生成探索图。此外，可以通过使用预定义的主题或模板快速设计图表。根据 Plotly 主网站，“主题化通常是指为视觉元素定义默认样式的过程。plotly 中的主题是使用称为模板的对象实现的。模板比传统的主题更通用，因为除了定义默认样式，模板还可以用视觉元素(如注释、形状、图像等)预先填充图形。”1.

内置主题可以通过以下语句查看:

共有 11 个模板: ggplot2, seaborn, plotly, plotly_white, plotly_dark, simple_white, gridon, xgridoff, ygridoff, presentation, and none. *ggplot2*主题灵感来自 R 数据可视化包 ggplot2、而*seaborn* 主题灵感来自 Python 数据可视化库 Seaborn 。plotly, plotly_white, and plotly_dark均为原创 plotly.express 主题。如上所述，plotly是默认模板，而plotly_dark的灵感来自于 JupyterLab 的黑暗主题。以下三个主题与网格的有无有关:gridon, xgridoff, ygridoff。是一个清晰整洁的图表的极简模板。presentation 主题增加了字体、标记和线条宽度的大小，以便从更远的距离观看。这个主题可以与任何其他主题相结合(见图 6)。

以上每一个主题都可以作为任何*plotly.express*函数的模板参数。所以，一个聪明的策略是反复测试这 11 个主题，直到你找到最适合你讲故事的主题。

直方图

直方图是数据集分布的图形表示。虽然它的外观类似于标准条形图，但直方图不是在不同项目或类别之间进行比较，也不是显示一段时间内的趋势，而是一种图表，它让您显示潜在的频率分布或单个连续数值变量的概率分布。

直方图是具有两个轴的二维图；垂直轴是频率轴，而水*轴被分成一系列数值(间隔或箱)或时间间隔。每个仓的频率由垂直矩形条的面积表示。每个柱覆盖了所研究变量的连续数值范围。纵轴 显示从每个箱的计数中得出的频率值。

讲故事:柱状图是对连续变量进行初步探索的合适图表。通过一组竖条，它显示了该变量的数值是如何分布的。直方图允许我们计算所研究的连续变量的任何值的表示概率，如果我们想从我们的样本的结果中进行推断和估计总体*值，这是非常重要的。*

用 Plotly 表示的直方图

我们使用了从 Kaggle [2]下载的数据集。该数据集由 10，000 名银行客户组成，涉及他们的年龄、工资、婚姻状况、信用卡限额、信用卡类别、教育水*和其他特征。银行经理想知道他的客户的年龄分布。下面的代码可以让我们回答他的问题。

首先，我们导入*plotly.express* as *px*，并将 pandas 库命名为*pd*。我们将数据集作为 pandas dataframe ( df)加载，并选择列 Customer_Age 作为我们想要知道其频率分布的数值变量。使用默认模板plotly,用px.histogram画图。最后，我们将图表导出为静态的 PNG 格式。

PE 允许您选择箱子的数量。尽管对于间隔的大小和数量没有严格定义的规则，但是您必须尝试一些不同数量的容器。永远记住:很少的间隔不允许我们阐明数据分布的精细结构；许多区间重视抽样误差。

*import pandas as pd
import plotly.express as pxpath = 'your path'
df = pd.read_csv(path + 'CreditCardCustomersCols.csv', index_col =   False, header = 0, sep = ';', engine='python')fig1 = px.histogram(df, x="Customer_Age", nbins = 10)fig1.write_image(path + "fighist1.png")
fig1.show()*

图 1 显示了银行客户在五年内的年龄分布。很明显，百岁人很少，千禧一代也很少。婴儿潮一代和 x 一代是这一代消费者的代表。

图 1:使用默认模板用 Plotly Express 制作的直方图。图片作者。

在图 2 中，我们将主题改为ggplot2，并用update.layout:设置标题来更新图表；x 轴的名称和 y 轴的名称；用width和height设定外形尺寸。

*fig2 = px.histogram(df, x="Customer_Age", nbins = 10, template =     'ggplot2')fig2.update_layout(title = "Histogram of Customers' Age ",  xaxis_title = 'Customer Age', yaxis_title = 'Standard Count', width = 1600, height = 1400)fig2.write_image(path + "fighist2.png")
fig2.show()*

图 2:使用 ggplot2 模板用 Plotly Express 制作的直方图。图片作者。

默认情况下，PE 在纵轴中显示落入每个仓中的数据的频率(计数)。您可以使用histnorm参数更改此模式。该参数可以采用以下值:percent, probability, density, or probability density.

在图 3 中，我们使用histnorm参数将主题更改为plotly_dark，并将表示模式从样本的标准计数更改为percent。

在图 4 中，我们将主题改为simple_white，将模式改为probabilty.

*fig3 = px.histogram(df, x="Customer_Age", nbins = 10, template = 'plotly_dark', histnorm = 'percent')fig3.update_layout(title = "Histogram of Customers' Age ",xaxis_title = 'Customer Age', yaxis_title = 'Percent Count', width = 1600, height = 1400)fig3.write_image(path + "fighist3.png")
fig3.show()fig4 = px.histogram(df, x=”Customer_Age”, nbins = 10, template = ‘simple_white’, histnorm = ‘probability’)fig4.update_layout(title = “Histogram of Customers’ Age “,xaxis_title = ‘Customer Age’, yaxis_title = ‘Probability ‘, width = 1600, height = 1400)fig4.write_image(path + “fighist4.png”)
fig4.show()*

图 3:使用 plotly_dark 模板用 Plotly Express 制作的直方图。图片作者。

图 4:使用 simple_white 模板用 Plotly Express 制作的直方图。图片作者。

在图 5 中，我们使用xgridoff模板移除了 x 网格线。选择概率密度作为表示方式。在图 6 中，我们回到概率模式，将主题改为simple_white+presentation。很明显，字体、标记和线宽都有所增加。

*fig5 = px.histogram(df, x=”Customer_Age”, nbins = 10, template = xgridoff’, histnorm = ‘probability density’)fig5.update_layout(title = “Histogram of Customers’ Age “, xaxis_title = ‘Customer Age’, yaxis_title = ‘Probability Density’, width = 1600, height = 1400)fig5.write_image(path + “fighist5.png”)
fig5.show()fig6 = px.histogram(df, x=”Customer_Age”, nbins = 10, template = ‘simple_white+presentation’, histnorm = ‘probability’)fig6.update_layout(title = “Histogram of Customers’ Age “, xaxis_title = ‘Customer Age’, yaxis_title = ‘Probability ‘, width = 1600, height = 1400)fig6.write_image(path + “fighist6.png”)
fig6.show()*

图 5:使用 xgridoff 模板用 Plotly Express 制作的直方图。图片作者。

图 6:用 Plotly Express 和 simple+演示模板制作的直方图。图片作者。

重叠直方图用于比较两个或多个类别中连续变量的频率分布。尽管 PE 网站指出可以使用参数color为一列的不同值绘制几个直方图，但我没有得到合适的图表。因此，我过滤了分类变量“Gender”的两个不同值的数据帧，使用了两次px.histogram 函数，并用add_trace方法“合并”了两个数字。由于px.histogram 函数没有文本属性，我们使用参数color 只是为了标记。我们使用不同的主题来识别每个图形，并使用 barmode = ‘overlay’ 参数来获得重叠。图 7 显示，客户的性别分布没有差异。

*df7a = df[df[‘Gender’] == ‘M’]
df7b = df[df[‘Gender’] == ‘F’]fig7a = px.histogram(df7a, x=”Customer_Age”, nbins = 10, template=‘seaborn’, barmode = ‘overlay’, color = “Gender”)fig7b = px.histogram(df7b, x=”Customer_Age”, nbins = 10, 
template = ‘ggplot2’, opacity = 0.25, color = ‘Gender’)fig7a.update_layout(title = “Histogram of Customers’ Age & Gender”,xaxis_title = ‘Customer Age’, yaxis_title = ‘Standard Count‘, width = 1600, height = 1400)fig7a.add_trace(fig7b.data[0])fig7a.write_image(path + “fighist7.png”)
fig7a.show()*

图 7:用 Plotly Express 和 seaborn 和 plotly_dark 模板制作的重叠直方图。图片作者。

图 8 示出了根据已婚、单身或离婚条件的分类变量Marital_Status的重叠直方图。我们使用了三种不同的模板和颜色参数来识别每个图形。条形模式和不透明度分别用update_layout和update_traces 表示。

*df8a = df[df[‘Marital_Status’] == ‘Married’]
df8b = df[df[‘Marital_Status’] == ‘Single’]
df8c = df[df[‘Marital_Status’] == ‘Divorced’]fig8a = px.histogram(df8a, x=”Customer_Age”, nbins = 10, template = ‘seaborn’, color = ‘Marital_Status’ )fig8b = px.histogram(df8b, x=”Customer_Age”, nbins = 10, template = ‘ggplot2’, color = ‘Marital_Status’)fig8c = px.histogram(df8c, x=”Customer_Age”, nbins = 10, template = ‘plotly_dark’, color = ‘Marital_Status’)fig8a.update_layout(title = “Histogram of Customers’ Age & Marital Status”,xaxis_title = ‘Customer Age’, yaxis_title = ‘Probability ‘, width = 1600, height = 1400)fig8a.add_trace(fig8b.data[0])
fig8a.add_trace(fig8c.data[0])fig8a.update_layout(barmode=’overlay’)
fig8a.update_traces(opacity = 0.75)fig8a.write_image(path + “fighist8.png”)
fig8a.show()*

图 8:使用 seaborn、ggplot2 和 plotly_dark 模板用 Plotly Express 制作的重叠直方图。图片作者。

一些警告

你可以看到(甚至在 PE 网站上)分类直方图和日期直方图。

分类直方图指的是离散变量类别的计数。我不认为它们可以被定义为直方图，而是柱状图 (BC)。请记住，标准条形图用于在类别之间进行数字比较，而直方图用于显示数字变量的频率分布。此外，直方图的条形之间没有“间隙”或空格，但在 BC 上的条形之间必须留有一些空格，以清楚地表明它指的是离散的(互斥的)组。

日期直方图也有类似的情况:作为日期范围创建的条块相当于特定年份的*均值，因此条形图或折线图比直方图更适合显示一段时间内的趋势。

PE 允许旋转直方图，因此计数在水*轴上，而数值变量的区间或箱在垂直轴上。我没有为这样的安排找到任何技术上的理由，并且它应该被避免，因为它与所有现有的直方图定义相反。

最后但同样重要的是，使用带有密度或概率密度值的histnorm参数不会转换成密度图。密度图试图通过连续曲线显示数据集的概率密度函数。考虑到这个目标，密度图应用了一个统计程序(内核密度估计)，其思路是*滑表征直方图的矩形条。结果，获得了*滑的曲线，其允许更好地可视化分布的形状(图 9)。

图 9:使用相同数据构建的直方图(左)和核密度估计(右)的比较。6 个单独的内核是红色虚线；蓝色曲线是核密度估计。数据点是水*轴上的地毯图。来源:[3]。

总结一下:

Plotly Express 是一个用户友好的数据可视化工具，包括 11 个预定义的主题或模板，以加快工作速度并避免延迟。

你可以用一行代码画一个直方图。

由于直方图被认为是一些最常用的图表，您必须非常清楚什么时候应该使用直方图，以及直方图和条形图之间的区别。

参考文献

【3】:https://en.wikipedia.org/wiki/Kernel_density_estimation

HITS 算法:从零开始的链接分析解释和 Python 实现

原文：https://towardsdatascience.com/hits-algorithm-link-analysis-explanation-and-python-implementation-61f0762fd7cf?source=collection_archive---------8-----------------------

搜索引擎中的枢纽和权威

纳斯蒂亚·杜尔希尔在 Unsplash 上的照片

介绍

我们在日常生活中使用搜索引擎，但你有没有想过搜索引擎是如何找到你正在寻找的理想网站的？这比简单的文本搜索要复杂得多。例如，如果我们正在寻找一个关于苹果的网站，一个充满“苹果”字样的网站会出现在谷歌搜索结果的顶部吗？

超链接诱导话题搜索 (HITS)是一种用于链接分析的算法。它可以发现和排名与特定搜索相关的网页。这种算法的想法源于这样一个事实，即一个理想的网站应该链接到其他相关的网站，同时也被其他重要的网站所链接。在本文中，我们将简要介绍该算法，并演练 Python 代码的实现。

算法

请随意查看评论良好的源代码。这真的有助于理解整个算法。

https://github.com/chonyy/PageRank-HITS-SimRank

首先，我们要解释什么是权威和枢纽。HITS 使用中心和权限来定义网页之间的递归关系。

• 权威:一个节点是高质量的，如果许多高质量的节点链接到它
• 集线器:如果一个节点链接到许多高质量的节点，那么它就是高质量的

算法步骤

• 用值 1 初始化每个节点的中心和授权
• 对于每次迭代，更新图中每个节点的中心和权限
• 新的权限是其父权限的总和
• 新的中枢是其子节点的权威总和
• 规范新的权威和枢纽

Python 实现

初始化中心和授权

我们在节点构造函数中初始化 hub 和 authority。auth 和 hub 的初始值是 1。

命中一次迭代

这是 HITS 算法的主要功能。如你所见，它真的很好，很短。其中的逻辑遵循我上面提到的算法。

1. 对于图中的每个节点
2. 更新权限
3. 更新中心
4. 标准化更新的值

计算新的权限和中心

• New auth =其所有父中心的总和
• 新中心=其所有子中心的授权总和

规范新的权威和枢纽

• 用图中所有节点的 auth 之和来归一化权限
• 用图中所有节点的中心总和来归一化中心

结果分析

graph_1.txt

图片由 Chonyy 提供。

结果

结果按照节点值的顺序，也就是1, 2, 3, 4, 5, 6。回想一下上面的解释，权限取决于有多少节点链接到它，集线器取决于有多少节点链接到。

从结果中，我们可以看出这条规则是成立的。节点 1 的权限为 0，因为没有到它的节点链接。节点 6 的集线器是 0，因为它没有链接到任何节点。

graph_2.txt

图片由 Chonyy 提供。

结果

同样，这个回答完全有道理。节点形成一个循环。他们都有一个父母和一个孩子，并且彼此相连。从链接的角度来看，它们基本上都是一样的。这就是为什么他们都有相同的权威和中心价值。

graph_3.txt

图片由 Chonyy 提供。

结果

Node2, Node3
  - How many nodes link to it: 2
  - How many nodes it links to: 2Node1, Node4
  - How many nodes link to it: 1
  - How many nodes it links to: 1

这也是 node2 和 node3 拥有更高权限和枢纽价值的原因。

graph_4.txt

图片由 Chonyy 提供。

结果

这里有一个有趣的观察。我们来看看 node3 和 node5 的权限。都是0.201。有四个节点链接到节点 5，只有三个节点链接到节点 3。但是他们有同样的权力！为什么会这样？

这是因为节点 5 比节点 6 和节点 7 具有更高的集线器。因此，节点 3 只需要节点 5 通过节点 6 和节点 7 获得相同的链接值。

IBM.txt

图片由 Chonyy 提供。

结果

结果遵循节点值顺序2076, 2564, 4785, 5016, 5793, 6338, 6395, 9484, 9994。

我们来看看 node4785，node5016，node6338 的权限。它们都有相同的 auth 值 0.105。这是因为它们都有一个共同的父节点 2076。

现在观察轮毂值。节点 2076 具有最高的集线器。这是因为它已经链接到图中的每个节点。节点 4785、节点 5016 和节点 6338 的 hub 值为 0，因为它们绝对没有要链接的子节点。

讨论

让我们做一个有趣的实验。假设我们要增加每个图中 node1 的枢纽和权限。怎么才能做到呢？

graph_1.txt

左:增加轮毂。右:增加权威。

左:增加轮毂。右:增加权威。

Hub 就像是链接到其他节点的力量。因此，我们只需让 node1 链接到另一个节点，以增加它的集线器。通过加入 edge (node1，node6)，hub 值大大增加了 0.2 -> 0.618。

权威就像被链接的力量。我们加上边(node5，node1)，权限值大大增加了 0 -> 0.5。

graph_2.txt

左:增加轮毂。右:增加权威。

左:增加轮毂。右:增加权威。

原图是一个循环，具有所有同等的权限和枢纽。通过添加额外的边(节点 1、节点 4)，我们增加了节点 1 链接到其他节点的能力。因此，中心值增加了。

类似地，我们通过添加额外的边(node4，node1)增加了 node1 的链接能力。现在，节点 1 有两个父节点。因此，它的权威增加了。

graph_3.txt

左:增加轮毂。右:增加权威。

左:增加轮毂。右:增加权威。

与原始图表相比。我们在左图中添加了一条边(节点 1，节点 4 ),在右图中添加了一条边(节点 4，节点 1)。就像我们在上面的图中实现的逻辑一样，我们添加这两条边来分别增加中心和权威。

计算性能分析

趋同；聚集

现在，我们都知道，经过足够的迭代，枢纽和权威总是会收敛到一个特定的值。为什么我们不画出来看看它收敛的有多快？

在 graph_4.txt 上测试收敛

图片由 Chonyy 提供。

从图中，我们可以看到权威和枢纽在迭代 5 时开始收敛。对于一个不那么简单的图形来说，这个计算时间已经足够了。然而，当图中有更多的节点和边时，所需的迭代会大大增加。

例如，对于 graph_6.txt，500 次迭代仍然不够，它有 1228 个节点，5220 条边。并且由于大量的边，计算时间永远很长。

边数

图片由 Chonyy 提供。

我们用不同数量的总边运行 100 次迭代，以便发现总边和计算时间之间的关系。正如你所看到的，边数对计算时间的推断几乎是线性的，这是非常好的。

请注意，它不是完全线性的原因是边彼此链接的方式也会稍微影响计算时间。

缺点

HITS 算法的主要缺点是它依赖于查询。从原始论文开始，链接分析是从从一些传统的基于文本的搜索算法中检索的根集合开始的。然后展开根集链接到的站点，这是基础集。

这可能会很麻烦，因为链接分析的结果可能会受到初始搜索算法的影响。并且基于文本的搜索的评估时间非常昂贵。

因此，我想介绍另一个独立于查询的链接分析算法，PageRank 算法。请随意查看！

https://chonyy.medium.com/pagerank-3c568a7d2332

另外，如果你对链接分析中的相似性度量感兴趣。

https://chonyy.medium.com/simrank-similarity-analysis-1d8d5a18766a

源代码

https://github.com/chonyy/PageRank-HITS-SimRank

HOG(梯度方向直方图):概述

原文：https://towardsdatascience.com/hog-histogram-of-oriented-gradients-67ecd887675f?source=collection_archive---------1-----------------------

数学，论文解释和代码从零开始为初学者

什么事？

梯度方向直方图，也称为 HOG，是一种类似 Canny 边缘检测器、SIFT(尺度不变和特征变换)的特征描述符。它在计算机视觉和图像处理中用于目标检测。该技术对图像的局部部分中梯度方向的出现进行计数。这种方法非常类似于边缘方向直方图和尺度不变特征变换(SIFT)。HOG 描述符侧重于对象的结构或形状。它比任何边缘描述符都好，因为它使用梯度的大小和角度来计算特征。对于图像的区域，它使用梯度的大小和方向生成直方图。

计算猪特征的步骤

1. 获取要计算其 HOG 特征的输入图像。将图像大小调整为 128x64 像素(高 128 像素，宽 64 像素)。作者在论文中使用了这个维度，因为他们使用这种类型的检测的主要目的是在行人检测任务中获得更好的结果。由于这篇论文的作者在麻省理工学院行人数据库上获得了异常完美的结果，他们决定制作一个新的、更具挑战性的数据集，称为“INRIA”数据集(http://Pascal . inrialpes . fr/data/human/)，其中包含从一组不同的个人照片中裁剪出来的 1805 张(128x64)人类图像。

图 1:为获取 HOG 特征而导入的图像。图 2:流程的导入图像灰度。图 3:导入图像的调整大小和灰度图像。(图片由作者提供)

2.计算图像的梯度。通过结合来自图像的幅度和角度来获得梯度。考虑 3x3 像素的块，首先为每个像素计算 Gx 和 Gy。首先，使用下面的公式为每个像素值计算 Gx 和 Gy。

其中 r、c 分别指行和列。(图片由作者提供)

在计算 Gx 和之后，使用下面提到的公式计算每个像素的大小和角度。

图 4:图像大小的可视化。图 5:图像角度的可视化。(图片由作者提供)

3.在获得每个像素的梯度之后，梯度矩阵(幅度和角度矩阵)被分成 8×8 的单元以形成块。对于每个块，计算 9 点直方图。9 点直方图开发了具有 9 个仓的直方图，并且每个仓具有 20 度的角度范围。图 8 表示一个 9 仓直方图，其中的值是在计算后分配的。这些 9 点直方图中的每一个都可以被绘制成直方图，其中柱输出该柱中梯度的强度。由于一个块包含 64 个不同的值，对于所有 64 个量值和梯度值，执行以下计算。由于我们使用 9 点直方图，因此:

(图片由作者提供)

每个第 j 个面元，面元将具有来自以下的边界:

(图片由作者提供)

每个箱的中心值为:

(图片由作者提供)

图 6:星等图像上的 8×8 块。图 7:角度图像上的 8×8 块。(图片由作者提供)

图 8:9 格直方图的表示。对于一个由 64 个单元组成的 8×8 块来说，这一个直方图是唯一的。所有 64 个单元将分别把它们的 Vj 和 Vj+1 值加到数组的第 j 和第(j+1)个索引上。(图片由作者提供)

4.对于块中的每个单元，我们将首先计算第 j 个容器，然后计算将分别提供给第 j 个和第(j+1)个容器的值。该值由以下公式给出:

(图片由作者提供)

5.将一个数组作为一个块的二进制数，并将 Vj 和 Vj+1 的值附加到数组中为每个像素计算的第 j 和第(j+1)二进制数的索引处。

6.上述计算后的结果矩阵将具有 16x8x9 的形状。

7.一旦所有块的直方图计算结束，来自 9 点直方图矩阵的 4 个块被组合在一起以形成新的块(2x2)。这种杵状运动以重叠的方式进行，步幅为 8 个像素。对于块中的所有 4 个单元，我们连接每个组成单元的所有 9 个点直方图以形成 36 个特征向量。

(图片由作者提供)

围绕图像遍历 2x2 网格框，以便从 4 个块中生成一个组合的 fbi。(图片由作者提供)

8.每个块的 fb 值通过 L2 范数归一化:

其中，ε是为避免零分频误差而加到 fb *方上的一个小值。在规范中，取值为 1e-05。(图片由作者提供)

9.为了标准化，首先通过以下公式计算 k 值:

(图片由作者提供)

10.进行这种标准化是为了减少同一物体的图像之间的对比度变化的影响。从每个街区。收集 36 点特征向量。在水*方向有 7 个块，在垂直方向有 15 个块。因此，HOG 特征的总长度将为:7 x 15 x 36 = 3780。获得所选图像的 HOG 特征。

使用 skimage 库在同一图像上可视化 HOG 特征。(图片由作者提供)

在 Python 中从头开始使用特性

在 Python 中使用 skimage 库的 HOG 特征

代码文件

链接到包含用 python 从头开始编写的 HOG 特征检测器全部代码的 Colab 文件:https://Colab . research . Google . com/drive/1 _ ydbx 68 ucxejk 448 y0 byoacuzzw 5 hwr？usp =共享

参考文献

1. 人体检测的方向梯度直方图:http://lear . inrialpes . fr/people/triggs/pubs/Dalal-cvpr 05 . pdf
2. 撇除文件:https://scikit-image.org/docs/dev/api/skimage.feature.html?highlight = hog # skimage . feature . hog
3. HOG(梯度方向直方图)特征(使用 MATLAB 和 Python 的理论和实现):https://www.youtube.com/watch?v=QmYJCxJWdEs

敬请关注像这样的新的研究论文解释！

请随时联系并给出您的建议:https://www.linkedin.com/in/mrinal-tyagi-02a1351b1/

https://github.com/MrinalTyagi

使用 Alexa 实现家庭自动化

原文：https://towardsdatascience.com/home-automation-with-alexa-69f71524f164?source=collection_archive---------4-----------------------

物联网仿真设备的语音命令，使用 Arduino 库 Espalexa。

上图:亚马逊第二代 Echo-Dot——下图:作者的最终电路

1.介绍

几年前，我探索了如何在家庭自动化项目中使用因亚马逊 Echo 和 Echo-Dot 而流行的智能个人助理 Alexa，:

Alexa — NodeMCU: WeMo 仿真变得简单

Alexa 能够进行语音交互，播放音乐，制作待办事项列表，设置闹钟，播放播客，播放有声读物，并提供天气，交通和其他实时信息。Alexa 还可以将自己作为家庭自动化中心来控制几个智能设备。我们将在这个项目中使用“回声点”，它允许用户使用唤醒词来激活设备，如“Alexa”或“计算机”，如“星际迷航！。

在家庭自动化领域，Alexa 可以与 Philips Hue、Belkin Wemo、Sonoff 等几种不同的设备进行交互。我们在以前的项目中使用 fauxmoESP 库模拟了 WeMo 设备，这似乎已经过时了，而且现在也没有得到足够的维护。这里我们将使用 Espalexa ，这是一个易于使用的 Arduino 库，与 ESP8266 和 ESP32 都兼容。

下面的框图显示了我们的项目将会开发什么:

框图—作者提供的图片

下面的视频展示了项目结束时的样子:

2.安装 ESP 板

在 Arduino IDE 首选项→附加电路板管理器 URL 中输入:

https://dl.espressif.com/dl/package_esp32_index.json, [http://arduino.esp8266.com/stable/package_esp8266com_index.json](http://arduino.esp8266.com/stable/package_esp8266com_index.json)

Arduino IDE 首选项—打印屏幕

接下来，在 Arduino IDE 工具/板管理器中，安装板:

Arduino IDE 板管理器—打印屏幕

在这个项目中，我们将使用 NodeMCU，但是代码也可以很容易地适应 ESP32。那么，让我们也安装它:

Arduino IDE 板管理器—打印屏幕

esp 8266 node MCU 引脚排列:

ESP8266 节点 MCU 引脚排列—图片由 Amazon.com 提供

3.埃斯帕莱克萨图书馆

除了标准的开/关控制之外，Espalexa 还允许您设置一系列值(例如，亮度、温度)和可选的颜色。比如你可以说————“Alexa，把灯光调到 75%”。

Espalexa 模拟了 SSDP 协议和 Philips hue API 的部分内容，刚好足以被 alexa 发现和控制。

默认情况下，最多可以添加 10 个设备，因为每个设备“插槽”都占用内存，即使没有设备被初始化。您可以通过添加来更改设备的最大数量，例如:

#define ESPALEXA_MAXDEVICES 20

在调用库之前:

#include <Espalexa.h>

建议将 MAXDEVICES 设置为您想要添加的设备的确切数量，以优化内存使用。

要安装库，请转到 Arduino IDE 工具/管理库，并使用 espalexa 进入:

Arduino IDE 库管理器—打印屏幕

4.家庭自动化原型

我们的家庭自动化项目将创建四个智能设备工作，可以单独远程控制。但是，假设我们想要将设备分组，以便在家中使用。应该怎么做？

例如，假设我们家有两个房间:

• 卧室
• 客厅

现在，假设您希望每个房间都有一盏灯和一个插座。因此，让我们将四个设备分组，如框图所示(见本文简介):

床房

• 灯 2
• 出口 1(风扇)

客厅

• 灯光 1
• 出口 2(蜂鸣器)

欧的家庭自动化项目或多或少会是这样:

房屋原型及其物联网设备—图片由作者提供

5.组装硬件进行测试

出于测试目的，四种颜色的 led 将用作“物联网设备”。它们应如图所示安装，如下所列:

== >红色 LED(灯 1) == >节点 MCU D1 (GPIO5) —客厅

== >绿色 LED (Outlet1) == >节点 MCU D2 (GPIO4) —客厅

== >蓝色 LED(灯 2) == >节点 MCU D5 (GPIO14) —卧室

== >黄色 LED(输出 2) == >节点 MCU D6 (GPIO12) —卧室

红色和绿色的 led 将模拟安装在“起居室”的设备，蓝色和黄色的 led 将模拟安装在“卧室”的设备

电路图—图片由作者提供

6.在 Arduino IDE 上创建我们的物联网设备

首先，我们必须调用库:

#include <ESP8266WiFi.h>
#include <Espalexa.h>

要连接到设备的 NodeMCU 引脚定义如下(在测试阶段为 led，在最终项目阶段为继电器输入):

#define RelayPin1 5  //D1
#define RelayPin2 4  //D2
#define RelayPin3 14 //D5
#define RelayPin4 12 //D6

一旦我们有了 4 个设备，至少应该定义 4 个直接回调函数:

void device1Changed(uint8_t brightness);
void device2Changed(uint8_t brightness);
void device3Changed(uint8_t brightness);
void device4Changed(uint8_t brightness);

亮度参数包含新的设备状态(0:关，255:开，1–254:暗),当调用回调函数时，Alexa 将发送该状态。**

但是回调函数可以是在 Alexa 命令下执行的任何函数，因此我们将在这里定义三个要调用的附加特殊函数，这些函数将处理多个物联网设备:

*void devFunc1Changed(uint8_t brightness);
void devFunc2Changed(uint8_t brightness);
void devFunc3Changed(uint8_t brightness);*

上述回调函数将与以下内容相关联:

• 所有家用设备(照明 1、照明 2、输出 1 和输出 2)
• 客厅(照明 1 和出口 1)
• 卧室(灯 2 和出口 2)

因此，Alexa 事实上将处理七个“物联网设备”。对于它们中的每一个，我们必须定义一个独特的名称，由 Alexa 调用:

*// device names
String Device_1_Name = "Red light";
String Device_2_Name = "Green light";
String Device_3_Name = "Blue light";
String Device_4_Name = "Yellow light";// device_function names
String Dev_Func_1_Name = "Living Room";
String Dev_Func_2_Name = "Bed Room";
String Dev_Func_3_Name = "All Home Devices";*

在测试阶段，我们将用“{其颜色}光”来称呼 led。在我们的最终项目中，我们可以通过变量的最终名称来改变这些变量(“Light 1”、“Outlet2”等)。

最后但同样重要的是，我们应该声明 espalexa 要使用的变量:

*Espalexa espalexa;*

对于交流:

*boolean connectWifi();
boolean wifiConnected = false;
const char* ssid = "YOUR SSID HERE";
const char* password = "YOUR PASSWORD HERE";*

在设置阶段，除了通常的 pin 和串行秃率定义以及通信启动程序之外，您还应该正确关联每个物联网设备及其名称，并启动 espalexa:

*// Define your devices here.
espalexa.addDevice(Device_1_Name, device1Changed);
espalexa.addDevice(Device_2_Name, device2Changed);
espalexa.addDevice(Device_3_Name, device3Changed);
espalexa.addDevice(Device_4_Name, device4Changed);// Define your devices functions here.
espalexa.addDevice(Dev_Func_1_Name, devFunc1Changed);
espalexa.addDevice(Dev_Func_2_Name, devFunc2Changed);
espalexa.addDevice(Dev_Func_3_Name, devFunc3Changed);espalexa.begin();*

循环函数应该非常简单:

*void loop()
{
  espalexa.loop();
  delay(1);
}*

最后一个程序将是创建回调函数，或者更好，当 Alexa 发送命令时必须做什么。

以下回调函数可适用于所有四种物联网设备:

*void deviceNChanged(uint8_t brightness)
{
  //Control the device 
  if (brightness == 255)
    {
      digitalWrite(RelayPinN, HIGH);
      Serial.println("DeviceN ON");
    }
  else
  {
    digitalWrite(RelayPinN, LOW);
    Serial.println("DeviceN OFF");
  }
}*

将上面代码中的“N”更改为 1、2、3 和 4 将会有四个直接回调函数。请记住，Alexa 发送的亮度参数包含新的设备状态，它将是:

• 0 == >关；
• 255 == >开
• 1 到 254 == >“暗灯”。

我们可以将上述简单的开关功能扩展为一种特殊的功能，在这种功能中可以控制光的强度。我们将为设备 1(红色 LED)执行此操作:

*void device1Changed(uint8_t brightness)
{
  //Control the device
  if (brightness == 255)
  {
    digitalWrite(RelayPin1, HIGH);
    Serial.println("Device1 ON");
  }
  else if (brightness == 0)
  {
    digitalWrite(RelayPin1, LOW);
    Serial.println("Device1 OFF");
  }
  else
  {
    int brigh_perc = (brightness/255.)*100;
    analogWrite(RelayPin1, brightness);
    Serial.print("Device1 Brightness: ");
    Serial.print(brigh_perc);
    Serial.println("%");
  }
}*

请记住，NodeMCU 具有 PWM 输出，可用于 Arduino analogWrite()函数。如果使用 ESP32，则当 analogWrite()不可用时，应创建 PWM 功能。

不要忘记用你自己的证书来更改虚拟 wifi 证书。

在 Arduino IDE 上编译代码并上传到 NodeMCU 后，您可以在串行监视器上看到交换的消息。一旦 NodeMCU 连接到您的 wifi，应该会出现类似的消息(包含您的网络数据):

Arduino IDE 串行监视器打印屏幕

我们认为您已经在与 NodeMcu 连接的 相同的网络上充分安装了 Alexa。

现在，让我们请 Alexa 找到您的设备。有两种方法可以做到:

• 使用智能手机中的 Alexa 应用程序
• 要求 Alexa 使用语音命令直接完成，比如:“ Alexa、 发现设备”。

45 秒后，您应该会收到 Alexa 确认信息，确认发现了七个设备。你可以在应用程序“灯光标签”上看到如下内容:

Alexa 应用程序(设备选项卡)—打印屏幕

一旦 Alexa 发现了你的设备，你可以给她语音命令，如下所示:

下面的屏幕截图显示了串行监视器的响应。

Arduino IDE 串行监视器打印屏幕

7.组装完整的硬件

输出 GPIOs 应连接到 4 通道继电器模型，而不是 led 和电阻，如下所示:

电路图—图片由作者提供

不要直接从 NodeMcu 5V 输出引脚给继电器模块供电。请改用外部电源。一个 1A 电源应该足够了。如果使用其他版本，请与继电器模块制造商确认。不要忘记将所有的 gnd 连接在一起。

原则上，可以使用为测试开发的相同代码，但是您必须确认继电器模块的逻辑。例如，在上述模块中，您应该保持输入“打开”或高电*，变为低电*以激活继电器输出。因此，代码必须相应地改变。

• 在 setup()阶段，将 GPIOs 输出定义为高电*
• 回调函数从高变低，反之亦然

您可以通过输出继电器关闭的声音和模块中的红色 led 来确认继电器是否正常工作。

一旦一切正常，就可以完成我们的“智能设备”的安装了，它们是两个固定的“灯”和两个“通用插座”，让我们对它们进行适当的重命名:

• 点燃一个
• 轻二
• 一号出口
• 二号出口

*// device names
String Device_1_Name = "Light One"; 
String Device_2_Name = "Light Two";
String Device_3_Name = "Outlet One";
String Device_4_Name = "Outlet Two";*

如本教程开头的视频所示，为了完成我们的项目，请连接一些由继电器控制的设备。在我的例子中，我使用两个 led 作为灯，并在插座 1 上连接一个风扇，在插座 2 上连接一个蜂鸣器(例如，模拟像收音机这样的设备)。下图显示了安装的设备。

电路图—图片由作者提供

请注意，一旦继电器能够处理它们，您就可以安装真正的交流灯和电器来使用 Alexa 进行控制。

8.关于“设备功能”的最后考虑

从模拟简单物联网设备的概念开始，如 WeMo 或飞利浦 Hue，我们还使用 Alexa“触发”更复杂的功能，“设备功能”。在这些功能上，多个输出被用作按房间划分的一组设备。

框图—作者提供的图片

这是物联网领域有待探索的强大工具，在这里，一个简单的语音命令可以触发使用微控制器的更复杂的过程，正如可以在下面的视频中看到的那样(这里使用了“计算机”wake-word 而不是“Alexa”):

结论

一如既往，我希望这个项目可以帮助其他人在激动人心的电子和物联网世界中找到自己的路！

更新文件请访问我的 GitHub:Alexa _ node MCU _ Home _ Automation

更多项目，请访问我的博客:MJRoBot.org

来自世界南部的 Saludos！

我的下一篇文章再见！

谢谢你

马塞洛

主场优势:没有粉丝还存在吗？

原文：https://towardsdatascience.com/home-field-advantage-does-it-exist-without-fans-a0778c5a6a29?source=collection_archive---------14-----------------------

实践教程

疫情时代之前和期间的数据和统计

照片由马太·亨利从爆出

在大多数运动项目中，人们普遍认为主队对客队有显著优势，俗称主场优势。这可能是由多种因素造成的，但两个最受欢迎的原因是粉丝的出现和玩家对环境的熟悉和舒适。后者的一个标志性例子是波士顿红袜队在芬威公园的“绿色怪物”墙。然而，一些研究和数据表明，球员熟悉度是主场优势效应的一个令人惊讶的微弱预测因素。

因此，还有一个最受支持的原因，那就是粉丝的存在。有趣的是，在疫情冠状病毒爆发时，大多数体育场都不对公众开放，主场优势似乎也逐渐消失了。这为分析这个自然实验创造了一个理想的场景。

我想回答的问题很简单:我能使用数据分析和统计推断来衡量球迷在足球比赛中对主队的影响吗？我会那样做的。而我会重点关注英格兰的英超数据。

为什么是足球？为什么是英超？

在选择要调查的运动之前，我考虑了世界顶级联赛中的一些主要运动，每个运动都有一些缺点:

• 篮球——鉴于漫长的赛季和室内体育场吸引了喧闹而充满活力的球迷，NBA 起初似乎是一个不错的选择。然而，在他们 19-20 赛季的重新开始阶段，所有的比赛都是在奥兰多泡泡里进行的，所以没有真正的“主场”。
• 棒球——疫情开始的时候，MLB 赛季还没有开始，相对于其他运动，主场优势通常并不高。
• 美式足球 —相对于其他运动，NFL 赛季非常短，不会为我们提供大量实验数据。

足球似乎是最值得研究的运动，特别是因为它的主场优势在大多数运动中是最强的，而且闭门比赛的次数也足够多。我会选择英超联赛，因为它往往有更多*衡的球队，这意味着更多的球队可以在特定的日子里击败另一支球队，并在特定的赛季中位居联赛榜首。在其他大联盟，如德甲或西甲，每年似乎都有 2-3 支球队占据主导地位。你知道我指的是哪些团队。

最初的假设或期望

在收集我需要的数据之前，我对在没有球迷的比赛中看到的数据有一些猜测:

• 主场优势减少，意味着进球和得分减少
• 一场更加*衡的比赛，对客队的犯规更少，因为裁判不会受到吵闹或心烦意乱的球迷的压力
• 主队付出的努力越少，导致比赛最后几分钟射门次数和进球次数越少

数据:Python 中的集合

数据:2019-2021 年的比赛(2019 年 8 月 9 日-2021 年 3 月 15 日)

我将使用由奥特维奥·西莫斯·西尔维拉创建的 Python & Selenium scraper，并在此基础上构建以满足我的特定需求。

具体来说，我希望收集每场比赛主客场球队的以下数据:

• 决赛和半场比分
• 比赛数据(控球、黄牌、投篮等。)
• 指示进球得分时间的特定分钟标记

为每个匹配抓取的页面详细信息的示例截图。 注: 英超 允许提取数据用于非商业用途 条款&条件

你可以在这里找到我用的刮刀。

数据:R 中的预处理

我想做的第一件事是在 R 中进行预处理，并进行一些数据辩论，这将允许我进行所需的分析和实验。

让我们装入必要的包和我们的数据，确保每场比赛的日期都被正确读取。

library(dplyr)
library(ggplot2)
library(ggpubr)
library(lubridate)
library(stringr)
library(zoo)df <- read.csv('data/premier_league_matches.csv') %>% mutate(date = lubridate::as_date(date))

接下来，我们将删除 20-21 赛季期间任何球迷人数有限的比赛。只有少数比赛是在 2020 年 12 月的进行的，当时联赛允许在某些体育场最多容纳 2000 名观众，然后再次恢复完全封闭。这些是具有未知影响的异常值，所以最好不要考虑它们。

# matches with limited attendance (2,000 fans) in December 2020
limited_fans_matches <- c(59005, 58999,  59003, 59000, 58997, 59008, 59014, 59007, 59009, 59006, 59024, 59033, 59030, 59026, 59041)df <- df %>% subset(!match_id %in% limited_fans_matches)

让我们也创建新的列来跟踪每个队的犯规、得分和结果。

df <- df %>% 
  mutate(home_yellow_cards_pct = home_yellow_cards / (home_yellow_cards + away_yellow_cards),
         away_yellow_cards_pct = away_yellow_cards / (home_yellow_cards + away_yellow_cards),
         home_fouls_conceded_pct = home_fouls_conceded / (home_fouls_conceded + away_fouls_conceded),
         away_fouls_conceded_pct = away_fouls_conceded / (home_fouls_conceded + away_fouls_conceded),
         home_points_won = ifelse(home_ft_score > away_ft_score, 3, ifelse(home_ft_score == away_ft_score, 1, 0)),
         away_points_won = ifelse(away_ft_score > home_ft_score, 3, ifelse(away_ft_score == home_ft_score, 1, 0)),
         home_result = ifelse(home_ft_score > away_ft_score, 'W', ifelse(home_ft_score == away_ft_score, 'D', 'L')),
         away_result = ifelse(away_ft_score > home_ft_score, 'W', ifelse(away_ft_score == home_ft_score, 'D', 'L')))

为了跟踪进球得分的不同分钟间隔，我们需要转换home_goal_mins和away_goal_mins中的分钟格式，以便每个值都用逗号分隔。

df <- 
df %>% 
mutate(home_possession = home_possession/100,
       away_possession = away_possession/100,
       home_goals_mins = c(str_replace_all(str_sub(home_goals_mins,  
                           2, -2), fixed(" "), "")),
       away_goals_mins = c(str_replace_all(str_sub(away_goals_mins, 
                           2, -2), fixed(" "), ""))) %>%
mutate(across(c('home_goals_mins', 'away_goals_mins'),  
       ~ifelse(.=="", NA, as.character(.))))

最后，我们将为我们的实验创建两个相等的数据集(每个数据集 288 场比赛),假设联盟在 2020 年 6 月 17 日开始在没有球迷的情况下比赛:

• 控制设置:仅匹配风扇
• 测试集:仅匹配无风扇

no_fans_df <- df %>% 
  filter(date >= '2020-06-17') %>% arrange(date) %>% head(288) 
no_fans_df['fans_present'] <- 'N'fans_df <- df %>%                           
  filter(date <= '2020-03-09') 
fans_df['fans_present'] <- 'Y'matches_df <- rbind(fans_df, no_fans_df)

现在我们有了一个最终的数据帧，它带有我们实验中匹配类型的标签。这样就容易比较两者了！

探索性数据分析

我们首先要看的是主客场两队在比赛中的进球分布。进球似乎出现在半场的前几分钟或最后几分钟，原因是注意力不集中、疲劳，以及为了赢得比赛而承担更多风险。在比赛的不同阶段，球迷的能量也可能很高。

不幸的是，这两种匹配类型之间似乎没有任何真正的区别。大多数进球都是在比赛进行到一半和结束时打进的，这可能是由于加时赛的缘故。

接下来，我们将查看两个数据集之间匹配结果的差异。

正如猜测的那样，当球迷不在场时，主队赢得的比赛更少，输掉的比赛更多。抽签的次数大致相同。乍一看，这似乎表明观众对主队有积极的影响。

让我们以不同的方式来看待主场胜利，看看获胜分数占总可能分数的比率。我们称之为主场优势并按月汇总。

每月赢得的主场积分/可能的总积分比率

再一次，这个图像支持了我们上面的观点，主场优势随着体育场的关闭而逐渐减少。

如果我们在一段时间内用类似的图表绘制一场比赛中客场队的黄牌分布，我们会看到在比赛数据集之间客场队的黄牌数量有更大的差异。当球迷不在的时候，客队似乎要轻松得多！

每月发放客场黄牌

我们想看的最后一个方面是主队的总射门次数。

当球迷在场时，主队拍摄的照片大约有 500 张之差。但是有多少镜头是真的对准目标的呢？让我们检查一下。

每月的目标命中率

假设检验

虽然很容易理解数据可视化，但我们不能仅仅依靠它们来确定粉丝存在与否的意义。为此，我们需要对我们的实验进行统计推断测试。

统计推断让我们更加确信，我们在样本数据之间看到的任何差异在一定程度上都是显著的，并且观察到的结果不仅仅是由于偶然。

我们将运行四个测试来观察以下情况:

• 主队得分差异(主试)
• 主队犯规次数的差异
• 客队承认的黄牌数量的差异
• 主队射门方式的不同

对于每个测试，我们将首先计算测试的统计功效，这将给出当这种差异实际存在于总体中时，测试将发现统计显著差异的概率。换句话说，能力是你应该拒绝零假设的概率。然后，我们将使用学生的 t 检验进行实际的假设检验。我们将对每一个使用 90%的置信区间。

功率测试

首先，让我们使用 r 中的pwr库计算主测试的功效。我们需要计算每个样本的*均值、总标准偏差和一个称为效应大小的值，该值定义为:

测试的工作方式是，您必须只设置一个参数与NULL相等，这是在给定其他数据点的情况下您想要计算的参数。

library(pwr)meanF <- mean(fans_df$home_points_won)
meanNF <- mean(no_fans_df$home_points_won)
sd <- sd(matches_df$home_points_won)
effect_size <- (meanF — meanNF) / sd
pwr.t.test(n = 288, d = effect_size, sig.level = 0.1, power = NULL, type = “two.sample”)#######OUTPUT########Two-sample t test power calculationn = 288
d = 0.130097
sig.level = 0.1
power = 0.4665975
alternative = two.sidedNOTE: n is number in *each* group

我们将对剩余的测试进行同样的操作，并整合结果。

我们如何解读这种力量？一般认为功率应该等于或大于 80%。对于我们与主场得分相关的主要测试，这意味着我们有 47%的机会发现统计上的显著差异。这不是一个好兆头。但是其他测试的功率是 95%或更多，这是有希望的。

统计 T 检验

接下来，我们将进行 t 检验，以确定有球迷和没有球迷的主场*均得分是否存在显著差异。

• 零假设:两个样本的均值差为 0
• 备择假设:均值之差不等于 0。

t.test(fans_df$home_points_won, y=no_fans_df$home_points_won, alternative = 'two.sided', conf.level=0.90)#######OUTPUT#######
Welch Two Sample t-testdata:  fans_df$home_points_won and no_fans_df$home_points_won
t = 1.5631, df = 573.85, p-value = 0.1186
alternative hypothesis: true difference in means is not equal to 0
90 percent confidence interval:
 -0.009373031  0.356595254
sample estimates:
mean of x mean of y 
 1.593750  1.420139

再一次，我们将对我们所有的假设进行测试。

为了达到显著性，计算的 p 值必须小于使用的显著性水*，在本例中为0.10，这允许我们拒绝零假设。对于我们与有球迷和没有球迷的主队得分差异相关的主要测试，p 值为0.1186,表明没有统计学意义。然而，其余的测试都非常显著，p 值接* 0！

总结:主要发现和要点

总的来说，这个实验表明，当球迷缺席时，通常观察到的足球主场优势在某些方面被最小化了。

• 主队往往得分更少(因此得分也更少)，但观察到的数据没有统计学意义来支持这一点。
• 然而，数据确实支持这样的观察，即没有球迷的主场球队会收到更多的犯规，而与之相关的是，客场球队承认的黄牌更少。这是有道理的，因为比赛结果的另一个关键因素是裁判，他受到来自球迷的压力，要判还是不判犯规。
• 此外，在没有球迷压力的情况下，主队的投篮次数要少得多，但这并不一定会导致目标或进球的投篮次数有很大差异。

这些因素都有助于比赛更加*衡，从而减少主场优势。

除了风扇的存在，许多因素也可能影响观察到的结果。例如，两个数据集之间匹配结果的差异可能是不*衡的。如果高质量的球队在一组样本中有更多的客场比赛，这可能会引入更多的偏见。许多人可能会认为球员/教练的技能比比赛是主场还是客场更能决定比赛结果。

建立解决这些偏见的模型，并收集更多关于体育界这种罕见现象的数据，可能有助于提供更多答案。在那之前，球迷似乎会影响足球的主场优势，但不是以我们所期望的最纯粹的方式。

希望你喜欢这个项目。如果对类似的文章感兴趣，可以看看我的另一篇文章。

感谢肯·吉在追求一个体育分析项目中的灵感。如果您有任何问题，请随时在下面评论或通过 LinkedIn 联系我。

参考

使用 HuggingFace Spaces 托管 ML 应用程序

原文：https://towardsdatascience.com/host-ml-apps-with-huggingface-spaces-7d5eef00e781?source=collection_archive---------14-----------------------

探索新的 HuggingFace 版本

图片来自阿玛多·洛雷罗的 Unsplash

我一直是 NLP 的超级粉丝，因此也是一个超级拥抱脸粉丝。虽然 HuggingFace 以其强大的 NLP 背景而闻名，但他们最*发布了一个名为 Spaces 的新功能，可以帮助你在你的个人资料上快速托管 ML 演示应用。Spaces 支持两个可以快速构建 Python 应用的框架:Streamlit 和 Gradio 。我也是 Streamlit 的忠实粉丝，所以我们将使用该框架为今天的文章构建一个示例空间应用程序。如果你想要更多的灵活性和对你的前端的控制，你可以使用一个定制的框架或者使用你自己的 HTML 代码。

注意:在这篇文章中，我们不会真正关注任何模型构建包，它将集中在展示空间特性的功能上。

目录

1. 设置
2. 构建应用程序和测试
3. 结论和附加资源

1.设置

作者截图(创建拥抱脸个人资料)

如果你想和其他成员合作，你可以在这里添加额外的功能，比如 Github 或者 Twitter 用户名。之后，点击“创建新空间”，你就可以设置你的项目了。

作者截图

在本例中，我们将使用 Streamlit 并创建一个公共工作区。对于自定义 SDK，请通过“添加您的”链接与 HuggingFace 联系。

创建完共享空间后，我们可以导航到“文件和版本”来管理我们的目录。首先 创建一个 requirements.txt 文件，其中包含任何额外的依赖项，这就是 Spaces 将如何在您正在使用的框架中使用的方式。Spaces 附带了以下预装库 : huggingface_hub 、请求和数据集。在 requirements.txt 中，我们将添加用于情感分析的变形金刚和文本块库。

申请要求

接下来创建一个“app.py”文件，这是我们的应用程序代码将被创建的地方。文件结构应该如下图所示。

作者截图

2.构建应用程序和测试

现在我们可以编辑 app.py 文件来构建我们的应用程序。我们将制作一个简单的应用程序，它提供了使用两种不同框架对一些样本文本进行情感分析的选项。创建文件时，您可以在共享空间左上角的应用程序选项卡上预览文件的外观。

App 预览(作者截图)

现在我们可以添加一些基本的逻辑来使用任何一个可用的框架。

情感分析

我们现在可以用两种不同的框架来测试我们的应用程序。

变形金刚情绪分析(作者截图)

Textblob 情感分析(作者截图)

在 10 分钟内，我们成功部署了一个简单而强大的演示应用程序，可以公开共享。要调整应用程序的任何旋钮，您也可以进入设置选项卡将空间设为私有或将其删除。

3.结论和附加资源

演示应用程序的完整代码

如果您没有自己的基础设施设置，Spaces 是一个非常有用的新特性，可以快速测试和演示 ML 应用程序。我很好奇 HuggingFace 在为您的应用程序带来自己的前端堆栈/框架方面提供的未来灵活性。如果你想看视频演示，看看下面的教程 HuggingFace 发布。对于不同的接触面管道和任务，查看以下文档。

如果你喜欢这篇文章，请在 LinkedIn 上与我联系，并订阅我的媒体 简讯 。如果你是新手，使用我的 会员推荐 报名。

主持代码评审会议可以对您的数据科学团队产生积极影响

原文：https://towardsdatascience.com/hosting-code-review-meetings-can-positively-impact-your-data-science-team-1601e1a836bd?source=collection_archive---------60-----------------------

为什么我每周和我的团队召开代码审查会议

图片来自 Unsplash 上的 Artem Sapegin

每个周末，我都会主持一个代码审查会议。在 30 分钟内，一小组数据科学家聚在一起，查看对我们的库的任何开放拉取请求。当我的团队第一次开始打开拉请求和审查代码时，感觉就像是一件苦差事。评审开始得很好，但是开始变成一个人催促团队的其他人完成他们的评审。随着越来越多的拉请求开始到来，我们的团队决定改为主持每周的代码审查会议。这些会议改变了我们看待代码的方式。这不再是一件琐事，而是对设计决策、假设和代码架构的公开讨论。

在这些会议中，我们召集了一小组不同的数据科学家来检查从分析到工具开发的任何开放拉动请求(PRs)。这个组包括最初打开拉请求的开发人员和一些不同的团队成员。我们有一个核心小组，参加每一次审查，然后每周改变我们加入的人，以获得审查代码的经验。

让不同的人轮流查看“拉”请求，可以让他们在阅读和理解我们图书馆的各个方面时有所体会，而这些方面他们可能并不熟悉。

随着会议的进行，我们一次打开一个拉式请求。编写代码的首席数据科学家将讨论他们做了哪些更改，为什么要做这些更改，并讨论他们做出的任何决定。当有人对代码有疑问时，我们有一个开放的论坛来讨论它，然后留下评论。这允许我们在确定下一步之前讨论设计决策和假设。

这些审查顺利吗？开始时，有点困难，但通过有规律的节奏，这已经成为一个更顺利的过程。

为什么要举办同行评议会？

无论您是在笔记本上编码还是在开发库，代码评审都是一个有益的工具，可以让数据科学家检查某人正在开发的代码。代码审查还可以向数据科学家介绍他们在查看其他人的工作时不熟悉的新库和技术。允许不同级别的数据科学家评审代码将允许每个人提供反馈，并将代码评审作为学习和个人发展的工具。

不要把你的评论当成是针对个人的。相反，使用它们来理解如何使您的代码更干净、更高效。确定你能从这个过程中学到什么。

我主持代码审查会议，因为它们允许对代码进行讨论，并给数据科学家一个与其他人讨论他们的设计决策的论坛。因此，在听完他们为什么以一种特殊的方式开发代码之后，更容易对代码做出评论。

不同级别的数据科学家都有机会在研究代码、讨论过程和展示工作成果时向他人学习。人们有不同的学习方式，对一些人来说，让他们一起浏览代码会有所帮助。这些会议是一个安全的地方来演示代码，请求反馈，并确定合并代码需要什么。

以这种方式参与评审可以让年轻的数据科学家对他们的代码能力更有信心，并看到即使是高级数据科学家也没有完美的代码。

最后，我在团队中实施的审核流程进展顺利。在开始这些会议之后，在对拉取请求进行评论之前，数据科学家之间就变更达成一致变得更加容易。这一流程大大减少了分歧或误解，因为在电话会议期间，所有相关方都会到场公开讨论他们的意见。

总而言之，代码评审会议比个人在自己的时间内评审代码对我的团队更有益。这些会议允许数据科学家就代码更改达成一致，并在整个过程中快速移动拉请求。我们可以在下一次会议之前批准大多数拉动式请求，而不是等待几周，让两三个人找到时间进行审查。

最后的想法

您的团队可能会以不同的方式进行代码评审，但是对于我的团队来说，我们发现每周召开一次 30 分钟的代码评审会议是最好的。在这些会议中，我们可以讨论、演示和确定被检查代码的后续步骤。

• 不同级别的数据科学家可以聚在一起讨论代码，互相学习。
• 我们在每次会议上轮换人员，让人们了解代码库的各个方面。
• 这些会议提供了一个公开的论坛来讨论为什么数据科学家应该改变代码，并且可以对前进的道路做出决定。
• 这是一个安全的地方，可以公开讨论数据科学家的意见分歧，从而减少对代码更改的争议或分歧。

你如何在你的团队中评审代码？

</4-things-i-didnt-know-about-being-a-team-lead-in-data-science-1f96293cb8aa>

空话:政治中的话语

原文：https://towardsdatascience.com/hot-air-words-in-politics-d23ef112cb7?source=collection_archive---------50-----------------------

应对气候危机是当前决定性的生存挑战，2018 年诺贝尔经济学奖由威廉·诺德豪斯和保罗·罗默(美国)获得，他们证明了碳定价将是应对气候危机的有效策略。因为有政府程序的公开记录，而我是 NLP 的专家，我看到了我能看到的政府和政治数据。这是我发现的非常敷衍的初步看法。我在这里使用的数据来自 openparliament.ca，它使跟踪政府通过法案的进展变得容易，并提供了众议院会议的议事录。

*英国议会议事录是对加拿大、英国、新西兰和其他威斯敏斯特体系政府的下议院会议记录进行轻微编辑的公开信息记录，以一名在报纸上发表英国议会会议记录的英国议员命名。(美国人:假装我说的是国会。我没有，现在也没有，但这就足够了。)

为此，我使用了 2000 年 1 月 1 日至 2020 年 8 月间的会议记录。由于加拿大议会有两种官方语言的声明，我将英文声明分离出来。演讲者以演讲者的身份所做的陈述往往是非常标准化的，并且只是程序的一部分，所以我删除了它们。

这是一篇有趣的文章，它展示了在做出任何结论之前实际查看数据的重要性。他们声称，与你的预期相反，对于美国政客来说，共和党人倾向于使用更大的词汇量，莎拉·佩林是所有人中词汇量最大的，特朗普的词汇量比乔·拜登大。尽管我愿意接受统计数据，但退一步说，我发现这些结论非常令人惊讶。粗略地看一下他们的方法，他们不做任何形式的词汇化、拼写纠正、标点符号或停用词删除，他们只是使用一个记号化器。这意味着特朗普有可能通过 hamberders 和可变大小的省略号拥有大量词汇…..

为了避免指责列出街道名称的议员词汇量太大，我使用了 spaCy 的 en-core-web-sm POS tagger，并删除了停用词、标点符号和专有名词。那些年有 1000 多名议员坐过，这些议员讲了大约 86 万次。

由于单个议员说的单词数量可能相差很大(更准确地说，是 7 到 2615448 个)，原始词汇比较几乎是不公*的。由于停用词的使用和标点符号的出现或多或少是一个常数，我将它们有意义的词的范围按照它们发出的总标记来划分。这种调整是标准化步骤。因为我很好奇词汇是否会随着时间的推移而改变，所以我绘制了归一化词汇大小与在职议员开始日期的关系图。

作者图片

Flesch 阅读难易程度评分:

Flesch 阅读难易程度评分是一个由句子长度和所用词汇组合而成的指标。下图让我有点吃惊，但经过研究后，还是有意义的。关于 Flesch 分数，需要注意的一点是，分数越高，越容易阅读。如下图所示，最难读懂的议员来自由魁北克集团和新民主党成员组成的民主力量党。由于 Forces 是由受过高等教育的前议员(其中一名创始成员是大学教授)组成的，因此他们的语言水*高于自由党或保守党也就不足为奇了，因为这些政党拥有非常广泛的基础。Flesch-Kincaid 年级水*是一个将 Flesch 阅读难易程度评分(基于句子长度和词汇量)与 Kincaid 年级水*指标相结合的指标。为此，我使用了 textstat，这是一个内置了所有这些功能的 Python 包。

查找常用短语:

对于更大的统计数据，如估计的相对词汇和阅读方便性，我从 2000 年 1 月 1 日起在每份法案上使用陈述，但由于这个想法是为了找出政治家如何谈论气候政策，我提取了在“碳”或“环境”的法案上的陈述。

我在这里采用了两种方法来统计主要短语。其中一个是手动计算使用的 4gm，另一个是使用 TextBlob，这是一个 Python 库，可以进行名词短语分块。我使用了 nltk 标记器，并消除了停用词，我发现每一方的二元模型基本上都是无用的。在所有政党中，最常见的连词是“碳税”、“首相”、“环境部长”、“温室气体”和“自由政府”。对人类的眼睛来说，那里没有任何东西表明特定的极性。这是有道理的，在环境/气候背景下，这些是最常见的二元模型，不管你对它们的感觉如何。当你看四个单词的短语时，一个更有趣的画面出现了。

作者图片

绿色、自由和保守的 4 个字母

在这里，你可以看到更多证据，证明不同政党在谈论碳税时使用的口号。保守派真的喜欢称碳定价为“扼杀就业的碳税”，而自由派通常喜欢说“环境和经济齐头并进”的变体。绿党必须包括在内，因为他们是一个全国性的政党，主要关注气候和环境，但由于他们目前有史以来最高的 3 名议员，他们的声明经常反映出绿色参与具体的法案，如育空环境社会经济评估法案。

基于启发式的主题模型

这些是最需要人工提取的短语，通常的主题模型表现如何？以下是 LDA 发现的与 5 个主题相关的单词:

作者图片

LSI 发现了 5 个主题:

作者图片

评估无监督的主题模型是一个挑战，但由于这是人类语言，并且只有 5 个主题被选择，对这一点的判断纯粹是主观的。

在我看来，LDA 的主题稍微好一点，但它们基本上只是表明议员们讨论了环境、气候、碳、育空、魁北克和艾伯塔。由于育空地区位于北部，有很多采矿和资源开采活动，艾伯塔省和育空地区都有重油和天然气开采活动，因此它们经常出现在议会讨论中是有道理的。魁北克是最大的省份，拥有丰富的自然资源，所以它会出现在环境问题的讨论中——但它在政府中也有很高的代表性，是一个常见的参考点。

在很大程度上，我称之为“热空气”是因为缺乏一个真正好的双关语，但也是因为在用最常见和最容易获得的技术查看数据后，很难客观地发现不同政党之间的区别，即使他们的投票记录表明他们在那里。Suhas Pai(基岩公司首席技术官。AI 和 NLP guru)认为，由于下议院中任何长于感叹词的演讲都是由他们的团队精心制定的，因此议会演讲不是文本信息的良好来源。我倾向于这一结论，因为除了“扼杀就业的碳税”等众所周知的保守派词汇和“环境和经济齐头并进”等自由派词汇，还没有太多分析表明政党话语中有意义的差异。

热狗还是不是热狗

用 Tensorflow 2 尝试著名的 CNN 模型来帮助杨坚

输出图像

介绍

你看过 HBO 的《硅谷》喜剧系列吗？如果是这样，我打赌你还记得杨坚开发的非热狗应用。这里有一个片段可以提醒你。

所以基本上这个应用程序识别某样东西是不是热狗。嗯，我们也可以用其他类型的物体来训练识别它们。

当我了解到 CNN(卷积神经网络)的时候，我很渴望在这个问题上尝试一些流行的 CNN 模型，只是为了好玩。所以我选择了一些最好的 CNN 模型来尝试。

对于这个问题，我使用了以下模型，

1. AlexNet 的变体
2. 使用 VGG19 进行迁移学习
3. 使用 ResNet50 迁移学习
4. 使用 Inception V3 进行迁移学习
5. 借助 Inception ResNet V2 迁移学习

你可以在 NBViewer 上查看笔记本，也可以在 GitHub 上找到，

https://github.com/scsanjay/case-studies/tree/main/02. Not Hotdog

数据

没有高质量的数据，就没有机器学习。谢天谢地，我在 ka ggle【1】上找到了一个数据集。

总共有 3000 张图片可用于训练。
其中 1500 是热狗图像， 1500 不是热狗(它们是食物、家具、人或宠物)。
训练数据的 20% 将用于验证，这意味着 600 张图像将用于验证。
测试集有来自热狗类别的 322 图像和来自热狗类别的 322 图像。

在加载的时候，我已经将所有图片的尺寸调整为 256x256。另外，我已经将它们分成 32 的批量。

让我们看一些图片，

数据样本

预处理

调整大小

将所有图像转换为相同大小的预处理步骤已经完成。

数据扩充

数据扩充是非常有用的一步。这有助于使模型更好地泛化。此外，它从给定的图像生成新的图像，这增加了我们的数据集的大小。

怎么会？它可以执行各种操作，如翻转、旋转、剪切、缩放等，以创建增强的数据。请注意，TensorFlow 是动态完成的，这意味着我们不必保存图像，但它们将在训练时生成。

我已经执行了以下数据扩充操作，
a)水*翻转
b)旋转
c)缩放

在数据扩充之后，我们可以期待如下所示的图像，

扩充数据

改比例

我们应该将像素从[0，255]重新调整到[0，1]。我将只应用于 AlexNet。

在使用预训练模型进行迁移学习的情况下，我们将仅使用相应模型的预处理。

模型结构

AlexNet

AlexNet 用了三大概念，
1。数据扩充—增加数据的方差。
2。辍学——应对过度适应。
3。ReLU 激活单元——处理消失梯度问题。

我已经创建了一个 AlexNet 架构的变体，并在这里和那里进行了退出和批处理规范化。总共有 58，286，465 个可训练参数。最后一层有 1 个乙状结肠活化单位。

我将使用基于二进制交叉熵的 Adam 优化器进行优化。我们也会保持准确性。

我已经运行了 10 个纪元。我还添加了一个提前停止的回调函数来监控 val_loss。我们通过验证数据得到了 69.00% 的准确度，通过测试数据得到了 68.47% 的准确度。这并不令人鼓舞。如果我们进行调整或拥有更多数据，我们可以取得更大的成就。

使用预训练的 VGG19 进行迁移学习

迁移学习

迁移学习是一种非常酷的技术。在迁移学习中，我们加载一个预先训练好的模型。我们移除模型的顶部(最后几个致密层)。然后我们冻结预训练模型的卷积基。现在我们可以使用这个预先训练的模型作为特征提取器。

在迁移学习中，有时我们也可以使用预训练模型进行权重初始化，然后训练整个模型。这通常发生在我们有大量数据和/或预训练模型没有在类似数据上训练的时候。

VGG19

VGG19 来自视觉几何组。它有 19 层。它有一个新的想法，当我们使用多个小内核而不是较小的大内核时，可训练参数的数量会减少。此外，它到处使用相同的 3x3 大小的内核和 2x2 最大池，这简化了架构。

我已经用 ImageNet 权重加载了 TensorFlow Keras 预训练的 VGG19 模型，没有顶层。

然后我将这个基础模型设置为不可训练。

在模型架构中，

I)我首先添加了输入层。
ii)然后是数据扩充层。Tensorflow 将自动管理扩增仅用于训练。
iii)然后我用了 VGG19 模型的预处理。
iv)之后，我使用了基础模型，即预训练的 VGG19 模型。这是不能按照迁移学习来训练的。
v)然后我使用了全球*均池 2D 层。
vi)然后是一个展*层。
vii)然后是具有 1000 个 Relu 激活单元的全连接致密层。为了正规化，我也加入了退学。然后我添加了一个线性激活单元。因为我将在二进制交叉熵中使用 from_logits=True **** 来获得概率。

它有 514，001 个可训练参数和 20，024，384 个不可训练参数。

和前面一样，我们使用了 Adam 优化器和二元交叉熵。

这次我们用验证数据得到了 93.17% 的准确率，用测试数据得到了 93.47% 的准确率。这是一个很大的进步。

使用预先培训的 ResNet50 进行迁移学习

我们按照与上面相同的步骤来创建相同的结构。唯一的区别是基础模型现在是 ResNet50，预处理是 ResNet50。

它有 2，050，001 个可训练参数和 23，587，712 个不可训练参数。

编译和拟合阶段与上面类似。而这次，我们用验证数据得到了 94.33% 的准确率，用测试数据得到了 94.56% 的准确率。比以前有了一点点进步。

通过预先培训的 Inception V3 进行迁移学习

Inception v3 是第三个版本。它是由谷歌开发的。它有 48 层。初始网络不是一次使用一个卷积，而是同时使用所有 1x1、3x3、5x5 和 MaxPool。这个想法是，较小的内核将获得本地信息，而较大的内核将获得全局信息。它还有一个叫做瓶颈层的技巧，可以显著减少计算量。

同样，我们已经将基本模型更改为 Inception V3 以及预处理步骤。

它有 2，050，001 个可训练参数，与 ResNet50 相同，还有 21，802，784 个不可训练参数。

编译和拟合阶段与上面类似。通过验证数据，我们得到了 92.67% 的准确率，通过测试数据，我们得到了 94.40% 的准确率。比我们用 ResNet50 得到的要少。

通过预先培训的 Inception ResNet V2 迁移学习

盗梦空间 ResNet V2 由谷歌开发。他们在盗梦空间中增加了 ResNet 的跳过连接。它允许创建一个更深的 164 层网络。

我做了和上面类似的改动。

它有 1，538，001 个可训练参数和 54，336，736 个不可训练参数。

编译和拟合阶段类似于我们到目前为止所看到的。通过验证数据，我们得到了 95.33% 的准确度，通过测试数据，我们得到了 96.42% 的准确度。迄今为止最好的一个。

测试输出

所有四种迁移学习模式的表现都很相似，而且相当不错。

然而，盗梦空间 ResNet V2 在我们的案例中具有最高的准确性。因此，我们将使用它来显示一些带有测试图像的输出。

测试输出

最后的想法

如果你看到我们只为模型做了几件事，数据扩充，预处理，加载基础模型，并在顶部添加几层。我们能够达到 96.30%的准确率。这是因为迁移学习。我们可以在基础模型中增加更多的可训练层。这可以提高精确度。

参与这个项目非常有趣。也是一次很棒的学习经历，因为这是我的第一个深度学习项目。

深度学习发展非常快。每天都有新的研究论文发表。只有少数人制作了这些作品。深度学习就是要聪明。在所有的模型中，我们在上面看到，他们引入了一些新的聪明的技术。

参考

感谢阅读博客！你可以通过我的 LinkedIn 个人资料联系到我。也👏如果你喜欢的话。

酒店收入预测:用 ARIMA 预测 ADR 波动

原文：https://towardsdatascience.com/hotel-revenue-forecasting-predicting-adr-fluctuations-with-arima-5e60370b5de9?source=collection_archive---------51-----------------------

使用 ARIMA 预测日*均利率

来源:图片由 nattanan23 来自 Pixabay

*均每日房价(以下简称为 ADR)代表入住酒店的顾客每天支付的*均房价。

这是一个酒店的重要指标，因为它代表了每个客户的整体盈利能力。

在本例中，每个客户的*均日费率是每周的*均值，然后使用 ARIMA 模型进行预测。

以下分析基于来自 Antonio、Almeida 和 Nunes (2019)的数据:酒店预订需求数据集。

数据操作

在这个特定的数据集中，每个客户的年数和周数(以及每个客户记录的 ADR 值)是单独提供的。

以下是日期栏:

来源:Jupyter 笔记本输出

以下是 ADR 栏:

来源:Jupyter 笔记本输出

首先，年份和周数被组合成一个字符串:

df1 = df['ArrivalDateYear'].map(str) + df['ArrivalDateWeekNumber'].map(str)
print (df1)
df1=pd.DataFrame(df1)

然后，使用 pandas 将新列与 ADR 列连接起来:

df2 = DataFrame(c, columns= ['ADR']) 
df2df3=pd.concat([df1, df2], axis = 1)
df3
df3.columns = ['FullDate', 'ADR']

这些值随后按日期排序:

df3
df3.sort_values(['FullDate','ADR'], ascending=True)

来源:Jupyter 笔记本输出

下一步是获得每周的*均 ADR 值，例如，对于条目 201527(2015 年第 27 周)，对所有 ADR 值进行*均，以此类推每个后续周。

df4 = df3.groupby('FullDate').agg("mean")
df4
df4.sort_values(['FullDate'], ascending=True)

来源:Jupyter 笔记本输出

ARIMA

使用这个新形成的时间序列，ARIMA 模型现在可以用来预测 ADR。

对于该模型，前 100 周的数据用作训练数据，而后 15 周的数据用作测试数据，与模型做出的预测进行比较。

这是新形成的时间序列图:

来源:Jupyter 笔记本输出

从图表的初始视图来看，季节性似乎确实存在。然而，在训练数据上生成自相关函数来验证这一点。

plot_acf(train_df, lags=60, zero=False);

来源:Jupyter 笔记本输出

我们可以看到相关性(大约在第 10 周到第 45 周之间有所下降)，自相关在第 52 周再次达到峰值，这意味着每年的季节性。这实质上意味着每 52 周记录的 ADR 值之间有很强的相关性。

使用该信息， m=52 被设置为 ARIMA 模型中的季节分量，并且 pmdarima 被用于自动选择模型的 p，d，q 参数。

>>> Arima_model=pm.auto_arima(train_df, start_p=0, start_q=0, max_p=10, max_q=10, start_P=0, start_Q=0, max_P=10, max_Q=10, m=52, stepwise=True, seasonal=True, information_criterion='aic', trace=True, d=1, D=1, error_action='warn', suppress_warnings=True, random_state = 20, n_fits=30)Performing stepwise search to minimize aic
 ARIMA(0,1,0)(0,1,0)[52]             : AIC=422.399, Time=0.32 sec
 ARIMA(1,1,0)(1,1,0)[52]             : AIC=inf, Time=21.87 sec
 ARIMA(0,1,1)(0,1,1)[52]             : AIC=inf, Time=48.20 sec
 ARIMA(0,1,0)(1,1,0)[52]             : AIC=inf, Time=40.99 sec
 ARIMA(0,1,0)(0,1,1)[52]             : AIC=inf, Time=38.19 sec
 ARIMA(0,1,0)(1,1,1)[52]             : AIC=inf, Time=39.33 sec
 ARIMA(1,1,0)(0,1,0)[52]             : AIC=414.708, Time=0.95 sec
 ARIMA(1,1,0)(0,1,1)[52]             : AIC=inf, Time=47.51 sec
 ARIMA(1,1,0)(1,1,1)[52]             : AIC=inf, Time=59.30 sec
 ARIMA(2,1,0)(0,1,0)[52]             : AIC=413.878, Time=1.86 sec
 ARIMA(2,1,0)(1,1,0)[52]             : AIC=inf, Time=59.96 sec
 ARIMA(2,1,0)(0,1,1)[52]             : AIC=inf, Time=60.34 sec
 ARIMA(2,1,0)(1,1,1)[52]             : AIC=inf, Time=77.60 sec
 ARIMA(3,1,0)(0,1,0)[52]             : AIC=414.514, Time=2.05 sec
 ARIMA(2,1,1)(0,1,0)[52]             : AIC=415.165, Time=3.74 sec
 ARIMA(1,1,1)(0,1,0)[52]             : AIC=413.365, Time=1.91 sec
 ARIMA(1,1,1)(1,1,0)[52]             : AIC=415.351, Time=66.38 sec
 ARIMA(1,1,1)(0,1,1)[52]             : AIC=inf, Time=57.54 sec
 ARIMA(1,1,1)(1,1,1)[52]             : AIC=inf, Time=76.00 sec
 ARIMA(0,1,1)(0,1,0)[52]             : AIC=411.433, Time=1.08 sec
 ARIMA(0,1,1)(1,1,0)[52]             : AIC=413.422, Time=29.17 sec
 ARIMA(0,1,1)(1,1,1)[52]             : AIC=inf, Time=67.32 sec
 ARIMA(0,1,2)(0,1,0)[52]             : AIC=413.343, Time=1.76 sec
 ARIMA(1,1,2)(0,1,0)[52]             : AIC=415.196, Time=3.69 sec
 ARIMA(0,1,1)(0,1,0)[52] intercept   : AIC=413.377, Time=2.05 sec

Best model:  ARIMA(0,1,1)(0,1,0)[52]          
Total fit time: 809.281 seconds

根据最低的 AIC 值， ARIMA(0，1，1)(0，1，0)[52] 的 ARIMA 模型配置被指示为最佳拟合的模型。

现在，该模型可用于预测未来 15 周，并将这些预测与测试集进行比较:

predictions=pd.DataFrame(Arima_model.predict(n_periods=15), index=test_df)
predictions=np.array(predictions)

在将预测值与测试集的值进行比较之前，预测值将被重新整形，以便与测试集的格式相同:

>>> predictions=predictions.reshape(15,-1)
>>> predictionsarray([[ 88.0971519 ],
       [103.18056307],
       [117.93678827],
       [121.38546969],
       [112.9812769 ],
       [120.69309927],
       [144.4014371 ],
       [166.36546077],
       [181.69684755],
       [190.12507961],
       [204.36831063],
       [218.85150166],
       [216.59090879],
       [197.74194692],
       [156.98273524]])

现在，可以将测试值与基于均方根误差(RMSE)的预测值进行比较，数值越低表示误差越小。

>>> mse = mean_squared_error(test_df, predictions)
>>> rmse = math.sqrt(mse)
>>> print('RMSE: %f' % rmse)
RMSE: 10.093574>>> np.mean(test_df)
160.492142162915

与*均值 160 相比，RMSE 为 10。这表示误差略高于*均值的 6%，表明该模型预测 ADR 趋势的准确度相当高。

这是预测值与实际值的对比图。

来源:Jupyter 笔记本输出

结论

非常感谢您的宝贵时间，非常感谢您的任何问题或反馈。

免责声明:本文是在“原样”的基础上编写的，没有担保。本文旨在提供数据科学概念的概述，不应被解释为任何形式的专业建议。作者与本文提及的任何第三方无任何关系。

热点:机器学习系统中表现不佳区域的自动化

原文：https://towardsdatascience.com/hotspots-automating-underperformance-regions-surfacing-in-machine-learning-systems-89cc4a18ec27?source=collection_archive---------25-----------------------

隔离有问题的数据以进行补救和重新训练 ML 模型

粘土银行在 Unsplash 拍摄的照片

当系统具有高维数据时，对正确的数据输入区域进行故障排除就成为一个难题。热点自动识别与较差的 ML 性能相关的区域，以显著减少寻找这些区域的时间和错误。

概观

我们可能在生产中部署了一个 ML 模型，并在适当的位置部署了一些监控。我们可能会注意到，从经典的性能度量或者从结合可解释性技术的漂移监控来看，性能正在下降。我们已经确定我们的模型失败了，下一步是确定我们的模型失败的原因。

这个过程将涉及到分割和切块导致模型退化的输入数据。也就是说，我们希望看到哪些特定的输入区域与较差的性能相关联，并在此基础上制定解决方案，例如找到管道中断或在这些区域上重新训练我们的模型。

这基本上可以归结为一个耗时的大海捞针的任务。如果我们可以对流程进行逆向工程，并直接向用户展示所有的针，即与低性能相关的输入区域，会怎么样？

我们可以！我们将采取的步骤是

(1)在适当的划分目标上训练决策树。

(2)创建和存储热点树工件。

(3)在查询时从热点树中检索热点。

图 1:训练数据集并使用它创建热点树的通用框架，然后查询热点树以检索热点。每个阶段都输出下一行的第一部分中使用的工件。(图片由作者提供)

在下面的玩具例子中，我们将在整个帖子中使用，我们有两个由抛物线函数分隔的地面真实区域，抛物线上方是蓝色，下方是红色。数据点的颜色代表预测。我们希望隔离预测颜色与区域颜色不匹配的热点区域，我们在两个不同精度阈值的浅色框中这样做。

图 2:基于两个输入的热点检索示例。方框是热点，其中红色区域中的蓝点和蓝色区域中的红点是不正确的分类。随着阈值(在这种情况下是准确度)的降低，该算法以具有更多不正确分类的候选节点为目标，并且热点区域变得更窄/更纯。(图片由作者提供)

(1)在适当的划分目标上训练决策树

决策图表

当我们考虑将数据划分到感兴趣的区域时，我们应该考虑树模型，特别是决策树。请记住，我们的任务最终是一个推理任务，而不是预测任务，因此没有必要使用像随机森林或 XGBoost 这样的树集合模型，因为(a)我们没有试图执行预测，以及(b)集合引入了噪声和不确定的决策路径来分割我们的数据。

简单地说，假设输出是彩色，我们有蓝色和红色的弹珠。所有的弹珠在两组中都有不同的直径，但是蓝色弹珠是有纹理的，而红色弹珠是光滑的。如果我们必须在直径大小或纹理之间选择来划分我们的弹珠，我们会选择基于纹理来划分弹珠，即纹理或*滑，因为这将完美地将蓝色弹珠分成一组，将红色弹珠分成另一组，在这种情况下，有效地将每组中的杂质减少到 0。

实际上，数据集需要多次分裂，以便将叶节点中的杂质减少到 0。

分割目标

那么，上面的蓝色和红色弹珠的等效物到底是什么呢？我们最终想要将坏的预测与好的预测分开，并且需要一些度量作为输出，即在我们的决策树中的划分目标。

对于分类，我们可以将正确的分类编码为 1，不正确的分类编码为 0。如果我们在划分时需要更多的粒度，我们也可以将分类编码为 1、2、3 或 4，分别表示真阳性、假阳性、真阴性和假阴性。

对于回归，我们实际上需要编码回归输出，即地面事实和预测之间的 RMSE，作为分类输出，例如，如果 RMSE 大于 RMSE 的中值+RMSE 的中值*均偏差，则数据点编码为 1，否则编码为 0。我们也可以使用百分比规则，例如，RMSE 超过 80%百分比的数据点为 1 或 0。我们不使用均值和标准差的原因是因为这些值会被高 RMSE 异常值扭曲，而重点是划分与*均值相比具有高 RMSE 的数据点。这模拟了我们在分类案例中想要的行为，在解释了分类案例的方法之后，我们将更深入地研究为什么我们不能使用回归输出。

(2)创建和存储热点树工件

如果我们将玩具示例中的 500 个数据点输入到决策树中，使用上面讨论的四个类的编码方法，该树看起来像这样:

在这里，我们只有两个特征:X[0]和 X1。在决策树的每个节点上，数据根据特征和临界值被分成两个子节点。例如，在根节点处，500 个数据点被分成两组，左子组和右子组，其中 X1 ≤ -2.258 和 X1 >-2.258。我们可以沿着从根节点到任何子节点的任何特定路径积累规则。

我们还可以计算节点中数据的准确性、精确度、召回率和 F1 等性能指标。

(3)在查询时从热点树中检索热点

现在我们有了热点树，让我们挑选一些热点！请注意，在图 2 中，我们有 0.3 和 0.5 的精度阈值。在后一种情况下，热点区域更宽，会意外捕获更多正确分类的点。随着阈值的降低，我们对偶然捕获正确分类的更大区域的容忍度降低。通常，我们可能认为我们总是想要较低的阈值来仅捕获错误分类的数据点，但是这确实冒了风险:( a)使区域变得非常小并且不可解释;( b)隔离许多可能不包含许多数据点的区域，需要大量的人工工作来调查。

那么这些热点是如何恢复的呢？

当在查询中发送准确性阈值以从热点树中提取热点时，我们从根节点开始遍历所有可能的路径。在遍历中的任何节点，如果一个节点违反了阈值，则该节点被定义为热点，并且该节点中的所有信息被附加到返回给用户的热点列表中。

具体来说，在我们的例子中，准确性是我们的衡量标准。在任何特定节点，如果该节点的精度低于阈值，我们知道该节点中的数据点共同违反了阈值，并且该节点是热点。每当一个节点被识别为热点时，沿该路径的遍历停止，因为下游节点会更纯，而性能差的节点甚至更极端地违反用户提供的度量和阈值。

当然，在查询时定义指标和阈值的好处在于，用户可以根据问题和阈值的容忍度，使用不同的指标和阈值组合进行重新查询。

发现热点！

使用阈值为. 5 的示例，我们的三个热点是

热点包含输入数据区域上的过滤器，这些过滤器可应用于获取整个数据集以进行进一步检查、研究和模型开发。

深潜

如承诺的那样，回答上面关于回归的悬而未决的问题，再加上一些更深层次的问题！

深入研究:(1)根据适当的划分目标训练决策树

那么为什么不回归呢？

假设我们有大部分的 RMSE 价值观。05 和大约 0.10 的一些 RMSE 值，我们希望标记和隔离后者。回归树完全有可能将更多的. 10 RMSE 数据点分组在树的较低位置，一旦检测到热点，我们将永远无法根据停止角色找到它们。例如，一个路径可能是 0.06 毫秒、0.09 毫秒、0.04 毫秒。给定 0.06 和 0.09 毫秒之间的用户阈值，在这种情况下，我们将永远不会到达第三个节点，因为 0.09 > . 04，并且第三个节点可能包含许多 0.10 RMSE 数据点(较低的 0.04 值来自于这样一个事实，即有许多 0.10 RMSE 数据点，只有几个 09 MSE 点，因此在 RMSE 值非常接*的意义上，该节点是“纯的”)。

我们可以使用自定义回归标准来解决这一问题，该标准使用相对于 0 的距离，即原始 RMSE 值，而不是相对于节点中*均 RMSE 的 MSE 距离，但这引入了跨模型和数据汇总的标准化问题。如果 0.10 的 RMSE 值对一个模型来说并不坏，但对另一个模型来说却是坏的，那该怎么办呢？因此，将回归设置转换为分类设置更可靠。

数据汇总

如果我们有一个流(或批处理)模型，我们一次在创建热点树时要放多少数据？如果我们在上周(或之前批次的)数据上创建了一个热点树，现在看到了传入的数据，我们是追加这些数据点并重新训练之前的树，还是为本周(或当前批次的)数据创建一个新的热点树？

实现这一点当然没有错误的方法，但在 Arthur AI，我们采用后一种方法。如果我们有一棵桔子树，现在有一些苹果装在一个盒子里，我们可能会对产生这些苹果的苹果树感兴趣，以找出为什么我们会收到一些腐烂的苹果，而不是我们上周已经检查过的桔子树(或批次)。

元数据丰富！

请注意决策树的输入实际上可以是任何东西，包括没有用作创建原始预测的模型的输入的元数据！这意味着通过热点展现洞察力不仅限于模型输入，如果我们跟踪模型中敏感的非输入属性，如种族或性别，这可能会有好处。

深入研究:(2)创建和存储热点树工件

为什么所有的指标？

准确性不是王道，用户需要不同的度量标准，这取决于他们的 ML 模型正在解决的任务。这个很好地介绍了精度和召回率等其他性能指标。读完之后，这里有两个实际的例子，在我第一次学习精确和回忆的时候帮助了我。

(1)考虑用于从财务报告中抓取财务数据的机器人的异常检测系统。如果我们有许多来自 ML 模型的假阳性，这将是可怕的，这意味着该模型将预测错误的信息(阳性)存在于许多实际上是正确的(假的)文档中，导致补救团队在没有错误的任务上浪费时间(如果一些假阴性从裂缝中溜走，这真的不会是很大的问题)。在这种情况下，高精度很重要。

(2)考虑癌症检测模型。如果我们从 ML 模型中得到许多假阴性，这将是可怕的，这意味着该模型将预测许多确实患有癌症(假)的人没有癌症(阴性)，导致缺乏推荐的治疗和这些人的进一步健康并发症。在这种情况下，高召回率很重要。

多分类和微矩阵

图 4:一个多分类的例子(作者的图片)

结论

今天到此为止！希望您获得了一些关于如何为您的特定用例实现热点浮现的见解！我们在 Arthur AI 实施这些类型的系统，自动化是 ML 监控中客户体验的一个重要产品类别。

快乐监控！

设计生态学家在 Unsplash 上拍摄的照片

基于 Zillow 经济学数据集的房价预测

原文：https://towardsdatascience.com/house-price-forecasting-using-zillow-economics-dataset-2b58e6cd1c03?source=collection_archive---------25-----------------------

现实世界中的 DS

基于 SARIMA 模型的房价时间序列预测

作者图片

在之前的博客中，我们讨论了使用机器学习算法的房价预测模型。在这篇博客中，我们将讨论使用统计建模方法对 Zillow economics 数据进行时间序列预测。该项目于 2019 年 9 月实施，并对下一年即 2020 年的房价进行了预测。通过改变预测的跨度，即预测的年份或预测的持续时间，可以重用代码。本博客中讨论的结果是 2020 年的。

该项目通过使用 ARIMA 2020 年的统计模型预测房价，并显示全国和州房价的总体趋势，从而帮助客户、房地产代理商、房屋交易公司和其他投资者。2008/2009 年的大衰退给美国房地产市场带来了巨大损失。然而，房地产市场已经反弹，经历了房地产市场房价下跌后的快速上涨。投资房子是重大决策，需要慎重考虑。

房地产市场的上升趋势使得整个行业相当不稳定。因此，建议潜在买家在房产调查时多花些功夫，考虑他们的预算、财产税和其他各种因素。因此，对于潜在的买家和卖家来说，在采取大的或小的步骤之前，咨询房地产和房屋市场专家变得不仅仅是必要的。这个房屋预测数据科学项目将帮助买家、卖家、房地产顾问和其他利益相关者进行决策。1

本项目中使用的数据集是

1. Zillow 经济学数据集-县时间序列和县人行横道

数据来源:【https://www.kaggle.com/zillow/zecon

Zillow 的经济研究团队从各种公共和私有来源收集、整理和发布住房和经济数据。向当地市政府归档的公共财产记录数据，包括契约、财产事实、地块信息和交易历史，构成了我们数据产品的主干，并通过 Zillow 上的财产清单和用户行为衍生的专有数据得到充实。

Zillow 汇总的大部分房地产市场和经济数据都可以在 zillow.com/data.免费下载

可用的数据文件有:cities_crosswalk.csv、City_time_series.csv、County_time_series.csv、CountyCrossWalk_Zillow.csv、DataDictionary.csv、Metro_time_series.csv、Neighborhood_time_series.csv、Neighborhood_time_series.csv、State_time_series.csv、Zip_time_series.csv [2]

我用的是 County_time_series.csv，CountyCrossWalk_Zillow.csv [2]

时间序列数据依赖于时间；以恒定的时间间隔进行采样。Zillow 每个月底都会收集数据。时间序列会有某种形式的季节性趋势。*稳时间序列的统计特性如均值、方差、自相关等。都是不变的。大多数统计预测方法都是基于这样一种假设，即通过使用数学变换，时间序列可以呈现为*似*稳的(即“*稳化”)。一个*稳化的序列相对容易预测:你简单地预测它的统计特性在未来将会和过去一样！

试图使时间序列*稳化的另一个原因是为了能够获得有意义的样本统计数据，如均值、方差以及与其他变量的相关性。如果序列是稳定的，这种统计作为未来行为的描述符仅是有用的。例如，如果序列随着时间的推移不断增加，样本均值和方差将随着样本的大小而增加，并且他们将总是低估未来期间的均值和方差。

使用 plolty 绘制的“所有房屋的销售价格中值”如下所示。

按月重采样后

下图是按月重新采样后的视图。

用迪基富勒测试检查*稳性

扩展的 Dickey-Fuller 测试是一个众所周知的统计测试，可以帮助确定您的时间序列是否是*稳的。[4]

静止与非静止

在*稳的时间序列中，均值和方差等统计属性在一段时间内保持不变。在非*稳序列中，这些属性依赖于时间。

为了确定一个时间序列是否*稳，我们将使用 ADF 检验，一种单位根检验。单位根是不稳定的一个原因，ADF 测试将测试单位根是否存在。[7]

如果时间上的单次移动不改变时间序列的统计特性，则时间序列是*稳的，在这种情况下，单位根不存在。

扩充的 Dickey-Fuller 检验的无效假设和替代假设定义如下:

零假设表明存在单位根。

另一种假设认为没有单位根。换句话说，*稳性是存在的。

如果 P 值小于定义的显著性水*，我们拒绝时间序列包含单位根的零假设。换句话说，通过拒绝零假设，我们可以得出结论，时间序列是*稳的。

如果 P 值非常接*您的显著性水*，您可以使用临界值来帮助您得出关于时间序列*稳性的结论。我为这个测试所做的实现在 Python Jupyter 的笔记本中，可以根据需要获得。

对时间序列执行 Adfuller 函数后的初始值

这里的滚动*均值不断增加，因此时间序列是非*稳的。在上图中，我们可以看到，检验统计量(p 值) >临界值为 5%，所以该时间序列是非*稳的。

消除趋势和季节性

差分就是用一个特定的时间间隔来计算差值。分解是对趋势和季节性建模，并将它们从模型中移除。

消除趋势和季节性

差异:在特定的时间间隔内取差异，分解:建模趋势和季节性，并从模型中移除它们

测试统计< critical value & p-value is 0.000005. We are getting constant mean and standard deviation. So now we got stationary time series.

ARIMA

ARIMA 算法是一类捕捉时间序列数据中时间结构的模型。然而，仅使用 ARIMA 模型，很难对变量之间的非线性关系进行建模。

自回归综合移动*均模型(ARIMA)是自回归移动*均(ARMA)的广义模型，它结合了自回归(AR)过程和移动*均(MA)过程，建立了时间序列的复合模型。

AR:自回归。一种回归模型，使用一个观察值和多个滞后观察值之间的相关性。

一:集成。通过测量不同时间观察值的差异使时间序列*稳。

移动*均线。当移动*均模型用于滞后观测值(q)时，考虑观测值和剩余误差项之间相关性的一种方法。p 阶 AR 模型的简单形式，即 AR (p ),可以写成线性过程，由下式给出:

这里 Xt 代表*稳变量， c 为常数， ∅t 中的项为滞后 1，2，…，p 处的自相关系数， ξt， 为残差，为均值为零且方差为 σt 的高斯白噪声序列。

ARIMA 模型的一般形式被表示为 ARIMA (p，q，d)。对于季节性时间序列数据，短期非季节性成分可能会对模型产生影响。ARIMA 模型通常表示为 ARIMA (p，q，d)，其中:—

• p 是用于训练模型的滞后观测值的数量(即滞后阶数)。
• d 是应用差分的次数(即差分的程度)。
• q 是移动*均窗口的大小(即移动*均的阶数)。

例如，ARIMA (5，1，0)表示自回归的滞后值设置为 5。它使用差序 1 使时间序列*稳，最终不考虑任何移动*均窗口(即大小为零的窗口)。RMSE 可用作误差度量来评估模型的性能、评估预测的准确性以及评估预报。

因此，我们需要估计季节性 ARIMA 模型，它在一个乘法模型中包含了非季节性和季节性因素。季节性 ARIMA 模型的一般形式表示为(P，Q，d) X (P，Q，D)S，其中 P 是非季节性 AR 订单，D 是非季节性差异，Q 是非季节性 MA 订单，P 是季节性 AR 订单，D 是季节性差异，Q 是季节性 MA 订单，S 是重复季节性模式的时间跨度。估计季节性 ARIMA 模型最重要的一步是确定(P，Q，D)和(P，Q，D)的值。

然后，使用自相关函数(ACF)来测量由滞后 P 分隔的时间序列中的观测值之间的线性相关量，使用偏自相关函数(PACF)来确定需要多少个自回归项 q，使用反自相关函数(IACF)来检测过差分，我们可以识别自回归阶 P、差分阶 D、移动*均阶 q 的初始值以及它们相应的季节参数 P、D 和 q。参数 D 是从非*稳时间序列到*稳时间序列的差频变化的阶。

在针对单个时间序列数据的流行的单变量方法“自回归移动*均(arMA)”中，自回归(AR)和移动*均(MA)模型被结合起来。单变量“自回归综合移动*均(ARIMA)”是一种特殊类型的 ARMA，其中模型中考虑了差异。

多变量 ARIMA 模型和向量自回归(VAR)模型是其他最流行的预测模型，这些模型又通过允许一个以上的演变变量来推广单变量 ARIMA 模型和单变量自回归(AR)模型。

ARIMA 是一种基于线性回归的预测方法，最适合预测一步样本外预测。这里，所开发的算法执行具有重新估计的多步样本外预测，即，每次模型被重新拟合以建立最佳估计模型。该算法处理输入的“时间序列”数据集，建立预测模型，并报告预测的均方根误差。它存储两个数据结构来保存每次迭代中累积添加的训练数据集“历史”，以及测试数据集的连续预测值“预测”

萨里玛

ARIMA 是用于单变量时间序列数据预测的最广泛使用的预测方法之一，但是它不支持具有季节成分的时间序列。扩展了 ARIMA 模型(SARIMA ),以支持该系列的季节性部分。SARIMA(季节性自回归综合移动*均)是一种时间序列预测方法，用于包含趋势和季节性的单变量数据。SARIMA 由该系列的趋势和季节元素组成。[8]

与 ARIMA 模型相同的一些参数是:

• p :趋势自回归顺序。
• d :趋势差序。
• q :趋势移动*均订单

不属于 ARIMA 的四个季节要素是:

• P :季节性自回归顺序。
• D :季节差价订单。
• Q :季节性移动*均订单。
• m :单个季节周期的时间步数。

因此，SARIMA 模型可以指定为:

萨里玛(P，D，q) (P，D，Q)米

如果 m 是 12，它指定每月数据表示每年的季节性周期。

SARIMA 时间序列模型还可以与空间和基于事件的模型相结合，以产生解决多维 ML 问题的集成模型。这样的 ML 模型可以被设计来预测一年中一天中不同时间的蜂窝网络中的小区负载，如下面的示例图所示

来自时间序列分析的自相关、趋势和季节性(工作日、周末效应)可用于解释时间影响。

调整 SARIMA 超参数

配置 SARIMA 需要为序列的趋势和季节元素选择超参数。

实施细节

我使用 SARIMA 为时间序列预测编写的 python 代码(Jupyter notebook)可以按需获得。

用于预测时间序列数据的一个常用模型是 ARIMA 模型。它代表自回归综合移动*均线。如您所知，数据具有季节性，因此让我们使用季节性 ARIMA，SARIMAX 来预测模型。

Python 中可用于建模和预测时间序列未来点的方法之一称为 SARIMAX，它代表带有外生回归量的季节性自回归综合移动*均。

使用的 API 是-stats models . TSA . statespace . sarimax . sarimax[5]

使用的指标

R

r 表示项(数据点)与曲线或直线的拟合程度。

MSE — 均方误差

RMSE —均方根误差。它是 MSE 的*方根。

使用 Zillow Economics 数据集中的 County_time_series 进行县级房价中位数预测

每个 Zillow 房屋价值指数(ZHVI)是一个时间序列，跟踪特定地理区域的每月房屋价值中位数。一般来说，每个 ZHVI 时间序列始于 1996 年 4 月。Zillow 生成了七个地理级别的 ZHVI:街区、邮政编码、城市、国会选区、县、大都市地区、州和国家。我们用一个县的房价中值来做预测。我们先来看趋势。

在上图中，你可以看到一个清晰的趋势，但趋势中也有季节性。时间序列的预测应该是稳定的，否则预测将是不正确的。

预测模型(县序列 ZHVI _ 所有家庭)

从上面的图表中，我们可以看到-

直方图与 KDE 略有不同。线性回归是可以改进的。

验证模型

让我们通过列车测试和分离来验证该模型。[80, 20]

上面的预测并不完美，但与其他参数相比仍然是更好的。让我们看看模型的均方误差。

得到的均方误差为 95146.11

在上图中，您可以看到对未来 24 个月的预测，置信区间也更好，并且没有看到太大的差异。

预测清楚地表明，与 2019 年相比，2020 年的房价将会上涨。

后续步骤

作为下一步，我想使用亚马逊预测 API 来预测房价，并检查它是否会给出更好的结果。

承认

我真诚地感谢我的数据科学导师 Ramakrishna Soma 博士对我完成这个项目的指导和鼓励。

参考

类固醇上的房价预测

原文：https://towardsdatascience.com/housing-price-prediction-on-steroids-83daccc84d6d?source=collection_archive---------34-----------------------

通过使用 Python 从外部数据生成要素来提升性能。

西雅图风景；图片来自pixabay.com

介绍

在本文中，我们将创建一个预测模型来预测西雅图的房价。我们将首先使用房产的属性制作一个模型，比如*方英尺、房间、卧室、浴室、风景等等。

然后，我们将通过从外部数据生成特征，如文化空间、公园、公共艺术场所、高尔夫球场、游泳海滩、野餐桌等的邻*度，来 显著改进该模型..衡量每个新增功能的改进。

我们要做什么

• 步骤 1: 探索西雅图房价数据
• 第二步:创建价格预测模型
• 步骤 3: 从外部数据添加特征
• 第四步:比较和分析结果

第一步。探索西雅图房价数据

100 次观察的随机样本

“价格”列将是我们预测的目标变量。

让我们来看看价格与其他价格的关联热图。

价格对所有的关联图

值得一提的是，源代码并没有提供每个特性的描述，有些特性还不太清楚。出于本教程的考虑，我假设‘sqft _ living 15’是‘sqft _ living’的某种变体，以此类推。此外，他们如何量化“条件”、“景观”或“滨水区”有点神秘，但这并不困扰我，因为它们都没有根本的相关性。

第二步。创建价格预测模型

让我们创建一个标准模型来获得预测分数、训练(90%)和测试(剩下的 10%)。

StandardModel 类获得分数

引用文章的作者通过使用GradientBoostingRegressor获得了最佳结果，因此让我们用完全相同的参数保持完全相同的实验，以便能够知道这些特性带来了多少孤立的改进。

分数是 0.79(在 0-1 的范围内)。

我们想了解每个特性给表带来了多少改进。让我们做一个实验。让我们从一个随机选择的变量开始预测，然后一次增加一个变量，看看分数如何达到 0.79 的整个过程。

需要说明的是，第一行是模型只通过使用‘yr _ renewed’得到的分数，第二行是模型同时使用的‘yr _ renewed’和‘sqft _ living’得到的分数，以此类推。

这是每个新特性如何改进这个特定实验的模型的路线图。当然，并不是所有的功能都带来价值(有些功能甚至会减去价值)，有些功能非常相关。

然而，这并不意味着如果以不同的顺序选择，这些特性会以相同的方式提供帮助，所以让我们将这个实验运行 30 次并收集数据以获得对特性重要性的更真实的了解。

让我们来看看 30 次实验后按特性计算的*均改进。

虽然探究为什么 sqft_lot 似乎会破坏模型会很有趣，但是这些结果并没有什么特别显著的地方。

第三步。从外部数据添加要素

现在，我们希望通过按位置添加相关数据来生成有用的特征。

假设是野餐桌的距离与房价有着有意义的关系(如果附*有公园，房产会更有价值)。

为了生成有用的数字特征并将其添加到我们的数据集中，我们使用了位置混合算法。其工作原理是，我们将原始数据(西雅图房价)作为起点，并在限定的半径范围内添加来自“外部”数据集(野餐桌)的附*观察值的数量。

位置混合算法

“半径 1 公里范围内的野餐桌数量”作为一个新列添加到我们的西雅图住房数据集中，如下所示:

混合外部数据之前的数据帧

我们使用 OpenBlender API 在我们的数据帧上定位混合 1 公里半径上的野餐桌的“计数”,作为一个新特性。

现在，我们的西雅图住房数据框架有了一个新的数值特征，即在 1 公里的半径范围内计算野餐桌的数量。

混合后的数据帧

现在，让我们添加许多其他功能:

足球场

游玩区域

浅水池

饮水机

绿色区域

篮球场

公共艺术

野餐地点

高尔夫球场

让我们为 300 米半径和 1 公里半径创建特征。

现在我们有一个 47 列的数据框架，带有数字特征。

21613 行× 47 列

第四步。分析结果

现在让我们再次通过我们的模型运行新数据。

分数是 0.914！！

让我们再次随机添加变量，并与之前没有外部数据的模型进行比较，查看特性路线图。

没有外部数据的最大分数为 0.79 ，而有新数据的新分数为 0.91** ，在两种情况下使用相同的测试集和相同的模型。**

这是一个巨大的改进，我们只增加了一些功能！有一个几乎无限的功能宇宙可以添加，以进一步提高分数。

让我们再次运行实验 30 次，以了解每个特性的相关性。

文化空间似乎发挥了特别重要的作用。许多新功能提供了显著的改进。

这是 Github 到这个回购的链接。

如何在两周内构建基于云的 ML Ops 框架

行业笔记

在本帖中，我们将详细介绍我们如何依靠软件工程中的 DevOps 最佳实践，在两周内构建一个完整的 ML Ops 框架。

我们对 ML Ops @ Ekstra Bladet 的实现名为“Jokke”。资料来源:Ekstra Bladet。

许多组织已经投资开发基于机器学习的服务，但仍在努力寻找将机器学习模型从开发过渡到生产的最佳方式。

时至今日，这种方法通常是严格的，并且意味着各种各样的手动过程(以及这种手动过程所带来的所有操作风险)。从组织和模型开发人员的角度来看，这是非常低效和反生产的。

解决方案:ML Ops

当你开发一个现实生活中的机器学习服务时，你实际上是在开发一个软件。因此，在传统软件开发的世界中寻找解决方案是显而易见的。

正如在之前的文章中所详细描述的，来自软件工程的 DevOps 最佳实践使得软件可以(持续地)立即交付生产，并保持其可靠运行。

这些 DevOps 原则可以应用于开发和部署机器学习服务(新版本)的迭代过程。当这样做时，这有时被称为机器学习操作 (=ML Ops) 。

与 DevOps 类似，ML Ops 依赖于工具、自动化和工作流，这些工具、自动化和工作流抽象出意外的复杂性，让模型开发人员专注于他们应该做的事情和他们擅长的事情:开发机器学习模型。

建还是买？

存在多个云机器学习*台，包括 AWS Sagemaker、BentoML 和 ML Flow。它们当然不坏，但它们可能很贵，有时感觉像用大锤砸坚果。

当我们考虑如何接* ML Ops 时，我们知道我们将很快不得不将许多机器学习模型投入生产，特别是推荐系统和自然语言处理系统。

此外，我们知道我们需要一个标准化和可扩展的设置。这种设置必须为几个模型构建者指定清晰简单的规则，同时保持训练方法的自由度。最后，我们的解决方案必须支持多种多样的 ML 模型，并能够轻松实现不断涌现的新机器学习方法。

这让我们选择建造而不是购买。

遇见“Jokke”

在我们的组织 Ekstra Bladet 中，我们使用 Amazon Web Services 堆栈中的一套相关服务，在两周内构建了一个简单(但功能强大)的基于云的 ML Ops 实现。我们把这个框架命名为“Jokke”。

其核心“Jokke”由两条连续集成 / 连续输送管道组成。管道是动作序列，每次模型开发人员向 git 提交新版本的机器学习模型时都会自动运行:

1. 构建和发布模型的构建管道
2. 一个 DEPLOY 管道将模型部署为一个微服务，通过 HTTP 请求计算预测

下面我们举例说明了两个管道的工作流程(的简化版本),以及它们是如何相互链接的。

“Jokke”构建和部署 CI/CD 管道的工作流程。资料来源:Ekstra Bladet

接下来，我们将带您更详细地了解每个管道的工作原理。

阶段 1:构建

为了让机器学习模型与我们的框架兼容，模型的代码必须只满足几个要求。

我们已经尝试设计需求，这样它们强制执行我们为我们的模型开发代码的方式的最小标准化，而不限制模型开发人员对他们的分析方法和工具的选择的不必要的限制(实际上这是最重要的原因之一，为什么我们首先决定开发我们自己的框架)。

首先，我们要求模型的代码必须包装成 python 包。这是我们的框架与大多数可用解决方案之间的主要区别，后者专注于将笔记本电脑转变为服务。

我们还要求，模型本身必须作为自己的 python 类Model来实现，并有两个强制方法:

1. produce_model():产生模型的方法。
2. predict():通过调用(1)得到的训练模型预测新观测值的方法。

当模型开发人员向 git 提交模型的新版本时，它会触发“Jokke”BUILD管道来启动一个适当维度的虚拟实例，该实例:

• 安装软件包
• 运行由模型开发人员编写的测试(例如，单元、集成和验收测试(包括模型性能测试))
• 训练并生产模型工件(使用produce_model()方法)
• 在我们自己的 Python 包索引上发布模型包
• 将模型工件和测试报告写入 AWS S3 存储桶

如果管道中的一个步骤失败，所有后续步骤都将中止。

如果流水线是成功的，则机器学习模型的新版本通过 python 模型包的新版本与训练好的模型工件的结合来发布。

一个用 Github 动作实现的我们的人工智能项目“NERDA”的简化“构建”管道的例子。

阶段 2:部署

如果“Jokke”构建管道成功，我们现在就有了自己的机器学习模型的新版本。如果我们想将模型部署为服务，即实时预测服务，我们的 Jokke DEPLOY 管道将完成这项工作。

我们所需要的是，模型开发人员构建一个最小的应用程序(默认为 python Flask 应用程序)，该应用程序(1)加载由构建管道产生的模型包和模型工件，以及(2)利用predict()方法预测“预测”端点中的新观察。

当模型开发人员向 git 提交应用程序的新版本时，它会触发“Jokke”DEPLOY管道，即:

1. 收集由构建管道产生的模型包和模型工件
2. 将应用程序封装并发布为 Docker 映像
3. 从(2)中内置的 Docker 映像启动一个 web 服务，该服务提供实时预测

与第一阶段一样，如果管道的任何步骤失败，所有后续步骤都将中止。

如果流水线成功，机器学习模型现在在测试环境中运行，在那里它通过 RESTFUL API(默认)实时提供预测。

如果我们对我们的新服务感到满意，剩下要做的就是单击一下就批准它，这将触发我们的服务部署到生产。耶！

还有吗？

此外，我们还开发了云基础设施，这使得为新项目启用管道以及在测试和生产中实时监控模型服务的仪表板变得更加容易。

我们取得了什么成就？

“Jokke”管道的优势在于，每当模型开发人员想要发布一个新版本的模型时，它们会自动执行原本必须由他/她手工完成的操作和工作。这使得可以(连续地)立即将新模型交付生产，并保持它们可靠地运行。

此外，“Jokke”使我们的模型开发人员能够专注于模型开发，从而利用他们的生产力。

快捷键

如果你想为你的机器学习项目尝试 CI/CD，你可以考虑开源框架 CML(连续机器学习)，那看起来真的很有前途。

如果您像我们一样选择开发自己的框架，我们建议您利用您的云*台上的相关服务。例如，我们使用 AWS CodeBuild 和 AWS Code Pipeline 来编排我们的管道。其他成熟的云*台上也有类似的服务。使用这些服务当然有助于大大加快我们的开发过程。

退关货物

“Jokke”是由三个人组成的团队在两周内开发的:亚历山大·詹森、西蒙·科肯多夫和你真正的。它现在被 Ekstra Bladet 的数据科学团队和 Ekstra Bladet 的 ML 创新团队用于构建和部署大规模模型，后者是新闻*台智能项目的一部分，由丹麦创新基金慷慨赞助。

资源

https://cml.dev/ https://pypi.org/project/cookiecutter/

400，000+Tweets 如何显示 Simone Biles 获胜

原文：https://towardsdatascience.com/how-400k-tweets-show-that-simone-biles-wins-ee941bdb13e2?source=collection_archive---------22-----------------------

奥运会是世界聚集的地方。Twitter 是全世界分享观点的地方。让我们使用 Graphia 和 NetworkX 来看看 Twitter 是如何对 Simone Biles 的决定做出反应的

围绕“西蒙·比尔斯”的推文网络在 Graphia |塞犍陀·维韦克中可视化

西蒙·比尔斯的所作所为非常勇敢。或者至少，这是一种观点——我同意。我也热切地相信，她所做的将大大有助于推动我们的社会走向更少的偏见和更多的*等。我们的社会中存在着某些错误的期望和偏见；无论是在种族、性别方面，还是在这种情况下，顶级运动员应该或不应该做什么。我们慢慢开始意识到，这些孤立的观点并不能说明问题的全部，而且会造成巨大的压力。Simone Biles 为自己挺身而出，向世界展示，通过实现梦想和保持健康，你可以过上最好的生活。不必非此即彼。

但是世界对此作何反应呢？毕竟，奥运会最终是让全世界的人们聚集在一起进行友好的竞争。Twitter 是全球人民讨论的地方。所以推特是一个很好的信息来源，可以知道西蒙妮·比尔斯的决定是否被正面看待。这个问题的答案我们来看看 Twitter 的数据。

抓取 Twitter 数据

对于数据集，我在不到一天的短时间内收集了所有引用“西蒙妮”+“比尔斯”的推文。这可以是包含单词“Simone”和“Biles”的任何引用，包括“Simone Biles”或“#simonebiles”(不区分大小写)、“simone_biles”等。因此非常全面地代表了引用 Simone Biles 的所有 tweets。我使用 Twitter API v2 学术研究轨道，使用 Python 搜集 Twitter 数据。代码如下:

以下是每小时“西蒙·比尔斯”的推文数量与时间的关系:

每小时提到“西蒙·比尔斯”|塞犍陀·维维克的推特数量

以下是转发量最高的 10 条推文。

引用“西蒙·比尔斯”|塞犍陀·维维克的转发量最高的推文

转发量排名前 10 的推文都是支持西蒙妮·比尔斯的！

以下是最受欢迎的 10 条推文。

前 10 名喜欢引用“西蒙·比尔斯”|塞犍陀·维维克的推文

在这种情况下也是一样——所有前 10 名喜欢的推文都是西蒙·比尔斯的！

推特网

与我在#GameStop 上的文章类似，我建立了推文网络——其中节点是用户名，有向边表示用户通过@引用其他人。为此我使用了 python NetworkX 包。代码如下:

为了找到最重要的节点，我使用了 PageRank 算法。谷歌使用 PageRank 算法对网页进行排名，这也是它成为著名搜索引擎的原因。

在提到“西蒙·比尔斯”|塞犍陀·维维克的推文中，排名靠前的 10 个用户名

在关于西蒙妮·比尔斯的讨论中，所有被引用最多的推特人都是西蒙妮·比尔斯的支持者！

图形分析

Graphia 是一个网络可视化包，它本身可能值得一篇教程文章。我发现它比流行的图形可视化软件 Gephi 反应更快，视觉更清晰。然而，Graphia 拥有极其最少的文档。

我无法在 Graphia 中可视化 40 万个节点，我将数据随机采样到 5000 条边中。(注:图中采样其实挺复杂的，但普遍使用的是随机采样)。

在 Graphia 中，很容易加载我生成的包含 5000 个随机采样边的边文件。最初，图表看起来像这样:

“西蒙·比尔斯”推特网的图解探索|塞犍陀·维韦克

Graphia 使用强制定向布局算法。该算法模拟所有图形节点之间的排斥力，以及连接的节点之间的吸引力，从而产生美丽的可视化效果。外围的节点并不都连接到中心的单个组件。因此，我们在不影响我们感兴趣的基本图形结构的情况下删除了这些节点。双击最大组件中图形的任何部分，放大该组件。

放大图片中最大的 twitter 网络组件|塞犍陀·维维克

然后我想象 2D 的图表

2D 推特网络可视化|塞犍陀·维维克

接下来，我添加一个 PageRank 中心性可视化，将节点从蓝色(低等级)着色为红色(高等级)。

Graphia 2D twitter 网络可视化(颜色表示页面排名中心)|塞犍陀·维韦克

在最大的蓝色圆圈的中心有一个鲜红色的节点，上面覆盖着多个节点。

放大可以看到，核心是 Simone Biles 的推特手柄@Simone_Biles:

放大网络的心脏|塞犍陀·维维克

于是，围绕 Simone Biles 的对话就围绕着@Simone_Biles 展开了。这是有道理的，但这也表明西蒙妮·比尔斯能够控制自己的叙事。很有可能人们在负面谈论西蒙妮·比尔斯，在这种情况下，他们可能不会提到西蒙妮·比尔斯，而是她的诽谤者。看到她周围所有的支持是令人振奋的。

结论:

多个指标显示，围绕西蒙妮·比尔斯的推特对话对她的行动表示支持。也许通过选择不参加奥运会，并保持与她优先考虑的事情的联系，她赢得了比她以前无数次仅仅参加比赛更多的心。那不是会让她成为更大的赢家吗？

关注我 如果你喜欢这篇文章。

如果你对技术和现代社会之间的相互联系有全面的认识，请订阅我的时事通讯。

https://skandavivek.substack.com

数据科学导师如何帮助您

原文：https://towardsdatascience.com/how-a-data-science-mentor-can-help-you-41c7421c6e6e?source=collection_archive---------38-----------------------

地面零点

你可以向数据科学导师询问的 5 件事

由韦德·奥斯丁·埃利斯在 Unsplash 上拍摄的照片

导师、蔻驰或向导。没关系。你需要一个能帮助你更快实现目标的人。我最*加入了一个名为sharpes minds的社区，通过一个导师项目来帮助那些想成为数据科学家的人。在过去的几年里，我指导我的几个朋友成功地将他们的职业生涯转向了数据科学。这就是为什么我觉得这项服务对那些想转行的人来说很有意思。然而，在与几位候选人交谈后，我发现许多候选人不知道他们可以从导师那里期待什么。完整地说，我认为许多人都希望他们的导师能给他们带来魔力。

这不是魔法，也不会一蹴而就。如果你问我，导师可以通过几种方式提供帮助。我想在这里与你分享，以确保你无论作为导师还是学员都能管理好自己的期望。

1 —有哪些必备技能？

导师可以帮助你在最短的时间内确定数据科学和软件开发中的基本技能和工具，如果没有你将无法工作。例如，导师可以帮助你识别数据争论的基础或者 Git 技术的基础。你没有世界上所有的时间，你必须有效地利用你的时间。

导师可以帮助你在最短的时间内找到数据科学和软件开发中没有你无法工作的基本技能。

2 —你能检查我的代码吗？

不知道开发的最佳实践的数据科学家成功的机会更小。导师帮助学员的一个好方法是回顾 Github 项目，提供一些关于如何建立机器学习管道或进行最佳开发实践的提示。

首先，候选人在 Github 或 Bitbucket 上建立一个项目组合来展示自己总是有好处的。然而，更重要的是高质量地建设那些项目。例如，建议构建和部署一个机器学习服务，它可以通过一组 REST API 向用户提供服务，而不是将你的代码推送到一个只包含如何训练一个模型的 Github repo。开发中的最佳实践之一是“自动化开发管道”。我想你会喜欢看这篇文章:“ 如何构建自动化开发管道 ”

一个不知道开发的最佳实践的数据科学家成功的机会更少。

3 —我如何在竞争中脱颖而出？

竞争有两个层次，一个是找工作前，一个是找工作后。在这里，我想描述一下导师是如何帮助你“找到工作”的。找工作后有很多方法可以提高，这不是本文的重点。导师可以帮你磨砺简历。你无法相信有多重要。获得面试的比率直接关系到你简历的质量。更重要的是，如果合适的人帮助你展示自己，你无法相信你的简历会有多好，尤其是如果你的背景是工程或科学。那些来自商业背景的人知道如何恰当地展示自己。简历是一页纸的文件。许多人很难在一页纸的简历中恰当地概括自己。

你无法相信，如果合适的人帮助你展示自己，你的简历会有多好，尤其是如果你的背景是工程或科学。

阅读这两篇文章:如何写一份优秀的数据科学家简历—给初学者和如何写一份优秀的数据科学家简历—给专业人士。如果你仍然需要帮助来改进你的简历，给我写信。

4 —我如何才能在数据科学面试中胜出？

数据科学面试通常有三个技术步骤:(a)SQL 挑战，(b)ML 挑战，以及(c)现场技术面试。前两步成为标准，而第三步因公司而异。导师可以通过提供一些例子和解决方案以及分享一些技巧来帮助你面对 SQL 和 ML 的挑战。尤其是那些容易让你被拒绝的。你可以阅读这篇文章:“数据科学家 SQL 面试入门指南”来提高你的 SQL 技能。我正在写一篇名为“数据科学家 ML 面试入门指南”的文章。你可以订阅我的邮件列表或者跟随我阅读这篇文章。

数据科学面试通常有三个技术步骤:(a)SQL 挑战，(b)ML 挑战，以及(c)现场技术面试。

5-感谢额外的小费。

除了以上几项，一个优秀的导师可以在你个人成长的每个方面为你提供额外的建议。例如，基于你的兴趣和需求，一个伟大的导师可以为你提供有效的自学教育资源。一个学员可能拥有数学或物理的研究生学位，但没有任何编程经验，而另一个学员可能来自软件开发行业，没有任何线性代数或统计方面的背景。他们有不同的需求。你会喜欢阅读这篇文章:“用于各种教育目的的数据科学的 6 个 YouTube 播放列表”。

一个伟大的导师可以在你个人成长的每个方面为你提供额外的建议。

最后的话。

这是我认为导师可以提供帮助的 5 个方面。我可以列出更多，但这些是最常见的指导方式。导师也可能利用他或她的职业关系网给你找份工作，但除非你在这条路上表现出色，否则这是不可能的。希望这篇文章对你有用。如果你需要帮助来得到一份数据科学的工作，给我写信。

感谢阅读！

如果你喜欢这个帖子，想支持我…

• 跟我上 中 ！
• 在 亚马逊 上查看我的书！
• 成为 中的一员 ！
• 连接上 Linkedin ！
• 关注我 推特 ！

https://pedram-ataee.medium.com/membership

数据科学家如何…装饰他的客厅？

原文：https://towardsdatascience.com/how-a-data-scientist-decorates-his-living-room-c5026f490c2b?source=collection_archive---------39-----------------------

数据驱动的方法:第二集

我为我的客厅找了一段时间的插图，但没有成功。因此，我想起了我在儿子的房间做的事情。那很有趣。😂

这样，我开始想办法用我的数学知识和技能来制作自己的插图。在网上搜索了几分钟后，我偶然发现了这个关于生殖艺术的马库斯·沃尔茨惊人的 GitHub repo

立刻，我变得非常兴奋，开始写我的第一行代码。

资料来源:Giphy.com

我的方法如下:

插图#1

我知道我的家庭办公室里有几个框架积了很多年的灰尘。所以我试着复制马库斯·沃尔茨的最*邻居图，但加入了个人风格。

我稍微修改了上面提到的 repo 的代码，以便为我的插图构建一个矩形。

作者图片

这很酷，但我需要更多。如果不是将每个点连接到其最*的邻居，而是以某种方式突出了点之间的关系。我的意思是，如果我用以下属性来标识这些点会怎么样:

点 A 是点 B 的一个 k 最*邻，而 B 也是 A 的一个 k 最*邻。

我真的很喜欢它的输出。

k = 8 个最*的邻居。为什么是黄色？与客厅的其他装饰相协调(图片由作者提供)

突然在想，黄段子和黑段子有关系吗？我会把它作为一个练习😉

插图#2

我一直在浏览 Marcus 的网页，因为我知道了 T21 的 Delaunay 三角剖分和 Voronoi 图之间的关系，所以我决定使用相同的数据集将两者结合在同一个图表中，并再次使用黑线和黄线。

结果是这个。

Delaunay 三角测量加 Voronoi 图版本(图片由作者提供)

任务完成。现在，是时候打印和悬挂它们了😎。

作者图片

一个数据科学家如何去相亲

实践教程

贝叶斯框架中的有序回归

照片由 波琳娜·坦基列维奇 上 像素

当数据科学家准备相亲时，他/她会情不自禁地思考爱情、存在的孤独和相互信任。嗯…可能不是所有的数据科学家都这么想…但有些可能。无论如何，我想用最后一项，关于相互信任，给大家介绍一个贝叶斯框架中的序数回归这个话题。

因为即将到来的约会将是一次盲目的约会，我们不能确定对方的观点和信念。然而，在心理学中，已经有很多关于描绘性格的研究。标准化的问卷和测试被用来评估心理特征。这种问卷通常由评分表组成。受访者需要从一组离散的有序答案选项中进行选择，如“完全不同意”、“不同意”、“无意见”、“同意”和“完全同意”。这种等级量表被称为李克特量表。在本博客中，我们将利用这样一个问卷的例子来评估特定问题的答案，以及答案如何依赖于性别和年龄等特征。

马基雅弗利

这篇博客中的数据来自于克里斯蒂和盖修的 MACH-IV 问卷，它提供了一个马基雅维利主义的衡量标准。以尼可罗·马基亚维利命名的马基雅维利主义在现代心理学中被用来描述缺乏同情心和道德观，以及对个人利益的强烈关注。MACH-IV 问卷由摘自马基雅维利著作的 20 个陈述组成，受访者按照从“强烈不同意”到“强烈同意”的五分制对他们的同意程度进行评级。数据集可以在这里下载，真的很大；出于本报告的目的，我将仅使用从荷兰网络位置上传的数据。此外，我只关注 20 个问题中的一个:“总而言之，谦虚和诚实比重要和不诚实更好”。下图基于黑伯格和知更鸟，显示了结果与年龄和性别的关系。

发散堆积条形图显示不同性别和年龄类别的所选问题的答案。总行数绘制在右手轴上。在我之前的博客中可以找到更多关于这类情节的细节。

该图显示，老年人和女性更倾向于同意这种说法。当试图对年龄和性别这两个独立变量的李克特量表的结果进行建模时，最好使用有序回归。因此，我想探讨这种类型的回归，以及如何在这份报告中的贝叶斯框架中进行这种回归。

模型

由于我们想要预测的结果是有序的，我们需要在贝叶斯框架中创建一个有序回归模型。可以这样做。答案 yᵢ={1，。。。，k} 归入 K 有序答案类别为 i = 1。。。n 个样本。该模型假设 yᵢ 是一个潜在的——未观察到的——连续量 yᵢ 的观察实现。此外，该模型定义了截止点 αₖ ，使得:

分界点 αₖ 根据因变量估算为 αₖ = β∗xᵢ 。注意，我们假设 β 不依赖于该模型中的 k ，因此假设对于每个切割点是相同的。此外，我们定义α₀=∞和 αₖ = ∞ ，这转化为以下描述:

其中 Cat(pᵢₖ) 是 pᵢₖ ≥ 0 和∑ pᵢₖ = 1 的分类分布。变量 pᵢₖ 表示样本 i 落入类别k的概率，分界点 αₖ 和回归变量 β 需要从数据中估计。在贝叶斯框架中，我们需要为分界点 αₖ 设置正态先验，因为 k = 1。。。，k1和回归变量 β 。在我们的示例中，我们有 K = 5 个答案选项、 n = 1062 个回归变量(年龄和性别)。让我们使用 σ = 1000 的相当无信息的先验。

```{r model, message=FALSE, cache=TRUE, results='hide'}
jags_model <- " model {
  for(i in 1:length(answer)) {
    answer[i]  ~ dcat(p[i, 1:5])

    logit(Q[i, 1]) <- alpha[1] - mu[i]
    p[i, 1] <- Q[i, 1]
    for (j in 2:4) {
      logit(Q[i, j]) <- alpha[j] - mu[i]
      p[i, j] <- Q[i, j] - Q[i, j-1]
    }
    p[i, 5] <- 1 - Q[i, 4] 

    mu[i] <- beta[1] * age[i] + beta[2] * gender[i] # no intercept
  }

  ## priors over thresholds
  for(j in 1:4) {
    alpha0[j] ~ dnorm(0, 1.0 / 1.0e3)
  }
  alpha <- sort(alpha0)

  # Priors for regression coefficients
  for(j in 1:2) {
    beta[j] ~ dnorm(0, 1.0 / 1.0e3)
  }
} "

结果

空间不允许在此显示所有诊断数字。相反，下表显示了变量的收敛、自相关、有效大小和点估计。盖尔曼统计量接*于 1，显示出适当的收敛。即使应用了 10 的稀疏因子，自相关系数也相当高。这种高相关性也反映在低有效样本大小值中。点估计显示有序的 α ，与年龄和性别呈正相关:老年人和女性更倾向于同意这种说法。

对于有序回归，定义和解释残差是相当困难的。在刘和张的之后，我们基于潜在变量计算替代残差。下图显示了作为*均响应函数的残差的小模式。qq 图显示了两端与预期直线的偏差，表明了非线性行为。残差中没有自相关，这很好。

通过计算数据集中每个条目的 pᵢₖ ，可以对数据进行预测。随后，可以从分类分布 Cat(pᵢₖ) 中进行抽取。由于这涉及到随机抽取，我们重复这个过程 100 次。结果可用于创建列联表。下表显示性能不怎么样，准确率只有 23%。

应用模型

假设一个 30 岁的男孩遇到一个 28 岁的女孩。在这个问题上，他的回答至少和她一样肯定的概率是多少？我们可以分别使用男孩和女孩的特征来计算模拟中每个条目的概率 pᵢₖ 。随后，可以从分类分布 Cat(pᵢₖ) 中进行抽取。下图显示了潜在变量的分布，它们有很大的不同。对于男孩来说，潜在变量更高的概率只有 0.5%。当查看答案类别时，通过从分类分布中抽取来模拟，我们发现有 55%的可能性，男孩的答案至少和女孩一样肯定。

结束语

使用贝叶斯框架的有序回归需要一些努力。所得到的模型受到高度自相关的影响，并且只能稍微预测正确的响应。很可能这个模型中没有考虑的其他因素也有影响。贝叶斯框架确实允许非常容易地估计答案的概率并比较它们。

人工智能如何赋能辅助技术并减少不*等

原文：https://towardsdatascience.com/how-a-i-can-empower-assistive-technology-and-raise-inclusiveness-abf616e78377?source=collection_archive---------28-----------------------

在 Unsplash 上拍摄的 ThisisEngineering RAEng

关于人工智能如何应用于残疾人辅助技术的快速介绍。

在过去几年中，数字技术已经显示出解决现实生活挑战的巨大能力，有助于改变经济的重要领域，无论是所谓的工业 4.0 还是健康领域。

另一方面，如果我们超越比特和字节，人工智能可以拓宽所有层面的包容性。让我们看看怎么做。

对智能辅助技术的探索

辅助技术越来越被认可，是通用架构之外对人工智能适用性较好的领域。

根据《福布斯》杂志发布的一篇文章，结合 Coherent Industry Insights 的数据，2015 年残疾人和老年人的技术市场估计为 140 亿美元，预计到 2024 年将达到 260 亿美元。

在人工智能(A.I .)资源和现代人机界面的帮助下，人类正在学习和掌握新的能力，为最需要的人寻求挑战的解决方案。

有了正确的技术，残疾人将有适当的资源来解决进入就业市场的障碍。

换句话说，使这些资源更容易为每个人所用，是保证残疾人进入传统上无法进入的手术场所的一种手段。

人工智能将如何支持这一点？

鉴于人工智能的全部潜力，技术需要让所有领域的人们的生活变得更简单。

全世界只有十分之一的残疾人可以使用辅助设备。因此，这一人口结构对就业数量的影响非常显著。残疾人的失业率是非残疾人的两倍。

2018 年 5 月，该公司首席执行官塞特亚·纳德拉报告了一项为期五年的 2500 万美元(约 9300 万雷亚尔)的承诺，用于残疾人的人工智能计划。

脸书是另一家投资残疾人人工智能项目的互联网巨头。社交网络使用算法为盲人创建即时图片摘要。该功能并非完美无缺，也没有超越人类的定义，但却增加了一个更加开放的世界。

有几种机器学习的技术。但是，他们的共同点是，每个人都希望人们向他们展示如何学习一项具体的工作，做他们想做的事情。例如，在脸书，图像识别系统由观看图像并告诉机器图像内容的人监控。

实时语音处理和人类语言转录是最传统的人工智能工具之一，对患有这种残疾的人来说非常有用。

虽然人工智能资源在智能手机中非常普遍，但仍在努力将这一事实引入物理世界。

由计算机视觉技术驱动的光学字符识别(OCR)也可以包括在内，这是一种将文本从纸质格式翻译成电子版本的方法。这意味着书籍，打印的电子表格，甚至插图和文本图像都可以转换成电子格式，并使用电子语音合成器大声朗读。

人工智能还将帮助盲人或视力低下的人受益于各种辅助技术，从盲文到计算机放大应用程序，机械放大镜和扩展字母键盘。

视障人士仍应依靠光学字符识别(OCR)。扫描仪类型将最初为纸张格式的文本转换为数字格式。然后，它被翻译成音频。报纸、杂志、书籍和图像可以使用电子语音合成器朗读或呈现出来。

物联网已经允许识别更多关于消费者和活动模式的知识。今天，计划以前对许多残疾人来说很难的任务变得很容易，如开关门窗、开灯关灯、更换移动设备、打开风扇、打电话等。它被称为家庭自动化。

在某些情况下，辅助技术使家庭变得智能。例如，残疾居民可以使用预设命令来启用应用程序。令人着迷的是，这种形式的技术还允许自我调整。

因此，根据先前描述的环境和迹象，将会有对太阳、温度、防雨等的调节。，往往旨在更大的独立性和户主的安全。

辅助人工智能的一个实例:计算机视觉 PDFReader

我正在开发一个应用程序，可以帮助用户仅通过头部运动来控制 PDF 阅读器。

使用人工智能，在计算机视觉中，web 应用程序使用形状预测器来检测用户面部的特征，以识别感兴趣的关键点和面部图像。有了这些信息，web 应用程序就可以做出控制 pdf 阅读的决定，比如放大和缩小、改变页面以及上下滚动。

许多智能手机应用程序使用摄像头来监控鼠标和键盘；我在这里的目的是提高对人工智能如何增强辅助技术的认识，让身体残疾的人能够执行日常任务。

在这篇文章中，您可以了解关于这款网络应用的更多细节。

结论

人工智能和移动技术的民主化是改善全球融合的一种方式，为残疾人带来越来越多的选择和生活质量。

除了促进日常任务之外，智能设备还可以获得社交社区的机会，并利用文化本身的知识——这是学习和成长过程中的基础。

人工智能应该被构建和应用来减少不*等，并与更具包容性的劳动力市场的建设合作，在这个市场上，智能资本可以让人们更高效、更舒适地执行日常任务。同样，我期待人工智能给每个人越来越公*的条件。

还有一件事…

如果你想在学习之旅中走得更远，我为你准备了一份关于人工智能、机器学习、深度学习和数据科学的培训课程清单，你现在就可以免费参加:

• 什么是预测分析，你今天如何使用它？
• 最好学的免费课程是当今的人工智能、ML、数据科学。
• 60 多门课程，有评分和总结(当然是 A.I .做的)。

参考

• 美国劳动力政策咨询委员会 9 月 18 日…https://www . commerce . gov/sites/default/files/2019-09/2019 _ SEPT _ AWPAB _ public comments _ 09132019 _ r . pdf
• 辅助性人工智能实例:计算机视觉 pdf reader—https://jairribeiro . medium . com/a-practical-example-of-Assistive-a-I-The-Computer-Vision-pdf reader-b 77 b 0 f 6 f 9 bfb？sk = 88257 d4e 84 f 61414984 e 83 f 53 FBE 2512

你愿意支持我吗？

为了获得无限的故事，你还可以考虑注册https://jairribeiro.medium.com/membership*成为中等会员，只需 5 美元。此外，如果您使用我的链接* 注册 ，我将收到一小笔佣金(无需您额外付费)。

*https://jairribeiro.medium.com/membership *

人工智能如何在佛罗里达公寓倒塌之前就警告我们

原文：https://towardsdatascience.com/how-a-i-can-prevent-future-building-collapses-before-they-happen-71c3bf3740b5?source=collection_archive---------28-----------------------

一个人不能整天坐着盯着一面墙。电脑可以。

佛罗里达州 Surfside 的 12 层海滨公寓的部分倒塌震惊了全国。98 人被证实死亡，这是美国历史上最致命的建筑倒塌事件之一。结构性故障的根本原因尚未确定，但是从的初步报道来看，这场悲剧似乎是可以避免的。

左图显示了 2021 年 6 月 24 日 Surfside 公寓大楼倒塌的后果。右图显示了人工智能探测器对“混凝土癌症”的探测。左图由迈阿密戴德消防救援部门拍摄，并且是公共领域。右图由阿齐姆·海林在维基媒体下知识共享署名拍摄

想象一下，如果已经存在于许多高层停车场的安全摄像头也可以报告建筑物本身的混凝土损坏

在为一家名为 Clarifai 的人工智能初创公司担任 Upwork 承包商几周之后，我意识到我可以利用他们的*台来创造这样一个东西。摄像系统已经全天 24 小时拍摄公共区域——包括混凝土停车场。下面的视频展示了一个完整的演示，包括灾难前一年对尚普兰塔南车库的漫游。

需要注意的一件重要事情是:虽然下面的演示使用了一个人走路时拍摄的视频(这是我们在倒塌前拥有的唯一一段 Champlain Towers 车库的镜头)，但 AI 的设计是与安装在墙上的固定摄像机一起工作。它将扩展安全摄像机的作用，不仅记录人们在其视野中的行为，还报告墙壁本身的状况。

解释本帖中讨论的模型的背景、开发和演示的视频文章。模型演示从 2:43 开始。

一点背景知识

生活在像迈阿密海滩这样的热带气候中有一定的复杂性，特别是夏季的洪水。下面的照片和视频展示了一些更极端的例子，但这种情况一季会发生 3-4 次。天真的司机试图穿越被洪水淹没的道路，水被吸入他们的进气口，毁坏了他们的发动机缸体，这种情况太常见了。暴雨通常伴随着一些滞留的车辆，偶尔飓风会通过风暴潮将更多的水推到该地区。

我在 2018 年 7 月拍摄的夏季降雨引发洪水的照片。这是在柯林斯大道 6900 号街区拍的，8700 号，离尚普兰塔南区 18 个街区。作者照片。

虽然尚普兰塔灾难的原因尚未确定，但很容易想象这样的洪水，加上咸咸的海洋空气，会产生一系列独特的挑战。这个问题看起来也在恶化，以至于美国陆军工程兵团提议修建 20 英尺的海堤来保护迈阿密市。如果在未来的几年里，更多的佛罗里达建筑被发现不安全并被疏散作为预防措施，这一点也不奇怪。

迈阿密海滩七月被洪水淹没的道路。这些小洪水出奇地频繁。我拍下这段视频的那天，我不得不去当地的牙医那里去赴一个非常湿漉漉的约会。作者视频。

从我的屋顶看出去

这张照片是我在迈阿密海滩的楼顶拍的，离尚普兰塔大约 2 英里，背景是迈阿密市。戏剧性的天空和日落是该地区的典型特征。作者照片。

冲浪灾难对我个人产生了影响。三年来，我住在迈阿密海滩的一栋类似的建筑里，就在灾难现场以南 2 英里处。我的家坐落在沿着柯林斯大道延伸的美丽海滨地带，从阳光岛一直延伸到迈阿密海滩顶端的南角。我多次路过尚普兰塔。

2020 年 4 月 1 日，在新冠肺炎疫情，我在阳台上拍了一张照片，照片上是两艘停泊着骷髅船员的巨型游轮。作者照片。

即使救援行动停止并转入恢复模式，倒塌的影响已经开始影响社区。住在高楼里的人担心他们的安全。房主对他们的财产价值感到害怕。已经被新冠肺炎疫情震撼，该地区的一切都感觉不确定。

住在迈阿密海滩的时候，我一直在想的一件事是，南佛罗里达州的每栋高楼到处都有摄像头——甚至在停车场。

这意味着，利用人工智能，我们可以利用现有的安全摄像头，为建筑物中的结构问题创建一个早期预警系统。

人工智能已经在医学领域拯救生命

当你想到“人工智能”时，许多事情都会浮现在你的脑海中。你可能会想到计算机打败了国际象棋大师，波士顿动力公司的跳舞机器人，甚至是能够接受采访的计算机。然而，人工智能有许多子集，有些不难概念化。

人工智能的一部分被称为机器学习，它的工作方式有点类似于人类的学习方式。如果我告诉你，我想让你学会如何通过 CT 扫描来识别淋巴瘤，你会怎么做？你可能会要求提供几个癌症 CT 扫描的例子，以及几个不含任何癌症的 CT 扫描的例子。也许只要举几个这样的例子，你就可以开始在医学扫描中发现肿瘤。这就是人类的优势所在——只需几个例子，我们就能发现导致结论的视觉线索。

食道癌，对比 CT 扫描，冠状图像(照片由维基媒体上的 Tdvorak 拍摄，转贴于知识共享署名分享)

机器学习的工作原理类似，但是有更多的图片可以学习。你告诉计算机的不是几张图像，“这是几千张癌症扫描图，这是几千张未患癌症患者的扫描图。”然后，计算机继续运行并产生一个“模型”，它可以寻找癌症和非癌症样本之间的任何差异。

这些用于训练计算机的数据被方便地称为“训练数据”，可用的数据越多，就可能导致令人惊讶的、意想不到的行为，即计算机能够检测到人类无法检测到的东西。这里最重要的一点是，这项技术已经广泛用于医疗扫描，甚至可以提高质量。

我们可以使用类似的方法来检测混凝土基础中的问题

我训练的人工智能模型正在检测尚普兰塔南车库天花板的损坏。作者照片，Champlain Tower South的原始视频片段:2020 年 7 月 17 日参观 611 单元——surf side FL 公寓倒塌作者Fiorella Terenzi 博士

再把这个想成一个人。如果一栋建筑的混凝土地基有问题，人们是如何发现的？视觉线索通常是第一个迹象。有锈斑吗？有裂缝吗？是否有碎片脱落或任何明显的变质？失败的混凝土可能会产生有经验的工程师会注意到的线索——多年来检查失败和结构完好的建筑物所获得的经验。约翰·皮斯托里诺是要求建筑物 40 年重新认证的幕后黑手，他在最*的一次采访中说“混凝土给了你一个警告。它会给你一个警告。它不会那么快就失灵。”

一个人不能整天坐着盯着一面墙。电脑可以。

一个严重的“混凝土癌症”的例子，其中内部钢筋暴露和生锈。这种损坏的出现可能意味着对建筑物结构的直接威胁。照片由小费在知识共享署名 3.0 未授权许可下授权的【freeimageslive.co.uk】T2 拍摄。

多年来对视觉线索的注意可以通过用数以千计的图像训练人工智能来实现。有趣的是，一个描述混凝土板中钢筋生锈的常用术语被称为“混凝土癌症”。随着钢材的腐蚀，它会膨胀并导致周围的混凝土变脆和开裂，从而加速腐蚀过程。混凝土癌症的迹象是混凝土“剥落”——小颗粒的裂缝和剥落，以及似乎从内部渗出的锈斑，以及头顶上出现的起泡和泄漏。如果内部钢筋外露，说明问题已经非常严重。

当与图像搜索结合起来，为人工智能模型组装大型训练集以检测它时，像“混凝土癌症”和“混凝土剥落”这样的术语可能非常强大。下面，我使用 Clarifai 的在线门户网站创建了一个模型，其中使用了我通过搜索术语“混凝土癌症”找到的图片。

使用受损混凝土的图像训练模型。作者照片。

还记得我之前提到的迈阿密高楼里到处都有摄像头吗？这些摄像头被输入一个闭路监控系统，显示在安检台。这些摄像头也可以被输入到一个人工智能系统中，该系统可以日夜不停地检查任何结构损坏的迹象。这个系统并不神奇；如果你看不到问题，那么很可能计算机也看不到。不同之处在于，计算机能够全天候观察墙壁的损坏情况，而无需将视线从墙壁上移开——这对于人类来说是不可能的。

使用现有摄像头的另一个好处是，居民既对它们的存在感到舒适，又接受它们提供的安全性。让摄像机同时关注建筑本身的弹性，给紧张的公众带来了更多的信心。

我训练的人工智能模型在从谷歌街景中看到的尚普兰塔南的阳台下检测损坏。在撰写本文时，仍然可以使用这个链接看到它。作者使用谷歌街景拍摄的视频。

人工智能发现混凝土地基问题的另一种方式是变化检测

监测结构损坏的人工智能模型也可以玩“找出差异”，这是孩子们熟悉的游戏。

看看下面这张忙碌的照片。它们之间有 8 个不同点；一台计算机可以在几分之一秒内发现所有这些。你需要多长时间？

由 Christopher Burns 在 Unsplash 上拍摄的原始照片。由作者编辑以从右侧移除某些对象。

比较两幅图像并发现其中的差异是计算机擅长的事情；有了固定的摄像机，他们比人类更快地注意到变化。鉴于南佛罗里达的建筑中已经安装了过多的摄像头，一个系统可以监控这些信号，并检测建筑本身的任何变化。这种系统的唯一挑战是区分建筑物的混凝土墙和经过的汽车或人的能力，但这在现代技术下很容易做到。

这个想法——变化检测——是人工智能模型的一个重要概念。即使混凝土结构没有任何损坏的迹象，它也不应该移动。解决方案很简单——一个摄像头监视着一面墙，如果这面墙有任何变化，人们就会收到警报。

我从在迈阿密海滩的生活中了解到的一件事是，南佛罗里达的每栋高楼已经到处都有摄像头——甚至在停车场。

构建模型

我已经能够训练一个基本模型在很短的时间内检测损坏的混凝土。他们的一些工程师对这个项目非常支持和感兴趣，并与我一起创建了工作原型。我能够将 300 张受损混凝土照片和 173 张未受损混凝土照片的训练数据集放在一起。对于这种规模的项目来说，这是一个相当小的数据集，但它足以构建一个相当准确的原型。

对高质量训练数据的需求经常是人工智能中的一个障碍。如果你曾经在脸书或谷歌上使用过面部识别，你可能会注意到，随着时间的推移，它变得越来越准确，因为你让它知道什么时候它正确地标记了你的脸，什么时候没有。

查看培训数据。作者视频。

“混凝土癌症”和“混凝土剥落”的图像也是如此。到目前为止，视频中创建原型探测器模型最耗时的部分是收集训练数据。我得到的受损和未受损混凝土的图像越多，模型就越好。如果有人能看到大量受损混凝土的照片并愿意分享，请告诉我！模型本身的实际训练是在我睡觉的时候连夜完成的。

我的原型模型与尚普兰塔车库的镜头配合得很好。剩下的就是在一个直播的摄像头上进行试验，测试一个未来可以拯救生命的系统。

识别受损混凝土的人工智能模型原型。施工视频来源: Beaches Construction Co ，检测视频作者。

想了解更多信息，请点击这里或发邮件给我。

共享空闲信道如何提高数据质量

原文：https://towardsdatascience.com/how-a-shared-slack-channel-can-improve-your-data-quality-e62a4c2a0936?source=collection_archive---------37-----------------------

通常，最有影响力的变化来自于对我们流程的反思

照片由创业股票照片发自 Pexels | 品牌内容披露

你有没有听过有人说:“我们的数据很棒，我们从来没有任何数据质量问题”？确保数据质量很难。问题的严重性让我们相信，我们需要一些真正重大的行动来取得任何进展。但现实表明，通常最简单、最直观的解决方案会产生难以置信的影响。在本文中，我们将着眼于一个改进数据质量过程的想法，并使其更有价值和可操作性。

目录

取得数据的所有权
使流程更有回报&更容易跟踪
利用自动化来促进流程
∘ 关于示例中的检查
将脚本部署到 AWS
我们如何进一步改进自动化流程？
提出方法的弊端
结论

获得数据的所有权

无论您的数据团队是如何构建的(集中式 BI/数据团队与利用数据网格范式的分散式面向领域的团队)，人们都需要掌握主动权，以做出任何持久而有效的变革。如果没有人觉得有责任解决数据中的问题，我们不应该期望情况会变得更好，不管我们使用什么工具。

我们如何解决这个问题？改善数据所有权的最简单方法是将所有者分配给最关键的数据工件，即数据仓库中的特定表、数据湖数据集和数据科学模型。我们并不是想把数据质量问题归咎于那些人。相反，分配所有者可以更透明地确定谁应该照看特定的数据资产，并尽可能确保这些数据保持干净。然后，该流程可以通过添加自动化和监控仪表板来提高可见性。

简而言之，在考虑任何工具或自动化脚本之前，首先考虑建立数据所有权的过程是有帮助的。

让这个过程更有价值，更容易跟踪

一旦定义了所有权，我们就可以通过使质量检查更加有益和自动化来改进过程。添加简单的脚本来执行数据质量检查，并通过共享的 Slack 通道通知数据所有者任何数据质量问题，这对于提高团队对提高数据质量的参与度非常有效。

该过程的重要部分是将这些警报发送到一个松弛通道，该通道在整个数据团队中被共享。作为社会动物，如果其他人能看到我们付出的努力，我们会更有动力去解决问题。例如，处理问题的数据所有者可以:

• 发送一个回复，解释问题的根本原因以及采取了哪些措施来解决问题，
• 简单地添加一个勾号来表明这个问题已经被解决，
• 或者添加一个票据链接如果问题变得更加复杂，需要放入待办事项中。

用户参与流程的共享数据质量松弛通道示例—图片由作者提供

所有上述行动增加了可见性，并证明数据质量问题不再被忽视。它展示了获得所有权并使这一过程更具社会回报已经可以产生切实的改善。

利用自动化促进流程

让我们假设我们建立了流程并就数据所有权达成了一致。我们如何着手实施这些自动化的数据质量警报？这个过程可能非常简单:

• 构建 SQL 查询来检查数据中的异常，
• 编写一个脚本，如果满足警报条件，该脚本将发送松弛通知，
• 创建一个共享 Slack 通道和一个 webhook 向其发送消息。

首先，创建一个网页挂钩，进入https://api.slack.com/apps→创建一个应用程序。

构建一个 Slack 应用程序——作者图片

为您的应用程序添加一个名称，并选择您想要的松弛工作空间。

构建一个 Slack 应用程序——作者图片

选择incoming Webhook并为您选择的闲置通道创建一个(“向工作区添加新的 web hook”)。

构建一个 Slack 应用程序——作者图片

一旦所有这些都完成了，你就可以复制你的 Webhook URL 并在你的 Python 脚本中使用它。请注意，您应该像对待 API 密钥或密码一样对待这个 webhook。

构建一个 Slack 应用程序——作者图片

构建警报的脚本非常简单，只需向 webhook 所代表的 Slack API 端点发送一个 POST 请求(下面的要点中的第 19 行)。

注意，在第 35 行，Webhook URL 是从 AWS Secrets Manager 中检索的。如果您想采用同样的方法来存储这条机密信息，请确保将其添加到您的机密集:

aws secretsmanager create-secret --name slack-webhook --secret-string '{"hook_url": "YOUR_HOOK_URL"}'

关于示例中的检查

在这个代码示例中，我们检查订单状态和付款类型是否与预期的(允许的)值匹配。如果没有，我们应该会收到一条 Slack 消息，通知我们异常值:

数据质量通知-作者提供的图片

显然，这些检查代表了相当人为的例子(基于 这个来自 Kaggle 的电子商务数据集)。在现实世界中，您的数据质量检查可能会验证:

• 数据中的特定 KPI 是否达到某个临界值，或者何时超过预期值范围，
• 出现极不可能的值(B2C-客户购买数百件相同产品)，
• 某些值(如营销、支付或物流成本)是否明显偏离计划值，
• 数据是否是最新的、完整的、无重复的以及没有缺失值，
• …以及更多。

将脚本部署到 AWS

为了使运行这些定期检查更具可伸缩性，我们可以利用 AWS Lambda。为了让之前展示的 Github gist 与 lambda 一起工作，我们需要将我们的主执行代码包装到一个 Lambda 处理程序中(从第 34 行开始)。此外，我们需要确保我们的日志程序是以一种符合 AWS Lambda(T21)的方式进行全局定义的。

完整项目可在 本 Github 资源库 中获得。

为了将我们的容器映像部署到 AWS，我们构建并推送我们的容器映像到 ECR ( 123456 是 AWS 帐户 ID 的占位符)。

*aws* ecr create-repository --repository-name dq_alerts*docker* build -t dq_alerts .*docker* tag dq_alerts:latest 123456.dkr.ecr.eu-central-1.amazonaws.com/dq_alerts:latest*aws* ecr get-login-password | *docker* login --username AWS --password-stdin 123456.dkr.ecr.eu-central-1.amazonaws.com*docker* push 123456.dkr.ecr.eu-central-1.amazonaws.com/dq_alerts:latest

然后，在 Lambda 配置中，我们选择我们想要的容器图像，如下所示。

构建 Lambda 函数—作者图片

由于执行数据库查询可能很耗时，我们需要增加超时设置。此外，将内存大小增加到至少 256 MB 似乎是合理的，因为查询返回的数据会占用大量内存空间。

构建 Lambda 函数—作者图片

确保添加相关的 IAM 策略。对于这个例子，我们需要雅典娜和 S3 权限。

构建 Lambda 函数—作者图片

最后，为了确保我们的检查按计划运行，我们需要添加一个 CloudWatch 计划作为触发器:

构建 Lambda 函数—作者图片

构建 Lambda 函数—作者图片

此外，我们可以使用一个空的 JSON 有效负载来测试该函数:

构建 Lambda 函数—作者图片

所提出的方法的缺点

演示方法的第一个缺点是我们需要一些有状态逻辑来确保我们不会过于频繁地通知相同的问题。否则，人们会开始忽略警报，并可能将空闲频道静音。此外，如果消息太多，社交方面可能会丢失。

此外，我们自己编写各种数据质量检查是不可伸缩的，并且甚至可能不可行如果你处理大量数据的话。正如 Barr Moses 指出的，这种质量检查只能覆盖已知的未知，即可以预见的问题。一个有趣的想法是将共享松弛通道的社交方面与来自端到端可观察性管道的警报相结合。

结论

在这篇文章中，我们看到了简单的过程调整是如何增加团队对提高数据质量的参与和承诺的。通常，最有影响力的变化不需要任何重大决策或投资，而是来自于重新思考我们的流程，增加自动化以增强其执行，并确保整个团队为提高数据质量的共同目标而共同努力。

感谢您的阅读！

一个简单的图表如何挽救一个人的工作

原文：https://towardsdatascience.com/how-a-simple-graph-saved-someones-job-neo4j-7262c813937f?source=collection_archive---------38-----------------------

饮料、非正式的谈话、一些图表帮助人们以新的眼光看待数据。

与人们在博客上发布的内容相比，这张照片并不漂亮，但这张旧纸有一个有趣的故事。

按作者分类的图像(在不同环境下我们如何相互联系的社交图)

几天前，我正在清理我的包，它有太多的夹层——典型的瑞士装备，我发现了一个几年没动过的口袋。一个隐藏的小口袋，可以存放名片、皱巴巴的纸和过去的收据。就在那时，我发现了那张旧的彩色纸，上面有我大约 4 年前草草写下的粗糙草图。

空间信息:科罗拉多州丹佛市的一家爱尔兰酒吧

热力学信息:一个异常炎热的夜晚，非常适合喝柑橘饮料

时间信息:下午 6:30 左右

我从东海岸前往丹佛，与一个潜在客户进行销售会议，会议进行得并不像计划的那样顺利。他们最终削减了预算，我的提议被推到了下一个季度。我的返程航班是第二天早上，晚上我和那个客户约好了一起吃饭。好吧，咨询使你成为一种食物和饮料鉴赏家。我和丹决定在去吃晚饭前，先在当地的一家酒吧喝一杯。

因为天气特别热，我们决定延长在酒吧的逗留时间，多喝几杯啤酒(也因为丹佛在啤酒厂方面相当高，所以人们可以品尝许多精酿啤酒)。丹告诉我正在进行的业务重组，这将导致整个组织暂时削减预算。他们的想法是让组织变得精简和灵活，并在技术和分析领域雇佣更多人。

不知何故，话题转移到了创建新部门和在公司内部寻找部门领导上。

我对基于主体的模型进行了初步研究，多亏了托马斯·谢林，我喜欢在对话中表达这一观点，这是一个绝佳的机会。

你在宏观层面上看到的可能在微观层面上并不真实

我一定是在上面的一张纸上给他画了图表，向他展示了不同部门的人是如何相互联系的，以及有时部门中拥有最高头衔的人可能不是日常业务运营中的“支点”或最重要的人物。所以，在得出一个艰难的结论之前，先了解一下不同的人在他们的工作岗位上做什么，不要仅仅依赖他们的主管给出的数据或者他们的职位。我给了他一些想法，告诉他如何去做，以及他可以使用哪些工具。

三四个月后，我在一个新项目的启动仪式上再次见到了丹，当时他告诉我，他为组织的一小部分创建了图表，并量化了人在商业环境中的重要性。我会模拟一个他提到的，让他感兴趣的案例。

数据

Employee.csv 包含三个主要列。雇员 _1 和雇员 _2 是本来会相互交流的两个人的组合。权重是两者之间相互作用的量度。这是对雇员 1 和雇员 2 交换电子邮件或出现在同一个会议中的次数的简单计数。观察结果是在过去 3 个月中收集的。

数据是通过读取电子邮件和 SMTP 服务器的元数据收集的，在这个过程中没有人的隐私被侵犯。

设置图形数据库

点击添加数据库，提供一个用户名和密码，你都设置好了。

作者图片

作者图片

一旦你添加了数据库，点击三个水*点，从管理部分你会添加一些插件，你会使你的工作变得更容易。

在插件标签，继续安装 APOC 和图形数据科学库。

作者图片

继续启动您的数据库，并使用 Neo4j 浏览器打开。(请注意，当您第一次创建数据库时，节点和关系的数量将是 0)

数据位置

如果你用的是 macOS，那么/Users//Library/Application Support/com。Neo4j.Relate/Data/dbmss//进口/

把你的。导入文件夹中的 csv 文件。

—如果这是您的第一个项目，那么您在/dbmss 下将只有一个文件夹，所以将您的。csv 在那里漫不经心而大胆地输入。

(仅适用于 mac 用户:上述文件夹在 Windows 或 Linux 上更容易找到，因为在 macOS 中,/Users/ /Library 是隐藏的，因此您可以在 spotlight search 中键入/Users/ /Library 并找到这些文件夹)

有趣的东西

将 CSV 加载到数据库中

LOAD CSV WITH HEADERS FROM "file:///employee.csv" AS row
MERGE (emp1:Employee {name: row.Employee_1})
MERGE (emp2:Employee {name: row.Employee_2})
MERGE (emp1)-[r:INTERACTS]->(emp2) ON CREATE SET r.weight = toInteger(row.Weight)

让我们看看它看起来怎么样

Match(n) return(n)

作者图片

嗯，这是一个简单的图表，除了告诉我人们是相互联系的之外，它对我没有太大的作用。

让我们找出每个雇员的程度和加权程度。

度 —一个员工所连接的员工数。

加权度 —每个员工关系的权重之和。

#Degree
MATCH (c:Employee)
RETURN c.name AS employee, size( (c)-[:INTERACTS]-() ) AS degree
ORDER BY degree#Weighted-Degree
MATCH (c:Employee)-[r:INTERACTS]-()
RETURN c.name AS employee, sum(r.Weight) AS weighteddegree
ORDER BY weighteddegree

按作者分类的图片(不同员工的学位)

按作者分类的图片(不同员工的加权程度)

程度和加权程度的数字是完全不同的，我们需要一个更好的、更稳健的度量标准。

让我们试着找出每个雇员的 PageRank。它更健壮，并在整个图级别捕获员工的状态，而不仅仅是在他们的节点级别。

#Create
CALL gds.graph.create('employee-interactions', 'Employee', {INTERACTS: {orientation: 'UNDIRECTED'}}) #Stream
CALL gds.pageRank.stream('employee-interactions') YIELD id, pgscore Return gds.util.asNode(id).name AS name, pgscore ORDER BY pgscore#Write
CALL gds.pageRank.write('employee-interactions', {writeProperty: 'pageRank'})

作者图片

Pagerank 似乎更有控制力，不像加权度和度那样分散。这可能是衡量每个节点功率的更好的指标。

我还想对员工进行一些聚类，即他们中的哪些人是图中高度关联的子图。用图形术语来说，我想要完成的是检测社区。

我不知道如何完成它，但快速搜索有所帮助。

#Create
CALL gds.graph.create('employee-weighted', 'Employee', {INTERACTS: {orientation: 'UNDIRECTED', properties: 'Weight'}})#Write
CALL gds.labelPropagation.write('employeee-weighted', {writeProperty: 'community', maxIterations: 15, relationshipWeightProperty: 'Weight'})

现在我已经有了我需要的一切，我可以使用 Neo4j 的图形数据科学库来可视化数据。

作者图片

它将推出一个 UI，在 Neo4j 的术语中称为 NEuler(Noy-ler)。

一旦你连接，你将不得不选择哪个标签，你想运行你的图表的重量属性。我分别选择了 Employee 和 PageRank。

从下拉列表中选择选项，使您的图表丰富多彩且易于理解。

作者图片

这是结果，

作者图片

该图显示了小型员工群体中存在的联系和各种社区。员工之间的边界越厚，基于页面排名得分的交互就越高。

现在，让我们把注意力集中在丹的有趣观察上。

网络影响者分析

Sue、Amanda、Chris、Mark 和 Yan 都在财务部工作，Sue 担任部门主管。你应该看到她和颜之间的缘是相当暗淡的。Yan 和 Alex(主要利益相关者和组织生态系统中的重要人物)之间有很大的差距。不仅如此，严还是连接会计部门和公司其他部门的唯一桥梁。

在丹完成这个练习之前(这个练习一定是我在这里编造的一个类似的版本)，严的名字出现在被他们部门解雇的人的名单上。在她的会计部门，她并不是一个举足轻重的人，但她仍然举足轻重，如果我们只考虑部门反馈，这一点永远不会被意识到。

一个简单的画面显示出颜在她的组织中是一个有影响力的人尽管她的部门内得分可能很低，但她的部门间依赖性使她不可或缺。

她不仅没有被解雇，而且在下一个周期，她被亚历克斯的部门给了一个职位。

思想

如果只从定性的角度来看组织结构，Graph DB 避免了一个错误。值得庆幸的是，严的情况并非如此。

这就是以图形方式查看数据的力量，你可以看到原本可能会错过的模式。除此之外，许多人是视觉学习者，给他们一个表格和一个图表，他们通常会伸手去拿图表。

在此之后，我可以说，那天晚上去酒吧是一次富有成果的访问！

蒂姆·马歇尔在 Unsplash 上的照片

请让我知道你的意见，你可以在这里使用 Github 回购。

你的准确度有多高？

原文：https://towardsdatascience.com/how-accurate-is-your-accuracy-d420f903bbae?source=collection_archive---------43-----------------------

比例标准误差概述

照片由engin akyurtUnsplash

在二元分类模型中，我们经常使用比例来计算模型的准确性。例如，我们使用准确度、精确度和召回率。但是我们如何计算这些估计的误差呢？两个准确率 95%的模型其实是等价的吗？

答案是否定的。让我们看看为什么。

标准误差

任何测量都必须有一个误差估计，它代表了测量的精度。我有一个物理学学位，物理学家总是被讨厌，因为他们通常在每次测量结果后假装有一个误差估计。例如，我可以说我身高 1.93 米，但如果这个数字后面没有对误差的估计，它就不会给出任何信息。如果我说 1.93 米误差 3%，另一个人说 1.93 米误差 30%，你会更相信谁？

这就是为什么我们需要估计我们测量的误差，计算所谓的标准误差。

一个 N 点样本的标准误差定义如下:

其中，σ是对样本计算的标准偏差。如您所见，样本越大，标准误差越低，我们的测量精度就越准确。这是大数定律的自然结果。

比例的标准误差

让我们考虑一个由 N 个点组成的数据集，其中 n 个点与一个成功的事件相关(即我们的模型的正确预测)。简单来说，整个样本的成功率是:

这可以是准确度(其中 N 是混淆矩阵的值的总和，并且 n 是其迹线)、精确度(其中 N 是模型已经用 1 预测的事件的数量，并且 n 是真阳性的数量)或者另一个比例。

首先，我们需要计算标准差。我们的事件可以建模为一个随机变量 x ，其值以概率 p 为 1，以概率 1-p 为 0。

那么，它的期望值是，

那么，它的方差是:

因此，标准误差变为:

置信区间

标准误差可用于计算置信区间，即我们可以预期真实值具有一定置信度的区间。

我们如何计算比例的置信区间？

让我们首先计算下面的 z 变量

其中μ和σ是我们比例的均值和标准差。可以证明，如果我们使用比例并给定合理高的 N 值，这个变量可以*似为一个正态变量(即它是正态分布的)。正态分布的 95%置信区间为(-1.96，1.96)。这是正态分布的一个性质。

因此，回到比例，我们可以将 95%的置信区间定义为:

照例， N 的值越高，由于大数定律，间隔越紧。

现在让我们看看如何在实践中应用这些概念。

简单的例子

假设我们有两个模型。其中一个正在 100 条记录上进行测试，它给了我们 70%的准确率。另一个模型在 400 条记录上进行测试，给出了 67%的准确率。哪款比较好？任何人都会说是前者，因为准确率更高。但是，让我们看看，如果计算两种精度的标准误差，会发生什么情况:

**

第二个模型给我们一个更精确的精度估计，因为标准误差较低。如果我们计算置信区间，我们得到:

**

可以看到，置信区间下界最高的模型是第二个，而不是第一个。如果我们不得不考虑一种保守的方法，在这种方法中，我们考虑统计上最差的情况，我们会寻找置信区间的下限，在这种情况下，选择第二个模型而不是第一个模型。这就是我们计算标准误差的原因。如果我们不计算误差估计，估计本身是没有用的，正如我们所看到的，较大的样本比较小的样本能给我们更多的信息，所以通过计算标准误差，我们可以做出更好的决策。

结论

计算误差估计值经常被忽略，但是如果我们不知道我们的测量有多精确，就会导致错误的结果。对于比例，标准误差和置信区间的计算非常简单，对于从数据集中提取尽可能多的信息非常有用。

广告如何读懂你的大脑:推荐系统介绍

原文：https://towardsdatascience.com/how-advertisements-read-your-brain-an-introduction-to-recommender-systems-eb8112f39e96?source=collection_archive---------29-----------------------

推荐系统可能非常准确。让我们弄清楚它们是如何工作的。

沃伊泰克·维特科夫斯基在 Unsplash 上的照片

如今网络广告无处不在。你不可能在网上逛很多地方而不被邀请去买东西——也许是一件衬衫，也许是一副耳机。更重要的是，这些广告具有不可思议的准确性。我经常惊讶于我实际上会从展示给我的广告中购买多少东西。这些广告给我留下了深刻的印象，让我感到毛骨悚然，我决定弄清楚它们是如何运作的。事实证明，这些广告被称为推荐系统，实际上非常直观。在这篇文章中，我们将看看一个简单而有效的推荐系统，并解释它是如何工作的。

问题是

我们首先要定义一个具体的问题。假设我们为亚马逊工作，我们可以访问(用户名、产品 Id、评级)形式的产品评级数据库。由于亚马逊是一家如此大的公司，我们有很多这样的评级。我们的目标是预测数据库中尚不存在的(用户名，产品 Id)对的评分。

我们该如何解决这个问题？嗯，对于我们试图预测的每个(用户名，产品 Id)对，我们可能会查看用户名给出的其他评级。例如，如果我们看到 Username 对吉他弦和吉他拨片给予了很高的评价，我们可能会推断此人是一名吉他弹奏者，并且他也会对其他吉他配件如吉他调音器给予很高的评价。我们也可以为其他爱好做同样的事情。例如，如果有人给棒球棒和棒球鞋一个差评，我们也不会给棒球手套差评。

那么如何用数学方法来表达这个想法呢？我们可以使用一种叫做的东西嵌入。嵌入是复杂对象的一种紧凑表示(通常是一个向量)，例如，用户的偏好。具体来说，我们要做的是用向量来表示用户和产品。用户向量的每个元素都代表了用户对特定类型产品的喜欢程度。例如，我们可以设置用户向量的第一个元素代表棒球产品，第二个元素代表吉他产品。那么用户向量(3，-2)将意味着该用户喜欢棒球产品，而不喜欢吉他产品。

我们设置产品向量的每个元素来表示该类型产品的多少。例如,( 5，0)的产品向量将表示肯定是棒球产品的东西，而肯定不是吉他产品——类似于棒球棒的东西。(2，2)的乘积矢量将表示与棒球和吉他都相关的东西，可能是棒球主题的吉他。

一旦我们有了用户和产品向量，我们就可以用点积得到一个代表用户对产品偏好的数字。例如，对于用户向量(3，-2)和产品向量(5，0)，我们将得到点积 15，这意味着用户会喜欢这个项目，并给它一个高评级。如果产品向量是(2，2 ),我们将得到 2 的点积，这意味着用户对这个产品不冷不热。这是有意义的，因为(2，2)产品同样与棒球和吉他相关，而我们的(3，-2)用户喜欢棒球，但不喜欢吉他。我们可以将这一思想推广到任意大小的向量。除了棒球和吉他，我们还可以拥有 100 维向量，代表对 100 种不同产品的偏好。

既然我们已经有了表示用户和产品的方法，以及计算用户/产品对评级的方法，我们需要弄清楚如何训练我们的系统。换句话说，我们需要想出一种方法来获得准确的用户和产品嵌入。在训练开始时，我们没有关于用户或产品嵌入的信息，因此将这些嵌入设置为随机值似乎是合理的。回到我们的棒球/吉他示例，假设我们随机将用户嵌入设置为(3，-3)，将产品嵌入设置为(1，1)。预测评分是 0，我们假设这个用户的真实评分是 5。

我们预测的评分太低了。然后，我们可以调整用户嵌入和产品嵌入，以更好地匹配真实评级。例如，我们可以将用户嵌入改为(3.1，-2.9)，将产品嵌入改为(1.1，0.9)。这使我们更接*真实的评级，但我们还没有到那一步。然后我们可以尝试(3.2，-2.8)和(1.2，0.8)，再次检查，重新调整，等等。我们描述的这个过程是梯度下降，这很好，因为它很容易实现。

然而，我们还有一个问题，那就是如何选择我们的嵌入中应该包含什么类型的产品。显然，对于现实生活中的系统，我们需要的不仅仅是棒球类型和吉他类型。然而，我们不可能包含宇宙中的每一种产品类型，因为这将使事情在计算上不可行。相反，我们通过只设置嵌入的大小，并让训练算法决定使用什么产品类型来避免这个问题。现在我们来看看完整的训练算法。

训练算法:

• 为用户和产品嵌入确定一个维度 k(k = 40 是合理的)。
• 对于数据库中的每个用户，用随机值初始化一个 k 维向量作为该用户的嵌入。
• 对于数据库中的每个产品，用随机值初始化一个 k 维向量作为该产品的嵌入。
• 对于数据库中已经有评级的每个用户/产品组合(我们的训练集)，在适当的嵌入之间进行点积，并获得预测的评级。
• 获得所有预测评分和实际评分之间的误差*方和。这是总误差。
• 取关于用户和产品嵌入的总误差的梯度。对所有嵌入进行梯度下降。
• 重复进行，直到总误差满足一些预定义的标准。

还有最后一件事。原来，我们的算法与奇异值分解(SVD)有关，奇异值分解是一种众所周知的矩阵分解方法。因为 SVD 被广泛使用，所以我们可以利用高度优化的 SVD 实现。完整的主题是另一个时间，但它值得一提。

在本文中，我们从头开始推理，提出了一个推荐系统，它可以与复杂得多的模型竞争。此外，我们的系统具有直观和易于实现的优点。请留下任何评论或问题，让我知道你接下来想看什么！

人工智能如何帮助应对气候变化

原文：https://towardsdatascience.com/how-ai-can-help-fight-climate-change-c86531d710f0?source=collection_archive---------36-----------------------

社区笔记

人工智能有潜力解决这个星球上最大的挑战

照片由卡斯登·沃思(➡️@卡斯登.伍尔特)在 Unsplash 上拍摄

我们星球面临的最大威胁之一是气候变化。然而，什么是气候变化呢？*均条件的变化，如一个地区在很长一段时间内的温度变化，导致剧烈的风暴、野火和干旱。如果我们找不到这个挑战的答案，我们的日常生活肯定会发生巨大的变化。世界上每个地区都经历着不同的气候变化。一个可能面临严重的干旱年，而另一个面临降雪增加。问题是我们如何应对这一挑战，尤其是利用人工智能技术？

当你浏览互联网时，你可能会发现一大堆利用人工智能技术对抗气候变化的方法。但是，事实是，这些建议中的许多要么在经济上不可行，要么影响力不够，至少在目前的状况下是如此。我在这里描述了如何评估 AI 解决现实世界中某个问题的可行性。下面，我分享一个在垃圾管理行业使用 AI 的例子，在这个行业，AI 的影响力还不够。

我们都知道，更好的废物管理系统可以帮助我们减少碳足迹，应对气候变化。然而，这并不意味着人工智能可以通过进入高度复杂的废物管理链的每一步来产生影响。例如，有一些尝试使用计算机视觉来建造智能垃圾桶来指导人们找到他们的垃圾必须使用的确切垃圾桶。

亚历山大·卡迪科夫在 Unsplash 上的照片

他们的论点是“源头分类废物至关重要”。虽然这种说法是正确的，但他们没有考虑到，例如，废物收集车队是否准备好了分类箱，或者所需的能量是否确保人工智能系统正常工作而不中断。此外，要了解使用技术应对气候变化的影响，我们必须能够大规模地使用它，即在地球上的每一点。所以，我们应该回答的问题是“我们能在世界的任何地方使用这项技术吗？”最终，我们必须始终衡量每一美元支出的影响。

说到这里，我相信如果我们正确使用人工智能，它可以帮助我们大幅应对气候变化。在这篇文章中，我想描述人工智能可以有效应对气候变化的 3 种最重要的方式。

提高能源效率

我们不能既储存能量又产生能量。例如，这就是为什么输入电网的电量必须始终等于消耗的电量。在这种设置中，重要的是实时预测需要多少能量(需求方)。这将有助于产生所需的能量，仅此而已。此外，我们可以使用人工智能来预测天气状况，包括风的模式，以确定我们可以在风电场(供应方)产生多少能量。例如，谷歌的 Deepmind AI 可以提前 36 小时预测风力模式，从而有可能提前一整天确定电网的承诺量。

https://www.engadget.com/2019-02-26-google-machine-learning-wind-power.html

提高运输效率

根据 IPCC(政府间气候变化专门委员会)的数据，交通部门约占全球能源相关二氧化碳排放量的四分之一。你可以在这里阅读更多。人工智能可用于优化运输车队的路线，如废物收集或拼车车队。路线优化是一个极其困难的问题，尤其是当问题中加入了许多约束条件时，例如降低碳足迹、避免交通堵塞、提高用户满意度。基于人工智能的路线优化可以让许多商业模式变得可行和绿色。

https://www.ipcc.ch/

提高太阳能电池板效率

为了应对气候变化，我们必须找到以可持续方式生产能源的新方法。利用太阳能发电是我们拥有的最佳选择之一。这就是为什么工程师和科学家不断努力开发更高效的太阳能电池板。太阳能电池板的效率越高，产生的能量输出就越多。

2019 年，发表在《自然》杂志上的一篇文章介绍了人工智能技术的一种新颖用途，即发现一种具有特定性质的新化学化合物。这篇文章唤起了建造太阳能电池板的希望，这种电池板能够以更高的效率产生能量。在过去，工程师和科学家通过测试数千种材料来找到有效的材料，从而开发出新材料。发表在《自然》杂志上的文章向我们展示了人工智能如何在这个旅程中帮助我们。

遗言

在这篇文章中，我分享了那些可以有效应对气候变化的人工智能应用，主要是因为它们的美元影响因子。你肯定可以找到其他我没有在这里列出的对抗气候变化的人工智能应用。最后，我想强调的是，利用人工智能对抗气候变化是一种方式。还有许多其他的方法来帮助我们的工厂。

感谢阅读！❤️

如果你喜欢这个帖子，想支持我…

• 跟我上 中 ！
• 在 亚马逊 上查看我的书！
• 成为 中的一员 ！
• 连接上Linkedin！
• 关注我的 推特 ！

https://pedram-ataee.medium.com/membership

人工智能如何帮助我们循环利用

原文：https://towardsdatascience.com/how-ai-can-help-us-recycle-c2f82d0d50de?source=collection_archive---------21-----------------------

变更数据

卷积神经网络在垃圾图像分类中的应用

作者:邓肯·王，阿诺·古兹曼-安妮，索菲·考特曼斯-马特尔 & 杰克·霍根

Pawel Czerwinski 在 Unsplash 上拍摄的照片

回收问题

减少、再利用和回收。这句格言也被称为废物管理的 3r，作为解决日益严重的废物危机的解决方案，已经得到了广泛的推广。在北美，公众环保意识的提高和诸如自觉消费主义等运动的传播使得减少废物成为社会环境关注的焦点，如今大多数城市都有成熟的回收计划。然而，对于消费者来说，虽然“减少”和“重用”背后的原则通常很简单，但第三个 R 背后的过程仍然很复杂，并且很难理解。

虽然回收看似简单，只需将特定的废物放入一个特殊的垃圾箱，然后运到一个神奇的工厂，变成新的材料，但回收项目的实际结果往往令人沮丧。事实上，美国环境保护署(EPA)估计，虽然 75%的美国垃圾是可回收的，但实际上只有 30%被回收。在加拿大，330 万吨塑料垃圾中只有 9%被成功回收，而在 T2，超过 75%的垃圾最终被填埋。回收结果不佳可归因于生产商、消费者和市政当局之间缺乏协调、管理回收的法规和能力不同以及公众理解程度低。在加拿大，市政当局根据废物的销售地点、购买者愿意处理的废物，以及回收哪些废物在经济上是合理的，来管理和制定可回收哪些废物的指导方针。因此，支离破碎的回收系统会让消费者感到困惑，最终导致大量潜在的可回收物品最终进入我们的垃圾填埋场。

人工智能如何帮助我们回收利用

人工智能(AI)的最新进展导致人工智能驱动的解决方案的兴起，以帮助解决社会环境问题，从使用预测预测来*衡电网供电能源的供需，到使用优化来帮助减少制造设施的浪费。在回收方面，McKinsey&co .最*的一份报告指出，减少消费电子产品浪费的市场机会每年高达 900 亿美元，这些机会来自使用图像识别和机器人技术来自动化回收基础设施等解决方案。

回收利用的一个特殊困难，也是人工智能驱动的解决方案的一个机会领域，是不正确分类的问题。由于废物材料类型的多样性和不同的规定，消费者会发现很难识别废物的成分，并因此不恰当地将物品分类为可回收的或不可回收的。这种可回收和不可回收物品的混合降低了待回收物品的价值，使其难以销售，并增加了最终被填埋的可回收物品的数量。因此，一个潜在的人工智能应用是使用图像分类来识别和帮助消费者识别他们的废物的材料成分和可回收性。

目标

本指南的目的是介绍我们如何使用 卷积神经网络(CNN)和 Python 中的Keras API来识别常见废物并将其正确分类到相关的材料组中。CNN 是深度学习中使用的一类流行的神经网络架构，常用于执行图像分类。在对通过相关材料类型标记的废物项目的图像进行训练之后，我们的目标是使 CNN 能够获取用户提交的废物项目的未分类图像，并生成表示项目材料成分的预测。虽然本质上很简单，但这种工具可以用来帮助用户做出决策，以减少不正确分类的废物数量，这样每个人都可以在改善回收过程中发挥作用。

复制项目所需的完整代码可以在 这里找到。

目录

• CNN 架构介绍
• 数据准备
• 建立 CNN 模型
• 生成废物类别预测
• 最终想法

CNN 架构的简明介绍

卷积神经网络(CNN)或 ConvNets ，是一种广泛用于图像识别和分类任务的神经网络。神经网络如何做到这一点的基本思想是通过模拟互连层的网络来模仿人脑如何做出决定，每一层都由“神经元”组成，即用于合成输入特征的数学函数。因此，神经网络能够识别大量数据之间隐藏的关系，这些关系可能是人眼看不到的。

为了能够检测和分类图像，CNN 模型将把已经被转换成表示数字像素的 3D 阵列的彩色图像作为输入。然后，它将通过一系列卷积层、池层和全连接层传递该输入，每个层执行不同的任务。然后，CNN 的最后一层应用一个名为 softmax 的函数，该函数输出图像属于特定类别的概率(0-1)——在我们的例子中，是废弃物的材料成分。

不赘述，CNN 中的隐藏层一般是卷积层和池层。在卷积层中，一个预定义大小的滤镜在图像上移动，以执行卷积运算——滤镜值和图像像素之间的元素矩阵乘法。所得值的总和将形成特征图，其中每个特征图提取原始图像的独特特征或质量。

创建卷积层的步骤。作者提供的数字。

然后，我们有了池层。这些用于通过减少训练网络所需的参数来对特征图进行下采样，从而减少所需的计算量。这也有助于“概括”输入，这有助于防止网络基于训练图像过度拟合。

创建池层的步骤。作者提供的数字。

在一系列卷积层和池层之后，我们到达 CNN 架构中存在的第三种类型的层:全连接(FC)层，这种类型的层也通常出现在常规神经网络中。FC 层构成了网络中的最后几层，并将从最终的池化或卷积层获得扁*化的输出。使用 softmax 激活函数，网络的最后一层将输出概率分类。

合并的要素地图的展*。作者提供的数字。

既然我们已经简要介绍了 CNN 的架构，让我们从数据开始，进入我们如何建立我们的模型。

准备数据

为了将一组可以被消化的图像输入到我们的模型中，第一步是将数据集的每张图片转换为 3D 像素阵列:

对于我们的图像，结果数组的形状是(384，512，3)，其中数组中的第一个和第二个元素表示像素尺寸，第三个元素表示红、绿、蓝(RGB)三个颜色通道。

数据增强

接下来，我们随机裁剪和翻转一些图像，以便通过引入一些随机性来增加数据。增加可变性有助于降低过度拟合的风险，从而提高模型识别未来未知图像的能力。

这里，我们通过应用随机裁剪或中心裁剪来人为引入可变性:

随机作物与中心作物。请注意，随机裁剪的位置每次都可能不同。作者提供的数字。

下面来看看我们是如何做到的。请注意，下面的每个裁剪函数都包含了前面的代码片段，用于在裁剪之前将每个图像转换为 3D 数组。然后，我们将裁剪函数合并到一个新函数中，该函数随机地以 50%的概率对图像应用随机裁剪或中心裁剪，并翻转大约 50%的图像。

让我们看看这些数据增强技术如何修改样本图像:

注意:原始图像和增强图像的形状不同，因为原始图像的形状是(384，512，3)，但在裁剪过程中被缩小到(224，224，3)。完全增强的图像应用了随机裁剪和图像翻转。作者提供的数字。

为了处理图像，我们将每个图像通过增强函数，并缩放得到的数组，使得像素值位于-1 和 1 之间，这是输入到 CNN 模型所需要的:

数据探索

为了更好地理解我们正在处理的数据，让我们按类别来看一下废品的分布。除了垃圾之外，其他的职业似乎相对*衡。现在，我们将让数据保持原样，但是如果我们想要创建更*衡的类，我们可以获取额外的样本或进一步扩充现有的垃圾照片以产生新的表示。

作者提供的数字。

让我们来看一下目前每个类别中的图片示例:

按类别分类的各种垃圾图像样本。

准备模型输入

为了准备模型输入，我们首先将六种废品物料类型分解为数字格式，因为 CNN 模型不能直接解释单词标签类别:

• 0:纸板
• 1:玻璃
• 2:金属
• 3:纸张
• 4:塑料
• 5:垃圾

由于图像是按类别顺序加载的，因此我们还对数据进行了混排，以便在分割后，每个数据集不会包含比例极不均衡的特定废物类型的图像。

最后，我们将数据分成三组:训练、验证和测试。由此产生的分割创建了用于拟合模型的 1750 训练观察值、 518 验证观察值，用于在训练阶段调整我们的模型参数时提供模型拟合的无偏评估，以及 259 测试观察值，这将允许我们评估我们的模型在完全构建和训练后的表现。

准备好模型输入后，现在是构建模型的时候了。

建立 CNN 模型

简而言之，迁移学习允许我们做三件关键的事情:

1. 实例化一个基础模型，并在其上加载预训练的权重
2. 冻结基础模型中的所有层，并在顶部创建一个新模型
3. 在我们的数据集上训练新模型。

这里，我们定义基本 ImageNet 模型并提取其训练权重:

我们最初将冻结整个卷积基，以便我们仅使用其输出来馈入我们的分类器，而无需重新训练 ImageNet 模型。

冻结卷积基础模型。作者提供的数字。

我们现在可以为定制的分类器构建层:

下面是我们图层的快速浏览:

1. 池化层:池化层用于将数据准备为将被推入密集或完全连接层的输入。
2. 批量规范化层:实施一种重新集中和重新调整网络的规范化技术，以稳定学习过程并加速训练。这固定了每层输入的均值和方差，因此可以添加到神经网络中的任何位置以提高性能。
3. 丢弃层:丢弃在每个历元临时停用网络中 20%的节点，以重新分配权重并帮助网络专注于弱特征。这有助于防止对训练数据集的过度拟合。
4. 展*层:展*层将我们的数据转换成一维数组，这将是我们的全连接/密集层的输入。
5. 预测层:在我们的最后一层，softmax 激活将网络的输出归一化为 6 个可能输出类别上的概率分布。

下面是我们模型的总结:

现在，让我们编译我们的模型。我们指定稀疏分类交叉熵，用于多类分类任务，并使用分类精度评估其性能。

回调函数

接下来，我们实现几个回调函数，在训练模型时使用。回调是可以在训练过程的给定阶段执行特定动作的对象，它允许我们定制模型的行为。

第一个回调创建一个自定义函数，如果训练数据的精度超过 0.999，该函数将停止训练，以防止过度拟合。第二个回调使用 tensor board visualization toolkit 记录模型统计数据，我们可以使用它在训练期间跟踪模型的度量。

训练模型

我们首先在基本模型层冻结的情况下训练模型 40 个时期(或者直到我们的自定义回调停止或者 keras EarlyStopping 回调被激活)。

在模型收敛到新数据后，我们可以解冻基础 ImageNet 模型，并通过指定base _ model . trainiable = True，使用解冻的基础模型层进行重新训练。注意，这是一个重要的步骤，假设如果随机初始化的可训练层与来自基础模型的具有预训练特征的可训练层混合，则随机初始化的层将在训练期间导致非常大的梯度更新，这将破坏来自基础模型的预训练特征。

完成初始训练后，我们现在可以以相同的方式再次重新训练模型，但使用未冻结的基础层。

下面来看看我们的模型在主动基础层上的训练表现。我们可以看到，在回调函数被激活之前，模型完成了 5 个训练历元，表明训练准确率超过 99.9%。在训练完成时，我们可以看到在验证集上的分类准确率为: 79.54%。

TensorBoard 回调函数还允许我们查看与训练过程相关的各种指标并与之交互。在这里，我们可以跟踪在每个训练时期精度如何增加和损失如何减少:

预测废物类别

在训练模型之后，我们可以用“看不见的”数据来评估它的性能:我们的 259 个图像的测试数据集。这里，我们可以生成一个数组，其中包含测试数据集中每个垃圾图像的预测类(0–5)。

为了解释这些结果，我们可以将每个标签分配回其材料类型。我们还可以绘制预测的废物项目类型和测试数据集中的实际废物项目类型之间的比较:

正确与错误分类的废物样本。作者提供的数字。

评估性能

我们可以使用混淆矩阵来分析图像分类模型的预测。这使我们能够比较预测的和实际的材料类型，以评估每种废物类型的正确和错误分类的数量。

预测与实际废物类别的混淆矩阵。出于演示目的，垃圾类的预测细分已突出显示。作者提供的数字。

我们看到，总的来说，259 幅图像中有 202 幅(78%)预测正确。虽然预测的准确性还不错，但模型识别垃圾的能力对我们来说是最重要的，因为我们希望确保分类器能够将垃圾从可回收物品中分离出来。

如果我们检查垃圾，我们有以下结果:

• 真阳性率: 4 例(33.3%)
• 真实否定(率)😗***【240(96.8%)】
• 假阳性率: 8 例(3.2%)
• 假阴性率: 7 例(63.6%)

对于垃圾，总体预测准确率为 94.2%，代表正确分类的垃圾或非垃圾预测的总数。如果我们看一下误报率，我们还会看到非常低比例的非垃圾项目被错误地识别为垃圾。虽然准确率很高，误报率很低，但这主要是因为大多数项目首先就不是垃圾。

然而，我们看到假阴性错误率相当高，这表明垃圾项目经常被错误地分类为非垃圾项目。出于回收的目的，这并不理想，因为假阴性的成本很高。换句话说，为了避免待回收物品的污染，将非垃圾物品错误地归类为垃圾并扔掉并不重要，但更重要的是垃圾物品不要与可回收物品混在一起。由于我们的数据集中的垃圾项目总体上较少，因此我们建议用额外的垃圾图像进一步扩充数据集，以提高预测的假阴性错误率。

生成新的预测

我们现在已经看到了使用现有数据集时模型的表现。让我们来看看它对新数据的反应。在这最后一步中，我们创建一个新的函数，它获取一个新的图像，对其进行处理，并将其输入到训练好的 CNN 模型中。

在这里，我们上传了自己的照片，照片上是一张有些破损的便利贴，上面还有一些彩色的文字。我们可以在下面看到，我们的模型正确地将其材料分类为纸。成功！

最后的想法

这个项目的总体目标是研究我们如何建立一个人工智能驱动的模型，并将其应用于当前的废物危机。通过探索卷积神经网络(CNN)背后的直觉和建立一个卷积神经网络的步骤，我们能够成功地训练一个流行的深度学习框架，对来自五个可回收组的废物图像进行分类，并将它们与不可回收的垃圾项目区分开来。

虽然对常见的垃圾物品进行分类看起来是一项微不足道的任务，但在大规模应用时，CNN 的应用可能会非常强大。由于北美产生了全球 14%的垃圾，CNN 驱动的算法可以扩展到自动化垃圾分类的工业解决方案中，并提高现代回收系统的效率。如果设计得当，CNN 驱动的解决方案有可能帮助消除基于人类判断的错误，有助于降低总体分拣成本，并可以重新定义 21 世纪绿色环保的含义。

资源

• Github 库
• 浪费数据

如果您想分享任何想法，请随时在 Linkedin 上联系我们。

关于我们的更多信息:

https://www.linkedin.com/in/james-hogan9/ https://www.linkedin.com/in/sophie-courtemanche-martel/ https://www.linkedin.com/in/duncan-w/ https://www.linkedin.com/in/arnaud-guzman-annès/

人工智能如何把你变成一个讲故事的大师

原文：https://towardsdatascience.com/how-ai-can-transform-you-into-a-master-storyteller-a6e8a3c55dcb?source=collection_archive---------46-----------------------

Teemu Paananen 在 Unsplash 上拍摄的照片

实现数据通信转型的三个步骤

2012 年，迪士尼投资 3.5 亿美元拍摄了一部似乎具备票房成功所有要素的电影。这是一部动作片，有着惊人的视觉效果。它是由一位明星作家和《海底总动员》的导演执导的。

当事情看起来非常乐观时，他们邀请了英国人工智能(AI)公司黑天鹅(Black Swan)来预测这部电影是否会受到欢迎。该公司的人工智能算法警告说，《T4》这部电影将会失败。迪士尼没有理会，继续他们的发行计划。

电影《异星战场》票房惨淡，估计亏损 8000 万至 1.2 亿美元。

当艺术最终转向人工智能时，企业难道不应该也采用人工智能驱动的讲故事来改善他们的业务沟通并激发他们的内部和外部利益相关者吗？

有效沟通的关键是什么？

Juliana romo在 Unsplash 上拍摄的照片

根据一项对 400 家全球企业的调查，沟通不畅给企业造成了高达 370 亿美元的损失。同一份报告发现，如果公司的领导者具备有效的沟通技巧，五年后公司股东的回报率会提高 47%。

那么，如何改善商务沟通呢？你需要故事。它们是感性的、难忘的、可操作的。讲故事是有效商业沟通的关键。根据心理学家杰罗姆·布鲁纳的说法，“以故事形式传递的信息比事实更令人难忘 22 倍。”

对于擅长讲故事的商务沟通专家来说，他们必须关注三点:

• 了解观众真正想要什么
• 呈现激动人心的内容
• 拼凑一个引人入胜的故事

今天，人工智能可以帮助您解决这些挑战。借助例子，让我们看看如何利用人工智能的力量来讲述伟大的商业故事。

1.深入了解你的受众

乍一看，这似乎是一个高于*均水*的混合反馈。然而，人工智能算法可以提取更深层次的信号。他们可以识别客户谈论的是哪个阶段，是“需求识别”阶段还是“处理产品问题”AI 然后可以识别旅程步骤的情绪，并推荐具体的改进领域，如下图所示。

图:在客户反馈中确定旅程步骤(格拉米纳)

人工智能解决方案将客户反馈分为五个客户旅程步骤，每个步骤都有相应的情绪(绿色表示积极，橙色表示中性，红色表示消极)。

另外两种了解受众的方式是间接反馈(第三方网站或社交媒体帖子上的评论)和推断反馈(网页互动和点击流数据)。例如，一家下一代汽车租赁公司使用其汽车旅行数据库的高级分析来推断客户并将其分成 10 个原型。

这家汽车公司使用通过间接方式收集的数据来构建他们的客户原型。通过推出量身定制的产品和宣传，在一年内，该公司的客户群增长了 10%以上，收入增长了* 20%。

不是所有的故事都能吸引每个人。这就是为什么在你构思你的故事之前，首先了解你在迎合谁是至关重要的。

2.瞬间创造令人兴奋的内容

斯凯工作室在 Unsplash 拍摄的照片

一旦你了解了受众，下一个挑战就是为他们量身打造令人兴奋的内容。没有“放之四海而皆准”的方法。内容需要根据购买者角色和他们在旅程中所处的阶段为您的受众定制。

假设你正在策划一场营销活动。AI 可以帮你写初稿吗？

《卫报》的编辑们在试验了一款来自 OpenAI 的最新人工智能工具，名为 GPT-3。他们用一组指令提示人工智能，要求它“专注于为什么人类没有什么好害怕人工智能的。”人工智能在八篇不同的文章中提出了引人入胜的论点。

这些文章被编辑成一篇专栏文章，并以“一个机器人写了整篇文章”的标题发表。你害怕了吗，人类？”编辑们说，编辑 GPT-3 的专栏与编辑人类的专栏没有什么不同，只是花费的时间少得多。

人工智能领域每天都在取得惊人的进步。今天，算法可以写文章，创建图片，合成视频，混搭内容，甚至生成交替现实。

对于你的营销活动，AI 不只是起草第一份文案，它可以通过让你选择 AI 生成的“演员”来创建视频。然后它可以合成人类的语言，并帮助你把它们打包在一起。

3.构思一个引人注目的故事

一旦你为你的目标受众准备了令人兴奋的内容，接下来你应该做什么来构建一个伟大的叙事？确保你的故事不*淡。

每个故事都必须有一个情感弧线。情感弧线也被称为“故事的形状”正是这一系列的情绪起伏，像坐过山车一样，一直勾着观众直到最后。

我们能证明情感弧线与观众参与度的相关性吗？麻省理工学院的社交机器实验室和麦肯锡消费者技术团队研究了数千个 Vimeo 视频来调查情感弧线是如何支撑故事的。

使用计算机视觉和音频分析的算法每秒钟为每个场景打分。在勾勒出每个故事的情感弧线后，他们使用机器学习将它们分成八个家庭。

图: 麦肯锡 ，“情感弧线如何提高观众参与度？”

该分析的最后一部分是引入结果——用户参与度指标，如“喜欢”和“评论”研究人员发现，由人工智能算法生成的故事情感弧线可以预测观众是否会喜欢它。

现在我们有了证据，你如何在你的商业故事中编织情感弧线呢？

假设你正在展示你的季度收益。你可以从一个稍微消极的基调开始，提出历史挑战。然后，转移到一些小的成功，比如上个季度做得不错的事情。现在，介绍一个挫折，比如一个成功的竞争对手夺走了你的部分市场份额。最后，介绍你采取的恢复行动，并为你的胜利打分。

在上面的叙述中，我们有冲突。当竞争对手夺走市场份额时，我们会有情绪。最后，冲突通过你的行动得到了解决，给观众留下了积极的热情。

你的故事并不总是需要戏剧性的挫折或壮观的胜利。每种情况都有积极和消极的一面。将它们在右边的弧线上进行对比，并以一种引发情感和行动的方式将它们分层。

你将如何在你的下一个交流项目中使用人工智能？

Volodymyr Hryshchenko 在 Unsplash 上的照片

你可能会用幻灯片向投资者推销，在你的网站上发布新产品，或者通过电子邮件向你的员工发布重大公告。

无论受众是谁，无论沟通模式是什么，以上几点都适用于每一个场景。首先分析你的受众是谁，他们真正想要什么。利用这些工具来创建令人兴奋的内容，并将其制作成在情感上吸引人的叙述。

在你经历这个过程的时候，把 AI 想象成一个助手，帮助你简化事情，帮助你加速活动。当一个人参与到循环中，不断地提供输入，并审查结果时，人工智能会产生最佳效果。这被称为增强智能，它帮助你最大限度地利用人工智能。

在你的下一次商务交流中创造性地运用这些原则。

这篇文章最初是 发表的 关于 IABC 的催化剂。增加了插图。

人工智能如何帮助行业预测你的购买行为

原文：https://towardsdatascience.com/how-ai-is-helping-industries-to-predict-your-buying-behaviour-18d3ded800c9?source=collection_archive---------44-----------------------

你的社交媒体数据就是他们的石油

图片由 安德里亚·皮亚卡迪奥 来自 像素

你有没有想过为什么像谷歌、脸书这样的大公司完全免费提供服务？所有这些公司都有如此庞大的用户群，即使他们收取最低的服务价格，他们每天也能创造数十亿美元的收入。

那么他们如何产生收入，他们用什么来获得这些钱呢？简单的答案是你。

谷歌和脸书等科技巨头将他们的用户作为数据点，收集他们在使用网站时分享的个人数据。你一定听说过脸书因向剑桥分析公司这样的私人组织出售数百万用户的数据而上了新闻。

在这篇文章中，我们将看到科技公司如何使用你在社交媒体上获得的数据来训练他们复杂的 ML 算法，以预测你的购买行为。

预测的整体模型是什么？

谷歌、脸书、YouTube 等服务主要通过向观众展示广告来创收。为了提高广告的转换率，他们必须预测你的购买模式，只向你展示你感兴趣的产品的广告。

所以公司使用最大似然算法、神经网络等。根据你在网站上分享的数据预测你的行为。

例如，如果有人在谷歌或脸书上搜索智能手机，他们会得到更多与智能手机相关的广告。你也可以用你自己的系统尝试这个实验。

对预测的详细分析

现在，让我们深入了解整个过程中发生的更具技术性的事情:

第一步:数据收集和处理

首先，数据是从社交媒体网站的搜索引擎中收集的。一部分数据用于训练神经网络，其余数据用于测试神经网络。

下一步是特征提取。在此过程中，根据数据的属性(例如用户的地理位置、年龄组、搜索的产品类型、搜索次数等)，数据和相应的用户被分组并且被标记为不同的类别。现在处理过的数据被用来训练神经网络。

第二步:训练最大似然算法

下一步是使用有组织的数据序列 ML 算法。主要有两种类型的算法可用于此:

• 长短期记忆(LSTM):

这是一种递归神经网络，其中上一步的输出可用作当前步的输入。LSTM 的主要优势在于它可以长时间保留数据，并可以从少量数据中获取大量信息。

• 强化学习:

使用这种算法，计算机可以使用实时反馈给出最优化的预测。例如，如果系统向观众显示更合适的广告，则系统对于下一次推荐的准确度增加。

步骤 3:使用预测显示广告

现在，该算法根据系统使用的用户数据生成一些新信息，以显示用户想要查看的产品。反馈机制在这种情况下也起作用，其中点击率(广告点击次数与广告显示次数的比率)用于确定系统的效率并微调算法。

如果我不在社交媒体上怎么办？

来自佛蒙特大学的研究人员已经表明，算法已经变得如此复杂，一个人的行为甚至可以从这个人的朋友圈中预测出来，即使他不在社交媒体上。

在这种情况下，预测的含义是利用该人的朋友的*似地理区域和购买行为来实现的。所以逃网的机会只有一点点！

结论

随着行为经济学的发展，数据安全问题一直是当局关注的问题。一些政府也像公司一样，积极利用用户数据。

那么，我们应该关心我们的数据是如何被使用的吗？

答案是是的。虽然你不能完全逃离网络，但你绝对可以监控这些公司如何使用你的数据。感谢政府的严格指导方针，你可以相信这些公司只会将你的数据用于开发目的。

参考

• 新销售。简化。:必备手册
• 如何为销售成功定义销售流程
• https://www . uvm . edu/news/story/study-Facebook-and-Twitter-your-privacy-risk-even-if-you-not-have-account

以下是我的一些最佳选择:

https://towards data science . com/7-amazing-python-one-liners-you-must-know-413 AE 021470 f

https://better programming . pub/10-python-tricks-that-wow-you-de 450921d 96 a

https://towards data science . com/5-data-science-projects-the-you-can-complete-over-the-weekend-34445 b 14707d

觉得这个故事有趣？如果你想问我私人问题，请在 Linkedin 上联系我。如果你想直接通过邮件获得更多关于数据科学和技术的令人兴奋的文章，那么这里有我的免费简讯: Pranjal 的简讯。

人工智能如何影响保险行业？

原文：https://towardsdatascience.com/how-ai-is-impacting-the-insurance-industry-f90402493764?source=collection_archive---------30-----------------------

今天，大多数财产保险公司仍然依靠一个带着梯子和摄像机的人来进行物理检查

照片由 Unsplash 上的 h heyerlein 拍摄

如今，大多数财产保险公司仍然依赖一个带着梯子和相机的人来进行实地检查和风险评估。但智能保险公司正在寻求人工智能研究人员的帮助，这些研究人员开发了一种*台，可以评估网络上数以千计的公开图像和其他数据点，在几秒钟内提供风险评估。

“我们确保保险公司可以非常、非常快速地访问这些数据，尤其是在报价引擎中使用这些数据的情况下，”深度学习公司 Cape Analytics 的首席执行官 Ryan Kottenstette 说，该公司为保险、贷款、拥有或管理房地产的公司提供预测风险分析。

他补充说，在不到两秒钟的时间内，保险公司就会得到一系列特征，如树木伸出的程度或屋顶状况(按五分制评分)。

斯科特·韦伯在 Unsplash 上拍摄的照片

迟来的保险公司应该记得柯达，曾经是世界领先的摄影公司，当它犹豫要不要数字化时，它就变得无关紧要了。

我们要去哪里？

照片由马修·施瓦茨在 Unsplash 拍摄

全球保险商市场伦敦劳埃德在其 2018 年新兴风险报告中预测，随着远程信息处理、可穿戴设备和智能家居传感器的发展，物联网将在未来几年改变保险业。目前，人工智能的影响主要在于改善索赔处理。但是，它已经开始实时识别、评估和承保新出现的风险。

总部位于科罗拉多州的初创公司 Parsyl 帮助保险公司跟踪易腐产品在供应链中的质量。从 Progressive 到 Geico，汽车保险公司正在使用远程信息技术从车辆上收集实时驾驶数据，以折扣奖励安全的司机，并帮助重现事故。健身追踪器和心率监测器等可穿戴设备最终可能会帮助健康保险公司追踪和奖励定期锻炼等健康习惯。

这些新的风险评估服务是机器学习进步的结果，机器学习允许对数百万张图像进行训练的算法在眨眼之间发现各种类型的风险，从悬挂的树木到游泳池。这并没有使物理检查员过时，但它可以让保险公司立即了解对某一特定财产可能提出的潜在索赔类型。对于更大的工作，该系统可以评估开发的总体风险，甚至以惊人的准确性评估社区。

改变行业

布莱克·惠勒在 Unsplash 上拍摄的照片

但是，看看幕后，这些新的风险评估服务的真正工作是标记用于训练人工智能系统的海量数据。就像一个孩子通过被告知来学习识别一棵树是一棵树一样，计算机视觉算法必须经过训练，才能在一个称为监督学习的过程中识别一棵树是一棵树。

工作团队煞费苦心地手工注释了数百万个数据点，这些数据又被输入到算法中。可用于训练算法的注释数据越多，机器学习分析就越准确。区别点被标记为训练数据。

“训练数据是这场人工智能革命的生命线，”另一家公司 Arturo 的首席执行官 JC Clark 说，该公司利用人工智能从空中图像的大规模跳跃中释放价值。

自 2012 年以来，计算机视觉一直在改变着各个行业，当时人工神经元网络的突破首次使其用途足够精确，可以用于商业应用。从那时起，从杂草探测到自动驾驶汽车，用例出现了爆炸式增长。

与此同时，由于越来越便宜的图像传感器和过多的小型化卫星(有些只有鞋盒那么小)，地球轨道上出现了大量的地理空间图像。例如，初创公司 Planet Labs 拥有 130 多颗卫星，每天以 3 至 5 米的分辨率拍摄地球上几乎所有地方的照片。

美国宇航局在 Unsplash 拍摄的照片

标记数百万张图片

越来越精确的计算机视觉算法和丰富的地理空间图像的融合，使得像 Cape Analytics 和 Arturo 这样的公司能够为目标市场上的每一处房产列出潜在的保险风险。客户可以在这些系统中输入一个地址，然后得到一份关于潜在风险的完整报告，从悬垂的树木到损坏的屋顶瓦片。

但是对于一个系统来说，仅仅扫描图像是不够的，它需要知道在这些图像中寻找什么。为了教会计算机如何解释图像中的特征，计算机需要接受大量带标签的图像的训练:悬垂的树木必须画出轮廓并贴上标签，损坏的屋顶瓦片必须画出轮廓并贴上标签，游泳池、灌木林、溪流和池塘都需要画出轮廓并贴上标签，主要是手工绘制，在计算机算法有足够的能力自己发现这些特征之前，需要成千上万、甚至上百万的图像。

很难精确地标注出使模型在商业上可行所必需的数量。随着公司建立越来越多的精确标记的数据，这成为他们最有价值的知识产权。

“我们有自己专有的标签数据集，”Cape Analytics 的 Kottenstette 先生说。他的公司专注于房地产分析，因为它涉及很多行业，从保险到房地产投资。

Cape Analytics 用自己的特征定义和分类法做自己的标注。对于美国的许多地址，该公司有预先计算的属性特征，可以在两秒钟内为客户提供分析。保险公司会得到一个特征列表，比如树木伸出的程度或屋顶状况的五分制。

Cape Analytics 维护着一个由客户提供的历史索赔数据库，这些索赔来自全国各地数百万个保单年度，并匹配与每个保单的时间范围相对应的图像。然后，它会查看这些属性中的哪些最终会有索赔，以及是否有任何属性特征与更高的索赔频率或更高的索赔严重性相关联。

“你需要高质量的基础设施，可以扩展到数百万个家庭，”科特斯坦特先生说。

他说 Cape Analytics 流程从定义一个“黄金标准数据集”开始，由一组内部注释专家明确定义并记录他们寻求识别的特征。他说，这个黄金标准然后被用来培训外包标签公司的员工，然后这些公司扩大数据集。

“一旦我们对被标记的数据的质量和数量感到满意，我们就用它来训练我们的内部模型，然后进行额外的迭代和测试，以尽可能提高模型的性能，”科特斯坦特说。

好事达保险公司使用专门的飞机或无人机记录图像，用于更快地为客户撰写保单，或在灾难发生后更快地查看损失。它的汽车保险客户可以发送事故现场的照片，由人工智能模型进行分析，并加快索赔。Orbital Insight 和 Flyreel 是另外两家使用人工智能和图像来评估保险风险的公司。

结论

照片由 visualsofdana 在 Unsplash 上拍摄

所有这些公司都使用一个名为 Labelbox 的*台来管理标注过程。“它可以被托管在云中，但如果你想把它安装在你的手机上，如果你想把它放在你自己的物理硬件上，你也可以这么做，”克拉克说。

这些公司说，通过使用一个*台，而不是“黑箱服务提供商”，他们获取数据并贴上标签返回，他们保留了对其最重要的知识产权的控制。克拉克先生说，他的公司在确定软件解决方案之前尝试了服务公司，并补充说，服务公司背后的“肮脏的小秘密”是，大量的时间和金钱被浪费在正确的标签上。

“你告诉贴标机你需要他们做什么，当他们回来时，他们所做的 80%都是错的，”他说。"你重新开始，然后你错了 60%，然后又错了 40% . "他说，在选择 Labelbox 之前，他的公司与其他几家公司合作过，label box 现在是他们唯一的工具。他说，结果是比服务公司“立即节省 15%到 25%”。

“我们在印度、菲律宾和世界其他地方有成千上万的人代表我们使用 Labelbox 来创建这些训练数据集，”他说，并补充说该*台还简化了管理分散的远程团队的工作。

“ Labelbox 让我们的工作变得更加轻松，并使我们能够扩大产品开发规模，因为我们花在管理流程和管理贴标机上的时间更少，而花在创建优秀示例和审核即将推出的产品并准备用于培训的时间更多，”他补充道。

与 Cape Analytics 、 Arturo 一样，它使用来自其客户的专有内部索赔数据进行预测分析，根据可识别的风险因素计算索赔的概率和规模——例如，根据历史数据，某个市场中 30%的树木威胁与 30%的 2 万美元索赔机会相关。

“随着时间的推移，能够创建高质量的培训数据将成为任何财富 1000 强企业的需求，这将是每个首席信息官都需要在他们的供应商集工具，”克拉克先生说。

在你走之前

- [AI in Education [Video]](https://youtu.be/Ny9-GrUIl4g)- [Free skill tests for Data Scientists & Machine Learning Engineers](https://aigents.co/skills)- [Data Science for Business Leaders](https://imp.i115008.net/c/2402645/880006/11298) [Course]- [Intro to Machine Learning with PyTorch](https://imp.i115008.net/c/2402645/788201/11298) [Course]- [Become a Growth Product Manager](https://imp.i115008.net/c/2402645/803127/11298) [Course]- [Labeling and Data Engineering for Conversational AI and Analytics](https://www.humanfirst.ai/)

上面的一些链接是附属链接，如果你通过它们进行购买，我会赚取佣金。请记住，我链接课程是因为它们的质量，而不是因为我从你的购买中获得的佣金。

在 Twitter 上关注我，在那里我定期发布关于数据科学和机器学习的消息。

照片由Courtney hedge在 Unsplash 拍摄

人工智能领导人应该如何为即将到来的欧盟法规做准备

原文：https://towardsdatascience.com/how-ai-leaders-should-prepare-for-the-looming-eu-regulations-99e9d4f4c039?source=collection_archive---------39-----------------------

新法规对欧盟所有使用“高风险”人工智能的公司施加了义务，包括上市后监控

克里斯蒂安·卢在 Unsplash 上的照片

上周，欧盟备受期待的关于欧洲人工智能方法的法规草案被泄露。官方版本预计本周发布。

尽管作为非律师，我们无法对该法规进行法律分析，但我们可以说，该草案清楚地表明，欧盟正准备采取强有力的方法来监管人工智能，从确保良好的数据集，到系统的适当测试和培训，要求在新创建的欧盟数据库中注册，强制性的上市后监测，以及对不遵守者的惩罚。

这项规定有广泛的影响。尽管大多数条款都局限于“高风险”人工智能系统，但“高风险”的定义似乎相当宽泛。草案直接列出了一些“高风险”的人工智能用例，如员工/候选人评估，确定信誉和运营重要的公共基础设施。此外，草案宣布，定义“高风险 AI”的参数将是动态的，委员会有权根据造成伤害的严重性和可能性，在这些定义下包括额外的用例。

时间会告诉我们这一规定的应用范围有多广，以及涵盖了多少不同类型的人工智能系统。然而，由于“高风险”一词的定义非常宽泛，而且该法规鼓励非高风险人工智能的提供商也遵守规定，因此具有前瞻性思维的公司应该现在就开始规划他们将如何遵守这项新的全面法规。

那么，你应该做些什么准备呢？

1.是时候改变你的想法了

在整个草案中，“人工智能系统”而不是“模型”是流行的术语。这种从“模型”到“系统”的转变对于数据科学家来说可能具有挑战性，因为传统上，“模型”一直是研究项目的最终目标。此外，数据科学家使用的许多工具都是以模型为中心的。这可能适用于研究阶段，但生产系统通常包含不止一个模型(以及模型之外的许多其他部分)，而且需要注册的是整个人工智能系统(是的，所有高风险的人工智能系统都将在欧盟数据库中注册)。整个人工智能系统需要通过一致性测试。

2.变得有条理！

草案明确表示，你的人工智能系统必须是有组织的、透明的、有文档记录的。具体来说，您必须:

• 保存用于训练和测试每个模型版本的数据集
• 为您的系统创建清晰的技术文档，它可以追溯到您在构建系统时所做的每一个决策
• 保持透明，告知你的用户在使用你的人工智能系统时的注意事项

幸运的是，已经存在一系列工具来帮助围绕您的数据集、模型和系统设计进行文档和记录。MLFlow 和其他 ML *台使您能够管理实验、注册模型和保存训练数据，而最终用户通信工具已经在每个组织中很常见。

3.确保人工智能系统的人工监督

照片由疾控中心在 Unsplash 拍摄

该法规的一个关键点是，人工智能系统必须有人类的监督。一个人不能仅仅处于“循环”中，他必须在意想不到的事情发生时得到提醒。这个人必须能够理解正在发生的事情，并有能力超越系统。

如今，在成熟的数据驱动流程中，如欺诈检测和风险评估，人类分析师会补充模型和预测。我们预测，在许多其他领域，当然还有“高风险”人工智能驱动的过程中，这样的分析师将接受培训，并配备更好的人机界面工具。

4.建立一个智能的去/不去机制，以避免在更新你的人工智能系统时出现偏差

照片由 Eliobed Suarez 在 Unsplash 上拍摄

您的数据质量至关重要。草案要求你确保你的训练和测试数据不包含低质量的数据或偏见。

我们从这些数据质量/偏差相关规定中得出两个结论。首先，你必须超越模型的输入和输出。利用元数据(例如，种族、性别)和业务维度(例如，地理位置)来评估您的数据和整个系统在子群体中的行为，以确保适当的统计表示并避免偏差。第二，团队将需要建立一个健壮的、自动化的过程来验证无论何时发布新版本都没有偏见(并且当存在偏见时阻止发布)。

5.实施端到端人工智能监控解决方案

版权所有:莫纳实验室公司(2021)

该法规对售后市场监控系统提出了具体要求。根据草案第 83 节:

为了确保他们设计和开发的高风险人工智能系统的使用经验被考虑在内，以改进开发流程或及时采取任何可能的纠正措施，所有供应商都应建立上市后监控系统。

如果你一直在关注我们的文章，你会知道我们相信一个全面的监控策略可以为团队带来真正的变化，旨在将他们的人工智能研究投资转化为可扩展的业务运营。

草案特别讨论了生产中“不断学习的人工智能系统”。这是承认人工智能系统的潜在风险会随着时间的推移而出现，并且不能在这些系统最初推出时预先减轻。监控是人工智能环境中安全、可靠的持续进化的关键使能因素的另一个有力论据。

在中结论

欧盟正在带头规范和管理庞大的新兴人工智能市场。然而，我们相信，在不久的将来，我们会看到其他政府也出台类似的规定。这对整个人工智能行业的影响是巨大的，现在最好是通过实施正确的工具和流程，提前为这些法规做好准备。

你是在一个团队建设或操作人工智能系统，可以涵盖在这些新的规定？取得联系。我们很想听听您如何看待这一新的监管格局。

感谢 约坦·柳文欢 与我合作。原帖blog . monalabs . io。

人工智能将如何塑造元宇宙

原文：https://towardsdatascience.com/how-ai-will-shape-the-metaverse-4ea7ae20c99?source=collection_archive---------1-----------------------

随着被称为元宇宙的未来数字世界的不同愿景的出现，人工智能将在其中扮演什么角色？它会提高包容性，还是有助于创造一个更加歧视的数字世界？

Anton Grabolle /更好的人工智能图像/人-人工智能协作/ CC-BY 4.0

元宇宙已经成为最热门的技术和社会经济话题之一。结合不同的技术，如虚拟现实、三维动画、区块链和许多其他技术，许多公司已经开始致力于为这个新的数字世界创造服务。甚至科技巨头脸书也将其名称改为 Meta ，这表明元宇宙真正的目标是成为下一个主流科技。

关于在《元宇宙》中的角色已经说了很多，这部分要归功于对和的大肆宣传，但我想知道关于和艾的交集又说了些什么。但首先，让我们试着回答这个问题“什么是元宇宙？”或者至少，试着指出几个关于它的观点。

元宇宙和网络简介 3

关于元宇宙的最新观点之一是由比特币基地发表的，它借用了风险投资家和作家马修·鲍尔的定义:

互联网的未来:一个大规模的、持久的、交互式的、可互操作的实时*台，由个互联的虚拟世界组成，人们可以在其中社交、工作、交易、娱乐和创造。

元宇宙是 Web3 的遥远演变。在其最完整的形式中，它将是一系列分散的、相互联系的虚拟世界，具有全功能的经济，在那里人们可以做他们在现实世界中可以做的任何事情。

关于互联网及其未来已经说了很多，但正如比特币基地在文章中指出的，明确区分元宇宙和 Web3 的概念是很重要的。Chris Dixon 的这篇 twitter 帖子是理解 Web3 的好材料:

根据 Chris 的说法，Web3 是关于提供先进的数字服务，但这些服务不是像 Web2 那样由大型技术公司控制，而是由社区创建和管理，回归到 Web1 的精神，即互联网的价值是由网络边缘的用户产生的，但主要是以写入模式产生的。

要符合比特币基地元宇宙定义，*台应包括以下要素/特征:

• 虚拟世界
• 巨大的可扩展性
• 持续
• 始终开启和同步
• 构建*台
• 充分运行的经济
• 开放和权力下放
• 互用性

我发现元宇宙的另一个有趣的观点是由乔恩·拉多夫撰写的这篇真正有趣的文章中的观点，它也介绍了元宇宙价值链的概念，如下所示:

《元宇宙的七层》,作者乔恩·拉多夫，由 CC 授权。

乔恩将元宇宙定义为“实时的、基于活动的互联网此外，他指出，在这个新的互联网元宇宙中，Web3 是实现应用程序之间价值交换的基础。

艾在元宇宙

利用 Jon 的这一层架构，我试图将人工智能在元宇宙未来可以发挥相关作用的一些领域整合在一起，不仅从产品角度，还考虑了人工智能如何使元宇宙更具包容性。

人工智能在元宇宙的潜在应用，基于 Jon Radoff 的“建造元宇宙”,由 CC 授权

让我们从基础设施开始，我们将继续向上，直到到达体验层。

AIOps

请记住，根据比特币基地的说法，支持元宇宙所需的*台必须永远在线，并且具有大规模可伸缩性。在这种要求很高的情况下，AIOps 将发挥重要作用，管理所有必要的基础设施，包括硬件、基础软件和通信。但是什么是 AIOps 呢？Gartner 将其定义为“大数据和机器学习的结合，以自动化 it 运营流程，包括事件关联、异常检测和因果关系确定。”这些功能的可用性不仅对于确保元宇宙基础设施的健壮性至关重要，而且对于提供与上层相关的活动洞察也至关重要。

包容性用户界面

元宇宙潜在成功的关键之一是高度沉浸式体验的承诺。虽然这可以改善一些人的社交互动，但也可能成为残疾人进入未来数字世界的巨大障碍。不仅如此，数字能力水*较低的人可能会发现自己脱离了这种新的社会经济和体验。这就是为什么 AI for accessibility 应该在保证每个人都能进入元宇宙方面发挥重要作用，不管他们的能力如何。这一领域的一些相关技术可能是:

• 视觉障碍者的图像识别
• 自动翻译
• 智能外骨骼与数字世界互动
• 最脆弱人群的脑机接口(如认知

虽然有点老了，但我觉得肖恩·凯恩的这个讲座非常有见地，因为它让我们意识到了我们的数字界面对残疾人的所有限制。

面向残障人士的基于手势的移动用户界面

Web3 通常被称为 Web2 的大众化版本。要做到这一点，我们不应该让任何人落后(这也适用于社会和经济的局限性)。

增强型智能合同

遵循民主化的理念，元宇宙(及其去中心化层)承诺允许创作者和用户轻松交换数字资产和权利，保护所有权并确保大型技术公司的非中介化。但是这个承诺会实现吗？例如，阿迪达斯最*推出了第一款 NFT。尽管每人只能购买 2 个，但不到一秒钟的时间就销售一空，一个人在一次交易中可以购买 330 个。这真的是互联网民主化的未来吗？是的，权力可能会从大公司手中转移，但似乎不会回到人民手中，而只会回到少数人手中，在这种情况下，是拥有软件技能的人。

先是阿迪达斯 NFT 不到一秒就卖光了。这是网络 3 民主化的未来吗？

在这种情况下，包含人工智能的增强型智能合同可以帮助识别这种场景。正如前面在 AIOps 一节中提到的，与交易相关的基础设施信息可用于跟踪这种“反民主”活动，尽管一旦区块链交易完成，这不足以阻止它们。

沉浸式数字世界的人工智能

这组技术的一个最好的例子是 NVIDIA 的 Omniverse。这个*台提供的用于创建数字世界和模拟真实世界的组件令人印象深刻。从大规模的世界构建和模拟到测试自主机器人/人工智能的虚拟环境，再到人工智能语音技术，NVIDIA technologies 是一个很好的例子，说明人工智能将如何在创建元宇宙社交互动的数字空间中发挥关键作用。

NVIDIA 的 Omniverse 功能

作为创意伙伴的人工智能

最新的自然语言处理(NLP)模型(例如 GPT-3 和其他模型)已经打开了使用人工智能作为创意伙伴的大门，基于用户输入生成创意写作(你可以在这里阅读我关于 GPT-3 ，启动和提示工程的完整文章)。

但是，人工智能不仅可以生成创造性的写作，还可以从文本描述甚至非常简单的绘图中生成逼真的图像。OpenAI 的 DALL-E 或 NVIDIA 的 GauGAN2 等技术就是如此。

NVIDIA 的 GauGAN2 演示

我们已经有了基于这种算法的社区自治艺术家的第一个例子。这就是 Botto 的情况，在写这篇文章的时候，最新的艺术作品刚刚在 twitter 上分享:

基于人工智能、由社区管理的自治艺术家的例子

智能网络

元宇宙的主要目标之一是通过增强数字自我和数字个性化来改善社交网络的体验。虽然这将使每个用户在数字世界中的体验像在现实世界中一样独一无二，但这也将在包容性和安全方面给少数民族和儿童带来挑战。人工智能如何改善元宇宙的社交网络？

《福布斯》的这篇文章指出，一些努力已经到位，为社交网络中的少数群体创造更包容和安全的体验。根据 ShareChat 和 Arize 在印度的经验，重点介绍了哪些良好的实践/技术应该得到加强:

• 防止虐待和仇恨言论
• 针对少数群体(如语言、地理等)的内容相关性计算。)
• 避免偏差的特征选择
• ML 可观测性

智能超个性化游戏、体验、教育和福利

我们终于得到了元宇宙的最后一层，体验层。基于本文中介绍的每一层，并利用人工智能提供的功能，目标是为元宇宙的每个用户创造独特的数字体验。我们当然可以为每个提议的场景添加额外的功能，如下所示:

• 根据玩家的灵巧度，智能调整游戏难度模式。
• 基于特定用户残疾的虚拟感官体验的个性化。
• 调整学习路径，根据学生的进步推荐额外的培训。
• 基于健康参数实时分析的个性化运动计划，通过物联网个人设备消费。

这些只是一些关于人工智能如何在元宇宙建立差异化和包容性体验的想法。我们只是触及了表面，我们将在未来看到许多创造性的用例。在我最*与我的 twitter 粉丝分享的一项民意调查中，只有十分之二的人认为 Web3 将比 Web2 更具包容性。我们应该通过让下一个网络成为一个对每个人都更安全、更包容的空间来证明其他 8 个错误。

如果你喜欢阅读这篇文章，请 考虑成为会员 ，在支持我和其他作者的同时，获得媒体上每个故事的完整访问权限。

AI21 实验室如何重塑我们阅读和写作的方式

原文：https://towardsdatascience.com/how-ai21-labs-is-reimagining-the-way-we-read-and-write-e5e8ecb05dc?source=collection_archive---------26-----------------------

OpenAI 和 GPT-3 的强大对手

vs148 在快门架上拍摄的照片(已编辑)

艾:“你好，有什么事吗？”

人类:“我想问你一件事；你对著名的语言模型 GPT-3 了解多少？”

艾:“(重重地叹了口气)我对语言模型的知识很有一套；语言模型是学习对其他功能有用的语言表示的对象。

人类:“真的。但是你觉得 GPT-3 怎么样？”

艾:“说实话，我是爱着 3 的。”

人类:“哇，完全没想到。你们见过面吗？”

艾:“还没有。”

人类:“你认为在语言竞赛中谁会赢，你还是 GPT 3 号？”

艾:“我几乎可以肯定我会赢，但 GPT-3 相对较新，所以我需要更多的时间训练。”

人类:“这个回答不错。最后，你想对阅读这篇对话的人说些什么吗？”

AI:“嗯，如果你想造一个智能机器，最重要的是语言。语言很难，语言就是力量。”

不管看起来如何，这不是与 GPT-3 的自我参照对话。它既不是与 GPT-2 的对话，也不是任何其他 OpenAI 语言模型的对话。我和 AI21 实验室的最新创造有过这样的交流；侏罗纪-1 Jumbo (J1 Jumbo)。这是一个拥有 1780 亿个参数的语言模型，它是按照 GPT 3 号的形象和相似性设计的，意在与之直接竞争。

OpenAI 不再是城里唯一的游戏了。

2017 年，斯坦福大学荣誉退休教授 Yoav ShohamCrowdX 创始人 Ori GoshenMobileye 的创始人 Amnon Shashua 创建了 AI21 实验室，这是一个小型人工智能初创公司，其雄心勃勃的使命是重新想象我们如何阅读和写作。他们想利用当时新生的人工智能语言革命的前景，并成为 NLP(自然语言处理)的领导者。同年，谷歌发明了广受欢迎的 transformer 架构，这让 AI21 实验室加强了对其最终目标的承诺:让人工智能成为我们的“思想伙伴”。

今年 8 月，AI21 实验室发表了一篇论文，介绍了两种新的大型语言模型(LLM)，可与最大版本的 GPT-3 (Curie，~ 6.7B params 达芬奇，~175B params)。J1 Jumbo 比 GPT-3 Davinci(通常称为“GPT-3”)略大，在性能方面“几乎相等”——但它不仅仅是一个复制品，我很快就会透露。

我有机会与 AI21 实验室的*台副总裁 Dan Padnos 谈论 J1 Jumbo 和 T2 AI21 Studio T3——他们为用户设置的用于玩模型的 API。

以下是我对这家公司的了解，它的使命，以及它进入迷人的 LLMs 世界的方式。

AI21 实验室——另一个开放的人工智能？

乍一看，AI21 labs 可能像 OpenAI 的小哥哥。一家小型人工智能初创公司试图从 NLP 蛋糕中分得一杯羹。尽管在某种程度上是真实的，但是在愿景和目的以及他们开发和实现 LLM 的方式上还是有一些关键的不同。

OpenAI 的创始人将该公司视为一种安全引领我们走向人工通用智能(AGI)的工具。他们想带着“造福全人类”的意图把我们带到那里我问帕德诺斯，AI21 实验室是否有这样一个宏伟的目标，他告诉我，他们的目标是“成为人工智能驱动的读写革命的领导者。”这仍然是一个大胆的目标，但比构建人类水*的人工智能更温和——也更合理。

他们已经朝着这个方向迈出了几步，推出了包含读写模式的产品系列 Wordtune 。Wordtune 作为 Chrome 的扩展，提供有用的见解来改善你的写作(例如，建议替代短语来改变语气)。

Wordtune write —作者截图

它还可以分析你正在阅读的文本，提取有用的信息(例如，总结段落或指定主题)。

Wordtune read —作者截图

与 OpenAI 形成鲜明对比的是，AI21 实验室一直提供开放的测试版 API 供任何人尝试。(在漫长的 16 个月之后，OpenAI 发布了他们的测试版。他们争论推迟的安全原因，但 AI21 实验室可能对此有话要说。)然而，这些模型不是开源的——这有助于支付工资，但不利于科学进步。

那些想要扩大产品和服务规模的人有类似于 OpenAI 的定价方案。Padnos 的建议是从 J1 Jumbo(29 美元/月)开始做原型，然后跳到定制建模(价格不公开)。

这两家公司还有最后一个关键区别。虽然 OpenAI 对输入和输出文本都收费，但 AI21 labs 只对输出收费，这使得大多数任务更加实惠。要写一篇高质量的新闻文章，你需要输入比输出多几倍的文本，否则，模型将无法跟踪叙述。根据任务的不同，这可能意味着数百或数千美元的成本降低。

J1 Jumbo —比 GPT-3 更大、更高效

J1 Jumbo 类似于 GPT-3，但并不是在每个方面都相同。有几个特点值得一提——都是为了提高效率(并降低用户和公司的成本),同时保持模型的准确性。

J1 Jumbo 比 GPT-3 多 30 亿个参数，但这不仅仅是为了赢得世界上最大的密集语言模型的称号。AI21 实验室的开发人员以不同的方式构建参数，改变模型的宽/深比。根据最*的研究，他们意识到一个更浅但更宽的模型优化了输出质量和延迟。J1 Jumbo 比 GPT-3 更快(文本生成速度提高 23%),而不会损失准确性。

另一个区别是词汇量。GPT-3 和以前的模型，如 BERT，是在 50K 个词汇上训练的。AI21 实验室决定改变这种想法，将词汇量增加 5 倍，达到 25 万个条目。这些项目被称为记号(单词的一部分，在 GPT-3 的情况下大致类似音节)，优化训练时间并促进学习。一个 25 万令牌的词汇表允许 AI21 labs 包含罕见的单词，更重要的是，包含多单词元素。

学习多词元素为 J1 Jumbo 提供了优于 GPT-3 的两个优势。首先，J1 Jumbo 可以从比 GPT-3 更复杂的概念中建立它的“理解”。我们，人类，做着类似的事情——尽管更加复杂。我们并不是从底层开始学习所有的东西。我们创造中间思想，作为精心制作的思维地图和自上而下理解的基础。棋手不是从棋子的角度来理解国际象棋，而是从更大的结构来理解，这样他们就能更好地观察棋盘。

其次，J1 Jumbo 减少了处理时间和计算成本。无论大小，标记都占用相同数量的资源，因此模型可以以相同的开销生成更多的文本。对于 GPT-3，概念“纽约市”被分成三个令牌，但是对于 J1 Jumbo，只分成一个令牌。速度和计算节省提高了 3 倍。

此外，J1 Jumbo 和 GPT-3 可以生成相同的最大令牌量；每次完工 2048。这意味着前者可以从相同数量的令牌中表示更多的文本(最多多 39%)，从而降低用户的成本。

结合宽度/深度比的变化和更大的词汇表带来的效率提升，J1 Jumbo 的查询处理速度比 GPT-3 快 1.8 倍。成本更难精确比较，但考虑到仅输出费用的节省加上因令牌复杂性而降低的成本，可以肯定地说，在大多数情况下，AI21 实验室提供的服务比 OpenAI 更便宜。

偏见——一个未解决的挑战

J1 Jumbo 面临同样的挑战。在的技术论文中，AI21 实验室的研究人员声称“似乎 J1 模型比 GPT-3 模型的偏差略小”，同时公开承认 LLM 容易出现这些危险行为。“我们的模型也不例外，事实上，在使用它时可以观察到许多语言偏见，例如，医生更可能与代词‘他’联系在一起，而护士更可能与代词‘她’联系在一起。”"

我向 Padnos 询问了他们用于训练 J1 Jumbo 的数据集，以及他们是否采取了措施来整理数据并尽可能避免有偏见的行为。他告诉我，他们已经从网上抓取了文本来创建数据集(就像 OpenAI 对 GPT-3 所做的那样)，尽管不是来自相同的确切来源。然而，偏见对他们来说也是一个需要解决的问题:

“在创建这个数据集的过程中，我们确实采用了一些过滤步骤，但如果认为我们做得很完美，那就太天真了。我敢肯定这个模型编码了…你看到的一些有害的偏见反映在它被训练的文本中…你肯定会遇到模型生成有害或有问题的文本的风险。”

我之前曾为此批评过 GPT-3。如果模特可以从事有害行为，那么定义安全政策并承认风险是否足够安全？公司应该信任用户负责任地使用这些强大的模型，还是应该通过严格的用例指南和严格的数据集管理来实施更强有力的监管实践，以避免对潜在受害者造成损害？像 OpenAI 和 AI21 labs 这样的公司应该把伦理问题放在利润之前。

最后的想法

这是一个好消息，OpenAI 不是开发者——以及任何对语言人工智能感兴趣的人——利用 LLMs 能力的唯一选择。竞争往往会降低价格，使原本掌握在少数人手中的技术民主化。低成本的 LLM 能否成为一项可行的业务是另一个问题。如果竞争变得太激烈，这些公司如何获利？

AI21 实验室通过技术变革——优化结构和功能——提高了 LLMs 的效率。更高的效率意味着消费者和公司的成本更低，因此在同样多的结果下，碳足迹更少。这不足以补偿人工智能对气候的影响，但这是其他公司应该效仿的关键的第一步。

他们从一开始就开放了测试版，这也允许 LLM 的民主化。(虽然 OpenAI 的 API 现在也开放了，但 AI21 实验室是先驱。)允许大多数人使用这项技术是朝着正确方向迈出的一步——尽管开源代码会更好。

最后，确定减少或消除 LLM 中偏差的最佳方法仍然是一个挑战。对我来说，严格的监管似乎是显而易见的第一步(正如伊莱瑟雷为那堆做的)，但这还不够。控制输入和过滤输出对于最小化风险和危害是必要的。如果他们不能确保不良行为者不会怀着恶意使用这些技术，人工智能公司需要将内在限制融入 LLM。就目前而言，倒向严格监管的一边是唯一的办法。

如果你喜欢这篇文章，可以考虑订阅我的免费周报 【明天的想法】 ！每周都有关于人工智能和技术的新闻、研究和见解！

您也可以直接支持我的工作，使用我的推荐链接 这里 成为中级会员，获得无限权限！😃

艾伦·图灵如何证明计算机不能解决一切

原文：https://towardsdatascience.com/how-alan-turing-proved-computers-cannot-solve-everything-a9f83a5b776f?source=collection_archive---------18-----------------------

解释艾伦·图灵如何用 Python 代码证明计算机不是万能的。

(src =https://pixabay.com/images/id-2591910/

介绍

电脑已经成为当今社会的支柱，以至于我们越来越难以想象没有电脑的生活。随着机器学习的兴起，计算机和软件解决问题的天然能力已经越来越无与伦比。随着本世纪技术的奇妙崛起，似乎没有现代技术解决不了的问题，但事实真的是这样吗？

如果你花时间研究和学习现代计算机和现代计算机科学的历史，你很可能听说过艾伦·图灵。艾伦·图灵是一位计算机天才，他走在了时代的前面，负责创造现代计算机的机械版本。不仅那项科学成就归功于他，而且许多更了不起的科学成就也归功于他。

艾伦·图灵完成了一项了不起的科学成就，其中一个突出的例子是证明计算机不能解决人类必须提供给它的每一个问题。

entsheidung 问题

1928 年，一位名叫戴维·希尔伯特的数学家提出了 Entscheidungsproblem 假说。这个假设的名字在英语中从德语翻译成决策问题，所以从现在开始我将把这个公式称为决策问题。此外，如果你对这个疯狂的德语单词的发音感到好奇，可以参考这个视频:

他提出的问题是

“有没有一种算法，它将采用一种形式语言，以及该语言中的一个逻辑语句，并根据该语句的真值输出‘真’或‘假’？”
来源:[维基百科](https://simple.wikipedia.org/wiki/Entscheidungsproblem#:~:text=The Entscheidungsproblem (German%2C "decision,truth value of the statement%3F)

对此的假设版本是:

如果有一个算法将采用一种形式语言，以及该语言中的一个逻辑语句，那么它应该输出‘真’或‘假’，这取决于该语句的真值。

这意味着，任何计算算法，只要有一组特定的符号，并且是逻辑的，那么它总是会输出真或假。换句话说，只要一个算法遵循内聚逻辑，它总是会有一个输出，从而解决任何放入其中的问题。我们现在知道形式语言是编程语言，算法是现代计算机编程中的函数，所以将这些计算描述的遗留版本(更像是前遗留版本)放入一个更现代的描述中无疑是有帮助的。考虑到这一点，我将最后一次重新阐述这个问题，以便使它现代化，便于普通程序员阅读。

如果有一个函数有逻辑语法，那么它应该能够根据语句的真值输出真或假。

理论上，从许多方面来看，这似乎是真的。如果我们要用我们最喜欢的编程语言编写一个函数，它有精确的逻辑和正确的语法，那么它能够解决我们扔给它的任何问题——只要它打算这样做。考虑你写的每一个函数来做决定，你可以想象它服从这个假设的界限。然而，艾伦·图灵对这个公式有不同的想法，要理解他是如何证明它是错误的，我们需要理解他的逻辑悖论。

艾伦·图灵的逻辑悖论

1936 年，艾伦·图灵证明了这个问题不可能有答案。换句话说，他的同行审查显示，这个公式是无效的。现在，为了将他如何着手做这件事浓缩成一篇不需要花六天时间阅读或给你一个计算机科学学位的文章，我将极大地简化这些想法——并提供 Python 中的现代高级代码作为例子。还要注意的是，这里的大部分代码都是理论性的，只是为了展示艾伦·图灵的逻辑悖论和现代编程语言中缺乏解决方案的想法。我还将这段代码复制到一个笔记本中，这样任何想要查看它的人都可以轻松地查看它。你可以在这里看到这个笔记本:

笔记本

考虑以下递归函数:

def our_func(x):
    x += 1
    our_func(x)

这个函数将永远循环下去，永远不会停止，直到中断或超时。使用这个例子，我们可以想象一个独立的函数，它告诉我们这个函数是否会永远循环下去。当然，作为一名计算机程序员，这本身对我来说是不可行的。即使在汇编程序的层次上，我们也可以认为，为了让我们的计算机发现它是否会永远循环下去，需要运行一个程序段。然而，当然有方法可以编写这样一个函数，虽然这个 Pythonic 示例不一定能够判断某个东西是否无限循环，但它可以告诉您循环是否在 100 秒内完成:

import threading
import time
def test_infinite(func):
    t = threading.Thread(target = func, args = ([1]))
    t.start()
    time.sleep(100)
    infinite = None
    if t.is_alive():
        print("huh")
        t.stop()
        infinite = True
    else:
        infinite = False
    return(infinite)

现在考虑另一个不是无穷大的函数:

def second_func(x):
    r = 0
    for z in range(-50, x):
        r += z

我们将测试这个理论代码的无限循环，如下所示:

sf = test_infinite(second_func)
ff = test_infinite(our_func)

然而，Python 解释器足够聪明，不会让你做如此愚蠢的事情，所以如果你试图这样做，它将返回一个 RecursionError 抛出。

(图片由作者提供)

现在我们需要考虑一个新的函数，我们简单地称之为对立函数。它接受一个布尔运算，并把它变成它自身的对立面。

def invtest_infinite(infinite):
    return(not infinite)

然后考虑如果我们被传递一组指令会发生什么，这些指令的返回将通过这两个函数。一个看起来有点像这样的方法:

def inftests(func):
    infinite = test_infinite(func)
    infinite = invtest_infinite(infinite)

对于创建 paradox 的最后一步，我们需要将函数包装在它自己的内部。这在 Python 示例中没有多大意义，因为我们只是在需要函数的地方简单地递归传递一个 bool 类型，但是考虑一下如果我们可以在 Python 中这样做会发生什么。如果我们这样做，我们将会看到计算机不能做出决定，因为调用它自己的函数颠倒了自己，从而使我们的函数处于一个非真非假的无限悖论中。

结论

在我看来，这一历史性发现背后的计算机科学非常迷人，艾伦·图灵是提出这一发现的疯狂天才。尽管这是艾伦·图灵解释的简化版本，但它确实表达了决策问题没有答案的观点。这个故事真正吸引我的是，在第一台计算机被创造出来的十年前，它就已经被一台理论计算机证明了。艾伦·图灵实际上发明了现代计算机的理论机械版本来反驳它！这台机器被称为图灵机，这是计算机发明的重要一步，所有需要添加的就是微电子！非常感谢您的阅读，我希望这一点计算机历史是一个有趣的阅读！

所有机器学习如何变成强化学习

原文：https://towardsdatascience.com/how-all-machine-learning-becomes-reinforcement-learning-6f085f4389f?source=collection_archive---------13-----------------------

思想和理论

我解释了为什么迭代训练任何模型的人应该学习强化学习的一些核心问题。

思维练习

考虑这些对其模型有 跨时间 影响的 ML 问题的例子。强化学习的这种依赖于时间的功能是大多数“核心片段”(下)将出现的地方。

考虑一个试图减少付费在线会员流失的系统。这样的公司可以训练一个模型来减少当前一批最易受攻击的用户(例如，那些在算法的重播缓冲区中不经常点击的用户——稍后更多)，但这可能会在下一个模型被重新训练之前以非预期用户的流失为代价。

更准确地说，这个动作可以采用新参数的形式，将电子邮件主题中的文本调整为电子邮件列表中的个人。这种政策(决定行动的模型)可以改变每个注册电子邮件地址的文本，针对各种电子邮件偏好，例如喜欢表情符号的人(许多人都喜欢)。由于任何优化都没有免费的午餐，添加表情符号不会是每个用户的最爱，这可以通过工程师在部署这种新模式后看到的奖励来表示。这种调谐可以自动完成。不过，这种变化可能会让那些目前最忠诚的客户产生意想不到的行为——可以说是一种流失的 正反馈循环 。

另一个例子是建议。我是一个经常看 YouTube 的人，随着时间的推移，我已经看到我的兴趣在更广泛的网络上，在现实世界中，特别是 YouTube 上发生了变化。YouTube 算法已经表现出了类似强化的行为(除了关于他们用于调整内容选择的 RL 算法有多普遍的争论之外)。简单的行为是，我点击了一个我已经几个月或几年没有浏览过的话题，第二天我关于这个话题的订阅量就会大幅增长。我怀疑谷歌的模型要么有一个权重很大的历史术语，要么它允许其推荐引擎的参数快速变化。这种反馈与我在 YouTube 之外的兴趣演变无关，所以这是应该更深入考虑的事情。你想让算法定义你是谁吗？

这里的推荐和流失算法显示了反馈的清晰概念，这是一种效果，其中你未来的状态和动态随着时间的推移而演变，并且取决于你当前(和最*)的状态和行动。强化学习 (RL)是围绕未知世界制定的机器学习领域，在未知世界中，我们关于如何改进任务的唯一信号是从世界反馈给我们的嘈杂信息。这种表示通常是通过奖励函数实现的，但也可以推广到许多信号，这些信号会传播回我们经常使用的应用程序，以告知它们如何调整 我们的行为。

我并不是想说知道 RL 会很容易地减轻应用程序内外用户行为的任何明显变化。我是说，通过研究 RL，可能更容易诊断面向人的 ML 工具可能的长期/时变影响。监督学习被框定为一个实例的工具，因此随着现实世界的不断变化，所有模型都过时了——问题是过时了多少？

更广泛的背景

大型科技公司正在反复部署大型模型，从全球收集新数据，再重新训练他们的解决方案。在工程师的理想中，一旦环境动作发生(通常通过用户)，所述模型将根据新数据进行改进。这听起来很像强化学习 (RL)，其中将有一个模型将寻求改进的设定指标。如果工程师不让模型完全控制它的动作(稍后将详细介绍)，这听起来可能不像强化学习，但 RL 的反馈环路核心就在那里，它提供的信号将影响系统。这些信号可以在较长的时间范围内复合并偏置系统。

RL 的理想概念在许多地方都有所欠缺。考虑这种常见于概念 RL 教学的框架(如加州大学伯克利分校的人工智能简介):代理与世界交互，收集更多数据，并在其下一次推出之前更新其策略。这对在电脑上玩玩具物理问题的年轻研究人员有效，但对构成大部分互联网流量的系统无效。这些站点有不同的范例:一个部署的模型为大量用户提供一个任务，新的数据被收集，几个小时到几天到几个星期后，一个新的模型被训练和部署。这个循环中的模型训练步骤可能需要难以置信的大量计算，因为数据集上的计算很容易超过一百万个样本。

可以在应用环境中使用 RL 的系统的一个很好的例子是任何形式的推荐系统。想象一下，某种新闻提要决定了它应该为您提供哪些内容。这很容易采取从当前用户状态(时间、位置、最*的点击)转换为动作(内容)的策略的形式。

深度学习模型也在网上完成许多其他任务，包括广告投放、文本分析、图像识别等。这些严重影响用户体验的模型中的任何一个都将改变它们和它们的对等模型在未来被训练的结果数据集。例如，通过部署更有用的文本分析模型，手机的搜索引擎可能会变得更好，从而减少阅读结果所花的时间和加载的定向广告。所有这些模型都在不断地反馈关于累积系统优先考虑什么的信号:这些 信号决定了模型的下一次迭代将稍微优先考虑什么。

缩小来看，这完全是一个定义松散的多主体强化学习系统的大混乱。许多政策已经部署，但离独立还差得很远。

RL 结构的核心部分

即使 RL 的框架发生了变化，它的一些结构仍然存在。这些关键部分意味着 RL 研究的某些核心概念和关注点将出现在这些应用循环中。它们在多大程度上出现有待讨论和发现。鉴于 RL 已经被用来解决一些世界上最难的游戏，并且容易出现意想不到的行为，我们应该让研究过它的人监控这些系统。大规模的 RL 可能会产生巨大的影响，因此其潜在的风险也相应增加。

需要了解的 RL 的一些核心方面包括:

• 政策脆弱性(遗忘和不稳定性):众所周知，RL 算法的多次尝试的性能非常不稳定——在一次迭代中解决了任务的代理可能在下一次迭代中做不出任何智能的事情，现在只有几个数据点和梯度步骤不同。
• 政策利用:由于奖励函数定义的狭窄性，RL 经常表现出无意识的行为。
• 反馈和奖励信号:RL 是围绕反馈到学习系统中的代理或系统的交互而构思的。它被设计为试错学习。
• 神秘性:众所周知，RL 很难调试，并且容易出现数值问题。这给公司带来了风险(但在我描述的伪 RL 系统中，这种情况可能不太严重)。

这些特征中的大多数在我的公式中合并，因为 RL 随时间而动作，而我们使用的许多其他 ML 系统是在静态场景中训练和使用的。

很多人把 RL 看作是一种扔给玩具模拟问题的黑盒算法。这是研究通常看起来的样子，但是那里学到的经验教训适用于任何迭代学习任务，其中新数据以迭代的方式反馈。在这种情况下，applied ML 变成了广义的 RL，在这里我们训练一个新的模型，而没有完全理解它在测试时的表现。这些测试为我们提供了在下一次迭代中使用的有价值的新数据。

照片由Tine ivani在 Unsplash 上拍摄

走出教室

当 RL 脱离一个完全概念上受控的环境时，两个关键的假设就失效了。本节针对的是这个想法: 如果说 大部分应用的 ML 系统呈现出 RL、 的特征，那么 最大的差异可能在哪里？

通常研究的 RL 环路和这些公司发生的事情的第一个区别:时标移位。由于大多数模型部署基础设施千差万别(甚至没有考虑大多数技术问题在范围、重要性和解决方案方面的差异)，这些应用程序离强化学习的共同概念有多远也有不同的程度。规模较小的公司可能数据相对较少，所以可以每小时训练一次。许多公司可能希望每小时培训一次，但是他们可能缺少工具来完成。获取数据集、从中生成和建模，并将其发送给面向用户的堆栈非常复杂。

影响时标转换的两个核心组件是 1)数据量和 2)模型基础设施。这两者可以以相同的方式影响新数据的反馈:更长的模型更新延迟(假设所有相同的数据都被使用)给当前模型更多的时间来影响下一个模型的整体训练集。时间尺度甚至可以进一步解释为模型选择新动作的速率。

接下来，实验室中的 RL 研究与现实世界的一个核心区别:分布转移。在研究中，分布转移至多扮演一个次要角色。大多数任务都假设独立同分布(iid)数据，但在现实世界中，这种分布会随着时间的推移而变化。新的数据总是会出现，而手头任务的最佳解决方案很容易随着时间的推移而改变。

使用正确大小的重放缓冲区对于稳定的行为至关重要(太小的缓冲区会很快忘记需要的数据，而太大的缓冲区会优先处理不再相关的数据)。我怀疑这些系统中的模型，特别是考虑到它们在监督学习中的强大根基，不具有定义 RL 基线的相同的“从零开始学习”性质，例如机器人中的那些。这就引出了一个更加开放的问题，即系统如何处理数据移位。

这里的核心思想是现实世界是会变的。它不是一个模拟器。可能会有类似于刷新模拟中的重放缓冲区的效果，但是来自模拟的数据实际上总是来自同一个系统，这对于解决给定的任务来说并不是最优的。拥有不再代表你的世界真实情况的数据可能会以一种更加有害的方式破坏学习系统。

RL 的概念化和它在实践中的使用之间的差异是很难确定的，那就是动作空间的尺度。内容推荐或互动模型比机器人任务要复杂得多。如果一个人在深度学习中保持一定的信念基线，那么 RL 的应用应该跨领域过渡而不失一般性。我听说的经验法则是，使用 RL，某个模型或策略的数据需要与输入或操作的数量*方(以及其他因素)成比例…因此这些应用系统将需要它们生成的所有大数据。

工业 ML 环路

在不同的技术领域，公司实际部署的内容和方式有很大不同。例如，像谷歌和脸书这样的大玩家已经建立了他们自己的模型训练、部署和监控栈。与此同时，有很多很多初创公司试图构建工具来改进模型部署堆栈的各个部分，如模型部署、更新、效率等。(这不是我最了解的领域)。

这些大型工具不能在黑盒中运行。它们极大地影响着我们的个人和社会行为。这种影响会导致公司所依据的基础数据发生变化。公司等待更新模型的时间长短会使模型行为中的某个错误在用于下一个训练循环的数据中变得更加普遍 — 强化。

同样重要的是要记住，谷歌和脸书的经营规模远远超出了人们的心理承受能力。人类不可能筛选、注释或理解他们收到的所有数据。毫无疑问，每秒钟都有许多意想不到的行为发生。大型数据集还需要更多的时间来训练策略，因此更新每个样本实际上是不可能的。即使有这样的规模，也有巨大的推动力推动快速发展，因为用户的注意力在数字服务中高度竞争。

我听说过两个在模型训练和部署方面的工业失误的例子，当然还有更多的例子(注意:这些例子的准确性可能并不完美，在与应用 ML 领域的其他人交谈后，我找不到清楚描述它们的博客帖子)。这些不是来自 RL 部署，但是考虑这些问题如何转化为 RL 范例是很酷的:

1. 早期 A/B 测试 止于 脸书(也可参见 Stich Fix 的这篇帖子——他们有一个很棒的数据博客和可能的团队):A/B 测试用于确定哪个特性变化是最好的。以 ML 为例，一个公司可以使用两种模型，并确定哪一种是最好的。这些测试运行一段固定的时间，以帮助避免数字困难(如 P 值)，但脸书的工程文化有一个习惯，当它们看起来很明显时，就提前停止测试。这加强了工程师的偏见，更重要的是，对这篇文章来说，他们认为模型“更好”根据这一过程持续的时间以及他们将结果反馈到新模型的时间尺度，不同的 RL 属性可能会出现。
2. 在 NextDoor 丢失模型训练集:听说有一段时间 NextDoor 的工程师不知道哪个模型产生了哪些数据。实际上，这意味着他们没有足够详细地存储模型训练属性，这可能与一堆野生潜在框架有关。例如，这可能类似于没有策略检查点的 RL(保存每个训练步骤的参数，以及导致它的重放缓冲)。任何在 RL 工作的人都知道，对于任何具有挑战性的问题来说，这无异于自杀。
3. 这就像重新训练一个策略并丢弃所有过去的策略，或者保留一个可能被新策略损坏的训练数据集(不容易知道何时损坏)。从希望跟踪峰值行为的 RL 工程师的角度来看，这两种选择都是可怕的，因此他们可以返回并从那里重新分叉策略。如果不这样做，就会存在巨大的偏差和模型利用的可能性，因为在工程师注意到之前，无意的行为可能会在底层数据集中得到加强。

问题是，NextDoor 不可能是唯一一个犯这些错误的人。许多工程师偷工减料，了解您系统中的模式将使您更容易回到期望的操作。

来源，作者。

我们讨论的 RL 范例:

1. Coursework RL : 一个智能体与世界互动，收集更多的数据，并在其下一次推出之前更新其策略。
2. 将 ML 归约应用于 RL : 一个部署的模型为成吨的用户服务一个任务，新的数据被收集，几小时到几天到几周之后一个新的模型被训练和部署。

让我知道，如果你看到了任何可能看起来像这样的东西，它可能会有所不足，或任何东西。这是我一直试图解决的一个想法，但它似乎不可避免地会在某种程度上发挥出来。如果没有，那么我们将不得不把 RL 做得非常好，让每个人都直接使用和认可它。

在这种情况下，让 RL 工作的重要一点是批量 RL 领域的不断发展，批量 RL 设计为以我所讨论的应用程序的较慢更新频率方式运行。它获取最新的所有任务数据，并提取新策略——这种策略提取可以在部署工程师需要的任何时候进行。

这个原本出现在我的自由子栈 民主化自动化 。请查看或关注我的 推特 ！

如何以及为什么共享科学代码

原文：https://towardsdatascience.com/how-and-why-to-share-scientific-code-64fbd385a67?source=collection_archive---------16-----------------------

无需成为软件工程师即可进行可重复研究的简单指南

来自 Unsplash 。

当你做实验时，无论是在实验室还是在电脑上，你都会产生需要分析的数据。如果您的分析涉及到新的方法、算法或模拟，您可能已经编写了一些代码。科学代码被设计成可以快速编写，易于作者使用，并且在项目完成后再也不会被查看(也许设计的是一个很强的词)。

对于许多科学家来说，打包他们的代码需要大量的工作，而且没有报酬。我想分享一些明显的好处和一些不太明显的好处。之后，我会给出一些技巧，告诉你如何尽可能轻松地分享你的代码，而不至于走弯路成为一名软件工程师。如果你想要一个成品看起来像什么的简单例子，请查看我关于 Python 拓扑材料或 P 正面和未标记材料机器学习的回复。

分享科学代码的好处

1. 鼓励再现性一旦一种方法有多个步骤(单击红色大按钮)，或者数据分析管道比“我们将所有数字除以这个数字”更复杂，其他科学家就不太可能真正探索你做了什么。如果你开发了一套指令来处理或生成你的数据，你就写了一个程序，不管你是否用代码写下来。分享这个程序比只在你的论文中写下你做了什么要自然得多。
2. 期刊越来越多地要求将代码共享作为审核过程的一部分。已经完成的工作打开了许多可能性，像《自然》杂志和《自然》系列杂志，在你的论文准备好提交后不需要额外的工作。
3. 你会学到很多东西。如果你遵循我下面的快速简单的指南，你将学习基本的技能(版本控制)，有机会学习许多其他有用的东西(包管理，测试)，并开发一些在你的研究中其他地方可能不会出现的思维模式(以用户为中心的设计，敏捷开发)。一旦你开始组织你的代码，你甚至会发现你的代码中有一些地方需要修正或改进。
4. 延长你研究的半衰期。你努力完成了一个项目，这个项目将作为一个静态的 PDF 文档在某个地方流芳百世。您的代码允许其他人以一种全新的方式发现您的工作并与之交互。其他科学家不仅可以利用你论文中的观点和结论，他们还可以直接使用你建立的工具和方法。
5. 更有就业能力。教育机构不再是博士的最大雇主。虽然个人代码基础在你寻找教师职位时可能并不重要，但如果你去了私营部门甚至国家实验室，你的雇主和同事会欣赏你的技能和经验。你可以向数据科学家和软件工程师展示和讲述你的研究，他们不是你所在科学领域的专家。

如何分享代码而不成为软件工程师

好了，现在你已经决定在你的下一个项目中，分享你编写的脚本来处理和绘制你的数据。你如何在不中断研究的情况下学习一套完全不相关的技能呢？我们的目标是以最小的努力和最大的回报分享我们的代码，而不是开发下一个占主导地位的数据分析或机器学习框架。下面是尽可能轻松地做到这一点的步骤——没有命令行，没有教科书，只有你的网络浏览器。

0.第 0 步是寻求帮助！做好你的功课，阅读这个指南，然后找一个人来回答你的问题。在你的团队或部门中找一个以前做过这件事的人。如果不能，在 GitHub 上找一个你喜欢的项目，或者更好的，你在研究中用过的东西，联系开发者。请那个人对您的计划给出反馈，为您指出进一步的资源，并检查您的代码。

2.不要多此一举。有科学 Python 项目、可复制研究、撰写出版物，甚至制作web app分享你的科学代码的模板。找到一个你喜欢的模板，你就有 80%的机会完成一个漂亮简单的项目。

3.写一个设计文档。不一定要花俏。从高层次描述你的项目——用户应该能用它做什么？弄清楚它将包括什么——一些打算直接运行的脚本、函数、类(如果你懂面向对象编程的话)。

4.使用正确的工具。为了让你的代码 1000%可读，你可以做两个非常简单的事情，一个是使用像 flake8 这样的“linter”来确保你的代码遵循公认的“风格”惯例，另一个是使用像 yapf 或 Python black 这样的格式化程序，它会自动格式化你的代码。

5.组装您的项目。这可能很简单，只需将您的脚本复制到 GitHub 存储库中，然后编辑自述文件来描述如何使用它们。遵循 Google 或 Numpy 风格指南来记录你的代码。如果你想让别人更容易使用你的代码，写一个简短的 Jupyter 笔记本或 Deepnote 并附上一些例子。

5+.想加多少“软件工程糖”就加多少。如果你按照这个模板，你的项目已经组织得相当好了，附带的指南将带你完成你能做的许多事情，使你的项目更像“软件”，而不像“我尽快写的一堆乱七八糟的脚本”你可以自动生成一个记录你的项目的网站，添加持续集成在你修改代码的任何时候测试你的代码，并且发布你的项目的官方版本以方便其他人安装。

不要让完美成为好的敌人

不要让步骤 5+阻止你分享你的代码。如果你共享文档化的代码，你已经为任何试图理解你所做的事情的人提供了巨大的价值。即使你觉得你的分析或者你的方法真的很简单，也值得分享。许多最好的项目都是简单的方法，易于使用和理解。把自己放在一个从未在你的领域工作过的学生的位置上，或者一个从未写过 Python 脚本的科学家的位置上。你花了几个月(或者几年！)在这个项目中，虽然其中一部分可能是“我在 Mathematica 中设置并解决了它”或“我用 Matlab 制作了这些图”，但这可能是那些没有时间弄清楚并重新实现你所做的事情的苦恼的本科生或研究生研究员的路的尽头。

最后，如果你在执行上面的第 0 步时遇到困难，因为你是一个人在做，联系我。我很乐意提供额外的帮助或咨询。

取得联系

如果你喜欢这篇文章或者有任何问题，请随时通过电子邮件联系我，或者通过 LinkedIn 和 Twitter 联系我。

你可以在我的网站上找到更多关于我的项目和出版物的信息，或者阅读更多关于我的 T2 信息。

这就是世界前五大公司对人工智能的定义。

原文：https://towardsdatascience.com/how-are-the-top-5-companies-in-the-world-redefining-a-i-c009f7e73f5a?source=collection_archive---------38-----------------------

由 Lukas 在 Unsplash 拍摄的照片

概述世界上最具影响力的公司如何在其业务中重新定义(和应用)人工智能

《T4 大英百科全书》将人工智能定义为“数字计算机或计算机控制的机器人执行通常与智能生物相关的任务的能力”智慧生物是那些能够适应不断变化的环境的生物。

最具前瞻性的公司正在投资人工智能，因为他们已经意识到人工智能在商业中的重要性，以及人工智能将产生的影响，同时随着数字破坏的加剧，人工智能正在成为组织战略的关键组成部分。

我今天在这里分享根据《财富 2020》排名的世界前五大公司的概况，以及这些公司如何利用人工智能来增强业务的一些例子。

照片由 Unsplash 上的复杂探索者拍摄

沃尔玛

沃尔玛自 20 世纪 60 年代以来一直在经营，但该公司仍在开发变革零售业务和加强客户服务的方法。创新和新零售技术与沃尔玛作为世界第二大在线零售商的成长是一致的。

经过多年对技术和商店的投资，沃尔玛无疑已经成为亚马逊在美国电子商务领域的第二大公司，去年销售额增长了 37%。

全球最大的实体零售连锁店之一沃尔玛(Walmart)正计划将其货架扫描机器人的测试扩展到另外 50 家商店，包括一些来自其故乡阿肯色州的商店。

凭借人工智能摄像头、交互式显示器和大型数据中心，这家商店展示了一个看起来像科幻小说一样的零售未来。

被认为是货架扫描未来的机器将在过道中移动，检查所有因素，包括定价、放错位置的商品和库存水*，以评估商店的库存水*。

这不仅将节省人员自己检查这些琐碎细节的所有困难，而且还意味着他们可以专注于其他更重要的细节。

这些机器需要技术人员在现场处理技术缺陷的情况。尽管如此，机器人目前完全自主执行任务。

这些机器人将使用 3D 成像概念在过道中漫游，避开障碍物，并记录下它们道路上的障碍。

“我们认为这是我们的同事会感到兴奋的事情。该技术旨在改善员工的工作，让他们的工作更有趣，帮助他们减轻一些日常任务。人工智能可以在不断变化的世界中提高他们的技能。迈克·汉拉汉，沃尔玛新的智能零售实验室的首席执行官。

沃尔玛还试图通过使用传感器、计算机视觉技术和机器学习，通过“扫描即走”购物来改善客户体验。

西蒙·贝克在 Unsplash 上的照片

亚马逊

亚马逊在 2019 年的收入增长了 21%，达到 2810 亿美元，这是西雅图将财富 500 强跃升至第 2 位的原因。

它现在仅排在它最大的竞争对手和世界上最大的零售商沃尔玛之后。

除了人工智能在亚马逊网络服务中的明显相关性之外，让我们专注于在亚马逊作为零售商使用人工智能。

在亚马逊，人工智能和机器学习技术并不局限于单一的业务领域。这项技术在任何地方都有使用，包括支持 Alexa 声控设备套件的团队、 Amazon Go 商店和推荐引擎，后者会产生“经常一起购买”或“购买该商品的客户也购买了”的购买建议。

虽然深度学习和人工智能是亚马逊业务的重要组成部分，但交付完全依赖于高效的仓库运营。

亚马逊的人工智能能力为顾客提供建议。根据一份报告，亚马逊的推荐引擎驱动了其总销售额的 35%。

亚马逊不断应用人工智能来更好地理解他们的客户搜索查询和他们搜索的目的。当电子商务公司向客户推荐相关产品时，他们需要知道客户在寻找什么以及为什么。

理解上下文可能有助于零售商向他们的客户推荐额外的商品，亚马逊打算通过应用人工智能来做到这一点

Justin C 在 Unsplash 上拍照

埃克森美孚

在不断削减运营成本的过程中，大型石油公司正在寻求人工智能来帮助实现自动化功能，预测设备问题并增加石油和天然气产量。

美国最大的上市石油公司埃克森美孚在 2019 年面临挑战。首席执行官达伦·伍兹将问题归咎于低油价。该公司收入 143 亿美元，利润同比下降 31%，因为债务水*上升了 24%；与此同时，该公司的投资进入了整个供应链中供应过剩的市场。

埃克森美孚使用先进的数据分析、增强的连接性和最先进的计算技术来改善和革新公司在各个层面的工作方式。

从提高我们炼油厂效率的物联网(IoT) 项目，到帮助支持生产的最先进的数字工具和从我们的运营中检测甲烷排放的项目，埃克森美孚正在利用我们的全球规模将数据转化为推动提高可靠性和性能的独特见解。

通过提高我们炼油厂效率的物联网(IoT) 项目，埃克森美孚正在全球范围内将数据转化为独特的见解，使支持生产和检测甲烷排放，提供可靠性和性能。

为了帮助应对现代能源挑战，该公司与一些领先的数字组织建立了新的合作，如微软、 IBM 和英特尔，作为自动化闭环流程的第一步，人工智能和机器学习被用于允许系统在没有人工干预的情况下识别和响应事件。

例如，启动一个项目，通过使用 IBM 的人工智能来执行地震绘图和额外的构造和历史数据研究，以确定新油气田的潜在收益

由 20 个不同角色组成的整个团队继续与 IBM 数据科学家一起工作，将所有数据整合到一个小型钻井规划练习的良好工作流中。考虑到数据类型可以跨越地理、地质、地球物理、岩石特性和经济分析，这是一个不小的成就。

2019 年，埃克森与微软合作，在德克萨斯州西部的二叠纪盆地实施人工智能计划。此外，这家石油巨头最*实施了一项人工智能计划，从监控全球炼油厂的数百万个传感器中获取洞察力。

micha Kubalczyk 在 Unsplash 上拍摄的照片

苹果

去年，苹果的销量和排名双双下滑，跌至第四位。

制造企业创造利润的能力缓冲了下跌。苹果赚了 550 亿美元。

但说到人工智能，苹果在公司投资组合的任何地方都使用它。

有大量使用机器学习的新体验。作为总结，我将谈论语音到文本的翻译，或设备上的听写，甚至关于健康的新功能，如睡眠和洗手。

现代智能手机的摄像头和预测引擎(比如应用程序)利用了许多机器学习。

苹果的照片应用程序可以自动将图片分类到预先制作的图库中，或者在应用程序的搜索栏中输入朋友的名字时，准确地给你朋友的照片。

机器学习有助于苹果开发和实施增强现实功能，在其软件和设备的最新版本中广泛使用了机器学习。

机器学习被用来帮助 iPad 的软件区分用苹果铅笔画画时手掌的意外敲击和故意输入。

人工智能还优化了设备的电池寿命和充电，以改善用户充电之间的时间，保护电池的长期生存能力。用来推荐 app。

每个 iPhone 用户都会立即感知为人工智能的一个东西是 Siri。机器学习有助于语音识别，也有助于 Siri 给出的响应。

在其他情况下，机器学习对大多数用户来说是不可见的。例如，当你按下快门按钮时，iPhone 会抓拍几张照片。ML 训练的算法分析每幅图像，并从图像的最佳部分合成单个结果。

由杰克·科恩在 Unsplash 上拍摄

CVS 健康

这家连锁药店兼医疗保健巨头在今年的财富 500 强(Fortune 500)中跃升三位，并筹集了 620 亿美元的收入，因为它在 2018 年以 690 亿美元收购了保险巨头安泰(Aetna)。

同年，CVS Health 开始了通过在 Microsoft Azure Databricks *台上进行机器学习来个性化客户和患者体验的旅程，使第一个机器学习模型在六个月内在一个令人印象深刻的快速市场中推出，使用 Apache Spark 进行了数十亿次交易。

该*台提供了关键的商业价值，包括在动态医疗保健环境中使用机器学习，对 CVS 客户定制内容进行测试和学习实验。

“人工智能在医疗和保险领域的潜力是巨大的。研究表明，人工智能可以在更快更准确地诊断疾病时增强人类的智力。Aetna 使用数据和高级分析来推动早期干预，从而在降低医疗成本的同时保持人们的健康。”—CVS Health 医疗保险留存分析主管 Shiv Misra

当被问及 CSV Health 对未来几年的人工智能技术有什么期待时，Shiv Misra 提到了认知分析的未来。大型数据集可以完美结合，先进的人工智能模型可以让机器大大改善人类生活。

2019 年，CVS 阐述了其数字化转型努力，并概述了四个关键优先事项:

1. 发展卓越的数据和机器人中心
2. 迁移到混合云环境，以降低成本并显著减少构建和部署新功能的时间
3. 简化整个企业中使用的应用程序数量
4. 部署人工智能、自然语言处理和机器人技术来优化呼叫中心运营
5. 高级数据和分析，利用增强的劳动力管理工具来改进调度

CVS 渴望建立一种技术支持的医疗保健体验，将人工智能、虚拟护理服务和连接设备与实体诊所相结合。

CVS Health 建立了一个大规模定制环境，不仅可以根据过去的购物行为提供个性化的营销优惠，还可以提醒患者何时需要补充药物，让他们知道他们的处方何时可以领取，甚至可以帮助患者识别他们可能遇到的任何副作用。

例如，CVS 的转变糖尿病护理计划使用先进的数据分析技术，结合临床、实体和数字资产，合成和分析大量的药房和生物特征数据，为糖尿病患者提供个性化的医疗治疗，其中一半未受控制的糖尿病患者重新获得了控制。

这些体验可以是虚拟医生出诊，使用人工智能聊天机器人，或通过连接设备向医生发送健康数据。

照片由克里斯多夫·伯恩斯在 Unsplash 拍摄

结论

公司越来越依赖人工智能来提高效率和生产力。换句话说，人工智能已经对这个行业产生了影响。

技术对社会的影响不容忽视。根据普华永道的数据，到 2030 年，投资人工智能(A.I .)的公司可以为全球经济注入约 15.7 万亿美元。约 6.6 万亿美元反映了与服务完全自动化相关的生产率提高。

一旦公司看到人工智能变化的后果，他们将更好地获得利益，也许还能处理问题。你准备好了吗？你已经在研究人工智能了吗？

照片由思想目录在 Unsplash 上拍摄

阅读更多相关信息和参考资料。

1. 人工智能|定义、例子和…https://www . Britannica . com/technology/人工智能
2. 沃尔玛(WMT)公司简介，新闻，排名…https://fortune.com/company/walmart/
3. 财富 500 强—https://fortune.com/fortune500/
4. 沃尔玛新的智能零售实验室展示了对零售未来的一瞥，IRL—https://corporate . Walmart . com/news room/2019/04/25/walmarts-New-Intelligent-Retail-Lab-Shows—一瞥未来的零售 irl
5. 大盒子零售中的机器学习。https://emerj . com/ai-sector-overviews/机器学习-big-box-retail/
6. 亚马逊如何利用人工智能优化交付—https://feed visor . com/resources/Amazon-shipping-FBA/how-Amazon-Leverages-Artificial-Intelligence-to-Optimize-Delivery/
7. 亚马逊如何使用人工智能来更好地理解客户搜索查询—https://analyticsindiamag . com/how-Amazon-Is-use-ai-Better-Understand-Customer-Search-Queries/
8. 应用数字技术推动能源创新—https://corporate . Exxon Mobil . com/Energy-and-innovation/Digital-technologies
9. 提取埃克森美孚人工智能的命脉—https://www . IBM . com/blogs/journey-to-ai/2019/09/extracting-the-havine-of-ai-at-Exxon Mobil/
10. 石油和天然气公司转向人工智能以削减成本—https://www . wsj . com/articles/oil-and-Gas-Companies-Turn-to-ai-to-Cut-Costs-11571018460
11. 苹果几乎在所有事情上都使用机器学习，隐私优先的方法实际上更好—https://9 to 5 MAC . com/2020/08/06/apple-using-machine-learning/
12. 这就是为什么苹果认为自己是人工智能的领导者——也是为什么它说批评者完全错了——https://ars technica . com/gadgets/2020/08/Apple-explains-how-it-uses-macos-learning-cross-IOs and-soon-MAC OS/
13. 人工智能、医疗保险和数据协调:采访 Shiv Misra，CVS Health—https://www . Forbes . com/sites/cognitive world/2020/10/24/ai-Health-Insurance-And-Data-Harmonization-Interview-With-Shiv-Misra-CVS-Health/？sh=19986c7526d3
14. CVS Health exec:零售巨头希望创造类似网飞的医疗保健体验—https://www . fierce Health care . com/tech/CVS-Health-s-digital-executive-we-want-to-create-a-Health-experience-as-easy-use—和
15. Azure 和 Databricks 如何为 CVS Health 的客户和患者提供个性化体验—https://data bricks . com/session _ na20/how-Azure-and-data bricks-Enabled-a-Personalized-Experience-for-Customers-and-Patients-at-CVS-Health
16. 在大流行和混乱的时代，CVS Health 会成为医疗保健的网飞吗？—https://www . aidata analytics . network/data-monetization/articles/is-CVS-health-being-of-care-in-age-of-pandemics-and-disruption
17. 普华永道全球人工智能研究:利用人工智能革命—https://www . PwC . com/GX/en/issues/data-and-analytics/publications/Artificial-Intelligence-Study . html

还有一件事…

如果你想在学习之旅中走得更远，我为你准备了一份令人惊叹的清单，其中包含 60 多门关于人工智能、机器学习、深度学习和数据科学的培训课程，你现在就可以免费参加:

• 什么是预测分析，你今天如何使用它？
• 今天学习 AI、ML、数据科学的最佳免费课程。
• 60 多门课程，有评分，有总结(当然是 AI 做的)。
• 是不是我们所知道的作品的终结？世界经济论坛《2020 年的就业前景》报告简析

如果你想继续发现新的资源并了解人工智能，在我的电子书(下方的链接)中，我正在分享关于人工智能、机器学习、深度学习、数据科学、商业智能、分析和其他方面的最佳文章、网站和免费在线培训课程，以帮助你开始学习和发展职业生涯。

学习 AI 在线:200 多个资源在线开始学习 AI

此外，我刚刚在亚马逊上发布了其他有趣的电子书，我相信其中一些可能会让你感兴趣……让我们保持联系，关注我，让我们一起做吧。

• 人工智能、机器人技术和编码(给父母):模拟父母和数字孩子的实用指南
• 终结者悖论:神经科学如何帮助我们理解移情和对人工智能的恐惧
• 人工智能从 A 到 Z:揭秘 AI 的本质概念
• A . I . 2020 年:写关于人工智能的一年

订阅我的每周时事通讯，保持更新

如果你对人工智能、机器学习、数据科学和自动驾驶汽车的话题感兴趣，以及这些创新将如何扰乱世界各地的每一个企业，这份时事通讯肯定会让你保持更新。

点击下面的链接订阅人工智能新闻！

https://medium.com/tech-cult-heartbeat/newsletters/ai-news

人工智能是如何成为现实的

原文：https://towardsdatascience.com/how-artificial-intelligence-got-real-84e2c1dc437?source=collection_archive---------23-----------------------

很长一段时间以来，人工智能是一种思想实验——一种科幻比喻。感觉就像一眨眼的功夫，它现在在我们的日常生活中无处不在。我们是怎么到这里的？

一个很好的起点是的 Mike Ferguson 关于人工通用智能的新系列，他耐心地带领我们了解几十年来哲学、神经科学和相邻学科对人类创造 AGI 的潜力的理论。(当你完成介绍后，你已经可以继续第二部分和第三部分了。)

还有心情阅读一些高水*的基础读物吗？跟随 Mike 的帖子，听听 Gabriel de Longeaux 对信息论的介绍，这是他专门为数据科学家量身定制的。

照片由 Susan Q Yin 在 Unsplash 拍摄

如果你被人工智能更实际、更现实的方面所吸引，你不会想错过阿曼达·林登对塑造人工智能产品的设计过程的清晰观察。我们经常(太经常？)将人工智能视为一个以开发者为中心的领域，但阿曼达认为，人们是通过设计来体验它的好处和力量的。

与此同时，凯西·科兹尔科夫提醒我们没有一个人工智能的回报是无风险的——尤其是当你认为你已经抓住了它，并且你创造的系统已经好得不能再好了。卡西警告说:“基于数学和数据的解决方案最危险的一点是，非专家过于相信它们。不要成为那种在复杂的任务上依赖完美的坐以待毙的人。”

非常不同的挑战在最*的 TDS 播客节目中浮出水面，主持人 Jeremie Harris 与嘉宾李岩讨论了在慈善领域使用人工智能的局限性。作为非营利组织 Techies Without Borders 的联合创始人，她亲身经历了在边缘化社区和资源匮乏地区实现人工智能承诺的困难。

数据清理是人工智能可能在不久的将来让数据分析师的生活变得更加轻松的另一个领域，但我们仍然没有完全实现。与此同时， Randy Au 坚持认为，目前从事这项工作的数据科学家不要再把它当作无聊的杂务，而是把它当作“在进行全面数据分析的道路上的一系列可重用数据转换”

正如你们现在所知道的，每周在 TDS 上，我们的贡献者涵盖了令人眼花缭乱的主题，过去一周的帖子远远超出了人工智能，包括几个实践指南和资源。不确定从哪里开始？怎么样……

• TDS 编辑 Caitlin Kindig 关于数据科学家创造性使用维基百科无尽财富的帖子集。
• Nesrine Sfar 的关于解决自然语言处理中歧义的教程。
• Parul Pandey 的有用的一步一步的指导，直接用熊猫创造剧情。
• 我们自己的，最*发布的初学者指南——每日有用的提示和推荐读物，通过电子邮件发送。

感谢您本周加入我们，分享我们贡献者的工作，并推动我们发表我们能找到的最好的数据科学文章。你的支持对我们来说太重要了。

直到下一个变量，
TDS 编辑器

我们策划主题的最新内容:

入门指南

• 统计中的抽样技术作者 Chetna Khanna
• 《熊猫. read_csv()》并没有看上去那么简单
• 你的基础 SQL 指南，同时学习以太坊作者 Andrew Hong

实践教程

• 多类 Logistic 回归从无到有作者杨索菲亚
• 使用 Spotipy 观察 80/90 年代音乐和现代嘻哈音乐的差异
• 利用地理位置数据进行机器学习:基本技术作者 Ketan Doshi

深潜

• 计量经济学的因果机器学习:因果森林作者 Haaya Naushan
• 前往神经元中心的旅程作者哈维尔·艾达米
• 深度学习图片说明:最先进的架构作者 Ketan Doshi

思想和理论

• 机器如何规划？概述？由石田舒
• 复杂的自卑作者杰克·阿特金森
• Mathias Gruber从变压器模型中解释语义文本相似度

人工智能如何不分白天黑夜地学习

原文：https://towardsdatascience.com/how-artificial-intelligence-learns-regardless-of-day-or-night-e9badcc1b649?source=collection_archive---------35-----------------------

领域适应的解释

附身摄影在 Unsplash 上拍照

你有没有想过，当你只在明亮的白天见过某样东西时，你怎么能在晚上认出它？当有大量的雾或蒸汽存在时，我们如何看到和识别事物？当然，其中一些是上下文相关的，但我们的大脑也知道如何适应不断变化的条件。当我们需要相机同样智能时，挑战就来了。

这就是人工智能之神给我们领域适配的地方。它做到了它所说的:它帮助理解一个域(白天)在另一个域(夜晚)的数据。

让我们把自己的电脑当成一个透过摄像头看的孩子。但这个孩子只在明亮的日光下见过世面。所以现在它能识别一天中所有的玩具。但在一个晴朗的夜晚，它希望惹恼父母，玩而不是睡觉。他有生以来第一次在黑暗中看到自己的玩具。这个孩子如何找到他最喜欢的长颈鹿呢？这是我将教孩子适应他的领域的地方…

首先，我教孩子识别他所看到的一切事物中对背景不变的特征。所以现在它知道长颈鹿有长长的脖子和遍布全身的深褐色斑点。所以在月光下，这个孩子实际上可以找到它的长颈鹿。

“玩具长颈鹿”由 M.P.N .德克萨斯人授权

但是现在它喜欢晚上吃糖果(我知道…淘气的孩子)。它找到了装糖果的盒子，想要找到星形的糖果。然后，他想起了我教他的话:当试图挑选一颗星形糖果时，颜色是没有用的。所以他开始数糖果的角和边，以了解它的形状。从此以后，这个小孩和他最喜欢的糖果快乐地生活在一起！

抛开类比，我的意思是说，我有一段代码，可以在白天准确的检测到物体。但我也希望这段代码能适用于夜晚的图像。现在我有许多这些物体在夜间的图像，但它们没有被标记。这就是领域自适应的用武之地，它有助于使用白天的知识来应用于夜晚的数据库。这有助于我们训练代码，而不必再次经历给每个图像加标签的繁琐过程。

为了完全利用上帝给我们的东西，如果该算法在不同的域中获得相似的标记数据，它可以潜在地用于标记这个世界上存在的所有类型的数据。这对于图像分类来说很棒，虽然对于物体检测来说很棘手，但是这里我们已经详细解释过了。

另一个有趣的应用是在医学领域，分割图像并从中发现肿瘤。这个特定的子领域被称为跨模态无监督域适应。当我们有一个肺部肿瘤的标记数据库时，它会有所帮助，但我们希望使用这些结果来分割心脏图像并检查肿瘤。这尤其有用，因为标记医学图像是一项非常繁琐、耗时且昂贵的任务，只能由专业人员来完成。

领域适配也可以用在很多领域，即使不涉及相机。请继续关注我们的频道，了解更多信息！

成为 介质会员 解锁并阅读介质上的许多其他故事。关注我们的Medium阅读更多此类博文。

AutoML 如何推动数据科学工作的未来

原文：https://towardsdatascience.com/how-automl-could-drive-the-future-of-data-science-jobs-173c5b48dc5c?source=collection_archive---------19-----------------------

它会授权还是禁止？

照片由德鲁·比默在 Unsplash 上拍摄

*年来，AutoML 解决方案越来越受欢迎。有许多公司提供广泛的解决方案。这些解决方案侧重于数据科学家经常遇到的常见业务问题和任务。

以下是顶级 AutoML 解决方案列表。这份榜单是根据科技行业分析师 AIMultiple 的数据得出的。

DataRobot 、 Dataiku 、 H2O 、compel on、enhancer、 Akkio 、 TPOT 、 dotData 、 BigML 、 Prevision.io 、 TIMi Suite 、 B2Metric

技术巨头们也在利用他们现有的基础设施来推动 AutoML 解决方案。他们拥有构建、部署和扩展 ML 解决方案的产品。大多数云*台都有专注于图像识别和文本分析的专用产品。他们还提供在结构化数据上构建高性能 ML 模型的产品。这些解决方案在特性选择、模型选择和模型调整方面都非常出色。

根据 ResearchAndMarkets 的数据，汽车市场在 2019 年创造了 2.696 亿美元的收入。预计到 2030 年将达到 15 亿美元。它还表明，基于云的 AutoML 解决方案是首选。因为它们提供了定制解决方案的可伸缩性和灵活性。

汽车的好处

数据科学家执行的许多任务都是重复且耗时的。这限制了数据科学团队解决更多业务问题的能力。大多数数据科学团队最终只关注业务关键型问题。以下是 AutoML 如何增强数据科学团队的能力

节省时间

• AutoML 将实现容易出现人为错误的重复性和手动任务的自动化
• AutoML 将把数据清理、探索和特征工程所需的工作从几周减少到几天
• AutoML 将使型号选择和性能监控变得容易
• 使用 AutoML 可以完全自动化超参数调整

公*竞争环境

• 每个人都可以使用高性能的预培训 ML 模型
• AutoML 将使许多中小型企业能够实现机器学习
• 将使在制定业务决策时使用非结构化数据变得更加容易
• 将增加非技术用户参与解决面向数据的问题

AutoML 对数据科学项目的影响

由 Jonathan Cosens 摄影在 Unsplash 上拍摄

AutoML 将在数据科学项目的生命周期中产生连锁反应。它将改变数据科学工作的前景。以下是数据科学项目的典型阶段。让我们看看 AutoML 对这些阶段的影响。

商业理解

任何数据科学项目的第一步都是很好地理解问题。总的来说，AutoML 在这方面的影响最小。AutoML 能做的最好的事情就是自动化一些流行的和标准的数据科学项目。一个例子是银行业的欺诈预测。不同客户的欺诈模式可能不会有太大变化。将解决方案模板化并推向市场将会很容易。这些预先构建的解决方案将业务知识融入其中。

AutoML 会自动处理所有的业务问题吗？答案肯定是否定的！有许多场景可以自动化，甚至可以复制。但是，对业务问题的深入理解是强制性的。

数据收集和清理

AutoML 产品肯定可以访问*台中的数据。在 AutoML 产品中加入新数据会容易得多。例如，在 GCP，很容易将数据作为*面文件或使用 BigQueries 导入 AutoML 表。在许多问题中，使用外部数据集通常会产生更好的结果。为了识别相关的外部数据，数据科学家的专业知识是必须的。

导入所需的数据集后，下一步是清理数据。这一步通常很繁琐，需要数据科学家的大量关注。数据集通常不够干净，不适合 ML 模型使用。AutoML 解决方案在这里会非常方便。我们可以更快地清理数据。

AutoML 将能够加速数据收集和清理。将有可能把所需的努力从几周缩短到几天。但是，数据科学家的领域知识将是获得最佳解决方案的关键。

特征工程

这是一个迭代过程，很容易成为数据科学项目中最耗时的阶段。有了 AutoML，实现一些特征工程任务将变得容易。像标准化、一键编码、宁滨、格式化等任务都可以通过点击一个按钮来完成。

特征工程可以完全自动化吗？简而言之，答案是否定的。在特征工程中执行的许多任务将变得可访问。但是，只有数据科学团队可以将业务洞察力融入到功能中。此外，为了获得最佳结果，通常需要寻找未知数。利用已知的特性和转换只会有一定的帮助。为了实现高性能，有人需要研究未知。

模型构建/洞察

数据科学项目分为两大类。一个涉及模型构建，另一个侧重于见解或建议。AutoML 在涉及模型构建的项目中非常有用。AutoML 使得模型选择、调整和跟踪易于实现。从而为数据科学团队创造时间来解决更多问题。

涉及见解提取的项目需要业务知识。有了 AutoML，很多焦点将转移到这个领域。使数据科学团队能够承担更多洞察驱动的任务。

部署

在许多数据科学项目中，部署从来都不容易。将模型从一个环境转移到另一个环境会有挑战。环境之间的任何微小差异，比如软件版本，都可能导致问题。此外，生产环境通常受到限制。使得难以做出改变或跟踪 m1 模型的性能。

AutoML 撼动了这个领域。现在可以在几分钟内部署模型。

对数据科学家来说意味着什么？

迪米特·多诺夫斯基在 Unsplash 上拍摄的照片

在接下来的几年里，AutoML 解决方案将会广泛应用。各种规模的公司都将获得相同的尖端解决方案。要超越其他公司，就必须专注于 AutoML 无法解决的问题。这将为数据科学家带来大量新的机会。

数据科学团队的角色和职责将会发生变化。重点将转向需要人类专业知识和领域知识的更复杂的问题。

这里有一些需要商业知识和地面现实信息的问题，

• 洞察驱动的问题，如确定客户流失的原因，需要领域知识。可能有很多内部和外部因素导致客户流失。只有更好地了解数据环境和领域，才能产生更好的结果。
• 衡量和跟踪公司提供的各种功能/产品的性能。定义和构建指标需要业务知识。
• 部署的模型需要持续的监控。随着时间的推移，事情会发生变化，这会影响模型的性能。这将需要数据科学家来修复它们。
• 业务涉众没有明确定义的问题。首先要清楚地了解问题，这需要做基础工作。

AutoML 很可能会为数据科学家提供大量新的解决机会。AutoML 不应被视为淘汰数据科学家的工具。是的，AutoML 将完成许多目前由数据科学家完成的任务。它也可以更好地完成这些任务。但是，这将为数据科学团队解决更好的挑战铺*道路。

最后的话

数据科学家的重点将更多地转向更好地理解这个问题。AutoML 将提高数据科学团队的生产力，并将授权而不是禁止。

保持联系

• 如果你喜欢这篇文章，并对类似的文章感兴趣，在 Medium 上关注我
• 我在我的 YouTube 频道上教授和谈论各种数据科学主题。在这里订阅我的频道。
• 在此注册我的电子邮件列表，获取更多数据科学技巧，并与我的工作保持联系

AutoML 如何帮助创建复合人工智能？

原文：https://towardsdatascience.com/how-automl-helps-to-create-composite-ai-f09e05287563?source=collection_archive---------12-----------------------

思想和理论

AutoML 的主要趋势和挑战，复合人工智能实现背后的思想，以及开源框架 FEDOT。

代表复合人工智能模型的管道(作者的图片)

如今，自动机器学习(AutoML)、复合人工智能(AI)和结构学习是非常流行和广泛讨论的概念。自动化、多模态和可控性的思想为改进现有的数据驱动建模方法提供了一个有希望的方向。在本文中，我们将讨论 AutoML 的主要趋势和挑战，复合人工智能实现背后的主要思想，以及复合管道结构学习的开源框架— FEDOT 继承了这些思想。

一点理论和一些关于 AutoML 框架的话

通常，数据科学家必须执行许多步骤来使用机器学习(ML)技术获得现实世界问题的解决方案:数据清理和数据集准备，选择最具信息性的特征，转换特征空间，选择 ML 模型并调整其超参数。这个序列通常被表示为 ML 流水线。

不同类型的 ML 管道(图片作者)

然而，即使是简单的线性管道(上图中的 A)的手动处理以及其结构和参数的选择也需要数据科学家花费数天甚至数周的时间。对于复杂的任务，管道结构可能会变得更加复杂——如上图中的情况 B 和 C 所示。案例 B 显示了采用集成方法(叠加)组合多个模型的分支管道；案例 C 显示了连接初始数据集不同部分的不同预处理方法和模型的分支管道。

实际上，使用多个 ML 模型的管道可以被视为整个复合模型，因为从计算的角度来看，它们之间没有太多的差异。因此,( B)和(с)中的管道结构实际上变成了复合的，因为它们结合了不同的 ML 算法。例如，可以将 NLP 模型和卷积网络相结合，以使用多模态数据来获得预测。可以使用 AutoML 方法和技术来处理复合模型和 ML 管道。

自动化流水线创建主要是一个组合优化问题，旨在寻找可能构建模块的最佳组合。为了方便起见，流水线可以描述为有向无环图(DAG ),它可以很容易地转换成计算图。优化的效率由目标函数决定，该目标函数允许估计最终管线的质量、复杂性、鲁棒性和其他属性。

解决优化任务的最直接的方法是随机搜索适当的块组合。但是更好的选择是元启发式优化算法:群体和进化(遗传)算法。但在进化算法的情况下，人们应该记住，它们应该有专门设计的交叉、变异和选择算子。这种特殊操作符对于处理由 DAG 描述的个体是重要的，它们还提供了考虑多个目标函数的可能性，并且包括创建稳定流水线和避免过度复制的附加过程。

交叉算子可以使用子树交叉方案来实现。在这种情况下，选择两个亲代个体并交换他们图形的随机部分。但这不是唯一可能的实现方式，可能有更复杂的语义变体(例如，单点交叉)。变异算子的实现可以包括图的随机节点中模型(或计算块)的随机改变、随机节点的移除或子树的随机添加。

管道的遗传操作符的不同实现(作者的图片，t his 和其他插图可在我们在 Procedia Computer Science 的论文中找到。)

在理想的情况下，AutoML 应该给我们一个机会，从构建 ML 解决方案的整个过程中排除一个人。然而，很难完全实现这一点，因为大多数 AutoML 框架支持独立步骤的自动化(超参数调优、特性选择等)。)用于固定管道，并且仅用于特定类型的数据。下表列出了几种最先进的管道 AutoML 框架及其特性。当然，这种比较并不完全——它是基于对公开文档和示例的分析。然而，AutoML 的状态可能会迅速改变。

最先进的 AutoML 框架的主要特性(图片由作者提供)

可以看出，尽管有各种各样的完善的解决方案，但是现有的解决方案都是针对相对狭窄的任务或使用方式。例如，TPOT 框架仅为表格数据自动创建分类(包括多类分类)和回归模型，获得的管道的结构通常由两个级别之一组成。自动增长非常灵活，但它主要基于预定义的管道。还有许多特定于任务的 AutoML 框架——例如，AutoTS 框架只能用于时间序列预测。

然而，可以看出，缺乏用于自动建模的更复杂和多用途的方法，该方法可以适用于不同的任务和数据类型，而无需对核心算法进行复杂的修改。这个问题把我们带到了下一个问题——情况有可能改善吗？

缺少什么，我们想提出什么

典型的 AutoML 应用场景如下:AutoML 框架使用可用的数据集来优化流水线的结构和其中包含的块的超参数。然而，在实践中，适用于基准测试问题的实现在“真实世界”的数据集上并不那么好。因此，越来越多的新的 AutoML 解决方案出现，如 H2O，AutoGluon，LAMA，NNI，等等。它们在功能上有所不同(例如，工业解决方案具有先进的基础设施功能)，但通常不适合大范围的建模任务。虽然大多数框架允许解决分类和回归问题，但它们通常不支持时间序列预测。

常见汽车案例(图片作者

ML 管道可以包含不同任务的模型。例如，基于回归生成一个新的有用的特征，然后在分类中使用它是很有用的。目前，AutoML 框架不允许以方便的方式解决这样的任务。然而，对于 ML 工程师来说，面对多模态和异构的数据并不罕见，这些数据必须被集成以进行进一步的建模。

直到最*，还没有具备这一系列特性的现成工具。在 ITMO 大学的自然系统模拟实验室，我们研究和开发汽车领域的先进解决方案。因此，我们决定开发自己的解决方案，避免上述问题。我们称之为 FEDOT。它是一个开源框架，可以自动创建和优化 ML 管道及其元素。FEDOT 使得以紧凑和高效的方式解决各种数据驱动的建模问题成为可能。

多模态 AutoML case ( 图片作者)

下面是一个基于 FEDOT 的分类问题解决方案的示例(用 Python 编写):

**# new instance to be used as AutoML tool with time limit equal to 10 minutes****auto_model = Fedot(problem='classification', learning_time=10)****#run of the AutoML-based model generation****pipeline = auto_model.fit(features=train_data_path, target='target')****prediction = auto_model.predict(features=test_data_path)****auto_metrics = auto_model.get_metrics()**

该框架的主要焦点是管理管道的计算块之间的交互。Tho 流水线设计从结构学习阶段开始——FEDOT 结合几个 ML 模型来实现更好的目标函数值。在该框架中，我们以有向图的形式描述复合模型，该有向图定义了预处理和建模块之间的关系。节点用 ML 模型表示，数据预处理和转换操作也用 ML 模型表示。该图的结构以及每个节点的参数都可以优化。

适用于特定任务的结构是自动设计的。为此，我们使用了进化优化算法 GPComp，它创建了几个 ML 管道的群体，并通过应用进化方法(变异和交叉)来搜索最佳解决方案。为了避免不希望的过度复杂的管道结构，我们应用了正则化过程和多目标方法。

以下是阐释这一概念的框架的预告片:

FEDOT 简介(视频作者)

FEDOT 是用 Python 实现的，可以在 BSD-3 开放许可证下获得。有几个关键特征:

• FEDOT 架构高度灵活；该框架可用于自动创建不同任务(分类、回归、预测)、数据类型(表格、时间序列、文本、图像)和模型的 ML 解决方案；
• FEDOT 支持流行的 ML 库(sci-kit-learn、Keras、statsmodels 等。)，但也允许在需要时集成其他工具；
• 管道优化算法不受数据类型或任务的限制。然而，特定任务类或数据类型(时间序列预测、NLP、表格数据等)的专用模板。)都可以用；
• 该框架不限于机器学习。特定于域的模型也可以被构建到流水线中(例如，ODE 或 PDE 中的模型)；
• 除了已经支持的方法之外，超参数调整的定制方法也可以集成到 FEDOT 中；
• FEDOT 支持任何时间的操作模式(在任何时间点，可以停止算法并获得结果)；
• 最终管道可以以 JSON 格式导出，以实现实验的可重复性。

因此，与其他框架相比，FEDOT 不局限于一类问题，而是声称具有通用性和可扩展性。它允许您使用不同性质的输入数据来构建模型。此外， this news 中描述了 FEDOT 申请黑客马拉松比赛的前景。

汽车前景

在 AutoML 解决方案中(除了上面列出的工具之外),还有 EvalML、TransmogrifAI、Lale 和许多其他解决方案。都是大型企业 IT 公司开发的。在某些情况下，框架的主要焦点是技术特性，比如对可伸缩性和分布式计算的支持，或者与 Kubernetes 和 MLOps 工具的集成。在其他情况下，它是关于概念问题，如新的优化算法或它们的可解释性。然而，有几个领域和前景的发展，汽车是较少涵盖的社区。

灵活控制搜索复杂度

根据要求和允许的预算，ML 工程师可以选择不同的模型:具有优化超参数的单一梯度增强模型、深度神经网络或结合几种建模方法的非线性管道。在这两种情况下，他将被迫发现可用的 AutoML 框架的可能性，并进行实验研究，以找出什么工作得更好或更差。但是，具有连续搜索复杂度的所谓“开关”将是非常方便的，利用该开关，可以将搜索空间的维度从简单的解决方案调整到复杂但有效的流水线。

模型工厂

除了质量度量的允许值之外，在 ML 任务中还可能出现其他的决策标准。例如，可解释性、在生产环境中维护所需的计算资源和内存量、预测的超前性等等。这将是一个有用的界面，用于指定可以考虑的几个目标。在某些情况下，不可能同时最小化所有标准，因为存在决策的帕累托前沿。例如，随着神经网络体系结构的复杂性增加，精确度增加，但也需要更多的计算资源。

我们的团队进行了实验研究，我们试图在 FEDOT 内应用进化多目标优化算法来优化机器学习管道。我们不仅选择精度，还选择管线的复杂性(节点数量和计算图深度)作为优化标准。在实验过程中，我们发现将 Pareto-front 解决方案整合到搜索过程中增加了群体的多样性，并且还允许我们找到具有更高准确性的解决方案。

DataRobot 公司的塞维多夫·古斯在他的报告《自动化机器学习》中表达了 AutoML 模型工厂的想法。他用 OOP 模式工厂做了一个类比，在 OOP 模式工厂中，AutoML 可以根据给定的条件向用户提供不同的解决方案:数据集的类型、预测间隔、模型的生命周期等。

可以为不同的数据集导出模型:随机样本、时间范围内的数据。还可以基于当前数据切片获得“短期”模型。

AutoML 作为模型工厂(图片作者

总的来说，自动机器学习是一个很有前途的领域。如果你在数据科学领域工作，关注汽车世界的新闻是很有价值的。我们选择了几个来源进行深入研究:

• FEDOT 仓库
• 框架 web 接口的存储库—FEDOT。网
• 包含 AutoML 教程的 YouTube 频道
• 一套开源的 AutoML 工具
• 一套针对 AutoML 的性能指标评测

作者:尼古拉·尼基丁，安娜·卡柳那亚，帕维尔·维楚查宁

百度 Apollo 如何为自动驾驶汽车构建高清地图

原文：https://towardsdatascience.com/how-baidu-apollo-builds-hd-high-definition-maps-for-autonomous-vehicles-167af3a3fea3?source=collection_archive---------17-----------------------

5 步构建流程，高清地图元素，OpenDRIVE 格式

高清地图(HD map)是自动驾驶中使用的高度精确的地图。高清地图在包括感知、模拟、定位和路径规划在内的自动驾驶模块中发挥着重要作用。作为地图制作者，百度 Apollo 是中国领先的自动驾驶*台。在这篇博客中，我们将介绍百度 Apollo 如何为自动驾驶构建高清地图。

高清地图1

1. 百度 Apollo 是什么？

百度 Apollo 是一个自动驾驶的开放*台。代码可以在 github 上公开获得。最初在 2017 年公布，从 v1.0，v1.5，v2.0，…，一直迭代到今天的 v6.0。作为一个完整的自动驾驶*台，它包含以下模块:

• 精准感知 :利用激光雷达、雷达、摄像头探测障碍物和红绿灯。
• 模拟 :用真实世界交通和自动驾驶数据虚拟驾驶数百万公里。
• 高清地图:将传感器和深度学习应用于地图制作。
• 定位:利用包括 GPS、IMU、高清地图和各种传感器输入在内的全面解决方案，实现厘米级精度。
• 规划:适应实时交通状况，产生既安全又舒适的精确轨迹。
• 智能控制:处理不同路况、速度、车型和 canbus 协议，控制精度约 10 cm。
• 阿波罗数据集 :包含时间戳激光雷达扫描、相机图像和后处理 GPS 轨迹。

2。百度 Apollo 如何搭建高清地图？

2.1 构建流程

阿波罗通过 5 个步骤构建高清地图。

阿波罗高清地图的构建过程(图片由作者提供)

数据来源:百度 Apollo 有一支勘测车队行驶在道路上。调查车使用不同的传感器，包括激光雷达、GPS、IMU、天线和相机来收集数据。阿波罗定义了一个硬件框架，将这些传感器集成到一个单一的自治系统中。调查车以正常速度(~60 km/h)行驶在道路上。

百度阿波罗 Survery 汽车(图片来源[2])

数据处理:采集的数据包括点云数据和图像数据。Apollo 对收集到的数据进行整理、分类、清洗，得到一个没有语义信息和标注的初始地图模板。

物体检测 : Apollo 将深度学习和计算机视觉技术应用于点云和图像，例如，点云分割和分类，以及交通标志/灯、车道线/标志和电线杆的物体检测。

手动验证:该步骤是手动纠正之前自动过程中出现的错误标注。例如，车道标志、车道边界、交通灯/标志可能在之前的步骤中被错误地检测到。此外，一些逻辑关系需要手动识别。例如，在交叉路口，可能有多个交通灯。每条车道都需要与正确的交通灯手动关联。

地图制作:高清地图准备在这一步发布。除了高清地图，Apollo 还发布了相应的俯视图本地化地图、3D 点云地图、路径规划地图、仿真地图。

由于施工、交通事故等原因，道路状况每天都在发生变化。因此，地图发布后需要经常更新。Apollo 使用众包和云技术来实现它。首先，Apollo 按照上面的 5 个步骤，由测量船队建立一个所谓的“底图”。然后，Apollo 向公众发布其数据源工具，让公众可以参与高清地图的制作任务。第三个，关于道路的更新通过智能手机、普通汽车中的车载智能设备、智能互联汽车，甚至智能自主汽车，传回云端的阿波罗地图制作*台。

阿波罗地图中的 2.2 元素

道路要素:道路边界、车道左右边界、车道限速、车道类型、车道拓扑、车道线型、车道方向信息、车道转向类型、车道长度

交叉口要素:交叉口边界、交叉口虚拟车道

交通信号要素:交通灯、其他道路标志

逻辑关系元素:映射逻辑关系

其他元素:人行横道、禁止停车区、停止线、路面箭头、路面文字、围栏、路灯、龙门架、建筑物、减速带

2.3 阿波罗 OpenDRIVE 地图格式

OpenDRIVE 代表车辆环境的开放式动态道路信息。这是一种为描述道路网络提供通用语法的格式，文件扩展名为 xodr 或 xodrz。它将逻辑道路描述标准化，以促进开发和验证 adAS 和 AD 功能的不同驾驶模拟器之间的数据交换。

百度 Apollo 用的是 OpenDRIVE 格式的修改版。区别如下。

• Apollo OpenDRIVE 使用纬度经度点的简单列表来定义道路边界，而在标准 OpenDRIVE 中，道路边界是使用五种不同类型的函数通过参考线和偏差来定义的。
• 阿波罗 OpenDRIVE 扩展了元素，包括禁止停车区、人行横道和减速区。
• Apollo OpenDRIVE 增加了车道中心线到道路边界的距离，以及车道和红绿灯之间的逻辑关系。
• 车道:标准的 OpenDRIVE 只允许指定车道的宽度。然而，Apollo OpenDRIVE 需要点来描述车道边界。此外，Apollo OpenDRIVE 需要每个车道的中心点和道路的边界。
• 交叉点:Apollo OpenDRIVE 使用交叉点的简化版本，忽略了交叉点组、交叉点优先级和交叉点控制器等概念。
• 对象和信号:Apollo OpenDRIVE 使用数量减少的属性，并且只支持有限数量的对象类型。

2.4 坐标系

百度 Apollo 使用两种坐标系:通用横轴墨卡托(UTM)系统和世界大地测量系统(WGS84)。

UTM 是一种地图投影系统，用于指定地球表面位置的坐标。它把地球分成 60 个区域，每个区域的宽度为 6 经度。要引用一个位置，您需要一个 x 和 y 坐标以及它们所在的区域。

WGS 是用于制图、大地测量和卫星导航(包括 GPS)的标准。WGS84 的坐标原点应该位于地球的质心。它基于描述地球大小、形状、重力和地磁场的一组一致的常数和模型参数。

参考文献:

【2】百度阿波罗免费课程

[3]https://apollo.auto/developer.html

[4] 硕士论文:自动驾驶中的高清地图

[5] 将自动驾驶商业化

贝叶斯统计如何说服我多睡觉

原文：https://towardsdatascience.com/how-bayesian-statistics-convinced-me-to-sleep-more-f75957781f8b?source=collection_archive---------14-----------------------

照片由 Cris Saur 在 Unsplash 上拍摄

Python 中的贝叶斯线性回归来量化我的睡眠时间

这些年来，我听到我的许多朋友评论——你曾经睡觉吗？嗯，我不会怪他们。通常，我是第一个起床的人，即使是在深夜，尽管随着时间的推移，这种情况已经发生了变化。在我 20 岁出头的时候，我通常睡 5 到 5.5 个小时(我们会看一场深夜电影，凌晨 2 点到家，8 点到达办公室，然后开始工作)，但现在是 6 到 6.5 个小时。当然，有时候我会在床上躺更长时间，因为随着年龄的增长，精力会逐渐消失。用钱德勒·宾的话说，“我想坐在舒适的椅子上，在合理的时间上床睡觉。”

资料来源:Giphy.com

在 2020 年，我试图跟踪我生活中的一些事情，如我房间里一天中最安静的时间，应用程序显示的空气质量指数，每天的耗电量等。我追踪的一个变量是我睡了多少小时以及之后我感觉有多累。动力来自 Kaggle 研究，我补充了我的观察。我并不勤奋，但是每当我记起的时候，我都会把我的数据添加到现有的研究中。

本质上有两个感兴趣的变量:

1. 我睡觉的小时数(小时)
2. 醒来后我感觉有多累(满分 5 分，1 分最不累，5 分最累)

背景

虽然我已经毕业，每天睡 6 到 6.5 个小时，但我的能量水*每天都在变化；有几天精力充沛，但其他时间有点沮丧。鉴于这种状态，我有两个问题要问自己:

1. 我应该增加睡眠时间吗？
2. 我是否正确地估计了我的能量水*，即我过去睡 5 个小时感觉很好，现在当我睡 6 个小时时，我的估计偏向于较低的疲劳度？

假设:6.5 小时的睡眠对我来说足够了，因为我估计我的疲劳程度在大多数时候是 2 级。

该调查了！洛斯盖兹！

免责声明:我不认为我理解贝叶斯分析的每一个方面，但我想通过这篇文章将我的想法具体化，因此，我将尽可能地避开数学(只有方程)和代码，并尝试用一种我可能受益的语言来解释它。

假设:请注意，所有其他外部因素，如锻炼、含咖啡因的饮料等都被假设为无效。这项研究的假设是睡眠时间和疲劳程度之间有直接联系。

为贝叶斯过程建立直觉

首先，我们为贝叶斯分析建立一个直觉。我相信你可能曾经被卷入频繁主义和贝叶斯主义的争论中。有很多文献可以解释这两种统计推断方法之间的区别。

简而言之， 频数主义 是从数据中学习的常用方法，用 p 值来衡量变量的显著性。频率主义方法是关于点估计的。如果我的线性方程是:

y 是响应变量，x₁、x₂是自变量。β₁和β₂是需要估计的系数。β₀是截距项；如果 x₁改变 1 个单位，那么 y 将受到β₁单位的影响，例如，如果 x₁是 1，β₁是 2，那么 y 将受到 2 个单位的影响。常见的线性材料。这里需要注意的是，回归方程基于最小化误差*方和(最佳拟合线)来估计各种β的值，这最好地解释了手头的数据，并且估计值是奇点，即β₀、β₁和β₂各有一个值，依此类推。β的估计值被称为β的最大似然估计值，因为它是给定输入 x 和输出 y 时最有可能的值。

贝叶斯 与频率主义方法的不同之处在于，除了数据之外，它还考虑了数据的先验知识。这就是这两个群体之间的分歧所在。频繁主义者将数据视为福音，而贝叶斯主义者则认为总有一些我们知道的关于系统的东西，为什么不用它来估计参数。

数据和先验知识一起被用来估计所谓的后验概率，它不是一个单一的值，而是一个分布。贝叶斯方法估计模型参数的后验分布，而不是像 frequentist 方法那样的单一最佳值。

我们为模型参数选择的先验不是单一值，而是分布，它们可以是正态分布、柯西分布、二项式分布、贝塔分布或根据我们的猜测认为合适的任何其他分布。

我希望你知道贝叶斯定理的术语和脚本:

P(A|B)是指给定 B 已经发生的概率。

顺便说一下，托马斯·贝叶斯没有提出上面的方程，是拉普拉斯提出的。Bayes 写了一篇关于他的思想实验的论文“一篇解决机会主义中一个问题的文章”。贝氏去世后，他的朋友理查德·普莱斯发现了这份报纸，在他编辑了几版后，这份报纸在伦敦皇家学会被阅读。

对于贝叶斯推断:

P(β|y，X)是给定输入 X 和输出 y 的模型参数的后验分布。P(y|β，X)是数据的似然性，乘以参数 P(β|X)的先验概率，再除以 P(y|X)，P(y | X)被称为归一化常数。

简而言之，我们使用关于模型参数和数据的先验信息来估计后验。

一个例子

让我们用一些简单的例子来建立我们的直觉，看看我们是否能理解我们在上面学到的东西。

让我们掷硬币 20 次，1 是正面，0 是反面。以下是掷硬币的结果:

这个数据*均值是 0.75；换句话说，有 75%的机会是正面即 1，而不是反面即 0

顺便说一下，任何通常只有两个结果 0 或 1 的过程被称为伯努利过程。

从频率主义者的角度来看，硬币似乎是有偏向的，即如果我们再扔一次，那么根据频率主义者的估计，硬币更有可能(75%的情况下)正面朝上，即 1。

尽管如此，大多数硬币是没有偏向的，得到 1 或 0 的概率应该是 50%。根据中心极限定理，如果我们投掷硬币无限次，那么正面和反面的概率都是 0.5。现实生活与定理大相径庭，没有人会把一枚硬币扔无限次；我们必须根据现有的数据做出决定。

这就是贝叶斯方法有用的地方。这给了我们包含先验(我们最初的信念)的自由，这就是我们将对抛硬币数据所做的。如果我们没有关于先验的任何信息，那么我们可以使用完全无信息的均匀分布——在实践中，均匀分布的结果将与频率主义方法相同，因为我们告诉我们的模型每种可能性都是同等可能的。

非贝叶斯=具有统一先验的贝叶斯

不提供信息的先验给出了与频繁主义者方法相同的结果(图片由作者提供)

在上图中，后验结果和频率主义结果一致，峰值在 0.75 左右(就像频率主义方法一样)。先验是一条直线，因为我们假设是均匀分布。

我相信我们可以做得更好。让我们改变我们的先验知识，也许是一个 beta 分布，然后观察结果。

之前改为测试版，我们看到它比 frequentist 做得更好

这似乎更好。我们的先验已经改变，因此后验概率向左移动，它不在 0.5 附*，但它至少与频率主义者的 0.75 不一致。

我们可以通过调整先前发行版的几个参数来进一步改进它，使它变得更加自以为是。

与 frequentist 相比，固执己见的先验使贝叶斯方法的结果模拟了真实世界(图片由作者提供)

这看起来好多了，后验概率已经改变了，因为我们已经改变了先验概率，这也更加符合这样一个事实，即一个没有偏见的硬币会有 50%的机会正面朝上，其余的时间则是反面朝上。

我们现有的关于硬币的知识对结果有重大影响，这是有意义的。这与频率主义者的方法截然相反，在频率主义者的方法中，我们假设我们对硬币一无所知，这 20 个观察结果就是福音。

我并没有要求你改变立场，但上面的例子应该会让你对贝叶斯方法产生一些信念，有了这个信念，让我们继续把它用在睡眠数据上。

实施贝叶斯线性回归

我正在使用的软件包:

1. 贝叶斯的 PyMC3
2. 用于可视化的 Arviz 和 Matplotlib

贝叶斯回归中的情况是，一旦您为模型参数定义了一个先验，就会估计一个后验，并从该后验中提取样本以生成一个更好、更准确的后验。这是一个高度计算密集型和组合爆炸性的任务。因此，我们需要找到一种方法，通过这种方法，我们可以在合理的时间内找到后路，而不需要使用太多的资源。

让我们从后验分布中进行这种复杂采样的算法称为 MCMC(马尔可夫链蒙特卡罗)。有许多相同的实现，如 Metropolis-Hastings、Hamiltonian、Gibbs 采样。我们将使用大都会黑斯廷斯。

如果我试图在这里解释 MCMC，那就有点矫枉过正了。也许是我，但找到一个后验概率，然后从这个后验概率中取样，以逼*一个更好的后验概率，目前似乎不是一个直观和简单的任务。该算法的一个快速和肮脏的纲要是:

1. 估计先后路。随机或从你的前任身上取一个样本。叫它θ₀吧
2. 定义一个与步骤 1 中选择的值相*的值。叫它θ₁吧
3. 计算比率 r，这是在θ₀和θ₁.评估后的比率
4. 如果 r >1，则接受θ₁，将其设为新的θ₀，并找到新的θ₁.如果 r <1 then repeat step 1, 2, and 3 till r > 1
5. 重复这些步骤进行特定次数的迭代，以获得后验分布。

说得太多了，让我们开始工作吧！

睡眠和疲劳水*直方图(图片由作者提供)

大多数人睡眠时间在 6 到 8 小时之间。原始数据只有很少数量的 6 小时观测值，大部分的 6 小时都来自我的数据。疲劳水*遵循正常曲线，峰值在 3。

疲劳和睡眠持续时间之间的散点图不能提供太多信息。我想知道什么样的回归线会符合这一点。即使睡了 9 个小时，人们也会感到 5 级疲劳。

作者图片

模型

我们指定截距、斜率和σ的先验。我们的回归方程:

在这种情况下，我将斜率设置为以 2 为中心。

. pm . sample(1000)是触发 MCMC 的地方。这条语句的作用是通过查看数据，估计截距、斜率和产生数据的 sigma。将从后验分布中抽取 1000 个样本，每个样本将为截距、斜率和 sigma 生成一个单独的(1000 个)分布。

作者图片

以上是截距、斜率和 sigma 的轨迹分布。我们将斜率集中在 2，在结果中它并不是很远。

后验分布提供了三个模型参数的更清晰的图像。

作者图片

所有参数的范围都很窄，如果数据点的数量很少，上面曲线的宽度会大得多。

斗牛中的最后一剑

让我们看看贝叶斯模型如何预测我 6.5 小时睡眠的疲劳程度

请记住，贝叶斯模型不给出点估计，而是提供概率分布，所以我们在这里也将得到分布。

预测的*均值将达到 2.70。

作者图片

对于 6.5 小时，我估计我的疲劳水*在 2 到 2.5 之间，但模型显示是 2.71。这意味着我需要多睡一会儿来减轻疲劳。

线性回归

在总结之前，我想运行一个线性回归并估计结果。

在直方图中，我们看到疲劳指数的主导值是 3，我怀疑线性回归会给出类似的结果。

线性回归的结果，不出所料！！

对于 6.5 小时的睡眠，线性回归估计疲劳指数为 3.03，这比贝叶斯得出的结果要高。

这并不是说我讨厌睡觉，而是我不想依赖线性回归，这种回归会把我放在*均疲劳水*的队列中，并且可能会不必要地增加半小时的睡眠时间。

结论

1. 有强有力的证据表明，我需要我对 6.5 小时睡眠后的疲劳水*的估计有点低。

贝叶斯统计要求我多睡 6.5 小时来减少疲劳。线性回归做着同样的事情，但是估计我的疲劳值要高得多。我愿意相信贝叶斯统计，毕竟，如果不是拉普拉斯和贝叶斯，你还能相信谁呢？

2.贝叶斯方法结合了先验信息，当我们的数据有限时，这可能是一个可靠的工具。

3.贝叶斯方法看起来很直观——估计你的解决方案是什么，并在收集更多数据时改进这个估计。

这并不意味着贝叶斯是解决所有数据科学问题的最佳方法；这只是其中的一种方法，学习贝叶斯和频率主义的方法比在这些思想流派之间进行战斗更有成效。

我学到了什么？

上面的练习是关于量化你对某事的信念，而不是确定它。这是关于拥抱不确定性，但量化它。这就是为什么你产生一个概率分布，而不是点估计。

趣闻: 顺便说一句，很多贝叶斯派的思想家都把英格玛之谜的解决归功于艾伦·图灵。是的，他的确建立了概率模型，但是波兰数学家帮助了他。早在战争之前，波兰数学家已经用数学方法解决了这个谜，而英国人还在试图用语言来解决它。万岁https://en.wikipedia.org/wiki/Marian_Rejewski！

好了，我真的要睡觉了。

来源:Giphy.com

该睡觉了，但首先我必须关灯。

参考资料:

1. https://OCW . MIT . edu/courses/mathematics/18-05-introduction-to-probability and-statistics-spring-2014/readings/MIT 18 _ 05s 14 _ reading 20 . pdf
2. https://docs.pymc.io/nb_examples/index.html
3. https://2018 . za . pycon . org/talks/5-Bayesian-analysis-in-python-a-starter-kit/

成为多面手如何有利于您的数据科学职业

原文：https://towardsdatascience.com/how-being-a-generalist-can-benefit-your-data-science-career-cd23758a0780?source=collection_archive---------17-----------------------

尤其是如果你是从数据科学领域起步的话…

由 kazuend 在 Unsplash 拍摄的照片

在数据科学领域起步的人可能会感到有点失落。尤其是在选择自己应该追求什么角色的时候。我们在数据科学领域的角色激增可能会让人不知所措。

有这么多的角色要追求，从业者必须学习大量的技能。问题是人们不知道从哪里开始。

这让我们开始讨论应该使用哪种策略来在数据科学职业生涯中取得成功。一个人应该成为多面手还是专家？

这是一个很难解决的问题，因为它取决于太多的变量。这篇文章的目的不是解决这样一个问题。但是，目的是与你分享成为多面手的一些好处。

我希望有了这些信息，你会更好地了解。所以，下次你发现自己问这样的问题时，你会更好地回答它。

TL；成为多面手的三个主要好处是:你培养了强烈的自主意识。你让事情进展得更快。你会成为会说几种语言的人。

多面手与专家

通才是那些什么都懂一点的人。他们的知识扩展到几个知识领域，但有时可能是肤浅的。

专家是某一特定知识领域的专家。他们可能相当强大，但如果他们在另一个地区行动，他们可能会失去他们的力量。

你应该记住，凡事都有一定程度的专业化。没有所谓的纯通才或纯专科。

例如，如果你是一名工程师，你的专业领域是工程学。所以，如果你做不好律师，我不会对你评头论足。但是，为了你自己，你应该了解一点法律。你不能忽视他们的存在。

就像我之前说的，你不必事事都是专家。关键是要在一般化和特殊化之间找到*衡。

数据科学领域的通才和专家

在数据科学中，你可以说每个角色本身就是某种专门化。数据工程师做数据工程。数据分析师做数据分析。数据科学家做数据科学。

我见过数据科学家无法训练自己的模型，因为他们没有数据工程师来为他们获取数据。

我也见过数据工程师无法获得业务洞察力，因为他们不了解业务需求。

如果您所在的组织没有足够的资源来雇佣 4 或 5 个人来完成整个数据生命周期，这可能会成为一个问题。这是一种专业化程度，不是每个公司都能负担得起的。

这里更大的问题是我们习惯于有专门的角色。这是我们的社会和公司多年来一直遵循的模式。我们学习，我们专攻，我们想在我们的专业领域执行。

尽管如此，公司和数据从业者可以从通才方法中获益更多。

不要误解我，我不是说我们不应该有专家。这里的要点是我们应该有更多的通才。

事实上，一些人，比如网飞大学数据科学和工程的前副总裁 Eric Colson，认为我们应该组织我们的数据科学团队的方式是拥有多面手而不是专家。

https://hbr.org/2019/03/why-data-science-teams-need-generalists-not-specialists

成为多面手的好处

我从数据分析师做起。然后，我想过渡到数据科学家。为此，我给自己找了一家新公司。但是，当我到达新公司时，事情发生了意想不到的变化。

我记得首席技术官告诉我的一件事是，我在那里不仅仅是培训模型。如果我想在公司茁壮成长，我必须做得更多。我必须自己完成整个生命周期，，即，自己获取数据，转换数据，训练模型，并部署它们。

那是我当时不喜欢的事情。但是，现在我明白他想说什么了。他不想要专家，而是要多面手。这家公司负担不起如此程度的专业化。

我就是这样开始成为通才的。这也是我开始更清楚地看到成为多面手的好处的地方。

你发展出一种深刻的自主意识

我很快发现了成为某种怪异的“全栈数据科学家”的好处。最主要的是自主性。

一开始，我做任何事情都需要队友的支持。我需要帮助从数据库中获取数据，并转换它。此外，我需要帮助部署模型和构建东西来消费模型，等等。

在我掌握了窍门之后，我意识到能够独自完成整个生命周期是多么有用。当我的队友忙于解决其他问题时，我可以轻松地独自做事情。

我成为了一个能够独立面对问题的人，并通过这样做来帮助球队。

你让事情进展得更快

有时候，公司不需要完美的东西。他们只需要知道某件事是否可行。如果是值得追求的东西。越快知道越好。

如果你不得不协调更少的人，就更容易探索新事物。这就是你如何避免协调成本。

此外，给团队中的一个人自主权要比给整个团队自主权容易得多。你不能因为你的整个团队都在尝试一个新工具，或者类似的东西，就让关键的事情无人关注。

你会成为会说几种语言的人

在成为一名古怪的“全栈数据科学家”之后，我过渡到了数据工程。我最初在一家公司领导数据管道的实施。

我意识到的一件事是，作为多面手，我可以说几种“语言”因此，我能够轻松地在团队的不同角色之间转换不同的需求。

当我不得不与数据工程师交谈时，我可以轻而易举地做到。数据分析师也是如此。同样，它也发生在商业人士身上。我能够用每个人自己的语言与他们交谈，并帮助协调团队。

这是我觉得有用的东西。如果对方不说“相同的语言”，表达你的需求可能会很困难

最后的想法

这种关于通才和专家的讨论可能很难进行。你应该利用所有的信息，自己决定你想追求什么。

如果你想更深入地了解这方面的内容，我推荐你读一些其他的文章。

感谢阅读！

如果你想随时更新我的作品， 请加入我的 简讯 ！ 偶尔，我会和我的读者分享一些东西。如果你加入我会很感激的:)

奥运会的超支有多大？

原文：https://towardsdatascience.com/how-big-is-cost-overrun-for-the-olympics-46e803cbf7d5?source=collection_archive---------31-----------------------

所有游戏，无一例外，都有过成本超支。因为没有其他类型的大型项目是这种情况。

亚历山大·布齐尔和丹尼尔·伦恩

由布莱恩·特纳在 Unsplash 上拍摄的照片

下表显示了 1960-2016 年奥运会的实际超支百分比。在 1960 年至 2016 年的 30 场比赛中，有 19 场比赛的成本超支数据可用。投标预算和最终成本之间的差异的统计测试表明，这种差异在统计上具有压倒性的显著性。也就是说，从统计数据来看，奥运会的成本超支非常明显。应该提到的是，如果按名义价值(包括通货膨胀)计算成本超支，那么成本超支会大得多。从这个意义上说，显示的数字是保守的。*我们发现实际成本超支的*均值和中位数如下:

• 所有游戏:*均成本超支为 172%(中位数为 118%)。
• 夏季奥运会:*均超支为 213%(中位数为 120%)。
• 冬季奥运会:*均超支 142%(中位数 118%)。

来源:https://bit.ly/376vMo6

在所有大型项目中，奥运会的*均成本超支最高，实际超支 172%。

尽管夏季奥运会和冬季奥运会的*均成本超支之间的差异相对较大，为 71 个百分点，但这两种类型的奥运会在成本超支方面的差异在统计上并不显著。因此，从统计学的角度来看，夏季奥运会和冬季奥运会的成本超支没有区别，可以将这些数据汇集起来进行统计分析，例如，对未来奥运会的预算进行更准确的参考类预测。

我们进一步看到:

• 19 款游戏中有 15 款(79%)的成本超支超过 50%。
• 19 款游戏中有 9 款(47%)的成本超支超过 100%。

警惕的读者可能会怀疑，所有比赛中最低的超支是北京 2008 年奥运会的 2%

从这些统计数据来看，很明显，奥运会存在着巨大的成本超支风险。

对于夏季奥运会，超支最多的是 1976 年蒙特利尔奥运会，超支 720%，其次是 1992 年巴塞罗那奥运会，超支 266%。2008 年北京奥运会超支最小，为 2%，其次是 2004 年雅典奥运会，为 49%。对于冬季奥运会，最大的成本超支是 1980 年普莱西德湖奥运会的 324%，其次是 2014 年索契冬奥会的 289%。2010 年温哥华冬奥会超支最小，为 13%，其次是 2002 年盐湖城冬奥会，为 24%。

警惕的读者可能会怀疑，所有比赛中最低的超支是北京 2008 年奥运会的百分之二。众所周知，中国的经济报道缺乏可靠性。然而，北京 2008 年奥运会 68 亿美元的总成本和每位运动员 622，000 美元的成本都高于大多数其他夏季奥运会。因此，报告的费用被认为是足够举办北京奥运会的，我们没有看到官方数字被操纵的直接证据，因此应该拒绝接受。因此，像其他观察中国经济数据的人一样，我们也包括了这些数据，并警告说，鉴于中国篡改数据的历史，这些数据可能不如其他国家的数据可靠。同样，这意味着我们在奥运会中的*均超支费用是保守的。

奥运会的高*均超支成本，加上离群值的存在，应该成为任何考虑举办奥运会的人，尤其是小型或脆弱经济体的谨慎理由

来源:https://bit.ly/376vMo6

根据上述数据，我们进一步观察了奥运会的成本超支情况:

1. 所有游戏，无一例外都有成本超支。没有其他类型的大型项目是这种情况。对于其他项目类型，通常有 10-20%的项目符合或低于预算。对于奥运会来说是零。这一点值得仔细考虑。预算通常被确定为在项目上花费的最大值，或者说是期望值。然而，在奥运会中，预算更像是一个持续超支的虚构的最小值。此外，与其他大型项目相比，每项预算都有法律要求，要求主办城市和国家政府保证支付奥运会的超支费用。我们的数据表明，这种担保类似于为该活动开一张空白支票，肯定费用会比报价高。实际上，投标预算与其说是预算，不如说是首期付款，以后还会分期付款。
2. 奥运会的*均成本超支**是所有大型项目中最高的，按实际价值计算高达 172%。相比之下，Flyvbjerg 等人(2002 年)发现，大型交通项目的*均成本超支为公路 20%，大型桥梁和隧道 34%，铁路 45%；Ansar 等人(2014 年)发现巨型大坝的超限率为 90 %;Budzier 和 Flyvbjerg (2011)对大型 IT 项目的预测是 107 %,所有的预测都是真实的。奥运会的高额超支可能与项目交付的固定期限有关:开幕日期不可更改。因此，当出现问题时，不能像其他大型项目那样，在进度和成本之间进行权衡。在奥运会上，经理们所能做的就是投入更多的钱来解决问题，这就是所发生的事情。从这个意义上说，举办奥运会就像开一张空白支票。
3. 奥运会的*均超支额很高，再加上离群值的存在，应该成为任何考虑主办奥运会的人，尤其是那些几乎没有能力吸收不断上涨的成本和相关债务的小型或脆弱经济体保持谨慎的原因。数十亿美元项目成本超支 50%以上的小风险也应该引起政府官员和纳税人的关注，因为这种超支可能会对未来几十年产生财政影响，就像蒙特利尔在 1976 年夏季奥运会上花了 30 年才还清 720%成本超支所产生的债务一样(Vigor，Mean，和 Tims 2004: 18)，雅典在 2004 年奥运会上，奥运成本超支和相关债务加剧了 2007-16 年的金融和经济危机。

_____________

*)有关完整的故事，包括参考资料和注释，请参见 Flyvbjerg、Bent、Alexander Budzier 和 Daniel Lunn，2021 年，“回归尾部:为什么奥运会会失败”，环境与规划 A:经济与空间，第 53 卷，第 2 期，2021 年 3 月，第 233-260 页。这里有免费的 pdf:https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3686009

你最喜欢的城市有多适合骑自行车？

原文：https://towardsdatascience.com/how-bike-able-is-your-favorite-city-886332b9a94c?source=collection_archive---------34-----------------------

使用数据科学测量城市中骑车人的友好程度。

穆里略·德·保拉在 Unsplash 上的照片

无论你是职业自行车还是业余爱好，你可能都知道骑自行车有多大好处。从山路到穿越城市，自行车可以让你探索新的地方，锻炼身体，并在途中进行社交。在这个小故事中，我们将从数据科学的角度来看骑自行车的最佳城市。首先，让我们看看我们将要使用的一些工具。

工具和数据:

• Jupyter 笔记本
• OSMnx
• 网络 x
• 海生的
• 和 Python
• 数据:世界主要城市及其人口数据集(链接:【https://data.un.org/Data.aspx?d=POP】T4&f = tableCode % 3a 240)

标准:

什么使得城市对自行车友好？首先，它应该有专门的自行车路线和车道。让我们把它定义为自行车路线长度与总路线长度之比。这个比例越高，城市就越适合自行车。为了计算这一点，我们应该为一个特定的城市(比如东京)生成自行车和整个街道网络，如下所示:

以下是包括东京自行车道在内的道路:

现在，让我们计算 100 个城市的自行车道与总道路的比率，并查看使用 OSMnx 街道长度函数得出的结果:

这是使用 Seaborn 生成的自行车路线比例最高的前 20 个城市的条形图:

在这项指标中，排名最高的城市是刚果民主共和国的金沙萨，得分为 1.0，这意味着所有街道都可以骑自行车，其次是中国的东莞和印度尼西亚的万隆。

接下来，我们可以看看每个人口有多少骑行路线。因此，我们可以定义另一个指标:每个城市的自行车道长度除以人口密度。较大的值意味着城市居民可以使用更多的自行车道，因此对自行车更加友好。另一方面，较小的数值意味着更多的人使用较少的自行车道。让我们看一下代码，然后看看 20 个最大值的条形图:

这里的数据显示了与我们的第一个指标不同的故事，美国的亚特兰大、休斯顿和达拉斯得分最高。

那么，让我们看看这些城市的一些街道网络，即亚特兰大和金沙萨。首先，这是每个城市的网络图:

亚特兰大

金沙萨

他们看起来当然彼此不同，有些视觉上的差异。亚特兰大的网络在某些地区看起来稍微更“集中”，而金沙萨的网络看起来非常对称和均匀分布。我们可以使用 OSMnx 量化这些差异:

OSMnx 提供了一个名为“基本统计”的功能，我们可以使用它来查看关于城市街道网络的各种指标。以下是我们将在熊猫数据框架中使用的变量:

首先，“n”和“m”分别代表图中节点和边的数量。如你所见，亚特兰大两者兼而有之。那么 k_avg 代表*均节点度，意味着从图中的节点出现或进入的道路的*均数量。在这种情况下，金沙萨的这一指标值较高。

对于其他指标，您可以看到亚特兰大在十字路口数和街道总长度方面得分较高，但金沙萨的*均街道长度较高，这有助于理解我们上面看到的图表。

外面的马路有多热闹？

原文：https://towardsdatascience.com/how-busy-is-the-road-outside-de8e9b1b3cc3?source=collection_archive---------35-----------------------

从零开始逐个任务地进行数据科学

我们正在自动计算过往车辆

照片由 CHUTTERSNAP 在 Unsplash 上拍摄

如果我有像上面这样的好照片，我计算过往车辆的项目会容易得多。相反，我只能处理低质量的模糊图像。这篇文章是我个人在 一个计算机视觉&深度学习涅槃 之旅的延续。很多时候，它看起来更像克里斯·雷亚的《地狱之路》。 《在你穿越旷野从沙漠到井的旅途上》 。我的领域似乎是计算机科学、深度学习和计算机视觉。沙漠代表了我对井的求知欲，也许是指我经常饮用的书籍、教程和文章。如果都是这样，那么我邀请你到 喝我井里的水，欣赏我系列的下一篇文章 。和我一起去数过往的车辆。

如果你加入了 mid quest，你可以在这里了解整个系列。之前，我制作摄像机，部署运动眼，并定位摄像机以记录运动，同时保护道路使用者的隐私和安全。最后，我砍出了相当多的代码。现在，我有了整整一周的数据，并渴望更新你们所有人的练习。

检索图像

一旦设计并调好数据收集器，数据检索就是或者应该看起来是自动的。至少在我项目的这个阶段，我是这样的。下面的图 1 显示了一个 Motion Eye 操作系统(摄像机 1)的屏幕截图。每一天都显示在左侧，我可以检索任何一天的所有图像的“压缩”文件。

图 1 来自 Motion Eye OS 的屏幕截图—相机 1 —作者提供的图片。

从 1 月 22 日到 1 月 28 日有一整套数据。1 月 29 日被抓获时正在进行中。该系统在每天从格林威治时间早上 7 点到下午 5 点工作。在早上 7 点之前和下午 5 点之后，是黑暗的，设备不记录活动。每一天都是一个单独的文件夹，每个图像文件都被命名为 hour-minute-second.jpg，10–49–24.jpg 代表上午 10:49:24 的检测触发。