TowardsDataScience 博客中文翻译 2016~2018（十八）

原文：TowardsDataScience Blog

协议：CC BY-NC-SA 4.0

R 中分类数据的层次聚类

原文：https://towardsdatascience.com/hierarchical-clustering-on-categorical-data-in-r-a27e578f2995?source=collection_archive---------0-----------------------

这是我第一次尝试在真实数据上执行客户聚类，这是一次宝贵的经历。虽然网上关于使用数值变量进行聚类的文章和博客文章很多，但我花了一些时间来寻找分类数据的解决方案，如果你想到这一点，这确实不那么简单。分类数据聚类的方法仍在开发中——我将在另一篇文章中尝试这两种方法。

另一方面，我也遇到过这样的观点，对分类数据进行聚类可能不会产生合理的结果——这在一定程度上是正确的(在 CrossValidated 上有一个惊人的讨论)。在某一点上，我想“我在做什么，为什么不把它全部分成几组呢？”但是群组分析并不总是明智的，特别是在您获得更多级别的分类变量的情况下，您可以轻松浏览 5-7 个群组，这可能很容易，但是如果您有 22 个变量，每个变量有 5 个级别(比如，这是一个离散分数为 1，2，3，4，5 的客户调查)，并且您需要了解您有哪些独特的客户群，您将有 22×5 个群组。没人想这么做。聚类似乎是有用的。所以这篇文章是关于分享我希望在开始研究集群时遇到的事情。

聚类过程本身包含 3 个不同的步骤:

1. 计算相异度矩阵——可以说是聚类中最重要的决定，你所有的后续步骤都将基于你所做的相异度矩阵。
2. 选择聚类方法
3. 评估集群

这篇文章是初级水*的，涵盖了基础知识和 r 中的实现。

D issimilarity Matrix
可以说，这是你聚类的主干。相异矩阵是一种数学表达式，表示数据集中的点彼此之间的差异或距离，因此您可以稍后将最接*的点分组在一起或分离最远的点，这是聚类的核心思想。

这是数据类型差异非常重要的步骤，因为相异矩阵是基于各个数据点之间的距离。虽然很容易想象数字数据点之间的距离(例如，还记得欧几里德距离？)，分类数据(R 中的因子)似乎不那么明显。

为了计算这种情况下的相异度矩阵，你需要一个叫做高尔距离的东西。我不会进入它的数学，但我在这里提供了一个链接和链接。为此，我更喜欢使用**cluster** package中的daisy()和metric = c("gower")。

#----- Dummy Data -----#
# the data will be sterile clean in order to not get distracted with other issues that might arise, but I will also write about some difficulties I had, outside the codelibrary(dplyr)# ensuring reproducibility for sampling
set.seed(40)# generating random variable set
# specifying ordered factors, strings will be converted to factors when using data.frame()# customer ids come first, we will generate 200 customer ids from 1 to 200
id.s <- c(1:200) %>%
        factor()
budget.s <- sample(c("small", "med", "large"), 200, replace = T) %>%
            factor(levels=c("small", "med", "large"), 
            ordered = TRUE)origins.s <- sample(c("x", "y", "z"), 200, replace = T, 
             prob = c(0.7, 0.15, 0.15))area.s <- sample(c("area1", "area2", "area3", "area4"), 200, 
          replace = T,
          prob = c(0.3, 0.1, 0.5, 0.2))source.s <- sample(c("facebook", "email", "link", "app"), 200,   
            replace = T,
            prob = c(0.1,0.2, 0.3, 0.4))## day of week - probabilities are mocking the demand curve
dow.s <- sample(c("mon", "tue", "wed", "thu", "fri", "sat", "sun"), 200, replace = T,
         prob = c(0.1, 0.1, 0.2, 0.2, 0.1, 0.1, 0.2)) %>%
         factor(levels=c("mon", "tue", "wed", "thu", "fri", "sat", "sun"), 
        ordered = TRUE)# dish 
dish.s <- sample(c("delicious", "the one you don't like", "pizza"), 200, replace = T)

# by default, data.frame() will convert all the strings to factors
synthetic.customers <- data.frame(id.s, budget.s, origins.s, area.s, source.s, dow.s, dish.s)#----- Dissimilarity Matrix -----#library(cluster) 
# to perform different types of hierarchical clustering
# package functions used: daisy(), diana(), clusplot()gower.dist <- daisy(synthetic.customers[ ,2:7], metric = c("gower"))# class(gower.dist) 
## dissimilarity , dist

用相异矩阵完成。这对于 200 次观察来说是非常快的，但是如果你有一个大的数据集，计算起来可能会非常昂贵。

实际上，您很可能必须首先清理数据集，执行从字符串到因子的必要转换，并注意丢失的值。在我自己的例子中，数据集包含丢失值的行，每次都很好地聚集在一起，使我认为我找到了宝藏，直到我看了这些值(哼！).

C 聚类算法
你可能听说过有 k-means 和分层聚类。在本文中，我主要关注后者，因为它是一种更具探索性的类型，并且可以采用不同的方法:您可以选择遵循聚集(自下而上)或分裂(自上而下)的聚类方式。

Credits: UC Business Analytics R Programming Guide

凝聚聚类将从 n 个聚类开始，其中 n 是观察值的数量，假设它们中的每一个都是自己单独的聚类。然后，算法将尝试找到最相似的数据点，并将它们分组，因此它们开始形成聚类。

相比之下，分裂聚类将反其道而行之——假设所有的 n 个数据点是一个大的聚类，并将最不相似的分成不同的组。

如果你正在考虑使用其中的哪一个，尝试所有的选项总是值得的，但总的来说，*凝聚聚类在发现小簇方面更好，*并且被大多数软件使用；分裂聚类——发现更大的聚类。

我个人喜欢先看看树状图——聚类的图形表示，以决定我将坚持哪种方法。正如你将在下面看到的，一些树状图将会非常*衡，而其他的看起来会很混乱。

# The main input for the code below is dissimilarity (distance matrix)
# After dissimilarity matrix was calculated, the further steps will be the same for all data types
# I prefer to look at the dendrogram and fine the most appealing one first - in this case, I was looking for a more balanced one - to further continue with assessment#------------ DIVISIVE CLUSTERING ------------#
divisive.clust <- diana(as.matrix(gower.dist), 
                  diss = TRUE, keep.diss = TRUE)
plot(divisive.clust, main = "Divisive")

#------------ AGGLOMERATIVE CLUSTERING ------------#
# I am looking for the most balanced approach
# Complete linkages is the approach that best fits this demand - I will leave only this one here, don't want to get it cluttered# complete
aggl.clust.c <- hclust(gower.dist, method = "complete")
plot(aggl.clust.c,
     main = "Agglomerative, complete linkages") 

A 选择聚类
在这里，您将在不同的聚类算法和不同数量的聚类之间做出选择。正如评估经常发生的那样，可能的方式不止一种，辅以 你自己的判断 。它是粗体和斜体，因为你自己的判断 很重要 —聚类的数量应该有实际意义，数据分组的方式也应该有意义。使用分类变量时，您可能最终会得到无意义的聚类，因为它们的值的组合是有限的-它们是离散的，组合的数量也是如此。可能，您也不希望集群数量非常少——它们很可能太过笼统。最后，一切都取决于你的目标和你分析的目的。

从概念上讲，当创建聚类时，您会对不同的数据点组感兴趣，这样，在聚类内它们之间的距离(或紧密度)最小，而组之间的距离(间隔)尽可能大。这直观上很容易理解:点与点之间的距离是从相异度矩阵导出的它们相异度的度量。因此，聚类的评估是围绕紧密性和分离性的评估而建立的。

这里我将采用两种方法，并说明其中一种可能会产生无意义的结果:

• 肘法:当聚类的紧密度，或者说组内的相似性对你的分析最重要的时候，就开始使用肘法。
• 剪影法:作为数据一致性的一种度量，剪影图显示一个聚类中的每个点与相邻聚类中的点的接*程度。

在实践中，它们很可能会提供不同的结果，这些结果在某一点上可能会令人困惑-不同数量的聚类将对应于最紧密/最明显分离的聚类，因此判断和理解数据实际上是什么将是做出最终决策的重要部分。

还有一堆测量值，你可以根据自己的情况进行分析。我将它们添加到代码本身。

# Cluster stats comes out as list while it is more convenient to look at it as a table
# This code below will produce a dataframe with observations in columns and variables in row
# Not quite tidy data, which will require a tweak for plotting, but I prefer this view as an output here as I find it more comprehensive library(fpc)cstats.table <- function(dist, tree, k) {
clust.assess <- c("cluster.number","n","within.cluster.ss","average.within","average.between",
                  "wb.ratio","dunn2","avg.silwidth")
clust.size <- c("cluster.size")
stats.names <- c()
row.clust <- c()output.stats <- matrix(ncol = k, nrow = length(clust.assess))
cluster.sizes <- matrix(ncol = k, nrow = k)for(i in c(1:k)){
  row.clust[i] <- paste("Cluster-", i, " size")
}for(i in c(2:k)){
  stats.names[i] <- paste("Test", i-1)

  for(j in seq_along(clust.assess)){
    output.stats[j, i] <- unlist(cluster.stats(d = dist, clustering = cutree(tree, k = i))[clust.assess])[j]

  }

  for(d in 1:k) {
    cluster.sizes[d, i] <- unlist(cluster.stats(d = dist, clustering = cutree(tree, k = i))[clust.size])[d]
    dim(cluster.sizes[d, i]) <- c(length(cluster.sizes[i]), 1)
    cluster.sizes[d, i]

  }
}output.stats.df <- data.frame(output.stats)cluster.sizes <- data.frame(cluster.sizes)
cluster.sizes[is.na(cluster.sizes)] <- 0rows.all <- c(clust.assess, row.clust)
# rownames(output.stats.df) <- clust.assess
output <- rbind(output.stats.df, cluster.sizes)[ ,-1]
colnames(output) <- stats.names[2:k]
rownames(output) <- rows.allis.num <- sapply(output, is.numeric)
output[is.num] <- lapply(output[is.num], round, 2)output
}# I am capping the maximum amout of clusters by 7
# I want to choose a reasonable number, based on which I will be able to see basic differences between customer groups as a resultstats.df.divisive <- cstats.table(gower.dist, divisive.clust, 7)
stats.df.divisive

看，average.within，即聚类内观察值之间的*均距离，正在缩小，聚类 SS 内也是如此。*均轮廓宽度有点不直接，但相反的关系仍然存在。

看看星团的大小是多么不成比例。我不会仓促地处理星团中无与伦比的观测数据。其中一个原因是，数据集可能不*衡，一些观察组将在分析中超过所有其他组-这不好，很可能导致偏差。

stats.df.aggl <-cstats.table(gower.dist, aggl.clust.c, 7) #complete linkages looks like the most balanced approach
stats.df.aggl

请注意，在每组的观察数量上，更加*衡的聚集完全联系层次聚类是如何进行比较的。

# --------- Choosing the number of clusters ---------## Using "Elbow" and "Silhouette" methods to identify the best number of clusters
# to better picture the trend, I will go for more than 7 clusters.library(ggplot2)**# Elbow
# Divisive clustering**
ggplot(data = data.frame(t(cstats.table(gower.dist, divisive.clust, 15))), 
  aes(x=cluster.number, y=within.cluster.ss)) + 
  geom_point()+
  geom_line()+
  ggtitle("Divisive clustering") +
  labs(x = "Num.of clusters", y = "Within clusters sum of squares (SS)") +
  theme(plot.title = element_text(hjust = 0.5))

所以，我们制作了“肘”图。它显示了*方和(作为观察值接*程度的一种度量:*方和越低，分类内的观察值越接*)随着分类数的不同而变化。理想情况下，我们应该在肘部看到一个与众不同的“弯曲”,在那里分裂星系团只会使 SS 略微下降。在下图的情况下，我会选择 7 左右。虽然在这种情况下，一个聚类将只包含 2 个观察值，但让我们看看凝聚聚类会发生什么。

# Agglomerative clustering,provides a more ambiguous picture
ggplot(data = data.frame(t(cstats.table(gower.dist, aggl.clust.c, 15))), 
  aes(x=cluster.number, y=within.cluster.ss)) + 
  geom_point()+
  geom_line()+
  ggtitle("Agglomerative clustering") +
  labs(x = "Num.of clusters", y = "Within clusters sum of squares (SS)") +
  theme(plot.title = element_text(hjust = 0.5))

凝聚型“肘”看起来与分裂型相似，只是凝聚型看起来更*滑，而“弯”不那么突兀。与分裂聚类类似，我会选择 7 个聚类，但在这两种方法之间进行选择，我更喜欢凝聚方法产生的聚类的大小——我想要大小相当的东西。

**# Silhouette**ggplot(data = data.frame(t(cstats.table(gower.dist, divisive.clust, 15))), 
  aes(x=cluster.number, y=avg.silwidth)) + 
  geom_point()+
  geom_line()+
  ggtitle("Divisive clustering") +
  labs(x = "Num.of clusters", y = "Average silhouette width") +
  theme(plot.title = element_text(hjust = 0.5))

当谈到轮廓评估时，规则是您应该选择使轮廓系数最大化的数字，因为您希望聚类足够独特(远)以被认为是独立的。

轮廓系数的范围在-1 和 1 之间，1 表示类内一致性良好，-1 表示不太好。

从上面的图中可以看出，您不会选择 5 个集群，而会选择 9 个。

作为比较，对于“简单”的情况，轮廓图可能看起来像下图。我们还不完全是，但几乎是。

Credits: Data sailors

ggplot(data = data.frame(t(cstats.table(gower.dist, aggl.clust.c, 15))), 
  aes(x=cluster.number, y=avg.silwidth)) + 
  geom_point()+
  geom_line()+
  ggtitle("Agglomerative clustering") +
  labs(x = "Num.of clusters", y = "Average silhouette width") +
  theme(plot.title = element_text(hjust = 0.5))

上面的剪影宽度图是在说“你打破的数据集越多，聚类就变得越有特色”。最终，您将得到单个数据点——您不希望这样，如果您尝试使用更大的 k 作为聚类数，您将会看到它。例如，在 *k=30，*我得到了下面的图:

所以:你分割得越多，效果越好，但是我们不能分割到单独的数据点(记住我们在上面的图中有 30 个集群，只有 200 个数据点)。

综上所述，在我看来，这种情况下的凝聚聚类看起来更加*衡——聚类大小或多或少是可比的(看看分裂部分中只有 2 个观察值的那个聚类！)，我会选择通过这种方法获得的 7 个聚类。让我们看看它们的样子，并检查里面有什么。

该数据集由 6 个需要在 2D 或 3D 中可视化的变量组成，所以是时候接受挑战了！分类数据的性质也造成了一些限制，因此使用一些预定义的解决方案可能会变得棘手。我想 a)了解观察值如何聚集，b)了解观察值如何跨类别分布，因此我创建了 a)彩色树状图，b)每个聚类内每个变量的观察值计数热图。

library("ggplot2")
library("reshape2")
library("purrr")
library("dplyr")*# let's start with a dendrogram*
library("dendextend")dendro <- as.dendrogram(aggl.clust.c)dendro.col <- dendro %>%
  set("branches_k_color", k = 7, value =   c("darkslategray", "darkslategray4", "darkslategray3", "gold3", "darkcyan", "cyan3", "gold3")) %>%
  set("branches_lwd", 0.6) %>%
  set("labels_colors", 
      value = c("darkslategray")) %>% 
  set("labels_cex", 0.5)ggd1 <- as.ggdend(dendro.col)ggplot(ggd1, theme = theme_minimal()) +
  labs(x = "Num. observations", y = "Height", title = "Dendrogram, k = 7")

*# Radial plot looks less cluttered (and cooler)*
ggplot(ggd1, labels = T) + 
  scale_y_reverse(expand = c(0.2, 0)) +
  coord_polar(theta="x")

*# Time for the heatmap
# the 1st step here is to have 1 variable per row
# factors have to be converted to characters in order not to be dropped*clust.num <- cutree(aggl.clust.c, k = 7)
synthetic.customers.cl <- cbind(synthetic.customers, clust.num)cust.long <- melt(data.frame(lapply(synthetic.customers.cl, as.character), stringsAsFactors=FALSE), 
                  id = c("id.s", "clust.num"), factorsAsStrings=T)cust.long.q <- cust.long %>%
  group_by(clust.num, variable, value) %>%
  mutate(count = n_distinct(id.s)) %>%
  distinct(clust.num, variable, value, count)*# heatmap.c will be suitable in case you want to go for absolute counts - but it doesn't tell much to my taste*heatmap.c <- ggplot(cust.long.q, aes(x = clust.num, y =        factor(value, levels = c("x","y","z",                                                                   "mon", "tue", "wed", "thu", "fri","sat","sun",                                                       "delicious", "the one you don't like", "pizza",                                                             "facebook", "email", "link", "app",                                                             "area1", "area2", "area3", "area4",                                                             "small", "med", "large"), ordered = T))) +

  geom_tile(aes(fill = count))+
  scale_fill_gradient2(low = "darkslategray1", mid = "yellow", high = "turquoise4")*# calculating the percent of each factor level in the absolute count of cluster members*
cust.long.p <- cust.long.q %>%
  group_by(clust.num, variable) %>%
  mutate(perc = count / sum(count)) %>%
  arrange(clust.num)heatmap.p <- ggplot(cust.long.p, aes(x = clust.num, y = factor(value, levels = c("x","y","z",
      "mon", "tue", "wed", "thu", "fri","sat", "sun",                                                                     "delicious", "the one you don't like", "pizza",                                             "facebook", "email", "link", "app",                                             "area1", "area2", "area3", "area4",                                           "small", "med", "large"), ordered = T))) +

geom_tile(aes(fill = perc), alpha = 0.85)+
  labs(title = "Distribution of characteristics across clusters", x = "Cluster number", y = NULL) +
  geom_hline(yintercept = 3.5) + 
  geom_hline(yintercept = 10.5) + 
  geom_hline(yintercept = 13.5) + 
  geom_hline(yintercept = 17.5) + 
  geom_hline(yintercept = 21.5) + 
  scale_fill_gradient2(low = "darkslategray1", mid = "yellow", high = "turquoise4")heatmap.p

有了热图，您可以看到初始因素(我们已经开始使用的变量)中每个因素级别有多少观察值。较深的蓝色对应于一个集群中相对较多的观测值。在此图中，您还可以看到，一周中的每一天/购物篮大小在每个箱中都有几乎相同数量的客户，这可能意味着这些对于分析来说不是决定性的，并且可能会被省略。

C 丢失音符
在这篇文章中，我们已经经历了相异矩阵计算，尝试了凝聚和分裂的层次聚类方法，并且用“肘”和“剪影”方法看了一下聚类评估。

在这篇文章中，我们经历了相异度矩阵计算，尝试了凝聚和分裂的层次聚类方法，并对聚类评估进行了研究。

分裂式和凝聚式层次聚类是开始探索的好地方，但是如果您的目标是成为一名聚类大师，请不要止步于此——还有更多的方法和技术出现在那里。与数值数据聚类相比，主要区别在于相异矩阵的计算。从评估的角度来看，并不是所有的标准聚类评估方法都会产生可靠和合理的结果——剪影方法可能会被淘汰。

最后，我做这个练习已经有一段时间了。到目前为止，我看到了我的方法背后的一些缺点，我欢迎任何反馈。我的分析中的一个普遍缺陷在于聚类本身之外— 我的数据集在很多方面都是不*衡的，这个问题仍然没有得到解决。我可以看到它对聚类的影响:有 70%的客户属于一个因素级别(在这种情况下是国籍)，这个组控制了大多数产生的聚类，使得很难找出其他因素级别之间的差异。*衡数据集和比较聚类结果是我接下来要尝试的，我会写一篇单独的文章来讨论这个问题。

最后，如果你想克隆，这里有 github 的链接:https://github.com/khunreus/cluster-categorical

希望你喜欢它！

以下是我发现有用的资源:

分层聚类教程(数据准备、聚类、可视化)，总的来说，这个博客可能对那些对 R:http://uc-r.github.io/hc_clustering和https://uc-r.github.io/kmeans_clustering的商业分析感兴趣的人有用

聚类验证:http://www . sth da . com/English/articles/29-cluster-validation-essentials/97-cluster-validation-statistics-must-know-methods/

文档分类示例(分层和 k-means):https://eight 2 late . WordPress . com/2015/07/22/a-gentle-introduction-to-cluster-analysis-using-r/

denextend 包相当有趣，允许比较不同方法之间的集群结构:https://cran . r-project . org/web/packages/dend extend/vignettes/introduction . html # the-set-function

不仅有树状图，还有聚类图:https://www . r-statistics . com/2010/06/cluster gram-visualization-and-diagnostics-for-cluster-analysis-r-code/

结合聚类热图和树状图:https://JC Oliver . github . io/learn-r/008-gg plot-dendrograms-and-heat maps . html

我个人有兴趣尝试一下在https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5025633/引入的方法，他们的 GitHub 库:https://github.com/khunreus/EnsCat

分层软最大值和负采样:值得讲述的简短笔记

原文：https://towardsdatascience.com/hierarchical-softmax-and-negative-sampling-short-notes-worth-telling-2672010dbe08?source=collection_archive---------0-----------------------

感谢观众对我上一篇(也是唯一一篇)致力于单词嵌入的帖子的意外和非常愉快的关注，我很高兴再写一篇:更短更易读。严格地说，这是上一篇文章的延续，因为这里讨论的主题是对方法的更详细的解释，这些方法用于生成单词嵌入，特别是用于使用 softmax 函数计算最后的激活层。Softmax 产生多项式概率分布；我们将接收到的输出向量视为单词的向量表示(上下文单词或简单的输出单词，取决于我们使用的模型)。为什么我们需要新的练习来输出我们的单词向量？他们给了我们什么好处？他们的表现如何，有什么不同？让我们开始这个故事吧，我想我们会明白的。

直觉和先决条件

我之前说过，softmax(归一化指数函数)是输出层函数，它激活我们的每一个节点，作为神经网络计算的最后一步。它用于计算至少两种不同类型的常见单词嵌入: word2vec 和 FastText 。此外，它与 sigmoid 和 tanh 函数一起，是许多情况下神经网络架构的激活步骤。softmax 的公式如下:

其中，激活的输出向量的每个元素是给定我们的输入单词 I 的情况下，该单词等于词汇表中第 j 个单词的概率。此外，值得一提的是，输出向量的元素之和等于 1 ，并且它的每个元素都被映射到一个范围*【0，1】*。

以直接方式计算的该算法的计算复杂度是我们的词汇表的大小， O(V) 。实践告诉我们，我们可以通过使用二叉树结构来充分减少它，为什么不呢？

分级 softmax

这种方法背后的主要动机是，我们评估的是以 2 为底的对数 V 而不是 V :

这是算法所需的计算复杂度和运算数量的戏剧性变化。我们用二叉树的用法来做，其中树叶代表单词的概率；更具体地，索引为 j 的 leave 是第 j 个字的概率，并且在输出 softmax 向量中具有位置 j 。

每一个单词都可以通过从根到内部节点的路径到达，内部节点表示沿着这条路径的概率质量。这些值是通过使用简单的 sigmoid 函数产生的，只要我们计算的路径仅仅是这些概率质量函数的乘积，这些函数定义为:

在我们的具体案例中 x 是什么？它是通过我们正在使用的单词的输入和输出矢量表示的点积来计算的:

其中 n(w，j) 是从根到 w 路径上的第 j 个节点，我们正在计算。更多关于输入和输出单词表示的解释可以在我之前的文章中找到。

实际上，我们可以用概率代替 sigmoid 符号；对于每个内部节点，我们选择一个任意的子节点(左或右),并将正 sigmoid 函数值赋给其中一个(通常是左子节点)。通过保留这些约束，sigmoid 函数可以被视为:

对于节点 n 的左子节点，同样对于节点 n 的右子节点:

我们已经收集了最终函数计算的所有部分，包括前面的所有步骤，以及对我们选择的任意节点(右或左)的布尔检查:

其中，尖括号表示布尔检查大小写是真还是假； L(w) 是树的深度； ch(n) 是节点 n 的子节点。

如果树有根节点、2 个内部节点和叶节点，很明显我们正在执行 3 步计算，这足以减少我们正在做的操作的数量。

负采样

负采样思想是基于噪声对比估计的概念(类似于生成性对抗网络)，它坚持认为，一个好的模型应该通过逻辑回归来区分伪信号和真实信号。此外，负采样目标背后的动机类似于随机梯度下降:不是每次都改变所有的权重，同时考虑到我们拥有的所有成千上万个观察值，我们只使用其中的 K 个，并且也显著提高了计算效率(取决于负样本的数量)。

一次观察的负采样目标看起来像:

正如我们所看到的，与随机梯度下降的不同之处在于，我们考虑的不仅仅是一个观察值，而是其中的 K 个。

我们使用的概率分布是噪声分布(将在后面更详细地描述)。我们使用这种噪声分布的原因是我们试图解决区分真实数据和虚假数据的挑战。

合适的噪声分布是一元分布 U(w) 定义为:

其中 3/4 为实验得出的值； f(w) 是该词在语料库中的出现频率。

如果我们说的是取自 word2vec 理论的 skip-gram 模型，那么负样本就是词，不是上下文词；正面的例子当然是语境词。

结论

我不能称这篇文章为一篇有价值的文章，至少因为我花了不超过一个小时来写这篇文章；网上还有很多更详细的帖子专门针对不同类型的 softmax，包括差异化 softmax，CNN-softmax，目标采样等。比如，塞巴斯蒂安·鲁德的这篇文章。我试图尽可能多地关注复杂公式的简单解释和给定算法的优点，这使得它们在给定的领域中最受欢迎。正如从文本中所理解的，所提到的方法更多地从数学公式和机器学习方法的角度进行描述，然后从实际实施的角度进行描述(通常，这些算法已经在标准 gensim/tensorflow 库中采用)。

使用 HAProxy 和 Heartbeat 实现负载*衡的高可用性 MySQL 集群。

原文：https://towardsdatascience.com/high-availability-mysql-cluster-with-load-balancing-using-haproxy-and-heartbeat-40a16e134691?source=collection_archive---------1-----------------------

你好，在这篇文章中，我想分享一些从两个主 MySQL 节点构建高可用性 MySQL 数据库集群的经验，该集群具有基于 HAProxy & Heartbeat 的负载*衡和故障转移功能。

在大多数现代项目中，数据库可用性是生死攸关的问题。好的解决方案是从一个以上的 MySQL 服务器创建一个分布式数据库集群，它可以负责负载*衡、故障转移功能和数据复制。此外，您可以拆分传入的请求并处理高负载。

在这个例子中，我将展示从两个主节点创建一个 MySQL 集群，主要思想是创建一对具有相同配置的服务器和一个用于接收请求的虚拟 IP。即使完全失去其中一个节点，该群集也将继续工作。

我们将使用两台服务器(虚拟或裸机),上面安装一对 MySQL masters 和一对 HAProxy，主虚拟 IP 将配置 Heartbeat。请注意，在本例中，一个时间段内仅使用一个 HAProxy，第二个 HAProxy 将处于热储备状态。MySQL 服务器将循环使用负载*衡类型。

选择具有两个服务器的模式是为了使示例更简单。当然，如果您有额外的服务器，您可以创建更复杂的配置，将 HAProxy 与 Heartbeat 放在外部 LB 集群中等等。但是无论如何，这个例子对于在你的项目中构建一个强大的数据库集群来说已经足够了。

0。正在准备。

首先，我们需要为 MySQL 复制和 HAProxy with Heartbeat 选择几个子网，最好将它们分开，如果您的服务器有几个网络接口，也将这些子网放在不同的接口上。

192 . 168 . 0 . 0/24-DB 流量网络

MySQL1 的 192.168.0.1 IP，MySQL2 的 192.168.0.2 IP。

10.10.10.0/24 -心跳网络& HAProxy。

10.10.10.1 虚拟 IP 用于取请求，10 . 10 . 2主 IP 用于服务器 1 ， 10.10.10.3 主 IP 用于服务器 2 。

事实上/29 子网就足够了:)

1。用主-主复制配置 MySQL 服务器。

首先，我们需要在两台服务器上安装 MySQL:

# apt-get update && apt-get upgrade -y# apt-get install mysql-server mysql-client

然后在第一个和第二个节点上编辑 /etc/mysql/my.cnf ，以启用 mysql 服务器之间的复制，并使它们使用来自 192.168.0.0/24 子网的 IP:

服务器 1 配置。

[mysqld]bind-address    = 192.168.0.1server_id           = 1
log_bin             = /var/log/mysql/mysql-bin.log
log_bin_index       = /var/log/mysql/mysql-bin.log.index
relay_log           = /var/log/mysql/mysql-relay-bin
relay_log_index     = /var/log/mysql/mysql-relay-bin.index
expire_logs_days    = 10
max_binlog_size     = 100M
log_slave_updates   = 1
auto-increment-increment = 2
auto-increment-offset = 1

Server2 配置。

[mysqld]bind-address    = 192.168.0.2server_id           = 2
log_bin             = /var/log/mysql/mysql-bin.log
log_bin_index       = /var/log/mysql/mysql-bin.log.index
relay_log           = /var/log/mysql/mysql-relay-bin
relay_log_index     = /var/log/mysql/mysql-relay-bin.index
expire_logs_days    = 10
max_binlog_size     = 100M
log_slave_updates   = 1
auto-increment-increment = 2
auto-increment-offset = 2

然后重新启动它们，并确保 MySQL 叶在指定的 IP:

server1# systemctl restart mysqlserver1# netstat -ntlpActive Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 192.168.0.1:3306        0.0.0.0:*               LISTEN      9057/mysqldserver2# systemctl restart mysqlserver2# netstat -ntlpActive Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 192.168.0.2:3306        0.0.0.0:*               LISTEN      8740/mysqld

现在将为数据库之间的复制创建一个用户，你可以使用 pwgen 实用程序来生成足够强的密码。连接到每个 MySQL 服务器，并使用来自对方服务器的 IP 创建该用户:

server1# mysql -u root -pMariaDB> GRANT REPLICATION SLAVE ON *.* TO 'replicauser'@'192.168.0.2' IDENTIFIED BY 'somestrongpassword';server2# mysql -u root -pMariaDB> GRANT REPLICATION SLAVE ON *.* TO 'replicauser'@'192.168.0.1' IDENTIFIED BY 'somestrongpassword';

检查复制用户是否可以访问每台 MySQL 服务器。

server1# mysql -u replicauser -p -h 192.168.0.2
Enter password: somestrongpassword
Welcome to the MariaDB monitor.  Commands end with ; or \g.bla bla....server2# mysql -u replicauser -p -h 192.168.0.1
Enter password: somestrongpassword
Welcome to the MariaDB monitor.  Commands end with ; or \g.bla bla....

好了，现在我们可以继续配置 MySQL 服务器之间的复制。从那时起，最好从两个 MySQL 服务器打开两个控制台，因为我们需要根据另一个服务器的输出输入命令。

获取服务器 1 上的 MySQL 主服务器状态:

server1# mysql -u root -pMariaDB> SHOW MASTER STATUS;+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000002 |      531 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

我们需要这个输出中的文件和位置信息。打开 server2 上的 MySQL 控制台，配置与第一台服务器的从属关系。

server2# mysql -u root -pMariaDB> STOP SLAVE;MariaDB> CHANGE MASTER TO master_host='192.168.0.1', master_port=3306, master_user='replicauser', master_password='somestrongpassword', master_log_file='mysql-bin.000002', master_log_pos=531;MariaDB> START SLAVE;

现在从 server2 查询主服务器状态，并在第一台服务器上为 MySQL 配置从服务器关系。

server2# mysql -u root -pMariaDB> SHOW MASTER STATUS;+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000002 |      531 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)server1# mysql -u root -pMariaDB> STOP SLAVE;MariaDB> CHANGE MASTER TO master_host='192.168.0.2', master_port=3306, master_user='replicauser', master_password='somestrongpassword', master_log_file='mysql-bin.000002', master_log_pos=531;MariaDB> START SLAVE;

好了，如果一切都做对了，我们必须在 MySQL 主服务器之间建立一个有效的复制。您可以创建一些测试数据库并检查这一点。

server1# mysql -u root -pMariaDB> CREATE DATABASE TESTDB;
MariaDB> CREATE TABLE TESTDB.REPLICA (`id` varchar(40));

然后检查该数据库是否也出现在第二台服务器上:

server2# mysql -u root -pMariaDB> SHOW TABLES IN TESTDB;
+------------------+
| Tables_in_TESTDB |
+------------------+
| REPLICA          |
+------------------+
1 row in set (0.00 sec)

正如您所看到的，TESTDBbase 被成功地复制到了 server2。我们刚刚完成了创建故障转移集群的第一阶段。

2.在两台服务器上配置 HAProxy。

在第二阶段，我们将在两台服务器上安装和配置两个完全相同的 HAProxy，用于*衡 MySQL 服务器之间的传入请求。

首先，我们需要在我们的 MySQL 服务器上添加额外的用户(用户必须在没有任何密码的情况下创建)，该用户将由 HAProxy 用于检查 MySQL 服务器的健康状态。

server1# mysql -u root -pMariaDB> CREATE USER 'haproxy_check'@'%';
MariaDB> FLUSH PRIVILEGES;

您可以在我们的任何 MySQL 服务器上创建这个用户，因为我们在它们之间配置了一个复制。使用以下命令检查用户是否已添加:

server1# mysql -u root -p -e "SELECT User, Host FROM mysql.user"
Enter password: 
+---------------+-------------+
| User          | Host        |
+---------------+-------------+
| haproxy_check | %           |
| replicauser   | 192.168.0.2 |
| root          | localhost   |
+---------------+-------------+server2# mysql -u root -p -e "SELECT User, Host FROM mysql.user"
Enter password: 
+---------------+-------------+
| User          | Host        |
+---------------+-------------+
| haproxy_check | %           |
| replicauser   | 192.168.0.1 |
| root          | localhost   |
+---------------+-------------+

此外，让我们创建一个具有 root 权限的用户，以便稍后进行一些测试请求:

server1# mysql -u root -pMariaDB> CREATE USER 'haproxy_root'@'%' IDENTIFIED BY 'password';
MariaDB> GRANT ALL PRIVILEGES ON *.* TO 'haproxy_root'@'%';

现在是安装 HAProxy 的时候了:

server1# apt-get install haproxy
server2# apt-get install haproxy

保存原始配置并创建新配置:

server1# mv /etc/haproxy/haproxy.cfg{,.back}
server1# vi /etc/haproxy/haproxy.cfg

接下来，在两台服务器上添加此配置:

global
    user haproxy
    group haproxydefaults
    mode http
    log global
    retries 2
    timeout connect 3000ms
    timeout server 5000ms
    timeout client 5000mslisten stats
    bind 10.10.10.1:9999
    stats enable
    stats hide-version
    stats uri /stats
    stats auth statadmin:statadminpasslisten mysql-cluster
    bind 10.10.10.1:3306
    mode tcp
    option mysql-check user haproxy_check
    balance roundrobin
    server mysql-1 192.168.0.1:3306 check
    server mysql-2 192.168.0.2:3306 check

可以看到，两个 HAProxy 服务都将使用 10.10.10.1，共享 IP 地址。这个虚拟 ip 将在服务器之间移动，因此我们需要使用一些技巧并启用net . IP v4 . IP _ non local _ bindsysctl 选项，以允许系统服务绑定在非本地 IP 上。

将此选项添加到文件 /etc/sysctl.conf 中:

*server1# vi /etc/sysctl.conf*net.ipv4.ip_nonlocal_bind=1*server2# vi /etc/sysctl.conf*net.ipv4.ip_nonlocal_bind=1

那就跑

*sysctl -p*

之后，我们可以在两台服务器上启动 HAProxy:

server1# systemctl start haproxy
server2# systemctl start haproxy

检查它们是否在共享 IP 10.10.10.1 上启动:

server1# netstat -ntlp Active Internet connections (only servers) 
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
tcp 0 0 192.168.0.1:3306 0.0.0.0:* LISTEN 918/mysqld 
tcp 0 0 10.10.10.1:3306 0.0.0.0:* LISTEN 802/haproxy 
tcp 0 0 10.10.10.1:9999 0.0.0.0:* LISTEN 802/haproxy 
tcp 0 0 10.10.10.2:22 0.0.0.0:* LISTEN 785/sshdserver2# netstat -ntlpActive Internet connections (only servers) 
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
tcp 0 0 192.168.0.2:3306 0.0.0.0:* LISTEN 918/mysqld 
tcp 0 0 10.10.10.1:3306 0.0.0.0:* LISTEN 802/haproxy 
tcp 0 0 10.10.10.1:9999 0.0.0.0:* LISTEN 802/haproxy 
tcp 0 0 10.10.10.3:22 0.0.0.0:* LISTEN 785/sshd

一切看起来都很好，两台服务器都是使用虚拟 IP 启动的，我们还在 9999 端口上配置了一个统计页面，因此您可以使用 statadmin:statadminpass 在http://10 . 10 . 10 . 1:9999/stats上检查 HAProxy 状态。

3.使用共享 IP 配置心跳。

在最后一个阶段，我们需要在两台服务器上配置 Heartbeat 服务，并创建共享的 IP，它将用于处理传入的请求。如果其中一台服务器发生问题，这个 IP 将在服务器之间迁移。

在两台服务器上安装 Heartbeat:

server1# apt-get install heartbeat
server1# systemctl enable heartbeatserver2# apt-get install heartbeat
server2# systemctl enable heartbeat

现在我们需要为它创建一些配置文件，它们对于 server1 和 server2 来说基本相同。

创建一个 /etc/ha.d/authkeys ，在这个文件中心跳存储数据来认证对方。两个服务器上的文件将是相同的:

server1# vi /etc/ha.d/authkeysauth 1
1 md5 securepassserver2# vi /etc/ha.d/authkeysauth 1
1 md5 securepass

将 securepass 改为您的强安全密码。此外，该文件只需要由 root 用户拥有，因此:

server1# chmod 600 /etc/ha.d/authkeys
server2# chmod 600 /etc/ha.d/authkeys

接下来将在两台服务器上为 Heartbeat 创建一个主配置，对于 server1 和 server2 会有一点不同，创建 /etc/ha.d/ha.cf :

服务器 1

server1# vi /etc/ha.d/ha.cf#       keepalive: how many seconds between heartbeats
#
keepalive 2
#
#       deadtime: seconds-to-declare-host-dead
#
deadtime 10
#
#       What UDP port to use for udp or ppp-udp communication?
#
udpport        694
bcast  ens18
mcast ens18 225.0.0.1 694 1 0
ucast ens18 10.10.10.3
#       What interfaces to heartbeat over?
udp     ens18
#
#       Facility to use for syslog()/logger (alternative to log/debugfile)
#
logfacility     local0
#
#       Tell what machines are in the cluster
#       node    nodename ...    -- must match uname -n
node    server1
node    server2

服务器 2

server1# vi /etc/ha.d/ha.cf#       keepalive: how many seconds between heartbeats
#
keepalive 2
#
#       deadtime: seconds-to-declare-host-dead
#
deadtime 10
#
#       What UDP port to use for udp or ppp-udp communication?
#
udpport        694
bcast  ens18
mcast ens18 225.0.0.1 694 1 0
ucast ens18 10.10.10.2
#       What interfaces to heartbeat over?
udp     ens18
#
#       Facility to use for syslog()/logger (alternative to log/debugfile)
#
logfacility     local0
#
#       Tell what machines are in the cluster
#       node    nodename ...    -- must match uname -n
node    server1
node    server2

您可以通过在您的服务器上运行uname -n来获得这个配置的节点名称。

最后，我们需要在服务器 1 和服务器 2 上创建 /etc/ha.d/haresources 文件。文件是相同的，在这个文件中，我们将默认声明我们的共享 IP 地址和主节点:

server1# vi /etc/ha.d/haresourcesserver1 10.10.10.1server2# vi /etc/ha.d/haresourcesserver1 10.10.10.1

毕竟，让我们在两台服务器上启动我们的心跳服务，您必须看到，在服务器 1 上，我们已经启动了虚拟 IP:

server1# ip a 
....
2: ens19: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether bla:bla:bla:bla brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.1/24 brd 192.168.0.255 scope global ens19
       valid_lft forever preferred_lft forever
    inet6 fe80::bla:bla:bla:bla/64 scope link 
       valid_lft forever preferred_lft forever
3: ens18: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether bla:bla:bla:bla:bla:bla brd ff:ff:ff:ff:ff:ff
    inet 10.10.10.2/24 brd 10.10.10.255 scope global ens18
       valid_lft forever preferred_lft forever
    inet 10.10.10.1/24 brd 10.10.10.255 scope global secondary 
....

好了，现在我们在 server1 上分配了虚拟 IP，HAProxy 监听它，所以我们可以检查它是如何工作的，发出测试请求。从一些外部服务器运行以下命令:

# mysql -h 10.10.10.1 -u haproxy_root -p -e "show variables like 'server_id'"Enter password: 
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 1     |
+---------------+-------+# mysql -h 10.10.10.1 -u haproxy_root -p -e "show variables like 'server_id'"Enter password: 
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 2     |
+---------------+-------+

一切正常，你可以看到我们的 MySQL 服务器之间的“循环”*衡。现在，我们需要检查故障转移，例如当服务器 1 离线时。转到并重新启动或关闭服务器 1，检查虚拟 IP 是否已移动到服务器 2，对 MySQL 服务器的请求是否仍然正常，但现在服务器 2 上只有 MySQL 会响应:

server2# ip a 
....
2: ens19: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether bla:bla:bla:bla brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.2/24 brd 192.168.0.255 scope global ens19
       valid_lft forever preferred_lft forever
    inet6 fe80::bla:bla:bla:bla/64 scope link 
       valid_lft forever preferred_lft forever
3: ens18: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether bla:bla:bla:bla:bla:bla brd ff:ff:ff:ff:ff:ff
    inet 10.10.10.3/24 brd 10.10.10.255 scope global ens18
       valid_lft forever preferred_lft forever
    inet 10.10.10.1/24 brd 10.10.10.255 scope global secondary 
....

再次检查 MySQL 请求:

# mysql -h 10.10.10.1 -u haproxy_root -p -e "show variables like 'server_id'"Enter password: 
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 2     |
+---------------+-------+# mysql -h 10.10.10.1 -u haproxy_root -p -e "show variables like 'server_id'"Enter password: 
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 2     |
+---------------+-------+

在服务器 1 恢复在线后，虚拟 IP 将被移回服务器 1。

我们做到了，我们刚刚配置并测试了我们的 MySQL 集群，它现在已经准备好为请求提供服务。

祝你好运。

带有 R 的高分辨率天气数据

原文：https://towardsdatascience.com/high-resolution-weather-data-with-r-410e5e5f12e5?source=collection_archive---------3-----------------------

我们在 WeatherDecTech 遇到的一个棘手问题是客户需要大量天气数据，但没有科学数据格式的经验。

自从我们的高分辨率分析数据(NetCDF 格式)发布以来，这个问题越来越频繁地出现。虽然我们过去提供过 CSV 文件，但是这种方法有很多限制。

Australian High Resolution Hourly Temperature

最大的问题是 CSV 文件的大小通常是 NetCDF 的 20-30 倍。因此，查看我们对 10 个变量一年的每小时分析数据，NetCDF 分布可能为 750GB，而同等 CSV 数据为 20TB。

使用 NetCDF 数据的其他好处在其常见问题解答中有最佳描述:

NetCDF 数据是:

自诩。netCDF 文件包含有关它所包含的数据的信息。

便携。netCDF 文件可以由具有不同存储整数、字符和浮点数方式的计算机访问。

可扩展。可以有效地访问大型数据集的小子集。

可追加。可以将数据附加到结构正确的 netCDF 文件中，而无需复制数据集或重新定义其结构。

可共享。一个编写器和多个读取器可以同时访问同一个 netCDF 文件。

可建。该软件的当前和未来版本将支持对所有早期形式的 netCDF 数据的访问。

虽然好处是显而易见的，但这仍然不能使格式变得容易使用。为了解决这些可访问性问题，我又写了 2 个 R 包。第一个是一个瘦 API 包装器，它允许你以一种方便的方式下载数据:skywisedataferrer

用法很简单:

> Authorize('app_id', 'app_key')
> DataTransfer('skywise-conus-surface-analysis', directory = '.')

第二个是用于处理 NetCDF 文件的库: SkyWiseNetCDFR

# extract the temperature grid
> grid <- ExtractGrid(fileName, "temperature")

# find the data value at a certain lat / lon
> val <- GetValueAtPoint(35, -97, grid)# Extract a subset of the grid
> vals <- mapply(GetValueAtPoint, lats, lons, MoreArgs = list(grid))

如果你想访问这些数据，请访问 WDT 进行注册或联系销售。

CONUS High Resolution Temperature

本周三位一体镜像数据单元的亮点

原文：https://towardsdatascience.com/highlights-from-the-trinity-mirror-data-unit-this-week-58ba5ecb48b7?source=collection_archive---------9-----------------------

以性别薪酬差距、传染病、自动化在新闻中的作用以及我通常对德比郡的春季抱怨为特色，只有数据支持。(算是吧。)

打破性别薪酬差距

所以我们都看到了本周的全国头条新闻，揭示了性别薪酬差距最大和最小的公司。与此同时，数据部门的 Claire Miller 正忙于提取 Trinity Mirror 图书的本地列表，将每家公司注册地址的邮政编码与我们覆盖的每种图书的读者足迹列表进行匹配。

结果呢？一个重要的全国性故事变成了一个重要的地方性故事 x 40(这是 Claire 摘录的许多地方性电子表格)。你可以在这里看到一个例子:

Read this story here

如果你对全国的性别工资差异感兴趣，你可能也会喜欢我们上个月做的这个互动。输入你的工资、邮编和性别，找出你的*均收入比男人(或女人)多(或少)多少。

Try this interactive here

…公司只支付最低工资

上面的例子很好地说明了在本地化的数据集中寻找故事并不一定要挑出最好的、最差的、进步最快的等等。

这是一个数据记者很容易陷入的陷阱:故事必须主要是一个数据故事；它必须涉及某种比较，无论是与其他地区或另一个时间点。

嗯，不。这些比较可能就是故事。但它们可能只是故事的有用背景。

有时，数据在任何地方都讲述着大致相同的故事。或者，更准确地说:有时，出于完全相同的原因，不止一个地方对关于 X 的相同数据感兴趣，不管它是否显示其中一个地方在 X 处更好或更差。

这是本周的另一个例子:Deb Aru 分解了支付员工最低工资的公司的数据。

Read this story here

显然，如果一个地方有全国最差的数据，那显然是新闻专线。但在大多数地方，大多数时候，(当地)读者主要不是问:“在支付高于最低工资方面，我所在的地区与英国其他地区相比如何？”相反，他们在问:“在我所在的地区，有多少人的工资不超过最低工资？”

传染病继续激增

Claire 对什么地方的数据集已经发布，什么时候发布，有着难以置信的了解；作为该团队事实上的新闻编辑，她还保留了一份精心挑选的日记，记录了未来几天和几周将要公布的数据。

结果是，她总是第一个在定期发布的本地数据集中发现趋势和突发事件，否则可能会被忽视。

一个很好的例子是她对猩红热和麻疹病例的法医监测。令人担忧的是，最*几个月病例一直在上升——这一趋势在本周的新数据中得以延续。

这里是她写的关于麻疹的两个故事，包括一个将伯明翰、加的夫和利兹确定为最新爆发热点的全国版本:

Read this story here

Read this story here

这里有两个她写的关于猩红热的当地故事:

Read this story here

Read this story here

自动新闻

有时你会在本地数据集中找到新闻；有时它会跳出来打你的脸。

我之前提到过我们的一个副业项目是如何为 Trinity Mirror 的周刊提供自动打印页面的。他们告诉我们他们覆盖的邮政编码、地方当局、健康信托等；我们用它从常规发布的数据集中提取本地信息，通过图形模板运行，页面显示为 pdf。

本周的主题是车辆犯罪，当我在全国各地校对网页时，有一件事引起了我的注意。这是一个康沃尔作品的页面:

如果我们把左上角放大一点:

这是一个重要的，潜在的高新闻价值的上涨，我们目前正在检查。这也是我们只发现的一个上升，因为我校对了自动生成的一个页面。

好吧，这是人为干预。尽管如此，这是“机器人新闻”让我兴奋的一点:编程的前景是获取常规数据，并提醒记者有重大新闻价值的变化。

官方:今年英超和英冠垃圾

如果你——像我一样——是德比郡的球迷，你会知道其他人称为“复活节假期”的那段时间是另一回事。也就是:“德比的崩溃和所有晋级的希望再次破灭的时候”。

今年应该是我们的一年。不过话说回来，每年都应该是我们的一年。特别烦的是 2017/18 赛季的总冠军感觉有点，嗯，垃圾。

但是是吗？嗯，本周该小组的 Rob Grant 指出的一个因素是去年从英超降级的球队相对糟糕的表现。

米德尔斯堡、赫尔和桑德兰目前分别排名第六、第十八和第二十三。如果他们在那里结束，这将是自 2004/05 赛季冠军更名以来最差的总成绩。

Read this story here

不过，英超联赛的观众不应该太得意。随着富人越来越富，穷人越来越穷，英格兰顶级联赛大肆吹嘘的“竞争力”可能正在减弱。

我们的体育数据记者 David Dubas-Fisher 本周对这一问题进行了研究，发现以 3 个或更多进球获胜的英超比赛数量将达到 1958/59 赛季以来的最高水*。

我们这周做的其他事情

在报纸报道方面，《哈德斯菲尔德审查员》对我上周提到的安妮·高克对被看护儿童的调查进行了大篇幅报道:

与此同时,《曼彻斯特晚报》将我们对逃学率的研究放在了其奥尔德姆版的头版:

我们的摄像师 Mark Magill 第一次使用了他的“摇头管理器”，它最终将成为我们为各种三一镜报制作的视频生成工具的基础:

哦，我在 Twitter 上进行了一次有趣的讨论，讨论的基础是我快速制作的一张地图，上面显示了每个住宅的*均市政税账单，而不是通常用于讨论这个问题的“D 级”税率。如果你对此感兴趣(面对现实吧，如果你已经读到这里，你是我最好的选择)，你可以点击这里:

祝你周末愉快。

本周三位一体镜像数据单元的亮点

原文：https://towardsdatascience.com/highlights-from-the-trinity-mirror-data-unit-this-week-7f3b520c82f9?source=collection_archive---------13-----------------------

因为我在罗马，所以比计划的时间晚了一点，这里是该部门上周所做的一些数据新闻工作的简要介绍。

警察倒下了，犯罪上升了

谁能想到，当你把警察人数削减到最低限度时，犯罪率会有所上升？克莱尔·米勒决定在全国范围内运行三一镜报的数据，结果非常明显。

在大曼彻斯特地区，自 2010 年以来，记录在案的暴力犯罪增加了两倍，而该地区的警察队伍却损失了 2000 名警官和 1000 名文职人员。政府否认任何形式的因果联系，尽管一份泄露的内政部报告(和当地政客)声称并非如此。

不仅仅是曼彻斯特:这里的是《提赛德公报》对克莱尔的作品所做的评价(这里的暴力犯罪上升了 70%，警察人数下降了四分之一)。

紧张的国民保健服务

NHS 的年度员工调查清楚地展示了另一个面临压力的公共服务。克莱尔(再次)分析了当地的数字，同样的画面一次又一次地出现:卫生工作者越来越感到工作过度，工资过低，并担心是否有足够的资源来完成他们的工作。

《剑桥新闻》(将*一半的医院工作人员说人手不够)在克莱尔的公告栏上大肆渲染；你也可以阅读她为巴斯、伯明翰和林肯郡所写的文章，前者有 43%的员工因压力而感到不适，后者有 45%的员工对薪酬不满，高于去年的 33%。

我们也做了视频，你可以在上面的任何链接上看到。

我用数据选了一匹国马。它输了。

国家大饭店。一个分裂的英国团结一致大喊“你真没用”的时代电视上一些可怜无辜的马。

这也是数据单元开始更新它的“使用数据挑选一匹马”小工具的时候。

这是一件相当简单的事情。我们把选马归纳为四个要素:几率、体重、骑师的评级和马最*的状态。人们向左或向右移动滑块，这取决于这些因素对他们的重要性，我们将这些因素与数据进行匹配。

对于这种一直被认为是半开玩笑的东西，这个小工具使用了相当复杂的合成算法。这也是我们用于其他目的的模板，包括“如果我想在英国退出欧盟之后离开英国去欧洲生活，我应该搬到哪个国家”。(显然卢森堡，对我来说。)

*年来，这个大国家的小玩意对我并不友好:我最*挑选的大多数数据都幸运地越过了第一道栅栏。今年它选择了 Pleasant Company(见上图)，该公司以 25/1 的赔率获得第二名。太好了！

除了我没有赌这场比赛，因为我在罗马。(这个我可能提过。)

不寻常的名字

所以我们都知道国家统计局每年发布的全国“最受欢迎的名字”数据集——如果你对此感兴趣，你可以用我们的小工具在这里绘制你的名字多年来的受欢迎程度。但你知道吗，英国国家统计局还发布了一个地区分类，显示哪些名字在某些地区比其他地区更受欢迎？

例如，东北地区特别喜欢它的森林和小树林。去年，西米德兰兹郡有许多玫瑰和扎卡里亚。与此同时，伦敦的父母似乎喜欢米歇尔和锡安这两个名字。你可以通过克莱尔为哈德斯菲尔德、莱斯特和德比写的故事的链接之一阅读完整的分析(或观看我们的完整结果视频)。

离家出走的寄养儿童

我们最*做了很多关于受照料儿童前景的调查工作:那些因为无论什么原因，他们的父母不能照顾他们而成为国家责任的人。

其中一个方面是被看护的儿童更容易失踪；并不总是持续很长时间，但确实是经常性的。一个下落不明的孩子，显然是一个有潜在危险的孩子。

上周，我们看了显示从寄养家庭出走的儿童人数的数据，利物浦回声报确实非常突出地使用了这些数据:

《回声报》的汤姆·霍顿(Tom Houghton)利用当地的引用和见解，在开发我们的数据故事方面做得很好。这是一个很好的例子，说明我们希望如何在这些问题上与三一合作，我建议你读一读。

其他东西

黛比·阿鲁发现每四个小时就有人因被狗咬伤而住院——你可以通过这些链接查看她为伯明翰、德比郡和诺丁汉写的这个(极其受欢迎的)故事的版本。

安妮·古克(Annie Gouk)观察了每个地区长期空置的房产数量(主要由私人房东拥有)，并将它们与由于显然没有合适的住所而被安置在招待所和住宿加早餐的无家可归者的数量进行了比较。样本数据:在整个西米德兰兹郡，有 687 个家庭因为无家可归而住进了 B&的寄宿处和招待所。仅在考文垂就有 1364 套公寓和房屋空置超过 6 个月。看故事这里。

我们还发现，令人惊讶的是，在线欺诈在许多地方都有所下降(例如，在赫尔市下降了三分之一)，而大卫·杜巴斯-费希尔证明了(也许难以令人信服)德比郡臭名昭著的 2007/08 赛季可能不是任何职业足球俱乐部有史以来最糟糕的赛季。

最后，衷心祝贺该部门的 Rob Grant，他因今年的个人作品集获得了数据新闻奖提名。这里可以看到。

*罗马令人惊叹

这真的是这样的一个伟大的城市度过了一个漫长的周末(虽然，在回顾我的照片后，我似乎花了大部分时间在梵蒂冈博物馆拍摄儿童谋杀天鹅的怪异雕像)。

本周三位一体镜像数据单元的亮点

原文：https://towardsdatascience.com/highlights-from-the-trinity-mirror-data-unit-this-week-b39d05dbeee0?source=collection_archive---------6-----------------------

圣帕特里克节前夕快乐！这里是我们本周披露的一些独家数据，以及它们出现的一些标题的链接。

学校:更少的钱+更多的学生+失败的学校=一个重要的问题

学校是怎么回事？在托尼·布莱尔时代，教育是头等大事:“教育，教育，教育”。这是每个父母都非常关心的事情(因此也是大多数成年人关心的事情)。然而，当政客们——相当正确地——谈论 NHS 的现金危机时，对困扰我们教育系统的问题的讨论却少得多。

本周，我们做了一些数据工作，预测未来几个月和几年需要的学校数量。

事实证明，像伯明翰这样的城市——那里的人口，特别是年轻人口，增长极快——到 2021 年 9 月将需要 12000 个名额，到今年 9 月需要 5000 个。

Read the story here

当然，不仅仅是伯明翰。数据单元的克莱尔·米勒也为许多其他地方写了基本相同的故事，包括 T2 利兹 T3、T4 巴斯 T5 和剑桥 T7。

与此同时，学校可花的钱越来越少，正如克莱尔本周所展示的，许多失败的学校多年来一直在努力寻找学院的赞助。

世界上两个商店扒手…

该小组的安妮·高克做了一些分析，发现在美国部分地区，入店行窃的比率急剧上升。原因？嗯，你可以振振有词地将这种低层次的贪婪犯罪与紧缩、工资停滞和生活成本上升联系起来。

但是这些数字并不能方便地与被剥夺联系起来，而且在任何情况下，店主自己都有另一种解释:法律的改变意味着警察不会调查价值低于 200 英镑的物品的失窃。

Read the story here

自从法院裁定收养应该是最后的解决办法后，收养率直线下降

多年来，委员会和机构已经花费了大量的时间、金钱和努力来促进收养。

尽管如此，我们本周透露，在上一个财政年度，英国大部分地区找到永久新家的被照看儿童数量显著下降。

我是说意义重大。例如:布里斯托尔有 25 例这样的收养，低于前一年的 45 例，而赫尔的数量从 2013/14 年的 90 例下降到今年的 45 例。在整个东北部，2013/14 年度有 390 起，但 2016/17 年度只有 300 起。

收养机构表示，关键的变化是由最高法院和上诉法院做出的两项法院裁决，这两项裁决明确表明了将孩子归还给亲生父母、大家庭或养父母的偏好。

你可能会说这是件好事。这可能确实是一件好事。但是我们也发现接受看护的儿童数量并没有下降。因此，我们不能假设一个快乐的结局:事实上，数据中没有充分的理由认为儿童错过了被收养的机会，因为他们被送回了亲生父母身边。

4 空房子，价格上涨

因此，我们看了一下关于空置房屋数量的新数据，它在全国范围内发出了相当严峻的信号——特别是当无家可归者的比率回到自 2004 年峰值以来从未见过的水*时。

你可能会认为让房屋空置可能意味着需求不足和随之而来的供应过剩，从而导致价格下跌。不幸的是，情况似乎并非如此:例如，在格里姆斯比，有 3000 多套空置房产，但*均价格仍是*均工资的 5 倍。

Read the story here

5 其他材料

安妮·高克(Annie Gouk)表示，在像 T2 肯特(Kent)和 T4 利兹(Leeds)这样的地方，宗教和种族仇恨犯罪达到了创纪录的水*(这是多么反常的一件好事)，而黛比·阿鲁(Deb Aru)透露，尽管求助需求不断增加，但在雷丁(Reading)这样的地方，性健康支出却下降了一半。

在体育方面， David Dubas-Fisher 和 Carlos Novoa 为切尔滕纳姆金杯重建了他们的“使用数据挑选你的马”小工具，而它再次让我非常失望。

你仍然可以在不同的 Trinity Mirror 网站上试用这个小工具(看看你是否能反向工程出真正的赢家，因为我不知道我能不能做到)，例如这里的或这里的或这里的。

本周我最喜欢的一个版面是这个，Alice Cachia 和 Kelly Leung 披露了越来越多的骑自行车的人死于路面坑洼:

最后，这是我做的一张奖金图，显示了每个地方政府中自称是爱尔兰裔的人的比例。

结论:如果你想度过一个美好的圣帕特里克节，去伯明翰、曼彻斯特或伦敦吧。

祝你周末愉快。

本周三位一体镜报数据单元的亮点是:对被看护儿童的深入调查，查明有逃学问题的学校，以及揭露一波“不加区别的”国民保健服务罚款

原文：https://towardsdatascience.com/highlights-from-the-trinity-mirror-data-unit-this-week-deep-dive-investigation-into-children-in-5da3ef7cc0e0?source=collection_archive---------8-----------------------

上周没有综述，但我们从上周五开始就一直很忙，所以我将把这限制在我们自那以来所做的一些事情上。

被照管的儿童:一个深入的数据项目

数据记者 Annie Gouk 对围绕重要社会问题的当地数据进行了多次“深度”调查。你可以在这里看到她以前围绕种族不*等的一些作品，或者在这里看到性别差距的不同方面。

本周——实际上是今天——我们发表了她对在看护环境中长大的儿童的生活机会的最新调查。除此之外，还有一些令人震惊的新闻:例如，利兹只有 5%的被看护儿童会被收养，而默西塞德被看护的儿童被判有罪的可能性是其他儿童的两倍。

View this video here

但这不仅仅是新闻热线。Annie 还讲述了一系列 explainer 视频(你可以在下面的链接中找到)，视频采访案例研究，并与编码器 Carlos Novoa 和设计师 Kelly Leung 合作，创建了一个邮政编码搜索互动，让读者可以获得他们当地受照顾儿童的大量数据。这一点很重要:你越是将新闻个性化，读者的反应就越强烈。

通过安妮在这里开始的线索，你可以看到许多三一出版社的报道:

无家可归——猜猜看，它正在上升

在全国范围内，无家可归者——不要与露宿街头混淆——自 2010 年以来一直在攀升，并在 21 世纪初达到顶峰。

任何不是因为自己的过错而失去家园的人正式成为无家可归者，重新安置他们的责任落在了当地议会的肩上。众所周知，地方议会受到了预算大幅削减的打击。结果，你得到了一场完美的风暴:更多的人失去了他们的房子，而议会却没有足够的资金和人员来为他们寻找新的房子。

Rob Grant 对最新的无家可归人数做了一些地方层面的分析，发现在许多地区无家可归人数不再攀升，而是直线上升。在城市中尤其如此。例如，在考文垂，Rob 发现在临时住所的无家可归家庭的数量在一年内几乎翻了一番，为《每日电讯报》提供了这样的头版:

你可以在这里阅读完整的故事，或者谷歌其他版本的 Rob 写的该集团的其他标题。

与此同时，该部门的 Deb Aru 正在调查无家可归的家庭在处理他们的住房福利申请时如何面对邮政编码抽签。(见她为伯明翰写的故事这里举例。)随着越来越多的人宣布无家可归，资金短缺的议会无力应对官僚主义，等待的时间越来越长。如我所说:一场完美风暴。

逃学的孩子，父母被罚款

本周，我们查看了大量与逃学和其他父母/孩子不良行为相关的数据集。这是影响最大的两个。

首先，克莱尔·米勒分析了全国各地因带孩子在学期中度假而被罚款的父母人数。

这在沃里克郡引起了轰动，从利兹到莱斯特，从萨默塞特到克罗伊登，各种头衔都有很棒的台词。

其次，我们对政府的旷课数据做了一些法医分析，这让我们能够找出每一个三位一体镜像区域中未经授权缺勤率最高的学校。

事实证明，这些故事非常受读者欢迎，有许多版本——包括这个给肯特的版本——在最受欢迎的故事排行榜上名列前茅(顺便说一句，肯特学校的校长把它的位置归结为对假期的零容忍政策)。你可以通过搜索找到我们做的各种其他版本，例如赫尔这里或者伯明翰这里。

打嗝去 A 和 E

你不会的，对吧？好吧，根据英国国民健康保险制度公布的新数据和安妮的分析，如果你这样做了，那么你会在去年的其他 42 人中。

总共有 22，000 人去了 A 和 E，他们有明显的轻微抱怨，包括打喷嚏、喉咙痛(默西塞德郡有 76 人这样做)，以及鼻塞(大曼彻斯特有 30 人这样做)。

正如一位顾问向安妮指出的那样，这些人不是我们 NHS 面临压力的根源。许多人试图从其他地方获得帮助，但都失败了。但是他们在医院的出现，充其量是一个迹象，表明整个系统正在努力在正确的时间，正确的地点，以正确的方式对待人们。

你可以在这里阅读安妮为伯明翰写的版本——这是出版当天阅读量最大的新闻报道。

患者推翻“不分青红皂白”的 NHS 牙科罚款

罗布透露了英国国家医疗服务体系是如何发出数万张罚款通知，要求支付牙科服务费用的——尽管事实证明，有问题的病人有权享受免费医疗。

以德文郡为例:在发出的 16，000 张罚单中，四分之一被成功质疑。类似的比例在巴斯、莱斯特、纽卡、伯明翰——基本上到处都被成功挑战。

英国牙科协会对这种情况很不高兴，他告诉罗伯:“可悲的是，根除欺诈的强硬言论与完全不加区别的罚款方式齐头并进。”

暴露狂和偷窥者数量的增加 TOMS

安妮一直在做一项数据调查，以了解“偷窥”犯罪的数量是否一直在上升，这种犯罪是指像“穿裙子”这样的闪光和性间谍犯罪。

令人沮丧的是，事实证明，他们已经做到了，几乎遍布全国。

Read the story here

Read the story here

乐观的解释是，这反映出警方对这些犯罪的认识和采取行动的意愿有所提高。

但是，正如妇女*等党对安妮说的那样:“不管这是因为更多的人站出来，更多的犯罪意识，还是更多的事件，要解决这个问题，我们必须明白，偷窥和暴露犯罪是暴力侵害妇女和女孩行为的一部分。”

你可以看到《安妮故事》的其他版本，比如在这里阅读和在这里阅读的《诺丁汉(那里的人数翻了一番)】。

我们做的其他新闻

随着周末寒流的预测，我们开始关注是否会有破纪录的天气出现。提供了关于令人担忧的极右极端主义崛起的地方数据和分析；揭示了在包括伯明翰在内的一些地区，阿拉伯语和乌尔都语现在比德语更受欢迎。并展示了议会如何削减预防酗酒的开支，尽管酗酒使住院人数创下纪录。

我已经没有空间来容纳我们所做的所有体育内容了，为此我向我们杰出的体育数据记者大卫·杜巴斯·费舍尔道歉——我会在下周首先提到它。我将以我们本周做的一份日报来结束这篇文章，关于在英国国民医疗服务系统工作的外国医生的数量。祝你周末愉快。

本周三位一体镜像数据单元的亮点

原文：https://towardsdatascience.com/highlights-from-the-trinity-mirror-data-unit-this-week-e9e811cf62d9?source=collection_archive---------10-----------------------

好吧，这实际上是两周的集锦。上周五，我正在参观我在东中部的精神家园，没有时间去参观。

犯罪:当地情况

一句话，可怕。本周发布的内政部记录的犯罪数字呈现了一幅几乎无处不在的可怕画面。暴力犯罪、持有刀具和其他武器、入室盗窃——都在上升，而且上升得很快。

Claire Miller 和 Deb Aru 做了很好的工作，检查了每个警察部队的数据，并把他们的发现写在整个小组的标题上，导致了(令人沮丧但必要的)这样的报道:

Read the full story here

或者这个:

Read the full story here

他们发现了几行字:大曼彻斯特现在是全国犯罪率最高的地方；达勒姆的犯罪率在一年内上升了 40 %,比其他任何地方都要高；杜伦和诺森比亚现在的犯罪率都比伦敦高。

这个故事表明了一个数据记者(或记者团队)查看所有领域数据集的价值。这给了他们一个很好的鸟瞰图。如果你只看一个特定的警察队伍，你可能没有这样的背景。

如果你的自行车被偷了，不用麻烦去报警

大多数人都知道自行车盗窃案的破案率很低。但是有多穷呢？有特别的热点吗？

Rob Grant 决定在超本地水*上分析这些数据来找出答案。

在考文垂的福尔希尔区，2017 年发生了 64 起盗窃案。

有多少嫌疑犯被确认了？

零。

其他地方也是如此:例如伯明翰的 Edgbaston，那里发生了 99 起自行车盗窃案，却没有确定犯罪嫌疑人。

Read the full story here

显然这不是好消息。但值得指出的是，我们只知道这些事情，因为英国公开的警察数据是好的，并且一直在改进。发布(比方说)整个警队级别的年度数据集(如上例)和发布个人犯罪的详细信息有很大的不同。我们的政府和警察双管齐下，虽然我们可能不喜欢出现的故事，但我们应该感谢有机会找到它们。美国的犯罪数据更好，但许多国家的情况更糟。

Read the full story here

英国退出欧盟:还是一团混乱

Trinity Mirror 联合其他地区媒体组织主持了一项关于英国退出欧盟的谷歌调查。它收到了超过 20 万份回复，我相信这是这类调查的最高记录。

现在，你可以争论这类调查的价值:完全有理由指出，它们不像民意调查那样具有人口统计学权重，你可以(事实上应该)将这一点与回应的规模进行对比。

在任何情况下，我们的角色是挑选线条，并找到一种方式将发现呈现给任何想要它们的人，无论是否在三一镜报集团内。

Claire 在她的文章中加入了一个公开的可视化画面，这并不是为了嵌入到我们的网站中，而是为了让记者可以使用这些数据。你可以在这里尝试一下。

调查的结果？人们想加入单一市场。他们对英国退出欧盟谈判深感关切。他们担心英国退出欧盟会让我们的情况变得更糟。

但是他们可能还是会投赞成票。

人们，嗯？

你可以从这一切中得到各种各样的东西。我从中得到的是，推动反对的不是对潜在经济风险的无知，而是对整个“收回对我们法律/边境/移民水*的控制”论点的信念，这种信念压倒了几乎任何其他考虑。

由此得出什么结论？好吧，如果你希望通过堆积经济证据或拙劣谈判的证据来说服英国退出欧盟选民改变忠诚，你可能会把头撞向砖墙。

对儿童肥胖的局部观察

我们知道观众喜欢的东西:(一)提供真正本地画面的精细数据；(二)邮政编码搜索互动，允许人们个性化的故事；(三)关于孩子变胖的故事。

本周公布的新数据显示，超重或临床肥胖的学龄儿童的比例，细分到委员会级别。

安妮·高克分析了这些数据，发现伦敦南华克的坎伯威尔格林(Camberwell Green)有最大的问题(字面上的意思)。那里大约 33%的 10 岁和 11 岁的孩子肥胖，还有 51%超重。

对坎伯威尔格林的人们来说是令人震惊的，真的。但大多数人都不是坎伯威尔绿人，也不会太在意那些绿人。

那么，对于其他人来说，为什么不给他们一种快速获得自己数据的方法呢？突然之间，你让可能感兴趣的人数增加了数百倍。

Try this out here

你可以在我们写的任何版本的故事上试用这个小工具，例如这个。

其他东西

安妮根据对食物银行使用的最新数据的分析提供了地区性的故事；《曼彻斯特晚报》的夏洛特·考克斯将这些纳入了一个关于实际使用食物银行的人的更广泛的专题。这是一篇很棒的文章，也是一个很好的例子，说明了地方中心可以如何建立在我们的工作基础上:

Read the full story here

我们还报道了越来越多的人因枪伤而住院(例如在伯明翰和 T2，伦敦西部，T3)，并披露了监狱中数量破纪录的袭击事件，在地方层面，在你看到全国报道的前一天，在 T4。

我们的体育新闻包括这条关于富勒姆可能在今年的锦标赛中创造最不受欢迎的记录的新闻。

最后，我们非常高兴地在#newsawards18 获得了国际印刷创新奖，这是因为我们为整个集团的出版物制作的每日和每周基于数据的印刷页面。为 Marianna Longo，Alice Cachia，Kelly Leung 和编码天才 Carlos Novoa 欢呼！

我们也很高兴在今年的地区新闻奖中获得四项提名。这些对我们来说可能是最重要的，因为我们成立的目的是为三一镜报集团的地区报纸服务，并更广泛地支持地区新闻业。

我们作为一个团队入围了整体数字奖(几年前我们赢得了它，去年再次入围)和年度数字创新奖。

玛丽安娜·隆戈被提名为年度设计师候选人，安妮被提名为年度记者候选人。

我认为，最后一项对整个数据新闻业来说是一个巨大的进步。很高兴看到一名全职数据记者的调查工作与他们行业中最好的一起得到认可，对于我们所有相信数据新闻是主流新闻的人来说，这是一个潜在的突破时刻。

你可以在这里阅读更多关于安妮的作品。

祝你周末愉快！

本周三位一体镜报数据单元的亮点:选举、危险司机和超市抢劫

原文：https://towardsdatascience.com/highlights-from-the-trinity-mirror-data-unit-this-week-elections-dangerous-drivers-and-e2f82c0f4959?source=collection_archive---------10-----------------------

现在是下午 2 点，我在过去的 30 个小时里几乎没有睡觉，因为一个熟悉的朋友:议会选举。

它们并不迷人，但它们确实很重要——而且不仅仅是政治观点的风向标。议会不只是清空垃圾箱。他们照顾老人、脆弱的成年人和面临虐待风险的儿童。他们负责学校和图书馆。他们给无家可归的人提供了栖身之所。虽然读者不一定关心议会政治，但他们非常关心议会选举结果。

我们对待地方选举的方式一直是问我们如何为我们的网站增加最大的价值。对我来说，这是关于确保他们能以最快和最好的格式显示结果。有了大选，每个席位的结果都不难得到。在地方选举中，实际上只有一名当地记者在计票。

这是一个主要的竞争优势——如果你能利用它的话。

为了方便起见，我们与记者合作，在 Google Sheets 中建立候选人名单，看起来有点像这样:

然后，我们使用这些电子表格中的数据来支持移动友好的结果小工具。当晚，计票处(或新闻编辑室)的记者只需填写每位候选人获得的票数——因为是谷歌表单，所以可以合作完成。我们的系统将候选人按投票顺序排列，识别出获胜者，并计算出获胜者所在的政党是获胜还是保持领先。

结果几乎立即显示出来，如下所示:

你可以在这里看到这个特殊的结果小工具。今年，我们制作了超过 50 个，用于整个集团的标题，它们确实总是做得非常好。我们确实花时间提供其他工具(投票份额、总席位、波动等)，以及夜间分析。然而，没有什么比让人们得到他们真正想要的信息更重要:他们的选区和他们的委员会的结果。

当我埋头于选举电子表格时，团队的其他成员却一如既往地忙碌着。

黛比·阿鲁利用公开犯罪表对危险驾驶进行了一些局部分析，得出了明显的结果。

Read the full story here

例如，在利兹，违法行为在过去的五年里增加了三倍，包括 31 起危险驾驶致死的案件。

道路安全慈善机构 Brake 告诉 Deb，这种增长是“令人震惊的”，并呼吁在道路交通执法方面进行新的投资，同时进行更严厉的判决。(我们以前写过交通警察是如何被削减的。)

Deb 还忙着写一份信息自由请求，显示全国范围内袭击救护车工作人员的数量在上升。仅举一个例子:在东中部地区，有 203 起袭击事件，包括 7 起性侵犯——其中两起看到受害者受到持刀威胁。在全国范围内，袭击事件的数量在一年内从 3495 起上升到 3701 起。

Read the full story here

UNISON 首席官员艾伦·洛夫豪斯告诉 Deb，这样的攻击使得“已经压力很大的工作几乎无法忍受”，并且“导致许多人离开他们热爱的工作”。

你可以在这里阅读格里姆斯比或拉夫堡的故事。

随着阿斯达-塞恩斯伯里合并的消息传出，罗布·格兰特决定搜集两家公司的大型商店的地址，以了解它们在同一邮政编码区的出现频率。答案？很多。这是威尔士的数据，这是布里斯托尔的数据。

Sainsbury's 已经表示没有关闭商店的计划，但是——正如 GlobalData 的 Patrick O'Brien 指出的——监管机构也可能会对一家有两家商店的公司采取措施。

印刷方面,《考文垂电讯报》大肆报道了我上周提到的安妮·高克的儿童肥胖分析:

Read the full story here

在体育方面，大卫·杜巴斯-费舍尔发现主队在点球大战中绝对没有优势，分析了英格兰低级别联赛中电视转播最多的球队，并观察了降级球队重返冠军宝座的频率(没有你想象的那么频繁)。

我把这个留给你，来自我们本周的报纸，它回答了一个问题:如果世界杯是基于言论自由的评级，它会如何发展？剧透:英格兰在四分之一决赛中被淘汰。但是，他们不总是这样吗？

滑稽的图表(和盗版)证明了相关性不是因果关系

原文：https://towardsdatascience.com/hilarious-graphs-and-pirates-prove-that-correlation-is-not-causation-667838af4159?source=collection_archive---------6-----------------------

现实世界中的 DS

说到讲故事，我们有一个问题。

然而这不是我们的错——作为人类我们生来就注定要寻找模式并解释为什么会发生。这个问题并没有随着我们的成长而消失，而是随着我们认为自己越聪明而变得越糟糕。我们说服自己，现在我们更老了，更明智了，更聪明了，我们的结论比年轻时更接*事实(风吹得越快，风车叶片转得越快，而不是相反)。

即使真正聪明的人看到了一种模式，并坚持对其做出解释，即使他们没有足够的信息来得出这样的结论。他们没办法。

这就是做人的道理。我们寻求对发生在我们周围的事件的解释。如果某件事不符合逻辑，我们会试图找到它可能有意义的原因。如果有什么不对劲，我们会弥补。

事后谬误

听说过拉丁语表达 Post Hoc，Ergo Propter Hoc ，意思是“在这之后，因此因为这”？这是“相关性并不意味着因果关系”这句话的基础，在统计学中也被称为“事后谬误”，因为这是一个我们都经常陷入的非常熟悉的陷阱。这是一个想法，当观察到事情按顺序发生时，我们推断首先发生的事情一定引起了接下来发生的事情。

事后谬误是导致足球经理只在比赛日穿紫色袜子的原因。他曾经穿着它们参加比赛，他的球队赢了。很明显，是袜子干的。现在他担心如果不穿它们去比赛，球队可能会输。该死的那些发臭的紫色袜子(他也不敢洗，怕神奇的仙尘洗出来)。

Post Hoc 也是雨人成为部落不可或缺的原因——他们相信他们的雨人可以让它下雨。雨人发现了远处酝酿的云，他跳舞直到它倾盆而下。通常不需要超过三四天的舞蹈，直到不可避免的事情发生。“雨人舞，水从天而降”。对雨人来说，印第安人不会说拉丁语是件好事，否则他就真的有麻烦了…

后海盗假设

对于后特设谬误的幽默观点，让我们看看 Pastafarianism。这是最*最流行的。没听说过？这是这个街区最新、发展最快的宗教之一。全称是 Pastafarian Sparrowism，是一种“充满活力的宗教，它试图通过先知杰克·斯派洛船长的一生，将飞行中的意大利面条怪兽短暂的爱带给我们所有人”。说真的，他们不是在开玩笑。嗯，事实上，他们是。他们提倡轻松的宗教观，反对在公立学校教授智能设计和神创论。他们还坚持认为海盗是最初的牧民。

为了证明相关性并不意味着因果关系，创始人 Bobby Henderson 提出了全球变暖是自 19 世纪以来海盗数量减少的直接影响的论点，并附有这张图表:

Pirates Caused Global Warming. Honest…

哇，看那条直线，我听到你们都说——海盗数量的下降和全球气温的上升之间显然有关联，所以这里肯定有和之间的因果联系，不是吗？是的，你们都陷入了事后谬误(我就知道你会)。

仅仅因为图中有一条直线并不一定意味着一件事导致了另一件事，特别是当你随机抓住两个看似不相关的变量，并把它们放在一起，看看它们之间是否存在某种微妙的关联。

以海盗和全球变暖为例，仔细看看 x 轴上的标签。注意到奇怪的事情了吗？除了相邻数据点的比例都不正常这一事实之外，还有一个问题是，其中有几个数据点已经被幽默地打乱，以故意欺骗。

我不知道你怎么想，但我是个信徒！一旦我写完这本书，我就放弃在公海上当海盗的统计数据。如果这是我做的最后一件事，我会阻止全球变暖。

可能会是…

我们中断这篇博文，为您带来突发新闻……

这篇博文摘自诙谐的新书真相、谎言和统计

下面是简介:

海盗、猫、墨西哥柠檬和北卡罗来纳律师。奶酪消费，人造黄油和从渔船上掉下来淹死。这本书什么都有。在这本令人大开眼界的书中，获奖的统计学家和作家李·贝克揭示了统计骗子用来欺骗、蒙蔽和愚弄粗心大意者的关键伎俩。作为一个外行人写的指南，用数据和统计来说明撒谎、欺骗和欺骗，没有一页是乏味的！一本书的八个机智章节的过山车，这可能是你今年会读到的最有趣的统计学书籍。

发现统计欺骗和有说服力的误导的令人兴奋的世界。

点击下面的链接，立即获得这本书……

[## 真相、谎言和统计数据

你被当成傻瓜了吗？一本书的 8 个机智章节的过山车，这可能是最…

www.chi2innovations.com](https://www.chi2innovations.com/truth-lies-and-statistics-book/)

器质性自闭症相关性难题

如果你在网上看看，有各种各样的幽默图表可以证明事后谬误。在过去 20 年左右的时间里，反疫苗运动有了巨大的增长，特别是在美国，并且已经“发现”了各种各样的虚假相关性，这些相关性“证明”疫苗接种计划和自闭症之间存在因果联系。与此同时，为了揭穿这些最荒诞的理论，其他同样荒谬的相关性也出现了。

有一篇发表的文章显示了美国有机食品的销售和自闭症诊断之间的相关性:

Organic Food Causes Autism. Oh My…

这对情节线之间有着非常紧密的相关性，甚至伴随着一个非常大的 r 值(接* 1)和一个非常小的 p 值(接* 0)。建议是——如果我们相信相关性意味着因果关系——有机食品和自闭症之间的相关性比目前存在的任何其他理论都更密切，因此它一定是原因。除了相关性不一定意味着因果关系，有机食品不会导致自闭症。那太荒谬了。这就是这些图表的全部意义。你所需要做的就是找到任何一对在同一时间段内增加的变量，用相同的 x 轴和不同的 y 轴将它们绘制在图表上，调整 y 轴刻度，直到曲线结合，然后——嘣——关联！如果，由于某种巧合和命运的魔力，存在一种统计上的相关性，那么就公布与之相伴随的 p 值作为额外的证明。这只是证明了相关性的存在，但并不能证明一件事导致了另一件事。有可能，但也有可能不会…**

柠檬死亡相关收敛

我也很欣赏这种相关性，它证明了墨西哥柠檬是美国道路上死亡的主要原因。等等，什么？我一定错过了那天的新闻——墨西哥柠檬正在杀死美国人？你打赌！

看看从墨西哥进口到美国的新鲜柠檬数量与 1996 年到 2000 年间美国高速公路上的总死亡率的关系图:

Mexican Lemons Kill Americans!

天啊，天啊，看看 R 的*方值——它真的必须为真。尽管图表似乎在告诉我们，美国的墨西哥柠檬越多，交通事故死亡人数就越少，但不可避免的结论是，墨西哥柠檬杀死了美国人！我们应该做些什么呢？我们应该进口更多的墨西哥柠檬吗(相关性告诉我们这是我们应该做的)？或者我们应该完全禁止墨西哥柠檬？毕竟，如果街上没有墨西哥柠檬，他们就不会再杀害更多的美国人。

真是一派胡言！我不在乎和是否有关联，没有任何迹象表明柠檬会导致事故。如果有，你不认为在卡车进入美国之前，柠檬会在墨西哥道路上造成事故吗？西西里柠檬怎么样？它们会导致意大利和整个欧洲的交通死亡吗？

哦，关联的力量。只要你的观众不明白相关性并不一定意味着因果关系，你就可以让他们相信几乎任何事情。

你忘了你的那本书了吗？别担心，它就在这里等着你:

[## 真相、谎言和统计数据

你被当成傻瓜了吗？一本书的 8 个机智章节的过山车，这可能是最…

www.chi2innovations.com](https://www.chi2innovations.com/truth-lies-and-statistics-book/)

原载于chi2innovations.com。

Hinton++

原文：https://towardsdatascience.com/hinton-1e6d26a64bd6?source=collection_archive---------2-----------------------

杰弗里·辛顿有所发现。他的机器智能模型依赖于他称之为“胶囊”的神经元簇，这是对我们自己的大脑如何理解世界的最好解释，因此也是对机器如何理解世界的最好解释。然而，总有改进的余地。胶囊未能解释我们对扭曲的理解——当面对不合语法的句子时，我们可以说出“蹒跚学步的是什么意思，当他的特征不对齐时，我们可以看到“如何重新排列土豆头先生”。胶囊仅识别面部，例如，当其部件的姿态正确时，没有关于如何修复变形的建议。我会试着对他的作品做些调整。

打住，什么是胶囊？

如果你没听说过胶囊也没关系。它们并不是一个新的话题——它们从 70 年代就藏在杰弗里·辛顿的脑海里了！从本质上来说，胶囊是一种克服几何变化的尝试。当我们观察一张纸上的正方形时，我们认出它是正方形，即使页面翻转或倾斜远离我们。那个正方形的“像素”发生了戏剧性的变化，而我们对“正方形”的 概念 保持不变。

人工神经网络不像我们一样用静态的“方块”来思考。辛顿创造了胶囊，这样 CNN 可以保持正方形的静态概念，即使这些正方形倾斜和旋转。人脸，汽车，任何东西都一样。胶囊通过记录辛顿所说的“姿势”来补偿几何失真。

一个物体的姿态描述了在视野中的位置，它的如何倾斜，它的相对大小，以及如何倾斜。总的来说，这些特性描述了当 3D 对象被简化为 2D 图像，并且这些对象在视场中移动时出现的失真。辛顿的核心见解是这样的:如果我看到一张脸，但那张脸是倾斜和旋转的，那么那张同样的倾斜和旋转被应用到脸的每一个部分。所以，如果我看到一张 2D 倾斜嘴巴的照片，我希望看到同样倾斜的眼睛和鼻子！

Hinton 的每个胶囊都在寻找脸部的部分——一个胶囊寻找鼻子，另一个寻找眼睛，第三个胶囊希望找到嘴。当这些胶囊中的每一个找到它们的物体的实例时，它们就会亮起来，说“我找到了一只眼睛/鼻子/嘴！”他们记录下各自目标的姿态，并将信息传递给高层胶囊，即面部胶囊。当面部胶囊接收到来自嘴巴、鼻子和眼睛胶囊的信号时，它会比较它们的姿势。一张真实的脸应该有相同的眼睛、鼻子和嘴的姿态数据。如果三个姿势都一致，那么脸部胶囊就会亮起，表示“我找到了一张脸”。这就是全部了。

我们示例中的面部胶囊有自己的姿势，它向检测上半身的更高层胶囊发送信号。如果肩膀，脖子和头发的胶囊都亮了，并且都同意一个姿势，那么更高层的胶囊也亮了。这种一致的级联反应一直持续到整个人被识别出来，并且类似的胶囊为每一种物体运作。主要思想是较大的对象由较小的对象组成，那些较小的对象期望彼此同意它们的相对排列。到目前为止，Hinton 的胶囊工作得相当好，分离和识别重叠的手写数字，精确度远远超过现有的神经网络。然而…

“我记得好像不太对劲……”

当他们期望的协议没有出现时，辛顿的胶囊绊倒了。如果眼睛完全侧着，嘴巴上下颠倒，那么“面部胶囊”就不会出现。面部胶囊是无声的，就好像根本没有面部部分*，* 一样，即使这些部分存在并且没有对齐。相比之下，我们会看着错位的面部特征说“这是一张脸，但是眼睛是横着的，嘴是上下颠倒的。”我们自己的“脸”神经元亮了，还有眼睛和嘴巴的神经元，尽管它们的姿势不一致！哎呀。

所以，让我们好好想想。我们大脑的某个部分看到了眼睛、鼻子和嘴巴，并且它们想要压缩这些信息。最简单的压缩就是称那堆混乱的东西为‘一张脸’，即使这些特征没有对齐。我们的大脑径直向前，点亮了“脸”神经元。然而，我们的大脑并不止于此。他们回去 检查 那压缩。“我把这种疯狂叫做脸，但是真的是脸吗？”我们的大脑似乎将“面部期望”投射回更低的层次，询问:“如果这是一张正常的面部，那么嘴巴、鼻子和眼睛的正常姿势会是什么样的？”

当姿势投影发生时，大脑使用它在压缩时确定的“脸”的姿势。“如果这个真的是一张脸，在我认为的方向上，那么嘴应该在这里，朝向这个方向，眼睛应该在这里和这里，朝向这个方向……”脸部的压缩产生了对其部分姿势的预期！

眼睛和嘴巴的实际姿势是与这些部位的预期姿势的比较。这就是我们的大脑记录错误的时候！“我看到了嘴、鼻子和眼睛，这让我相信有一张脸， ，但我认为这张脸对这些部分来说会有不同的姿势 。”我们的大脑记下这些错误，然后记住它们。额外的神经元必须被激活，以记录相对于预期的扭曲——嘴相对于脸对“嘴”的预期是颠倒的，眼睛相对于脸对“眼睛”的预期是侧向的。那些失真是附加的“相对姿态”数据。此外，我们的大脑会跟踪这些扭曲，同时还有检测脸部的神经元，这样我们就能在以后记住它们！

因此，将辛顿的胶囊与我们自己的大脑相比较，如上:

胶囊看到眼睛、鼻子和嘴，记录它们的姿势，并将这些姿势发送给面部神经元。面部神经元检查这些姿势是否一致；因为姿势不同意，辛顿的脸部神经元不火。它决定根本没有脸！

然而，我们的大脑模型记录了眼睛、鼻子和嘴巴的存在，并将这些信号发送给面部神经元。脸部神经元发出的信号，它停留在一个让最小化不协调的脸部姿势。也就是说，我们的大脑采取每个部分的姿势，并粗略地问，“如果所有这些部分组成一张脸，那么什么样的脸姿势最有可能？”然后，他们将那个姿势向下投射到眼睛、鼻子和嘴巴。因为嘴和眼睛的姿势不同于面部姿势，额外的“扭曲”神经元被触发，记录产生眼睛和嘴姿势的面部姿势的变化。我们的大脑说“有一张脸，但是它的部分是扭曲的。”我们，不像辛顿的胶囊，记得照片有什么问题。

猪脑猴脑

除了最小化姿势之间的不协调，我们的大脑也最小化相互竞争的解释之间的不协调。这个不和谐的概念有一个生物学上的对等物。我们的大脑向前发送许多信号，每个信号都在说“看我发现了什么！”然而，这些信号关注的是我们注意力的同一点，它们不可能都是正确的。所以，我们的大脑根据不和谐通过迭代抑制，在那些信号中找到最强的**。想象一下:你看着一幅画，这幅画可以被理解为一个披着披肩的老妇人或一个戴着帽子的年轻女子…**

在任何时候，这些解释中的一种都会胜出。然而，我们的大脑可以在两种观点之间跳跃。不知何故，写着“老女人的眼睛”的信号和写着“年轻女人的耳朵”的信号竞争。假设这幅画是彩色的——在一种颜色中,“耳朵”和年轻女子的脸颊一样晒成褐色，老妇人的幻觉消失了；在另一种颜色中,“眼睛”是带有一点绿色的白色，对年轻女性的诠释不屑一顾。每个观点依次强化，另一个因为不和谐而被压制。(“那可能是一只眼睛——等等，不，是肤色的。”或者“那可能是一只耳朵——等等，不，它有白色的巩膜和绿色的虹膜。”)

具体一点！

看着这种视错觉，我们的大脑触发了神经元，在某种程度上，这些神经元与年轻和年老的女性都相对应。在最高层次的意识中，只能存在一种解释。所以，当两种解释到达时，我们的大脑开始 抑制 一些导致每种解释的信号，直到一种解释比另一种解释被抑制得更多。大脑提取一些活跃的神经元，然后让它们安静下来。对于“年轻女人”的解释，我们看到她的鼻子，她的耳朵，下巴和项链。对“老女人”来说，那些相同的点被记录为眼睑、眼睛、鼻子和嘴。每一部分都有相互竞争的解释，我们的大脑开始忽略一个而偏爱另一个——相反，把年轻女性的下颌线称为鼻子，以观察那个是否会减少不和谐，或者把老女人的眼睛变成耳朵，希望解决分歧。

这种“击倒”或“逆转”输入直到分歧消失的概念，应用于 Hinton 的胶囊和姿势，可能看起来像这样:“我看到一碗水果”/“我看到一张笑脸”……“他们不可能都是对的……这是一只眼睛，还是一个苹果？我称它为一只眼睛，看看一种解释是否比另一种更有效，使用我的假设“……”是的，如果那个苹果是一只眼睛，那么这很可能是一张脸，而不是一个水果盘。从根本上说，这一过程要求高级神经元向低级神经元发回信号，低级神经元选择一个信号或另一个信号，低级神经元重新传输它们的信号，直到低级神经元与它们的高级解释产生最小的分歧。

从土豆头先生的例子可以看出，分歧可能不会完全消失。每一个较低级别的神经元传输它对所见事物的猜测——“眼睛”、“鼻子”、“嘴巴”，以及每一部分的姿势。这些部分和姿势传递到更高层，在那里它们点亮“脸”神经元…然而，这些部分的姿势不一致！嘴巴倒过来，眼睛完全侧着！我们的大脑不会丢弃“脸”神经元的信号——它们只是试图找到一种方法来最小化这种分歧。“或许是整张脸上下颠倒，解释了倒口？不，那不可能是对的，因为鼻子是正面朝上的，而眼睛的位置是正脸的正确位置。”“或者，是脸侧着，解释了不寻常的眼睛？不，因为那会把嘴和鼻子放在完全错误的位置。”所以，我们的大脑说"脸确实是竖直的，因为那个方向导致最小的不一致，但是脸的部分方向错误。“姿势不一致，而这种不一致并没有消失——我们的大脑只是尽可能地将这种不一致最小化。

接下来是什么？

一旦我们的大脑将分歧最小化，并确定了一个更高层次的解释，他们就会执行额外的一步:他们将更高层次解释的期望投射回更低的层次。这是与 Hinton 的胶囊的一个关键区别，对于迈向通用机器智能至关重要。

土豆头先生的脸虽然扭曲了，但整个脸的姿势是“*均的”。在具有相同*均姿势的正常人脸上，每个部分都有关联姿势——“一张直立的脸应该有直立的眼睛、鼻子和嘴巴”。我们的大脑从土豆脑袋先生那里取了一个*均的姿势，一个最小化分歧的姿势，然后把这个姿势投射回零件的预期姿势。只要预期的姿势与观察到的姿势不一致，我们的大脑就会记下:“对于这张直立的脸，我本以为会看到一张直立的嘴，但这张嘴是颠倒的！”(这种方法确保数据得到接*最优的压缩；我们的大脑会跟踪“主要观点”以及任何“特殊情况”。)后来，当我们回想我们所看到的东西时，我们不记得 只记得 看到一张脸——我们 也 记得它的嘴是倒着的。胶囊目前不记得这样的扭曲。

因此，我们在较高层次的抽象和较低层次的特征之间有两种方式的回响:1)竞争抽象(‘年轻女人’/‘老女人’)之间的任何‘*局’通过抑制他们的一些输入直到*局被打破来解决(即最小化不和谐)；2)一旦一个抽象被认同(“直立的脸”)，它的理想化的期望被投射回较低的层(“直立的眼睛、鼻子、嘴”)，以找到任何分歧仍然存在的地方(“颠倒的嘴”)。我们的大脑会暂时忘记失去的抽象概念，但它们会记住我们的高层期望与低层观察不一致的地方。我们记得只看到了年轻女子或老妇人，而我们记得土豆头先生的嘴是上下颠倒的。

在实践中

我建议对辛顿的胶囊做一个简单的修复。通过随机梯度下降的反向传播仍然适用。仍然像 Hinton 描述的那样比较姿态向量。我们只需要对网络的前馈激活进行修改。

通常情况下，人工神经网络像方阵一样前进，从网络的最低层步进到最高层，从不后退。然而，我描述的模型有许多向后和向前运动的实例——当竞争的抽象抑制输入，直到确定一个单一的解释，当较高层的“*均姿态”向后投射，以确定其输入的姿态与预期不同的地方。这种神经网络 与 相呼应。

因此，在得出最终答案之前，网络从低到高被激发*，甚至激活输出层中的多个神经元。从输出层向后移动，网络抑制中间层神经元，直到单个输出神经元占主导地位。(“是啊，是个老女人。”)然后，该输出通过网络将其姿态期望发送回，以记录理想期望与观察值不同的地方*。(“是一张脸，但嘴巴倒过来了。”)输出层激活和低水*失真的结合是网络“真正”看到的，也是我们的神经网络应该“记住”的……不过，有效地存储这些记忆本身就是一个棘手的问题。这个我以后再说。

雇佣聪明的人，不要挡他们的路

原文：https://towardsdatascience.com/hire-smart-people-and-get-out-of-their-way-d152ecea56bc?source=collection_archive---------5-----------------------

雇佣聪明人并告诉他们该做什么是没有意义的；我们雇佣聪明的人，这样他们就能告诉我们该做什么。

有时候最直接的建议是最有价值的。史蒂夫·乔布斯用一句话阐明了领导一家公司所需的最有用的品质之一。在我自己的职业生涯中，我见过糟糕的管理者、好的管理者和伟大的管理者。对于那些从优秀走向卓越的人，我能说的一件事是——他们没有挡路。

我努力成为自己理想中的经理人。我也知道我在大多数时候都做不到。最困难的事情之一是在艰难时期成为一名好的领导者。而且，正如大多数艰难的事情一样，很少有真正的文章讲述如何在艰难时期成为一名伟大的领导者。

成为一名优秀的领导者

当环境稳定时，成为一个好的领导者是很容易的。当事情变得困难时，当你筋疲力尽时，当你不知道到底该做什么时，成为一个好的领导者会更加困难。对压力和疲惫的一个典型反应是微观管理。我已经看了一遍又一遍，我自己也至少掉进过几次那个陷阱。

更复杂的是，当你在一家初创公司时，很容易去一个团队并开始提供想法，朝着这个方向稍微移动一下，以找到导致短期收益的路径。可怕的重新排序。然而，当我回头看时，许多“有益的推动”只是阻碍了进步。虽然这听起来并不独特，但我已经艰难地认识到，这更多的是提供最终目标，让你的团队做他们最擅长的事情。这是我一直从我的经理那里得到的重视，也是我自己承诺要做的事情。

提供目标，而不是方向

关于一个领导者应该如何提供愿景和给出方向，有大量的信息。这是真的，但往往缺乏现实世界的感觉。提供视野是什么意思？在我看来，这意味着提供最终的目标，给这个目标一个目的，并帮助其他人在他们的工作中脱颖而出。下面是一个简单目标的糟糕例子:

我们希望一个新的系统能够以 X%的准确率运行，节省 X%的分析师时间。然后，我们可以讨论解决问题的潜在方法，我们愿意在开发时间和性能以及一系列其他假设之间进行权衡。

或者，我可以告诉他们，我们正在尝试回答一个问题或解决一个具体的棘手问题。即给他们一个有目的的目标。

我们需要开发一种量化工具，帮助我们的客户了解美国股市面临的重大媒体事件风险。理想情况下，我会把他们放在客户面前，让他们问问题。如果这是不可能的，我应该给他们尽可能多的领域知识。

我应该把自己看作一个间接的引导者，而不是具体活动的指导者。目标是给他们尽可能多的必要信息，以便他们将来在没有我参与的情况下做出最佳决策。在我看来，最好的方法是让他们首先提出问题并做出决定。

等等，有问题

两周后，他们遇到了一些问题。我们无法达到我们想要的精确度，我们的进展也没有我们想象的那么快。从领导力的角度来看，这里只有两种方法:

1. 直接参与，准确地告诉人们使用什么算法，做什么调整，并重新定位项目。
2. 和他们谈谈假设和他们遇到的困难。假设可以调整吗？他们试过另一种选择吗？我们问对问题了吗？我们有合适的领域知识吗？

第一种在短期内要舒服得多(假设你知道该做什么)，第二种不仅会帮助他们成长和发展，而且很可能会带来更好的结果。你知道的比他们多吗？他们已经研究这个问题好几个星期了，而你只是插了一脚。

在这种情况下，良好的领导意味着根据证据审查或调整目标，从新鲜的角度提供一些想法，并让他们从那里选择做什么。传统公司中的领导力通常意味着表现得好像你总是知道自己在做什么。真正的领导力意味着承认你并不总是知道自己在做什么，并授权他人去发现。

一个真实生活的例子

我给你看一段我女儿妮娅的视频。不管出于什么原因，她决定爬上她的椅子。我不能和她很好地交流(她七个月大)，但是她的目标很明确——学习！

我可以插话说她可能会受伤，或者危险地试图从椅子上跳下来没有任何实际好处，但我认为她会在一天结束时找到对她最好的事情。摔几跤没什么坏处。

招聘合适的人

如果这是我想要的领导方式，我应该如何招聘？这个很简单。雇佣比你更擅长工作的人。除此之外，如果有机会，你应该雇佣那些能够胜任新职位的人。如果你雇佣的是没有经验的人(这通常是非常有益的)，要意识到你需要给这些人提供指导和辅导。

虽然我经常听到经理们宣称这是他们的意图，但他们的行动很少在实践中表现出来。

反省过去

如果你是一家公司的领导或经理，回想一下你上一次和你的团队开产品会议是什么时候。

• 你是如何行动的？
• 你只是提供目标吗？或者你有没有给目标一个目标和指导？
• 如果假设不合理或错误，你是否与他们一起调整目标？
• 你挡住他们的路了吗？

虽然一个好的领导者的品质是显而易见的，但领导远非易事。它是关于扔掉你的自我，每天自我反省，努力成为你想为之工作的人。如果你认为你擅长这个，那么你可能并不擅长。

雇佣数据科学家第一步:停止寻找数据科学家。

原文：https://towardsdatascience.com/hiring-data-scientists-step-1-stop-looking-for-data-scientists-9eb282a0f96b?source=collection_archive---------1-----------------------

亲爱的世界，

我们正在寻找一个人来填补我们商业模式中即将到来的空白。我们不确定你会做什么，但我们确信我们的股东会喜欢我们有数据科学家的想法。你将向不理解你工作的人汇报，当你向管理层提出你的解决方案时，你经常会遇到怀疑。候选人必须具备以下条件:

• B.计算机科学理学学士
• 米（meter 的缩写））定量领域的 Sc/PhD
• 3-5 年的研究工作经验，具有后端框架、应用程序开发、网站托管的经验，并对神经网络和统计方法有深入的了解
• 5 年编程经验
• 2-3 年数据库管理经验
• 在我们的领域(医疗保健、营销等)有 5 年的经验
• 具备 SQL、Python、R、Matlab、Java、C、C++的高级知识
• 2-3 篇在人工智能、自然语言处理或计算机视觉领域发表的研究论文(三者皆佳)
• 体验 Spark、Hadoop 和 Pig...和马

这个人几乎不存在

你认为世界上有多少人符合这个标准？这些人中有多少人拥有面向顾客、面向客户、面向管理层的软技能，同时还具有分析能力、创造力和智慧。我们向数据科学家提出了错误的问题，我们也找错了地方。奇怪的是，苹果公司的招聘广告通常不到 XYZ 咨询公司的一半要求。

数据科学家不可能在一家公司使用所有这些工具，更不可能有人知道所有这些语言。数据科学更多的是关于编程的智能使用，而不是编程本身。

你没有雇佣程序员。

不要再关注学位和证书，而是关注已被证明的真实世界的经验。它甚至不一定是一个正式的数据科学家。当我打算为我们的 ML 团队引进一名新成员时，我的主要目标是:

我们想要的:

• 聪明、探索、热情的人经验丰富。
• 有能力接受模糊的、不确定的想法，并把它们变成成品的人

我们提供的服务:

• 提供一个有趣的团队和策略，并给他们机会研究尖端技术
• 给他们成长的空间，了解他们想学什么，并帮助他们达到目的
• 团队中的每个人都是*等的

从最重要的事情开始

谈到数据科学，最难找到的技能与学位或具体的工作经验无关。正是探索的天性、对优化的追求、结果思维、永不放弃的态度和学习的意愿造就了一名优秀的数据科学家。如果你给我一个具备这些软技能、一些基本编程能力和对数学的理解的人，我保证他们会在相对较短的时间内成为一名伟大的数据科学家。当我打算在我的团队中招聘员工时，这些是最重要的技能。其他的都是肉汁。

诚然，学位和经验可以很好地判断能力。但这需要很高的成本——它极大地缩小了你希望从中提取的资金规模，并且它造成了一种确认偏差，从而我们继续推动越来越多的凭证。

这是我写的职位描述中的一小段:

期望

我们正在建立一个以高标准和卓越执行为荣的团队。对你的评价更多的是基于你的结果，而不是你的代码。基于客观的精英标准，责任、挑战和机遇将快速增长。

主要职责

-协助深度神经网络和传统机器学习模型的设计、开发和评估。

-协助创建可扩展、高效、自动化的流程，用于大规模数据分析、模型开发、模型验证和模型实施

-致力于成为以执行为导向的团队中的合作伙伴。

—注重结果—能够在紧迫的期限内完成出色的工作

创造一份你想做的工作

当我在招聘的时候，我会花几个小时在职位描述上。我写，我重写，我再写。我所扮演的角色符合我们团队的需求，有成长的空间，提供很好的学习机会，并提供一些令人兴奋的东西。没有这一点，随着时间的推移，人们会变得无聊和痛苦。确定特定角色的业务需求很容易，但通常很难准确定义您为什么需要数据科学家以及他们将做什么。你的工作是在开始搜索之前考虑清楚这一点。

可以肯定的是，工作中总会有人们不喜欢的部分，但每天去上班做自己讨厌的事情是一场悲剧。当我兴奋、积极、有动力地去工作时，我的工作效率是*时的 5 倍。作为团队领导，我必须为我的团队提供这样的环境。这对个人、团队和企业都是最好的。

经理应该写下自己的职位描述

如果你不能花 3-5 个小时写一份合适的工作描述，那么你就不够需要这个职位。

我读过的职位描述听起来都是人力资源部写的，这让我感到震惊。有时候感觉好像同一个职位描述被 100 个招聘人员反复循环使用。你常常不知道自己在做什么，团队是什么样的，或者你是否具备胜任这份工作所需的 35 项技能。

对人们的想法更感兴趣

由于我不是计算机科学家，也不是博士，所以可能有点偏颇(我是机械工程师)。我被教导如何把复杂的问题分解成更小的任务，就像程序员一样。然而，我真的相信，直到我的本科工程学位，没有人期望我去思考。这项技能被如此不充分利用和低估，令我震惊。

寻找能够批判性地、创造性地、聪明地思考的人是很难的。这就是寻找数据科学家如此困难的原因——理解如何获取数据、探索数据、理解数据，并以有价值的方式建模/呈现数据非常困难。获取数十亿个非结构化数据点并提取信息、转换信息、扩充信息以及生成可操作的数据/预测非常困难，并且没有预定义的规则或适用的系统。

也许数据科学家需要的最有价值的技能是在没有明确解决方案的情况下处理公开问题的能力。他/她需要能够在价值未定义时提供价值—他们通常需要理解这一点，并靠自己实现这一点。他/她需要能够从数百个潜在的结果中进行选择，以找到最适合当前问题和业务的结果。

真正的数据科学家:

1. 理解价值创造的概念
2. 了解业务
3. 了解如何使用不同的技术和模型来为您的数据创造价值
4. 有条不紊地处理复杂、开放的问题，并充满兴趣。
5. 不需要成为一名优秀的程序员。

这会让你找工作更容易吗？大概不会。但是，至少你会寻找现实生活中的人，你会寻找合适的技能。当你强迫自己去寻找这种类型的人的时候，你强迫自己去思考为什么你首先需要一个数据科学家。

这对你更好，对你的团队更好，对你的公司更好。

雇佣最好的数据科学家

原文：https://towardsdatascience.com/hiring-the-best-data-scientists-fba389a5b3c1?source=collection_archive---------17-----------------------

Photo by rawpixel on Unsplash

你在这篇文章中找不到的是数据科学工具、学位授予程序的列表，或者估计填充 747 所需乒乓球数量的能力。这些并不能造就伟大的数据科学家。另一方面，如果你有一个具备以下三个特征的候选人，不管他们已经知道哪一套工具，那么你可以用你的组织使用的工具来训练他们。实际上，他们会训练自己。

特质#1:能够提出重要的问题

如果答案有影响，问题就很重要。通常，这意味着它驱动着一个重要的决策。对于一个企业来说，这可能是进入一个市场还是另一个市场的决定。对于一个非盈利组织来说，这可能是一个关于用什么策略来帮助那些需要帮助的人的决定。对于医生来说，这可能是决定使用何种药物来治疗患者的癌症。特质#1 是关于将我们数据科学家的自然好奇心引向重要目标的能力。这需要首先了解这些目标是什么，然后定义我们对数据提出的问题——即假设——以便答案会告诉我们如何实现我们的目标。

特质#2:确定问题已经被回答的能力，第 1 部分:逻辑思维

从数据到分析结果，从分析结果到关于假设的结论，每一步推理的正确性都是必须的。逻辑思维的一部分是演绎推理。另一部分是理解所有人的假设，并确认每个人都满意。

逻辑思维需要一个额外的重要组成部分:对知识诚实的承诺。这意味着不允许自己屈从于对特定结果的渴望。

特质#3:确定问题已经被回答的能力，第二部分:创造性思维

数据科学家必须积极尝试推翻自己的答案。这意味着要问这样的问题:什么是可能的混淆变量？原因和结果会和我想的相反吗，不管这有多违背直觉？有没有可能这些结果是由于两种或两种以上的效应在历史的这一刻碰巧结合在一起，而不是被重复？我的数据集代表真实世界吗？

特质 3 是创造性头脑风暴的一种形式。在所有三个特征中，它是最费工夫的一个。根据我的经验，这可能会导致进行几次额外的调查，每次调查的规模都与最初的调查一样大。投入精力做到这一点也需要对智力诚实的承诺。

为什么有必要？因为如果问题很重要，那么确保问题得到正确回答也很重要。正确回答这个问题可以决定数百万美元的商业收入是赚了还是赔了，需要帮助的人群是否得到了帮助，病人是否治愈。

数据科学家的好消息

如果你是一名数据科学家，这种思考数据科学家工作的方式对你来说是全新的，不要气馁。这三种特质是认知技能，通过学习形成工作习惯。它们不是本能的问题。这是一个好消息，因为无论你现在对这些特性运用得多或少，你都可以通过训练和有意识的使用来改善它们，直到它们成为习惯，就像它们需要的那样。

如何雇佣最好的数据科学家

如果你雇佣数据科学家，那么你知道软件、工具和数学技能是重要的考虑因素。评估这些应该是你面试过程的一部分。然而，我发现体现这三种特质的数据科学家也是最容易适应不同工具、技术和编程语言的人。

评估求职者这三种特质的一个简单方法是让他们简要描述一个或多个他们过去的项目，然后问他们许多后续问题，关于他们是否以及如何运用这三种特质。是什么让他们的项目变得重要(特质 1)？他们分析的假设是什么(特征 2)？他们如何检查他们命名的假设(特质 2)？他们还考虑了其他什么解释(特质 3)？

即使候选人只在学校项目(有时是玩具问题)中有过数据科学经验，他们对第一个问题(特质 1)的回答也可以揭示他们对问题背景的思考程度，而不仅仅是进行分析。他们对第二个和第三个问题(特征 2 和 3)的回答对学校项目和工作项目一样有意义。

这三个特征是任何类型的优秀科学家的特征。通过让你的候选人参与这种面试讨论，你就和他们一起参与了科学家参与的那种讨论。这有助于你确定他们是否是好的数据科学家。

您的额外福利

事实证明，在你的面试过程中包括上述内容有两个好处。首先，它复制了数据科学团队中发生的协作，从而让您了解候选人是否会很好地参与您希望您的团队进行的讨论。

第二，与你的候选人进行这些讨论强化了你作为招聘经理的三个特质。事实上，在这些讨论中，你的最佳候选人会挑战你。雇佣他们！

Boaz Super 是一位财富 500 强高管，领导着一家人工智能和数据科学组织；一个创业公司创始人；也是一所大学研究中心的创始人之一。

你可以通过Medium.com和 LinkedIn 联系到波阿斯。

Boaz Super 版权所有 2017–2018。保留所有权利。

这篇文章代表我的观点，不一定代表我雇主的观点。

直方图均衡

原文：https://towardsdatascience.com/histogram-equalization-5d1013626e64?source=collection_archive---------1-----------------------

图像对比度增强

柱状图

直方图是图像强度分布的图形表示。简而言之，它代表了所考虑的每个亮度值的像素数。

在上图中，X 轴代表色阶(左边为黑色，右边为白色)，Y 轴代表图像的像素数。这里，直方图显示了每个亮度级别(从黑到白)的像素数量，当像素越多时，特定亮度级别的峰值越高。

直方图均衡

直方图均衡化是一种用于提高图像对比度的计算机图像处理技术。它通过有效地扩展最频繁的强度值来实现这一点，即扩展图像的强度范围。当可用数据由相*的对比度值表示时，这种方法通常会提高图像的整体对比度。这允许较低局部对比度的区域获得较高的对比度。

图像的颜色直方图表示每种颜色分量中的像素数量。直方图均衡化不能单独应用于图像的红色、绿色和蓝色分量，因为它会导致图像的色彩*衡发生巨大变化。然而，如果图像首先被转换到另一个颜色空间，如 HSL/HSV 颜色空间，则该算法可以被应用到亮度或值通道，而不会导致图像的色调和饱和度的改变。

自适应直方图均衡

自适应直方图均衡化与普通直方图均衡化的不同之处在于，自适应方法计算几个直方图，每个直方图对应于图像的不同部分，并使用它们来重新分配图像的亮度值。因此，它适用于提高图像每个区域的局部对比度和增强边缘的清晰度。

对比有限自适应均衡

对比度受限 AHE (CLAHE)在对比度限制方面不同于自适应直方图均衡。在 CLAHE 的情况下，对比度限制过程被应用于从其导出变换函数的每个邻域。开发 CLAHE 是为了防止自适应直方图均衡化可能引起的噪声过度放大。

实验结果

源代码

https://github . com/shree 6791/Deep-Learning/blob/master/CNN/Cats % 20 和%20Dogs/ca_do.py

Python 中的直方图和密度图

原文：https://towardsdatascience.com/histograms-and-density-plots-in-python-f6bda88f5ac0?source=collection_archive---------0-----------------------

用 Python 可视化一维数据

绘制单个变量似乎应该很容易。只有一个维度，有效地显示数据有多难？很长一段时间，我通过使用简单的直方图来显示值的位置、数据的分布和数据的形状(正态、偏态、双峰等)。)然而，我最*遇到了一些直方图失败的问题，我知道是时候拓宽我的绘图知识了。我找到了一本优秀的关于数据可视化的免费在线书籍，并实现了其中的一些技术。我没有把我学到的一切都留给自己，而是决定写一个直方图的 Python 指南和一个已经被证明非常有用的替代方法，密度图，这对我和其他人都有帮助。

本文将通过使用 matplotlib 和 seaborn 库，全面了解如何在 Python 中使用直方图和密度图。自始至终，我们将探索真实世界的数据集，因为有了网上可用的丰富资源，没有理由不使用实际数据！我们将可视化nyflights 13 数据，其中包含 2013 年超过 300，000 次对纽约出发航班的观察。我们将重点显示一个变量，即航班的到达延迟时间(以分钟计)。本文的完整代码可以从 GitHub 上的 Jupyter 笔记本中获得。

在开始绘图之前检查我们的数据总是一个好主意。我们可以将数据读入 pandas 数据帧，并显示前 10 行:

import pandas as pd# Read in data and examine first 10 rows
flights = pd.read_csv('data/formatted_flights.csv')
flights.head(10)

Head of Dataframe

航班到达延迟以分钟为单位，负值表示航班提前到达(事实证明，航班往往会提前到达，只是我们乘坐的航班从来不会提前到达！)航班超过 30 万次，最小延误-60 分钟，最大延误 120 分钟。数据框中的另一列是我们可以用来比较的航空公司名称。

直方图

开始研究单个变量的一个很好的方法是使用直方图。直方图将变量划分为多个区间，对每个区间中的数据点进行计数，并在 x 轴上显示区间，在 y 轴上显示计数。在我们的例子中，箱将是代表航班延误的时间间隔，计数将是落入该间隔的航班数量。二进制宽度是直方图最重要的参数，我们应该总是尝试一些不同的二进制宽度值，以选择最适合我们数据的一个。

要用 Python 制作一个基本的直方图，我们可以使用 matplotlib 或者 seaborn。下面的代码展示了两个库中创建等价图形的函数调用。对于绘图调用，我们通过面元的数量来指定面元宽度。对于这个图，我将使用长度为 5 分钟的仓，这意味着仓的数量将是数据范围(从-60 到 120 分钟)除以仓宽度，5 分钟(bins = int(180/5))。

Histogram (equivalent figured produced by both matplotlib and seaborn)

对于大多数基本的直方图，我会使用 matplotlib 代码，因为它更简单，但是我们稍后将使用 seaborn distplot函数来创建不同的分布，熟悉不同的选项是有好处的。

我是怎么想出 5 分钟的宽度的？找出最佳 binwidth 的唯一方法是尝试多个值！下面是在 matplotlib 中用一系列 binwidths 制作相同图形的代码。最终，binwidth 没有正确或错误的答案，但我选择 5 分钟，因为我认为它最能代表分布。

Histograms with Different Binwidths

binwidth 的选择会显著影响结果图。较小的二进制宽度会使图变得杂乱，但较大的二进制宽度可能会模糊数据中的细微差别。Matplotlib 会自动为你选择一个合理的 binwidth，但是我喜欢在尝试了几个值之后自己指定 binwidth。没有真正正确或错误的答案，所以尝试几个选项，看看哪个最适合您的特定数据。

当直方图失败时

直方图是从一个类别开始探索单个变量的好方法。然而，当我们想要比较一个变量在多个类别中的分布时，直方图存在可读性问题。例如，如果我们想要比较航空公司之间的到达延迟分布，一种不太有效的方法是在同一图上为每个航空公司创建直方图:

Overlapping Histograms with Multiple Airlines

(请注意，y 轴已被归一化，以反映航空公司之间不同的航班数量。为此，将参数norm_hist = True传递给sns.distplot函数调用。)

这个情节不是很有帮助！所有重叠的条形图使得航空公司之间几乎不可能进行比较。让我们来看看这个常见问题的几种可能的解决方案。

解决方案#1:并排直方图

我们可以将它们并排放置，而不是重叠航线直方图。为此，我们为每个航空公司创建一个到达延迟列表，然后将它作为一个列表列表传递给plt.hist函数调用。我们必须为每家航空公司指定不同的颜色和标签，这样我们才能区分它们。包括为每个航空公司创建列表在内的代码如下:

默认情况下，如果我们传入一个列表的列表，matplotlib 会将条形并排放置。在这里，我已经将 binwidth 改为 15 分钟，因为否则情节会过于混乱，但即使进行了修改，这也不是一个有效的数字。有太多的信息需要一次处理，条形图与标签不一致，而且仍然很难比较航空公司之间的分布情况。当我们制作一个情节时，我们希望观众尽可能容易理解，而这个人物没有达到那个标准！让我们看看第二个可能的解决方案。

解决方案 2:堆积条形图

我们可以通过向直方图调用传递参数stacked = True来堆叠每个航空公司的柱状图，而不是并排绘制柱状图:

# Stacked histogram with multiple airlines
plt.hist([x1, x2, x3, x4, x5], bins = int(180/15), stacked=True,
         normed=True, color = colors, label=names)

嗯，那绝对不会好到哪里去！在这里，每家航空公司都代表了每个仓位整体的一部分，但几乎不可能进行比较。例如，在-15 到 0 分钟的延迟时，联合航空公司或捷蓝航空公司的酒吧尺寸更大吗？我不知道，观众也不会知道。我一般不支持堆积条形图，因为它们可能很难解释(虽然有一些用例，比如可视化比例)。我们尝试使用直方图的两种解决方案都不成功，所以是时候转向密度图了。

密度图

首先，什么是密度图？密度图是根据数据估计的直方图的*滑、连续版本。最常见的估计形式被称为核密度估计。在这种方法中，在每个单独的数据点绘制一条连续的曲线(内核),然后将所有这些曲线加在一起，进行一次*滑的密度估计。最常用的核是高斯核(在每个数据点产生一个高斯钟形曲线)。如果你和我一样，觉得这样的描述有点混乱，看看下面的情节:

Kernel Density Estimation (Source)

这里，x 轴上的每条黑色竖线代表一个数据点。各个内核(本例中为高斯内核)在每个点上方用红色虚线表示。蓝色实线曲线是通过将各个高斯曲线相加得到的，并形成总密度图。

x 轴是变量的值，就像直方图一样，但是y 轴到底代表什么？密度图中的 y 轴是用于核密度估计的概率密度函数。然而，我们需要小心指定这是一个概率密度而不是一个概率。区别是概率密度是 x 轴上每单位的概率。要转换成实际概率，我们需要找到 x 轴上特定区间的曲线下面积。有点令人困惑的是，因为这是一个概率密度而不是一个概率， y 轴可以取大于 1 的值。密度图的唯一要求是曲线下的总面积积分为 1。我通常倾向于将密度图上的 y 轴视为仅用于不同类别之间相对比较的值。

锡伯恩的密度图

为了在 seaborn 中绘制密度图，我们可以使用distplot或kdeplot函数。我将继续使用distplot函数，因为它允许我们通过一次函数调用进行多次分发。例如，我们可以制作一个密度图，在相应的直方图顶部显示所有到达延迟:

# Density Plot and Histogram of all arrival delays
sns.distplot(flights['arr_delay'], hist=True, kde=True, 
             bins=int(180/5), color = 'darkblue', 
             hist_kws={'edgecolor':'black'},
             kde_kws={'linewidth': 4})

Density Plot and Histogram using seaborn

该曲线显示了密度图，其本质上是直方图的*滑版本。y 轴表示密度，默认情况下直方图是归一化的，因此它与密度图具有相同的 y 轴刻度。

类似于直方图的二进制宽度，密度图有一个称为 带宽 的参数，该参数会改变单个内核并显著影响图的最终结果。绘图库将为我们选择一个合理的带宽值(默认情况下使用‘Scott’估计值)，与直方图的 binwidth 不同，我通常使用默认带宽。但是，我们可以考虑使用不同的带宽，看看是否有更好的选择。在情节中，“斯科特”是默认的，这看起来是最好的选择。

Density Plot Showing different Bandwidths

请注意，带宽越宽，分布越*滑。我们还看到，即使我们将数据限制在-60 到 120 分钟，密度图也超出了这些限制。这是密度图的一个潜在问题:因为它计算每个数据点的分布，所以可能会生成超出原始数据范围的数据。这可能意味着我们最终在 x 轴上得到不可能的值，而这些值在原始数据中从未出现过！请注意，我们还可以更改内核，这将更改在每个数据点绘制的分布，从而更改整体分布。然而，对于大多数应用程序，默认的内核，高斯和默认的带宽估计工作得很好。

解决方案 3 密度图

现在我们已经了解了密度图是如何制作的，它代表了什么，让我们看看它如何解决我们可视化多个航空公司的到达延迟的问题。为了在同一个图上显示分布，我们可以遍历航空公司，每次调用distplot，将内核密度估计值设置为 True，将直方图设置为 False。绘制多家航空公司密度图的代码如下:

Density Plot with Multiple Airlines

最后，我们达成了一个有效的解决方案！有了密度图，我们可以很容易地在航空公司之间进行比较，因为这个图不那么杂乱。现在我们终于有了我们想要的图，我们得出结论，所有这些航空公司都有几乎相同的到达延迟分布！然而，数据集中还有其他航空公司，我们可以绘制一个稍有不同的航空公司，以说明密度图的另一个可选参数，对图表进行着色。

阴影密度图

填充密度图可以帮助我们区分重叠分布。尽管这并不总是一个好方法，但是它可以帮助强调发行版之间的差异。为了给密度图着色，我们将shade = True传递给distplot调用中的kde_kws参数。

sns.distplot(subset['arr_delay'], hist = False, kde = True,
                 kde_kws = {'shade': True, 'linewidth': 3}, 
                  label = airline)

Shaded Density Plot

是否对绘图进行着色和其他绘图选项一样，是一个取决于问题的问题！对于这个图表，我认为它是有意义的，因为阴影帮助我们区分重叠区域中的图。现在，我们终于有了一些有用的信息:阿拉斯加航空公司的航班往往比联合航空公司更早更频繁。下次你有选择的时候，你就知道该选择哪家航空公司了！

地毯地块

如果您想要显示分布中的每个值，而不仅仅是*滑的密度，您可以添加地毯图。这显示了 x 轴上的每一个数据点，使我们能够可视化所有的实际值。使用 seaborn 的distplot的好处是我们可以用一个参数调用rug = True来添加 rug plot(也有一些格式)。

Density Plot with Rug Plot for Alaska Airlines

如果有很多数据点，地毯图可能会变得过于拥挤，但对于某些数据集，查看每个数据点可能会有所帮助。rug 图还让我们看到了密度图是如何在不存在数据的地方“创建”数据的，因为它在每个数据点创建了一个核分布。这些分布可能会泄漏原始数据的范围，并给人以阿拉斯加航空公司的延误时间比实际记录的时间更短或更长的印象。我们需要小心这个密度图的伪像，并指出给观众看！

结论

这篇文章有望给你一系列的选项来可视化一个或多个类别中的单个变量。我们甚至可以制作更多的单变量(单变量)图，如经验累积密度图和分位数-分位数图，但现在我们将把它留在直方图和密度图(还有地毯图！).如果选项看起来势不可挡，不要担心:通过练习，做出一个好的选择会变得更容易，如果需要，你可以随时寻求帮助。此外，通常不存在最优选择，而“正确”的决定将取决于偏好和可视化的目标。好的一面是，无论你想制作什么样的情节，在 Python 中都有一种方法可以做到！可视化是交流结果的有效手段，了解所有可用选项可以让我们为数据选择正确的数字。

我欢迎反馈和建设性的批评，可以通过 Twitter @koehrsen_will 联系到我。

人工智能的历史

原文：https://towardsdatascience.com/history-of-ai-484a86fc16ef?source=collection_archive---------1-----------------------

早期

第二次世界大战期间，著名的英国计算机科学家艾伦·图灵致力于破解德国军队用来安全发送信息的“谜”码。艾伦·图灵和他的团队创造了用于破译恩尼格玛密码的炸弹机器。

英格玛和庞贝机器奠定了机器学习的基础。根据图灵的说法，一台可以在人类不知道它是机器的情况下与人类交谈的机器将赢得“模仿游戏”，可以说是“智能的”。

Alan Turing in 1927.

1956 年，美国计算机科学家约翰·麦卡锡组织了达特茅斯会议，会上首次采用了“人工智能”一词。研究中心在美国各地涌现，探索人工智能的潜力。研究人员艾伦·纽厄尔和希尔伯特·西蒙在推动人工智能成为可以改变世界的计算机科学领域方面发挥了重要作用。

认真对待人工智能研究

1951 年，一台名为 Ferranti Mark 1 的机器成功地使用了一种算法来控制跳棋。随后，Newell 和 Simon 开发了通用问题求解算法来解决数学问题。同样在 50 年代，通常被称为人工智能之父的约翰·麦卡锡开发了 LISP 编程语言，这在机器学习中变得非常重要。

在 20 世纪 60 年代，研究人员强调开发算法来解决数学问题和几何定理。20 世纪 60 年代末，计算机科学家致力于机器视觉学习，并在机器人中开发机器学习。第一个“智能”人形机器人 WABOT-1 于 1972 年在日本制造。

艾特斯

然而，尽管几十年来这种资金充足的全球努力，计算机科学家发现在机器中创造智能非常困难。为了取得成功，人工智能应用(如视觉学习)需要处理大量数据。计算机还不够发达，无法处理如此大量的数据。政府和企业对人工智能失去了信心。

因此，从 20 世纪 70 年代中期到 90 年代中期，计算机科学家面临着人工智能研究资金的严重短缺。这些年被称为“人工智能冬天”。

新千年，新机遇

20 世纪 90 年代末，美国企业再次对人工智能产生了兴趣。日本政府公布了开发第五代计算机的计划，以推进机器学习。人工智能爱好者认为，很快计算机将能够像人一样进行对话、翻译语言、解释图片和推理。1997 年，IBM 的“深蓝”计算机成为第一台击败国际象棋世界冠军加里·卡斯帕罗夫的计算机。

Garry Kasparov & IBM’s Deep Blue.

21 世纪初互联网泡沫破裂时，一些人工智能资金枯竭了。然而，机器学习继续前进，这在很大程度上要归功于计算机硬件的改进。企业和政府在狭窄的领域成功地使用了机器学习方法。

计算机处理能力和存储能力的指数增长使得公司第一次能够存储大量的数据。在过去的 15 年里，亚马逊、谷歌、百度和其他公司利用机器学习获得了巨大的商业优势。除了处理用户数据以了解消费者行为，这些公司还继续致力于计算机视觉、自然语言处理和一系列其他人工智能应用。机器学习现在嵌入到我们使用的许多在线服务中。因此，今天，技术部门驱动着美国股市。

—

沙恩雷

关注 Lansaar Research on Medium，了解最新的新兴技术和新的商业模式。

简单码中卷积块的历史

原文：https://towardsdatascience.com/history-of-convolutional-blocks-in-simple-code-96a7ddceac0c?source=collection_archive---------6-----------------------

我尽量定期看 ML 和 AI 相关的论文。这是跟上最新发展的唯一方法。作为一名计算机科学家，我经常在阅读科学描述文本或公式的数学符号时碰壁。我发现用明码理解要容易得多。因此，在本文中，我想引导您浏览 Keras 中最*实现的架构中重要卷积模块的精选列表。

当你在 GitHub 上寻找流行架构的实现时，你会惊讶于它们包含了多少代码。包含足够数量的注释并使用额外的参数来增强模型是一个很好的实践，但同时这会分散对架构本质的注意力。为了进一步简化和缩短代码片段，我将使用一些别名函数:

def conv(x, f, k=3, s=1, p='same', d=1, a='relu'):
  return Conv2D(filters=f, kernel_size=k, strides=s, 
                padding=p, dilation_rate=d, activation=a)(x)def dense(x, f, a='relu'):
  return Dense(f, activation=a)(x)def maxpool(x, k=2, s=2, p='same'):
  return MaxPooling2D(pool_size=k, strides=s, padding=p)(x)def avgpool(x, k=2, s=2, p='same'):
  return AveragePooling2D(pool_size=k, strides=s, padding=p)(x)def gavgpool(x):
  return GlobalAveragePooling2D()(x)def sepconv(x, f, k=3, s=1, p='same', d=1, a='relu'):
  return SeparableConv2D(filters=f, kernel_size=k, strides=s, 
                padding=p, dilation_rate=d, activation=a)(x)

我发现去掉模板代码后，代码可读性更好了。当然，这只有在你理解了我的单字母缩写后才有效。让我们开始吧。

瓶颈块

卷积层的参数数量取决于内核大小、输入滤波器的数量和输出滤波器的数量。你的网络越宽，一个 3x3 的卷积就越贵。

def bottleneck(x, f=32, r=4):
  x = conv(x, f//r, k=1)
  x = conv(x, f//r, k=3)
  return conv(x, f, k=1)

瓶颈块背后的思想是使用廉价的 1x1 卷积以一定的速率 r 减少通道的数量，从而使下面的 3x3 卷积具有更少的参数。最后，我们通过另一个 1x1 卷积再次拓宽了网络。

初始模块

Inception 模块引入了并行使用不同操作并合并结果的思想。这样，网络可以学习不同类型的过滤器。

def naive_inception_module(x, f=32):
  a = conv(x, f, k=1)
  b = conv(x, f, k=3)
  c = conv(x, f, k=5)
  d = maxpool(x, k=3, s=1)
  return concatenate([a, b, c, d])

这里，我们将使用内核大小为 1、3 和 5 的卷积层与最大池层合并。这个片段展示了一个初始模块的简单实现。实际的实现将它与上面的瓶颈思想结合起来，这使得它稍微复杂一些。

Inception Module

def inception_module(x, f=32, r=4):
  a = conv(x, f, k=1)
  b = conv(x, f//3, k=1)
  b = conv(b, f, k=3)
  c = conv(x, f//r, k=1)
  c = conv(c, f, k=5)
  d = maxpool(x, k=3, s=1)
  d = conv(d, f, k=1)
  return concatenate([a, b, c, d])

残余块

ResNet 是由微软的研究人员推出的一种架构，它允许神经网络拥有任意多的层，同时仍然提高了模型的准确性。到现在为止，你可能已经习惯了，但在 ResNet 之前，情况并非如此。

def residual_block(x, f=32, r=4):
  m = conv(x, f//r, k=1)
  m = conv(m, f//r, k=3)
  m = conv(m, f, k=1)
  return add([x, m])

想法是将初始激活添加到卷积块的输出中。这样，网络可以通过学习过程决定输出中使用多少新卷积。注意，初始模块连接输出，而残差块将它们相加。

ResNeXt 块

根据它的名字，你可以猜测 ResNeXt 和 ResNet 有密切的关系。作者将术语基数引入卷积块，作为宽度(信道数量)和深度(层数)的另一个维度。

基数是指一个块中出现的并行路径的数量。这听起来类似于以并行发生的 4 个操作为特征的 inception 块。然而，基数 4 将简单地使用相同的操作 4 次，而不是并行使用不同类型的操作。

如果它们做同样的事情，为什么要把它们放在一起呢？好问题。这个概念也被称为分组卷积，可以追溯到最初的 AlexNet 论文。虽然，当时它主要用于将训练过程分割到多个 GPU，而 ResNeXt 使用它们来提高参数效率。

def resnext_block(x, f=32, r=2, c=4):
  l = []
  for i in range(c):
    m = conv(x, f//(c*r), k=1)
    m = conv(m, f//(c*r), k=3)
    m = conv(m, f, k=1)
    l.append(m)
  m = add(l)
  return add([x, m])

这个想法是把所有的输入通道分成组。卷积将只在它们专用的通道组内起作用，而不是跨越所有的通道。人们发现，每一组将学习不同类型的功能，同时增加重量的效率。

想象一个瓶颈模块，首先使用压缩率 4 将 256 个输入通道减少到 64 个，然后将它们作为输出恢复到 256 个通道。如果我们想要引入基数 32 和压缩率 2，我们将使用 32 个 1x1 卷积层，每个并行 4 (256 / (32*2))个输出通道。之后，我们将使用 32 个 3×3 卷积层和 4 个输出通道，然后是 32 个 1×1 卷积层，每个卷积层有 256 个输出通道。最后一步包括添加这 32 条并行路径，在添加初始输入以创建剩余连接之前，为我们提供单个输出。

Left: ResNet Block — Right: RexNeXt Block of roughly the same parameter complexity

这需要消化很多东西。使用上面的图像来获得正在发生的事情的可视化表示，也许可以复制片段来自己在 Keras 中构建一个小网络。我复杂的描述可以用这简单的 9 行代码来概括，是不是很牛逼？

顺便说一下，如果基数等于通道的数量，我们将得到一个叫做深度可分卷积的东西。自从引入 Xception 体系结构以来，这种方法越来越受欢迎。

密集块

密集块是残差块的极端版本，其中每个卷积层获得块中所有先前卷积层的输出。首先，我们将输入激活添加到一个列表中，之后我们进入一个循环，该循环遍历一个块的深度。每个卷积输出也连接到列表，以便后续迭代获得越来越多的输入特征地图。这种方案一直持续到达到所需的深度。

def dense_block(x, f=32, d=5):
    l = x
    for i in range(d):
        x = conv(l, f)
        l = concatenate([l, x])
    return l

虽然需要几个月的研究才能得到一个和 DenseNet 一样好用的架构，但实际的构建模块可能就是这么简单。令人着迷。

挤压激励块

SENet 在短时间内是 ImageNet 上最先进的技术。它建立在 ResNext 之上，专注于对网络的信道信息进行建模。在常规卷积层中，对于点积计算中的加法操作，每个信道将具有相同的权重。

Squeeze- and Excitation Module

SENet 推出了一个非常简单的模块，可以添加到任何现有的架构中。它创建了一个微小的神经网络，学习如何根据输入对每个过滤器进行加权。如您所见，它本身不是卷积块，但因为它可以添加到任何卷积块中，并可能提高其性能，所以我想将其添加到组合中。

def se_block(x, f, rate=16):
    m = gavgpool(x)
    m = dense(m, f // rate)
    m = dense(m, f, a='sigmoid')
    return multiply([x, m])

每个通道被压缩成一个单一的值，并送入一个两层的神经网络。根据频道分布，该网络将学习根据频道的重要性对其进行加权。最后，这个权重与卷积激活相乘。

SENets 引入了微小的计算开销，同时潜在地改进了任何卷积模型。在我看来，这个街区没有得到应有的重视。

纳斯内特正常细胞

这就是事情变得有点糟糕的地方。我们正在离开人们提出简单而有效的设计决策的空间，进入一个设计神经网络架构的算法世界。NASNet 在设计上令人难以置信，但实际架构相对复杂。我们所知道的是，它在 ImageNet 上工作得非常好。

作者手动定义了不同类型的卷积层和池层的搜索空间，每个层都有不同的可能设置。他们还定义了这些层如何并行、顺序排列，以及如何添加或连接。一旦定义了这一点，他们就建立了一个基于递归神经网络的强化学习(RL)算法，如果特定的设计提案在 CIFAR-10 数据集上表现良好，就会得到奖励。

最终的架构不仅在 CIFAR-10 上运行良好，还在 ImageNet 上实现了最先进的结果。NASNet 由一个正常细胞和一个还原细胞组成，它们一个接一个重复出现。

def normal_cell(x1, x2, f=32):
    a1 = sepconv(x1, f, k=3)
    a2 = sepconv(x1, f, k=5)
    a = add([a1, a2])
    b1 = avgpool(x1, k=3, s=1)
    b2 = avgpool(x1, k=3, s=1)
    b = add([b1, b2])
    c2 = avgpool(x2, k=3, s=1)
    c = add([x1, c2])
    d1 = sepconv(x2, f, k=5)
    d2 = sepconv(x1, f, k=3)
    d = add([d1, d2])
    e2 = sepconv(x2, f, k=3)
    e = add([x2, e2])
    return concatenate([a, b, c, d, e])

这就是你如何在 Keras 中实现一个普通的单元。除了这种图层和设置的完美结合之外，没有什么新的东西。

反向剩余块

到现在为止，你已经听说过瓶颈块和可分卷积。让我们把它们放在一起。如果你运行一些测试，你会注意到，因为可分卷积已经减少了参数的数量，压缩它们可能会损害而不是提高性能。

作者提出了这样一个想法，即实际上做与瓶颈剩余块相反的事情。他们使用廉价的 1×1 卷积来增加通道的数量，因为下面的可分离卷积层已经大大减少了参数的数量。它在添加到初始激活之前关闭通道。

def inv_residual_block(x, f=32, r=4):
  m = conv(x, f*r, k=1)
  m = sepconv(m, f, a='linear')
  return add([m, x])

这个难题的最后一部分是可分离卷积后没有激活函数。相反，它被直接添加到输入中。这种模块在应用于架构中时非常有效。

阿米巴网正常细胞

Normal Cell of AmoebaNet

有了 AmoebaNet，我们可以了解 ImageNet 的当前技术水*，也可能了解一般的图像识别。像 NASNet 一样，它是由一种算法设计的，使用与以前相同的搜索空间。唯一不同的是，他们用一种通常被称为进化的遗传算法取代了强化学习算法。不过，深入研究其工作原理超出了本文的范围。故事的结尾是，通过进化，作者能够找到一个比 NASNet 计算成本更低的更好的解决方案。它在 ImageNet 上获得了 97.87%的前 5 名准确率，这是单一架构中的第一个。

查看代码，这个代码块没有添加任何您没有见过的新内容。你为什么不试着在图片的基础上实现新的正常单元，看看你是否能跟上。

结论

我希望这篇文章让您对重要的卷积块有了一个坚实的理解，并且实现它们可能比您想象的要容易。要更详细地了解这些体系结构，请查看它们各自的论文。你会注意到，一旦你掌握了一篇论文的核心思想，理解其余部分就容易多了。还请注意，实际的实现通常会将批处理规范化添加到组合中，并根据激活函数的应用位置而有所不同。欢迎在评论中提问。

PS:我在考虑用简单的代码创建一个包含所有这些块和架构的存储库。这对你们有些人有帮助吗？

关于有效使用 Python NumPy 数组的搭便车技巧

原文：https://towardsdatascience.com/hitchhiker-tips-on-effectively-using-python-numpy-arrays-66649b7bd5fb?source=collection_archive---------5-----------------------

Tips on Effectively using NumPy Arrays

如果您正在使用 python 进行数据科学研究，那么您要么使用过 NumPy，要么肯定听说过它。大多数需要将数据存储在内存中的统计分析都使用 NumPy。

如果你是 NumPy 的新手，我强烈推荐你阅读我之前的文章python NumPy 数组的搭便车指南来了解 NumPy 的基本用法。

在这篇文章中，我将讨论一些具体的技巧、窍门和技术，它们将帮助你获得大多数 NumPy 数组

1.修改现有的 NumPy 数组

与 Python 列表不同，NumPy 没有append(...)函数，这实际上意味着我们不能追加数据或改变 NumPy 数组的大小。

为了改变大小和/或维度，我们需要通过在旧数组上应用效用函数来创建新的 NumPy 数组。

从语法上来说，NumPy 数组类似于 python 列表，我们可以使用下标操作符来插入或更改 NumPy 数组的数据。例如，对于大小为 5 的 NumPy 数组，我们可以使用像while和for这样的循环来访问/更改/更新内容

Changing individual events of NumPy array

可以理解的是，这是一种非常过时的、非功能性的访问/操作数据的方式。幸运的是，NumPy 为 same 提供了批量访问功能，它在一行中毫不费力地做了同样的事情。一个这样的功能是numpy.put(...)。

为了描述numpy.put(...)的用法，我们将创建一个 python 列表并将该列表的内容复制到 NumPy 数组中

Using numpy.put(…) function

numpy.put(...)函数获取一个范围，然后使用该范围从目的地复制源。副本将被限制在range(..)功能中提供的数量。

在上面的例子中，如果我们将np.put(...)线改为

np.put(np_arr, range(3), py_arr)

它将只改变np_arr的前三个元素，其他的都不变

np.put(...)函数的适用性不仅限于复制一维数组，还可以用于复制 n 维数组，如下面的代码所示

numpy.put(…) for multi dimensional array

使用np.put(...)函数，我们可以提供一个数字列表，但是，在某些情况下，我们希望将相同的数字复制到 NumPy 的所有元素中。这类似于调用np.zeros(...)或np.ones(...)，区别在于除了 0 和 1 之外，还可以提供其他数字

这是通过调用np.fill(...)函数实现的。

无论我们在填充中提供什么数字(..)，它适用于 NumPy 数组的所有元素，而不管该数组是一维数组还是多维数组

Using numpy.fill(…) function

.fill(..)函数只接受标量值。

这里描述的是dtype=np.int的例子。它也适用于所有其他数据类型，如np.float, np.str, np.object等

2.切片 NumPy 数组

如果你有切割 python 列表的经验，在这里你会感觉像在家里一样。

切片 NumPy 数组带来了额外的功能，并且在多维数组的情况下变得有趣。然而，为了正确理解切片是如何工作的，我们需要在研究多维数组之前先研究一维数组。

:被称为分隔符，与 相容—不相容 原理一起工作，这意味着分隔符的左侧将被包含，而分隔符的右侧将被排除。

例如，np_arr[1:4]这样的语句意味着它将包括索引→ 1，但排除索引→ 4。因此这将有效地显示 Index → 1，2 & 3 中的元素

下面是一些对一维数组进行切片的例子以及它们的预期输出

Slicing 1-D arrays

切片的一个独特功能出现在 NumPy 数组中，但不能用于 python list 中，这就是用一个值就地改变数组的多个元素的能力。

老实说，这是非常有价值的功能之一，对数学和机器学习都有帮助。下面是使用该功能的方法

Slicing 1-D array

现在让我们来看一下多维数组的切片。当我们对多维数组进行切片时，分隔符左边和右边的含义保持不变(即索引),但我们通过使用两组逗号分隔的分隔符来扩展它，这两组分隔符代表行和列,即

[rows → Start_Index : End_Index, Column → Start_Index : End_Index ]

下面是一些例子，说明在 2D 阵列中切片意味着什么

Slicing a 2 — D Array

类似地，对于 3D 数组，我们必须为一个维度添加一个逗号分隔的值。这里有一些相同的例子

Slicing a 3-D Array

3.拆分 NumPy 数组

在某些时候，有必要将 n-d NumPy 数组分成行和列。拆分 numpy 数组有多种函数和方法，但是有助于按行和按列拆分 NumPy 数组的两个特定函数是split和hsplit。

• split功能用于行行行行的明智拆分
• hsplit功能用于 列 的明智拆分

拆分 NumPy 数组的最简单方法可以在它们的维度上完成。一个 3 * 4 的数组可以很容易地分成 3 组行列表和 4 组列列表。下面是我们如何做同样的事情

NumPy Split Row and Column wise

如果多重因子允许分割，我们可以提供一个不同于分割可用维数的数。例如，我们可以将数组按列分为 2 组，如下所示

多重不均匀分裂

在上面的例子中，我们提供了一个数字来按行或列等分 NumPy 数组。

但是，通过提供需要拆分的精确索引，可以在不同的行和列上进行不均匀的拆分。

它的工作原理就像我们上面看到的切片一样。基于列表中提供的索引，这些拆分函数将相应地对行或列进行切片。

让我们假设我们有相同的 2D 数组如上所示，我想做自定义分裂。

情况 1:将 3 行分成[1]和[2，3]

在这里，我想将行分成两部分，我们提取第一行，然后将第二行和第三行合并为一行。我们将这样做

Splitting Rows

情况 2:将 4 列分为[1]、[2、3]和[4]

在这里，我想将列分成三部分，我们提取第一列，然后是第二+第三列，最后是第四列。我们将这样做

Splitting Columns

所以这是 NumPy 的一些小技巧，可以帮助你更好地使用它。

这就是这个故事的全部内容。更多关于下一组故事。

感谢阅读…！！！

达克什

探索性数据分析指南

原文：https://towardsdatascience.com/hitchhikers-guide-to-exploratory-data-analysis-6e8d896d3f7e?source=collection_archive---------3-----------------------

如何用 python 调查数据集？

• “我如何在数据科学/机器学习/数据分析领域获得 kickstart？”
• “当您拥有数据集时，我应该采取哪些初始步骤来建立与数据集的连接？”
• "在探索性分析过程中，如何定义一组针对数据集的问题？"

如果你正在寻找上述任何一个问题的答案，那么这个博客系列将真正帮助你开始。

那么，什么是探索性数据分析(EDA)？

探索性数据分析(EDA)是数据科学的一个重要组成部分，它允许您开发您的数据看起来像什么以及它们可能回答什么样的问题的要点。

最终，EDA 是重要的，因为它允许研究者做出重要的决定，什么是有趣的，什么可能不值得继续，从而利用变量之间的关系建立一个假设。

一点背景知识

这是一个由两部分组成的系列，我们将查看来自 Kaggle 的电影数据集，并对数据进行一些探索性分析。

我们将在本教程中使用 python。我建议您在继续阅读之前先复习一下 python 基础知识。我将向您介绍我在数据集上执行 EDA 的步骤。

TMDB 电影数据集可以在这里找到。收集数据有不同的方法，我们将在另一篇文章中讨论。作为一名数据分析师，我的工作是能够提出一系列问题，解读字里行间的含义，并找到这些问题的答案。

我把它分成了三个部分

1. **清洗:**检查收集到的数据是否有问题，比如缺失数据或测量错误、列的数据类型等。)
2. 定义问题:识别特别有趣或意想不到的变量之间的关系。
3. 使用有效的可视化方式来传达我的结果(将在第第二部分中介绍)

我用过 jupyter 笔记本，因为我发现它们最适合数据清理、转换、数值模拟和数据可视化。Jupyter Notebook 的另一个优势是，您可以使用用于建模和可视化数据集的 Jupyter 笔记本，并将其用作技术演示的幻灯片。

这篇文章的代码可以在我的 Github 上找到:

[## harshi codes/tmdb _ movie _ data _ analysis

探索性数据分析开始挖掘这些问题，包括剧情、演员、剧组、预算和…

github.com](https://github.com/harshitcodes/tmdb_movie_data_analysis)

第一步是创建一个虚拟环境，您将在其中安装所有的软件包。下面是使用 pip 为我们安装 4 个包的命令。

pip install numpy pandas seaborn matplotlib

1. Numpy:用 Python 进行科学计算的基础包。
2. Pandas :为 Python 编程语言提供高性能、易于使用的数据结构和数据分析工具的库。
3. Matplotlib :一个 Python 2D 绘图库，它以多种硬拷贝格式和跨*台的交互环境生成出版物质量数字。
4. Seaborn :基于 matplotlib 的 Python 数据可视化库。它提供了一个高层次的界面来绘制有吸引力的和信息丰富的统计图形。

导入你需要清理、压缩和可视化的 python 包。我已经导入了包，第二部分(作为 pd )只是为了方便，这样我就不用写“ pandas ”。命令“每次我用它的时候。

从路径加载数据:

这里，我使用了 pandas 的 read_csv 函数，该函数返回一个快速有效的 DataFrame 对象，用于集成索引的数据操作。我有两个来自 movies_df 和 credits_df 的数据帧。

movies_df.head() 将显示数据帧的前 5 行。您可以将想要查看的行数传递给 head 方法。看看我们得到的数据框架:

在我们开始寻找这些数据中隐藏的答案之前，我们必须清理数据，为分析做准备。

#1 数据清理过程

数据清理是整个数据准备过程的第一步，也是非常关键的一步，是对杂乱的、原始的数据进行分析、识别和修正的过程。当分析组织数据以做出战略决策时，你必须从彻底的数据清理过程开始。

1. 我们需要删除未使用的列，如 id，imdb_id，vote_count，production_company，keywords，homepage 等。从实际相关且简明的数据中做出决策总是更容易。
   以下是从数据帧中删除冗余列的方法:

2.移除行中的副本(如果有):

3.数据库中的一些电影具有零预算或零收入，这意味着它们的价值没有被记录或一些信息丢失。我们将从数据帧中丢弃这些条目:

4.为了方便地操作这些列，使用 python 对象是很重要的。将发布日期列转换为日期格式，并从日期中提取年份，这将有助于我们分析年度数据。

5.类似地，使用 numpy 的 int64 方法将预算和收入列的格式更改为整数。

6.在检查数据集时，我们看到流派、关键词、生产公司、生产国家、口语都是 JSON 格式，这将在操作数据帧时生成。现在让我们将这些列展*成一种易于解释的格式。

我们将把它们转换成字符串，然后再转换成列表。编写一个通用函数来解析 JSON 列。

清理后，数据如下所示:

#2 确定变量/特征之间的关系

这里的主要目标是识别和建立可以帮助你建立假设的关系。我们必须定义一些能帮助我们建立一些关系的问题。

此时，我在研究这个数据集时产生了以下问题。您可能会提出一系列不同的问题，这些问题没有在下面列出:

1. 哪 5 部电影最贵？两个极端之间的比较？探索最昂贵的电影，它可以告诉你，根据它们的性能和产生的收入，它们是否值得花在它们身上的钱。

2.由于我们需要比较 3 个问题中的最小值和最大值，我们可以编写一个通用函数来完成这项工作，并重用它。

2.最赚钱的 5 部电影？最小利润和最大利润的比较。这种比较有助于我们识别失败和成功的不同方法。如果我从产生的收入中减去预算，它将给出我获得的利润。

3.大多数人谈论电影。

4.电影*均播放时间？两个极端之间的比较。

5.分级在 7 级以上的电影

6.我们哪一年的电影最赚钱？
这将有助于你提出一些更深层次的问题，比如电影在哪些年份表现不佳，在哪些年份表现良好。这些都是初步的问题，这些问题引出了提供更深层次见解的问题。

让我们看看这些年来盈利电影的传播情况

为了找出盈利电影数量最多的年份，我们使用了 idxmax 方法:

这会给我们 2014 年。你可以在 Ipython 笔记本这里查看这些代码片段的所有输出。

现在，我们已经分析了这个数据集包含的内容，是时候尝试构建一个可以根据所选的特征/变量预测电影成功率的故事了。因此，我们需要确定使电影盈利的因素。

以下是一系列问题，可以引导我们朝着理想的方向前进

1. 最成功的类型——柱状图解释了每种类型电影的出现频率。
2. 电影中的常见演员——显示每个演员的电影谱的图。
3. 盈利电影的*均预算——分配的*均预算是多少
4. 最赚钱电影的*均时长。
5. 最赚钱电影的语言。

以上所有问题的答案将帮助我们建立我们的假设，即 “制作一部卖座、赚钱的电影的秘诀是什么？”

在的下一篇文章中，我将讨论如何利用 Matplotlib 和 seaborn 库**来可视化(此过程中的第三步)**上述问题的答案。

我们将在下一部分(下面的链接)用所有的发现和想象来结束调查。

[## 探索性数据分析指南(下)

如何使用 Python 调查数据集？学习如何使用可视化来回答一些重要的问题。

towardsdatascience.com](/hitchhikers-guide-to-exploratory-data-analysis-part-2-36ab72201e1d)

Harshit 的数据科学

通过 Harshit 的数据科学频道，我计划推出几个涵盖整个数据科学领域的系列。以下是你应该订阅频道的原因:

• 该系列将涵盖每个主题和副主题的所有必需/要求的高质量教程。
• 解释了为什么我们在 ML 和深度学习中做这些事情的数学和推导。
• 与谷歌、微软、亚马逊等公司的数据科学家和工程师以及大数据驱动型公司的首席执行官的播客。
• 项目和说明，以实现迄今为止所学的主题。

你可以在 LinkedIn 、 Twitter 或 Instagram 上与我联系(在那里我谈论健康和福祉。)

注意:在这些黑暗的时期，自我隔离为自我提升腾出了一些空间，我们可以利用这些空间来发展新的技能、爱好，并帮助未来的自己。

探索性数据分析指南(下)

原文：https://towardsdatascience.com/hitchhikers-guide-to-exploratory-data-analysis-part-2-36ab72201e1d?source=collection_archive---------12-----------------------

如果您已经到达这里，我相信您已经完成了我们讨论过的第 1 部分

1. 数据清理过程
2. 确定变量之间的关系，并在数据集上定义探索性问题

从我们离开的地方继续，我们现在开始学习可视化如何帮助我们理解数据帧中的数字和模式。我们将使用 Matplotlib——据我和业内一些最好的数据科学家所说，这是最好的 Python 数据可视化库。

重温我们需要回答的问题，

1. 最成功的流派。
2. 电影中频繁的演员阵容。
3. 盈利电影的*均预算。
4. 最赚钱电影的*均时长。
5. 所有盈利电影中使用的语言范围。

深入思考这些问题，你会发现我们需要所有盈利电影的清单。我们现在必须把研究范围缩小到赚钱的电影。这将有助于我们分析什么样的成分组合能产生一部轰动一时的电影。

我想到的下一个问题是，我们如何决定一部电影是否盈利？为此，我选择了一个随机的(但合理的)5000 万美元的利润数字，这是任何电影在盈利电影桶中占有一席之地的标准。

我是这样操纵电影的 _df:

我得到了利润数据框架，它包含了所有利润≥5000 万美元的电影。

来到问题#1

我们在利润数据帧的类型列中有类型列表，我们必须格式化这些字符串，这样我们就可以很容易地得到所有盈利电影中每个类型的数量:

流派栏现在看起来像这样

我们打算绘制一个条形图，帮助我们了解每种类型的电影在盈利电影中的成功之处，并对它们进行排名。

在我们开始绘制图表之前，我们需要了解一些事情。

Subplots: Matplotlib 有 Subplots 的概念，subplots 是一组较小的轴，它们可以一起存在于单个图形中。这些可以是插图、网格图或其他更复杂的布局。

Seaborn :基于 Matplotlib 用 python 编写的数据可视化库。重点是统计图表。该库是可视化单变量和双变量和分布图的良好资源，但 seaborn 有助于构建多图网格，让您轻松构建复杂的可视化。

我们在这里的问题是绘制出每种类型在所有盈利电影中的出现频率。我已经创建了一个熊猫系列，我可以使用 plot.barh()方法绘制它，下面是我是如何做到的:

我创建了一个列表，所有的流派都从“流派”列添加到这个特定的列表中，并扩展了列表 1。然后，我创建了一个系列，在这个系列上我使用了 value_counts()方法，该方法返回一个系列，其中包含每个流派的计数，如上面的要点所示。绘制这个数列给我们一个这样的柱状图

多田…！

从上面的柱状图我们可以看出，喜剧是所有盈利电影中最常见的类型。如果你想在好莱坞或其他电影行业赚点钱，这可以告诉你应该选择哪种类型。

问题 2

在类似的行中，我们能够得到盈利电影中最常见演员的类似情节，如下所示:

看看酒吧情节，塞缪尔·杰克逊是大多数电影成功背后的支柱。

问题 3

同样，我们有每种语言在盈利电影中的使用频率。

正如我们所料，英语是世界上最通用的语言。这很容易，但我们有证据。

除了这些可视化，我们还有其他非常有趣的情节要看。如果你有兴趣了解更多关于这些情节和设计模式所传达的信息，你可以浏览下面的链接。这将帮助你选择最恰当的方式来传达你的发现。

[## 选择一个好的图表

这里有一些我们想出来的帮助你考虑使用哪个图表。它的灵感来自《基因》中的表格…

extremepresentation.typepad.com](http://extremepresentation.typepad.com/blog/2006/09/choosing_a_good.html)

我们需要一些*均值(如问题 4、5 和 6 中所要求的)来总结我们的研究并阐明我们的假设。使用均值函数计算:

1. *均运行时间
2. *均收益
3. *均预算

一旦你有了这个，你就能建立你的假设，在我们的例子中如下:

这是一项非常有趣的数据分析。我们得出了一些关于电影的非常有趣的事实。经过这一分析，我们可以得出以下结论:

对于制片人来说，一部电影要想盈利:

*均预算必须在 6300 万美元左右电影*均时长必须在 114 分钟以上其中任何一位应在演员阵容:塞缪尔·杰克森，罗伯特·德·内罗，摩根·弗里曼，布鲁斯·威利斯类型必须是:动作片，冒险片，惊悚片，喜剧片，剧情片。通过这样做，这部电影可能会成为热门电影之一，因此*均收入约为 2.62 亿美元。

因此，在研究了 TMDB 数据集后，我们得出了以下结论。

PS:我希望这一系列的帖子能帮助你开始用你有的其他一些有趣的数据集进行探索性的数据分析。如果您对上述任何内容有任何问题/意见/想法，请在下面发表评论。

HMTL -解决自然语言处理任务的多任务学习

原文：https://towardsdatascience.com/hmtl-multi-task-learning-for-solving-nlp-tasks-cfae39b3d6e1?source=collection_archive---------11-----------------------

通过在任务间转移知识实现 SOTA 结果

自然语言处理领域包括许多任务，其中包括机器翻译、命名实体识别和实体检测。虽然不同的 NLP 任务通常是分别训练和评估的，但是将它们合并到一个模型中存在潜在的优势，即学习一个任务可能有助于学习另一个任务并改善其结果。

分层多任务学习模型( HMTL )提供了一种学习不同 NLP 任务的方法，首先训练“简单”的任务，然后使用这些知识训练更复杂的任务。该模型展示了几个任务的最新表现，并对模型每个部分的重要性进行了深入分析，从单词嵌入的不同方面到任务的顺序。

背景

*年来的几篇论文表明，结合多个自然语言处理任务可以产生更好和更深层次的文本表示。例如，识别句子中的实体，如地名或人名，有助于在后续句子中找到对它们的提及。然而，并非所有的 NLP 任务都是相关的，选择对其他任务有益的相关任务是很重要的。

HMTL 模型关注四个不同的任务:命名实体识别，实体提及检测，共指消解，关系抽取。

1. 命名实体识别(NER) -识别文本中的实体类型(如个人、组织、位置等。)
2. 实体提及检测(EMD)——NER 的扩展版本，识别任何与现实生活中的实体相关的提及，即使它不是一个名字。
3. 共指消解(CR)——对同一实体的提及进行识别和分组。
4. 关系提取(RE) -识别实体并对它们之间的关系类型进行分类(如果存在)。关系的类型可以在这里找到。由于 RE 和 CR 在语义上的相似性，它们都在同一层级上。

下面的文字说明了任务之间的区别(一个很棒的演示可以在这里找到):
我们在西班牙的时候，我妈妈教我如何开车。她还解释了如何给它加油

所有四项任务都与识别文本中的实体以及它们之间的关系有关，具有不同的复杂程度——而 NER 是最简单的一项，认知无线电和认知无线电需要对文本有更深的理解。因此，学习一项任务可能有助于学习其他任务。

HMTL 模式

HMTL 是一个层次模型，在这个模型中，最初简单的任务，如 NER，被学习，然后他们的结果被用来训练接下来的任务。每个任务由三个部分组成:单词嵌入、编码器和特定于任务的层。

该模型的基础是使用三种模型将输入句子中的每个单词嵌入向量的单词表示法:

1. 手套 —预先训练的单词嵌入。这个模型中的单词没有上下文，给定的单词总是用相同的向量表示。
2. ELMo —预训练的上下文单词嵌入。单词的矢量表示不仅取决于单词本身，还取决于句子中的其他单词。ELMo 是胶水基准中表现最好的模特之一。
3. 字符级单词嵌入-一种卷积神经网络，它根据字符级特征学习表示单词。这种表示对形态特征(前缀、后缀等)更敏感，形态特征对于理解实体之间的关系很重要。

此外，每个任务都用专用的编码器进行训练——这是一个多层递归神经网络，可以生成为任务量身定制的单词嵌入。编码器使用双向 GRU 单元网络实现，其输出是前向和后向网络最后一层的级联。编码器的输入由基本单词表示和前一个任务编码器的输出(如果可用)组成。

在编码器之上，每个任务使用不同的神经网络，如下所述:

1. 前两个层次(NER 和 EMD)使用一个条件随机场，根据一个词的相邻词的类型来预测该词的实体类型。该算法背后的概念是，它为句子中的所有单词 a 一起找到实体的最佳组合。很好的解释这个算法可以在这里找到。
2. 在共指消解(CR)中，模型首先计算每个单词序列(“span”)成为前一个 span 的提及的可能性，例如，代词比动词更有可能成为提及。然后，它挑选前 N 个跨度，并计算每个跨度组合的得分，以形成一对。每个跨度最多可以是一个跨度的引用，通过使用 softmax 实现。在没有找到配对的情况下，添加一个伪令牌。
3. 关系提取(RE)任务使用一个图层来计算每对标记匹配每种关系类型的概率(总共为 T * R_types 个概率)。该模型使用 sigmoid 函数，而不是 softmax，以允许每个令牌有多个关系。

训练分层模型的挑战之一是灾难性遗忘，在这种情况下，训练新任务会导致模型“忘记”以前的任务，并对它们实现降级的性能。HMTL 通过在当前任务的训练过程中(每次参数更新后)随机选取一个先前的任务，并在随机任务数据集中的随机样本上训练模型，来处理灾难性遗忘。选择一项任务进行训练的概率并不一致，而是与其数据集的大小成比例，这是一种作者发现更有效的技术。

数据集

该模型在几个数据集上进行训练以进行比较，其中两个关键数据集是 NER 的 OntoNotes 5.0 和其余任务的 ACE05。ACE05 用于两种配置——常规和金牌提及(GM ), GM 配置由两部分组成:

1. 共指消解(CR)任务的评估基于人工提取的黄金提及，而不是自动提及。这些提及的生成成本更高，并且无法用于大多数数据集。根据这篇论文，在评估中使用黄金提及可以提高 CR 的性能。
2. 使用用于训练 RE 和 EMD 任务的相同数据集(ACE05)的不同分割来训练 CR 任务。使用不同的分割可以帮助模型学习更丰富的表示。

结果

该论文声称，通过使用黄金提及(GM)配置训练完整模型，在实体提及检测(EMD)和关系提取(RE)方面取得了最先进的结果。根据该论文，在训练中使用 GM 配置将 CR 任务的 F1 分数提高了 6 分，同时将 EMD 和 re 任务提高了 1-2 分。

该论文还声称在命名实体识别方面取得了最先进的结果，尽管最*的 BERT 模型似乎取得了略好的结果。然而，很难比较这两者，因为 HMTL 模型没有针对伯特使用的数据集进行微调。伯特的总结可以在这里找到。

这篇论文的另一个有趣的结果是减少了达到相同性能所需的训练时间。完整模型(含 GM)比大多数单一任务(NER (-16%)、EMD (-44%)和 CR (-28%)需要的时间少，但比 RE (+78%)需要的时间多。

关于 GM 配置的一个可能的担心是“信息泄漏”——由于不同的分割，用于训练一个任务的记录可能稍后被用作另一个任务的测试。关于这些记录的知识可能存储在一个共享层中，从而允许人工改进结果。

消融研究

任务组合多任务训练的贡献似乎是不确定的，取决于任务:

1. 不同的任务通过不同的任务组合获得了最好的结果，这意味着没有一个占优势的组合。
2. 在低级任务中，等级模型的好处很小(低于 0.5 F-1 分)。
3. 最大的改进是在 RE 任务中实现的，超过 5 个 F-1 点。一种可能的解释是，EMD 任务在 re 任务之前被训练，并且学习识别与 RE 任务几乎相同的实体。

Task combinations comparison

单词表示
如前所述，该模型的基础是单词表示，它由三个模型组成——GloVe、ELMo 和字符级单词嵌入。这些模型的选择对模型性能也有很大的影响，如下表所示。Elmo 嵌入和字符级嵌入给大多数任务的 F-1 分数各增加 2-4 分。

Comparison of Word representation (Source: Sanh et al.)

结论

本文介绍了一种有趣的技术，它将看似独立的 NLP 任务和技术结合起来，以在语言分析中获得最佳结果。这些结果强调了对该领域进行进一步研究的必要性，因为目前很难理解何时特定的 NLP 任务可以有助于改善不相关的 NLP 任务的结果。

特别感谢本文作者之一 Victor Sanh，他对 HMTL 的运作提出了宝贵的见解。

与产品团队召开有效的分析会议

原文：https://towardsdatascience.com/holding-effective-analytics-meetings-with-product-teams-2f792add1cf9?source=collection_archive---------4-----------------------

2015 年，我在游戏分析峰会上做了一个演讲，讲述了我在黎明游戏与不同游戏团队合作的经历。从那以后，我一直与电子艺界和 Twitch 的产品团队合作，并想为这次演讲提供一个更新。大多数科技公司现在都有分析团队，但将数据见解转化为可操作的结果通常很有挑战性。

我在 Daybreak Games 面临的挑战是，我在营销组织中领导一个中央分析团队，该团队需要与位于圣地亚哥和奥斯汀的游戏工作室合作。我们在产品团队中嵌入了分析师，但需要更多的结构来使工作室领导更加了解数据。我们努力实现这一目标的一种方式是改进分析团队与产品团队安排和举行会议的方式。

在重新设计如何安排会议时，我们会提出以下问题:

1. 我们应该与产品团队共享哪些数据？
2. 我们应该何时以及如何共享数据？
3. 我们如何根据数据洞察采取行动？

为了确保分析团队能够与产品团队有效沟通，我们需要确定一组产品 KPI(关键性能指标),作为讨论的起点。如果没有首先决定如何跟踪产品性能，以及了解不同 KPI 之间的关系，您就有可能会因为关于跟踪什么是重要的问题而使会议偏离轨道。在《黎明游戏》中，我们提出了六个指标，在我们所有的游戏中进行跟踪，并利用这些 KPI 建立了工作室可以访问的自动化报告。我们确实担心的一个问题是，在整个公司范围内分享太多关于敏感话题的信息，比如公司财务状况。我们的方法是将所有报告和数据提供给工作室负责人，并为游戏团队的所有成员提供对特定游戏报告的访问。

一旦我们决定了如何与产品团队沟通，我们需要决定如何通过会议与团队合作。我们提出了三种方法，将在下一节详细讨论。这些不同会议的目标是确保我们能够向产品团队介绍我们的 KPI，定期检查性能，同步新功能的计划，并根据分析团队的发现提出建议。我们希望提供足够的结构，以便产品团队认为会议提供了关于产品性能的足够详细的信息，而不是默认向分析师提出特别的请求。

第三个挑战是让产品团队响应来自报告和分析的数据。我们最初的重点是让工作室领导可以访问自动报告，并让产品团队在分析会议中领导更多的讨论。这种成功因游戏团队而异，因为领导者有不同的背景和技术专长，但作为一家公司，我们在成为数据信息公司方面取得了一些进展。我们采取的另一种方法是直接与游戏团队合作，将分析团队提出的模型产品化。这包括对游戏内信息系统、营销工作和游戏内市场的改进。

在 Electronic Arts 和 Twitch，由于这些公司的规模，我在与产品团队合作时遇到了不同的问题。大多数产品团队已经确定了一组要跟踪的 KPI，但是不清楚跨团队的不同 KPI 是如何交互的。如果度量标准之间的关系不清楚，那么会议可能会因为讨论产品的分食或对归属的关注而偏离轨道。为了解决电子艺界的这一问题，我们必须更好地了解 EA Access 订阅服务和 Xbox One 游戏销售之间的关系，而在 Twitch，我们必须更深入地了解网络和移动观众之间的关系。一旦就这些不同的 KPI 如何交互达成一致，分析团队就能够召开更有效的会议。

分析会议

在修改了我们的 KPI 并在 daken Games 上报告之后，分析团队开始与产品团队召开以下类型的会议:

1. 分析 101
2. 数据 Scrum 会议
3. 数据洞察会议

我们安排的第一类会议是与产品团队的领导一起审查我们的新报告工具，并解释我们重点跟踪的一组 KPI。然后，我们向公司的每个人开放了这些会议，并倡导更多地了解数据。这些分析 101 会议的目标是确保公司的每个人都知道我们在跟踪什么以及为什么。我们还举办了分析办公时间，产品团队的成员可以在这里学习如何获得更多的数据。

我们安排的第二组会议是每周与数据团队进行的简短的检查，称为数据 scrum 会议。我们为每个游戏都开了一次会，与会者包括来自不同学科的领导，包括设计、工程和品牌。这些会议的目标是跟踪标题的表现，并讨论更新(如促销活动)如何影响 KPI。在 Twitch，我们也利用这种类型的会议来讨论即将推出的功能，并确保我们对即将推出的新功能有跟踪规格和实验计划。数据 scrums 对于回顾分析团队在过去一周调查的特别请求，以及与更广泛的团队分享结果也很有用。

我们不想让自己的会议太多，所以我们尽量缩短 data scrum 会议，并根据需要安排 data insights 会议，当有更多实质性的结果需要讨论时。这类会议的目标是讨论分析的结果，为什么它很重要，并讨论如何根据发现做出响应。例如，我们可能希望根据对季节性商品销售的分析，对某个游戏市场进行更改。在电子艺界，我们会有类似的会议，通常可交付的是会后共享的幻灯片。Twitch 使用了一种不同的方法，分析团队会写一份长格式的报告，通过电子邮件发送给团队，然后根据产品团队的反馈召开会议。当 A/B 实验有冲突的结果时，数据洞察会议是有用的，并且产品团队需要确定是否全面推出该功能。

分析团队通常也参与每月的业务回顾会议，但通常不是与产品团队合作的好论坛。这些会议往往侧重于向高管提供细节，并往往侧重于产品路线图，而不是解释过去的业绩。

为了让分析师有效地与产品团队合作，重要的是要有足够的结构，让团队能够有效地交流产品性能，有机会在必要时分享发现，并能够跟进可操作的结果。在 Daybreak Games，我们通过标准化 KPI 和设置自动报告、安排教育会议来宣传我们的新方法、召开简短的定期会议来检查团队，以及根据需要安排会议来讨论深入分析来实现这一目标。

根据我在 Twitch 和 Electronic Arts 的经验，我对这条建议的主要改变是，鼓励通过 slack 等工具进行更频繁的沟通，而不是依赖数据 scrums 会议，并通过书面报告而不是甲板来分享结果。

一个人在家？在家用 Alexa，Echo 和 HomePod 重新定义隐私

原文：https://towardsdatascience.com/home-alone-redefining-privacy-with-alexa-echo-and-homepod-at-home-5bf2dc303417?source=collection_archive---------11-----------------------

Photo by Serge Kutuzov on Unsplash

“毫无疑问，销售这些产品的科技巨头将继续调整它们，希望避免类似的结果。然而，一个根本性的挑战依然存在:如何让那些靠便利推销自己的技术了解我们私人世界的复杂性和细微差别？”默里·古尔登，《对话》

我通常不喜欢引用别人的话来开始文章，但我认为古尔登先生很好地说明了当前个人语音命令设备上的隐私和大规模消费领域正在发生的事情。

你对家居(科技)的未来有多兴奋？人工智能驱动的虚拟助理和语音控制的设备正在权衡一场战争，看看谁将接管你的家庭命令。一个连接到你的 wifi 的设备，在云端存储数据，检查你的日常习惯，并以你的购物行为为食，这似乎是我们都在等待的完美的工程营销特洛伊木马。不是。

进入外观

虽然科技的未来似乎总是光明的，但人们似乎很容易开始怀疑反乌托邦的场景，几十年前乔治·奥威尔和雷·布雷德伯里等人就已经很好地描述了这种场景。这些设备从零售商到我们的家庭都是直接成型的，丝毫没有忽视对消费者的真正影响。进入Echo Look *，*亚马逊的新宝贝以及从纯音频到集成摄像头的交互设备的明显演变。完美的自拍杆不仅可以从 Alexa 收集音频请求，还可以拍照，以便比较你每天穿的衣服。是的，它通过使用机器学习，比较你在某一天、某一周或某个月做出的所有服装选择，学习你的购买行为并给你建议。奇特又恐怖。

变聪明:世界不是你的

可以肯定地说，对于亚马逊这样的大公司来说，数据收集是唯一重要的事情，亚马逊在说明他们在云服务器上实际存储了什么样的信息方面做得很差。虽然数据收集听起来是一项巨大的投资，但机器学习甚至更好。每个人都在这么做，所有的大品牌、社交媒体巨头和通信巨头都已经在这项技术上投入了巨资。

脸书旗下的 WhatsApp messenger 应用程序能够学习你的部分对话(音频或文本)，这些对话是向你推销商品或给你推荐的基础。你提到过你和你的家人最*度假时发现的那个好地方吗？你和朋友讨论过未来去伦敦旅行的可能性吗？那么下次你登录你的脸书账户时，不要惊讶地看到你和你重要的人私下谈论的特定事情的广告或赞助内容。

开始重新定义供应商和消费者之间的关系是双方的责任。随着这些学习和识别技术的不断发展，我们必须开始要求我们的提供商在数据收集方面更加透明。从零售商的角度来看，解构和简化语言是日常消费者正确的第一步。细则应该停止微妙，让每个人都阅读所有的含义时，处理这种设备。

房屋改造分析转变为 Python 中的 Excel 数据处理

原文：https://towardsdatascience.com/home-remodeling-analysis-turned-excel-data-handling-in-python-e1115f8302e4?source=collection_archive---------25-----------------------

为什么清理数据是最重要的步骤

原始项目任务:寻找有趣的见解，了解改造市场的发展方向

项目任务(Twist): 如何用 Python 处理修剪良好的 excel 数据(剧透:整齐是骗人的词)

时间线:一周(我告诉你，如果你像我一样是 DS 新手，一周是不够的

针对最初目标的项目调查结果:

• 这些数字看起来很稳定，只是在优先级上有所调整
• 加州帕洛阿尔托的*均成本远高于全国*均水*
• 最大的全方位服务改造公司所在的州

**关于数据处理的发现:**熊猫(Python)有解决方案，生活还没绝望！

数据:探索不同来源的公开可用数据——哈佛大学联合住房研究中心、重塑杂志，并从 Hinkle 建筑公司的网页上获取加州帕洛阿尔托及其周边地区的*均项目成本。

方法:Python——主要使用 Pandas、Matplotlib、Seaborn 进行数据角力、基础统计和可视化。

这篇文章的顺序将是首先谈论我们从家庭改造数据中得到的结果。稍后，我们也将经历数据清理的斗争。

下图显示了不同类别的家庭装修的全国*均支出。数据显示,“客房增加”是最受欢迎的类别。在过去的 15 年中，这一类别的支出在 2005 年达到顶峰，*均支出约为 2.5 万美元。最低点是在 2011 年，支出降至 1.2 万美元以下。自那以后，市场似乎正在复苏。从 1995 年到 2005 年，房主在房屋扩建上的支出在 20 年内增长了 62%以上。另一个相对较大的变化是厨房改造，支出从 1995 年到 2015 年翻了一番，并在 2007 年达到顶峰。

Source: Joint Center for Housing Studies at Harvard

当我得到上述结果时，我很想知道在我居住的地方，房主的*均支出。考虑到时间限制，我找不到与上图直接可比的数据，只能找到我们地区这些项目的*均值。

下面的条形图描绘了加利福尼亚州帕洛阿尔托市内及周边不同类型的房屋装修的*均成本。费用明显高于全国*均水*。增加一个 144 *方英尺的新房间，花费超过 5 万美元。主要的厨房改造也同样昂贵，为 5 万美元。

Source: Hinkle Construction Inc’ website

对于前两个图，如果感兴趣，请检查所附的 python 文件。

我不得不找出谁是装修行业最大的玩家。《重塑杂志》在这一领域进行了深入的研究。该杂志的重塑 550 部门收集数据，并根据前几年的收入宣布重塑业务的获胜者。用他们自己的话说:“2017重塑 550 有四个列表，每个列表都在下面的一个标签中显示，并显示全方位服务的重塑者、替代承包商、保险修复公司和特许经销商中的谁是谁。公司排名基于其 2016 年改造产生的收入；不按公司毛收入。

我只调查了 2017 年的全服务公司。该排名基于 2016 年的收入(2018 年的榜单要到 2019 年 5 月才会公布)。

该条形图显示了全国重塑业务中最突出的 15 家公司(总共 340 家)。

Source: Remodeling magazine

不出所料，这些公司中有相当一部分位于加州。

Source: Remodeling magazine

最后的情节只是为了好玩。我运行了一个相关矩阵，以了解收入、排名和其他变量之间的相互关系。阴影显示相关系数的强度。比如:排名(' # ')和营收高度负相关。不要在这里混淆。我们都知道排名是如何工作的:数字越低，排名越好(1 是最好的)。所以，收入越高，数字越低(比如 1)，意味着排名越高。

以下是我在 Jupyter 笔记本上为以上情节所做的工作。

现在，让我们像承诺的那样谈谈数据争论/清理斗争部分。我为这个项目收集的数据的一些背景:

• 我下载了比我实际需要/可以及时处理的多得多的数据
• 我认为更多的数据总是意味着更好的结果
• excel 中漂亮、整洁的数据意味着 Pandas/Python 中更少的清理。不对！第一个错误。
• 我的数据分布在 4 个不同文件的 26 个 Excel 表格中(我不是开玩笑)

**整洁的 Excel 表格中的问题:**这些是我遇到过的问题，所以要小心，可能还有更多我还没有遇到的问题。

Impressively neat excel data

• 空单元格:Excel 在让单元格为空时更灵活，但你的熊猫阅读功能不会喜欢它。它在嘲笑你，就像“告诉过你，现在就去对付南方人！”
• 页眉:excel 中干净的页眉在 Pandas 中不一定意味着什么。您检查实际的列名，不要惊讶实际的列名与 excel 标题中显示的有很大不同！更改列名。列数越多，工作量越大。
• 另一个类似的问题是，当除了第一列之外的所有列都有列名时(在 excel 中，如果是分类变量列，这仍然有意义)，但是在 Pandas framework 中对这样的列进行操作是一个问题。

• 啊！那些看起来整洁的数值！不要被骗了。你将不得不应付每一个。单身。号外。东西。你在这两个数字之间。可以是美元符号、逗号等等。熊猫把它看做一个物体，这是一个问题。你不可能用它达到任何统计/数学目标。你必须把它转换成 int/float 才能使用。

我从这个项目中学到了什么:

• 想想时间线，不要有额外的野心。选择一个可行的数据集。与其选择多个数据集，不如选择一个，想想有多少种方法可以操纵/分析它。
• 围绕项目可交付成果对工作进行优先级排序。当你陷入我这种有很多零碎数据的情况时，重新安排你的目标的优先次序，遵循倒金字塔原则:先做最重要的工作。
• 您不必总是将 excel 文件转换为. csv。有一种更简单的方法可以直接导入所需的工作表。它只需要一个工作路径名。
• 求助。作为 Python 的初学者，我比我希望的更经常地挣扎。但是向你的同事/导师/经理寻求帮助可能会给你提供有价值的见解和针对单一问题的多种解决方案。
• 当你遇到困难时，在 excel 中解决问题比花时间在 Python 中解决问题更容易。但是，我告诉你，在熊猫身上，不付出并以正确的方式得到回报是值得的。
• 您需要知道什么样的可视化适合您的数据。Python 中有很酷的可视化库，但是没有一个很酷的图形适用于您的数据，这没关系。当看到大错误时，不要忽视它。

在上图中，我试图描绘出所有 340 家重塑公司，它们的收入，工作数量和*均工作价格。这是无效的比较类型。尊重错误，深入挖掘，才知道什么样的图更适合你的数据表示。简单并不意味着坏，因为花哨并不总是意味着更好(好吧，可能是葡萄酸在这种情况下，因为我不能得到一个花哨的情节，但我说的是真的)。

对我来说，第一个项目是一个很大的学习曲线。但在培训中，我成为了一名更强大、准备更充分的数据科学家，再也不会以同样的眼光看待 excel 数据表了。:-)

芝加哥凶杀案:数据故事第一部分

原文：https://towardsdatascience.com/homicide-in-chicago-data-storytelling-part-one-e6fbd77afc07?source=collection_archive---------12-----------------------

数据清理

在过去的几年里，芝加哥经常出现在新闻中，尤其是因为最*枪支暴力导致的谋杀案激增。作为芝加哥的居民，我知道这些枪击事件大多局限于该市的某些地区，但为了真正了解这种暴力的真实性质，我决定深入挖掘芝加哥市的数据。

很可能因杀人被捕的几率不到一半。如果你是住在高犯罪率地区的罪犯，这种可能性会大得多。

这篇博文分为两部分。第一部分包括数据清理，第二部分在这里找到进入数据探索和可视化。

我在 Jupyter 笔记本上使用 Python 进行了数据清理、探索和可视化，希望在这个过程中发现一些有趣的见解。我也用过下面的 python 库。完整的笔记本、支持代码和文件可以在我的 GitHub 中找到。

*# import modules*
**import** **numpy** **as** **np**
**import** **pandas** **as** **pd**
**from** **pandas** **import** *
**import** **os**
**import** **matplotlib.pyplot** **as** **plt**
**import** **seaborn** **as** **sns**
%**matplotlib** inline
**import** **datetime**
**from** **scipy** **import** stats
sns.set_style("darkgrid")
**import** **matplotlib.image** **as** **mpimg**
**from** **IPython.display** **import** IFrame
**import** **folium**
**from** **folium** **import** plugins
**from** **folium.plugins** **import** MarkerCluster, FastMarkerCluster, HeatMapWithTime

我使用了下面链接的芝加哥市数据门户网站的公开数据，来探索芝加哥从 2001 年 1 月到 2018 年 2 月的犯罪情况。

数据来源:

• https://data . city of Chicago . org/Public-Safety/Crimes-2001 年至今/ijzp-q8t2
• https://data . city of Chicago . org/Public-Safety/Boundaries-Police-Beats-current-/aerh-rz74

笔记本工作流程如下:

1. 将数据集加载到 pandas 数据框架
2. 数据探索和清理
3. 洞察提取
4. 结论

来自城市数据门户的原始数据集。CSV 格式，但对我的笔记本电脑资源来说太大了(1.5 GB)。我无法在内存中容纳整个文件，所以我使用 pandas 的 TextFileReader 函数，该函数允许我以 100，000 行的块加载大文件，然后将这些块连接回一个新的数据帧。

加载数据集后，我使用了 panda 的一些内置函数来探索数据的特征，如下所示。

 *# use TextFileReader iterable with chunks of 100,000 rows.*
tp = read_csv('Crimes_-_2001_to_present.csv', iterator=**True**, chunksize=100000)  
crime_data = concat(tp, ignore_index=**True**)  

*# print data's shape*
crime_data.shape# Output:
(6546899, 22)

接下来，我们查看列的基本统计信息

crime_data.info()Output:<class 'pandas.core.frame.DataFrame'>
RangeIndex: 6546899 entries, 0 to 6546898
Data columns (total 22 columns):
ID                      int64
Case Number             object
Date                    object
Block                   object
IUCR                    object
Primary Type            object
Description             object
Location Description    object
Arrest                  bool
Domestic                bool
Beat                    int64
District                float64
Ward                    float64
Community Area          float64
FBI Code                object
X Coordinate            float64
Y Coordinate            float64
Year                    int64
Updated On              object
Latitude                float64
Longitude               float64
Location                object
dtypes: bool(2), float64(7), int64(3), object(10)
memory usage: 1011.5+ MB

下一行代码预览数据帧的前 5 行。

crime_data.head()

关于数据的观察。

• 从上面的单元格中，我们可以看到有 22 列和 600 多万行，但同样重要的是，我们可以看到每一列中使用的数据类型。
• 这一步很重要，有助于我们发现是否需要将数据类型更改为更适合我们特定需求的格式。例如，日期列可能需要更改为 python 的 datatime.datetime 格式，以提取月份、时间和星期几信息。
• 我们还可以从主要类型栏中看到，我们的研究主题(凶杀)与其他犯罪混合在一起，因此在某些时候我们必须将凶杀放在单独的表格中。
• 通过观察上面的输出，我们可以获得的另一条信息是，数据集中的一些列在重要性上重叠，因此在最终的 dataframe 配置中保留所有这些列是没有意义的。
• 从内存的角度来看，这也会使我们的数据帧不那么庞大。将这种臃肿的配置输入到机器学习(ML)任务中是一种糟糕的做法，因为它无助于模型对数据进行良好的概括。

*# preview all crime variables in the "Primary Type" column*

crimes = crime_data['Primary Type'].sort_values().unique()
crimes, len(crimes)

芝加哥警区地图与所有犯罪地理位置散点图

• 我对凶杀案的数字感兴趣，但我仍然想知道整个城市的总体犯罪率是如何分布的。有多种方法可以做到这一点，但我还是创建了一个散点图，绘制了数据集中所有犯罪地理位置(X 和 Y 坐标),并将其绘制在城市的地理地图上。
• 我还使用了警区作为色调，以更好地了解城市不同社区的犯罪分布情况。
• 我本可以使用社区区域或选区将城市细分为不同的区域，但这两个变量在可用时间框架(2001-2018)的持续时间内缺少大量数据点。
• 使用替代列意味着我们必须删除其他行中的大量数据，多达 600，000 多行，而这恰好是数据集的 10 %。有点太多的数据丢失，可能还有重要的信息。

*# Created a scatter plot of X and Y coordinates vs all crime data available in the dataset*

crime_data = crime_data.loc[(crime_data['X Coordinate']!=0)]

sns.lmplot('X Coordinate', 
           'Y Coordinate',
           data=crime_data[:],
           fit_reg=**False**, 
           hue="District",
           palette='Dark2',
           size=12,
           ci=2,
           scatter_kws={"marker": "D", 
                        "s": 10})
ax = plt.gca()
ax.set_title("All Crime Distribution per District")

• 从上面的可视化效果中，我们可以看到来自地区网络的图像和数据集中所有犯罪数据地理位置的散点图，从而生成了芝加哥地图的副本图像。
• 散点图中有一些缺口，但这些地方没有连续的人类活动，如河流、港口和机场。
• 芝加哥警方过去将芝加哥的绝大多数凶杀案归因于帮派暴力，所以我从主要类型列中分组了 4 种通常与帮派活动有关的犯罪，并创建了散点图，以查看它们在整个城市中是否有相似的地理分布。这四种罪行是杀人罪、私藏武器罪、毒品和武器罪，其情节如下所示。

*# create and preview dataframe containing crimes associated with gang violence*

col2 = ['Date','Primary Type','Arrest','Domestic','District','X Coordinate','Y Coordinate']
multiple_crimes = crime_data[col2]
multiple_crimes = multiple_crimes[multiple_crimes['Primary Type']\
                  .isin(['HOMICIDE','CONCEALED CARRY LICENSE VIOLATION','NARCOTICS','WEAPONS VIOLATION'])]

*# clean some rouge (0,0) coordinates*
multiple_crimes = multiple_crimes[multiple_crimes['X Coordinate']!=0]

multiple_crimes.head()

接下来，我将该组中每起犯罪的地理分布散点图可视化，以了解这 4 起犯罪在整个城市中的分布情况。

# geographical distribution scatter plots by crime
g = sns.lmplot(x="X Coordinate",
               y="Y Coordinate",
               col="Primary Type",
               data=multiple_crimes.dropna(), 
               col_wrap=2, size=6, fit_reg=**False**, 
               sharey=**False**,
               scatter_kws={"marker": "D",
                            "s": 10})

• 看起来毒品和武器违规犯罪在整个城市都很常见，但是杀人和隐蔽携带违规犯罪有一个特定的地理模式开始出现。
• 在左上角和底部有两个区域似乎发生了犯罪集群，这是一个很好的观察结果，但得出任何鼓舞人心的结论还为时过早。
• 也可能是毒品犯罪在帮派活动之外更为常见，就凶杀案而言，它并不能真正告诉我们任何事情。这将成为机器学习预测任务的一个好主题。

在进行了一些基本的观察之后，是时候检索一个包含凶杀案数据的数据框架并做一些数据清理了，然后我才能继续深入研究它。

*# create a dataframe with Homicide as the only crime*

df_homicideN = crime_data[crime_data['Primary Type']=='HOMICIDE']
df_homicideN.head()

*# print some attributes of our new homicide dataframe*

df_homicideN.info()<class 'pandas.core.frame.DataFrame'>
Int64Index: 8975 entries, 641 to 6546894
Data columns (total 22 columns):
ID                      8975 non-null int64
Case Number             8975 non-null object
Date                    8975 non-null object
Block                   8975 non-null object
IUCR                    8975 non-null object
Primary Type            8975 non-null object
Description             8975 non-null object
Location Description    8975 non-null object
Arrest                  8975 non-null bool
Domestic                8975 non-null bool
Beat                    8975 non-null int64
District                8975 non-null float64
Ward                    8594 non-null float64
Community Area          8594 non-null float64
FBI Code                8975 non-null object
X Coordinate            8893 non-null float64
Y Coordinate            8893 non-null float64
Year                    8975 non-null int64
Updated On              8975 non-null object
Latitude                8893 non-null float64
Longitude               8893 non-null float64
Location                8893 non-null object
dtypes: bool(2), float64(7), int64(3), object(10)
memory usage: 1.5+ MB

找到数据帧中的所有空值，以便进一步清理。

*# find null values in our dataframe*

df_homicideN.isnull().sum()# OUTPUTID                        0
Case Number               0
Date                      0
Block                     0
IUCR                      0
Primary Type              0
Description               0
Location Description      0
Arrest                    0
Domestic                  0
Beat                      0
District                  0
Ward                    381
Community Area          381
FBI Code                  0
X Coordinate             82
Y Coordinate             82
Year                      0
Updated On                0
Latitude                 82
Longitude                82
Location                 82
dtype: int64

从上面的单元格我们可以观察到:

• 我们现在总共有 8981 行数据，7 列包含空值。
• 选区和社区区域列有 386 个空值，而区的空值为零。就绘制地理比较而言，我选择了地区列，因为它似乎更容易获得。然而，对于数据清理，人们总是必须权衡保留或丢弃数据的利弊，规则不是一成不变的，而是我们必须使用我们最好的判断和测试测试。
• 我总共有 463 行包含一个或多个空值。
• 接下来，我从数据帧中删除了所有包含空值的行，以便能够对数据集执行不同的数据转换。

*# drop null values and confirm*

df_homicide = df_homicideN.dropna()
df_homicide.isnull().sum().sum()# OUTPUT
0

接下来，我创建了一个要保存的列列表，并用新列更新了数据帧。

*# create a list of columns to keep and update the dataframe with new columns*

keep_cols = ['Year','Date','Primary Type','Arrest','Domestic','District','Location Description',
             'FBI Code','X Coordinate','Y Coordinate','Latitude','Longitude','Location']

df_homicide = df_homicide[keep_cols].reset_index()
df_homicide.head()

删除空列后，我用我认为最有助于理解芝加哥凶杀案的列更新了数据框架。

• 我应该提到，新的见解可能会导致我们回去重新检查我们放弃的列，但现在我们应该没问题。
• 下面我使用 pandas datetime 函数从 Date 列中提取一些时间变量。这些新列给了我额外的维度来可视化数据，也许还有新的见解。

*# change string Date to datetime.datetime format*

df_homicide['Date'] = df_homicide['Date'].apply(**lambda** x: datetime.datetime.strptime(x,"%m/**%d**/%Y %I:%M:%S %p"))
df_homicide.head()

*# create new columns from date column -- Year, Month, Day, Hour, Minutes, DayOfWeek* 

df_homicide['Year'] = df_homicide['Date'].dt.year
df_homicide['Month'] = df_homicide['Date'].dt.month
df_homicide['Day'] = df_homicide['Date'].dt.day
df_homicide['Weekday'] = df_homicide['Date'].dt.dayofweek
df_homicide['HourOfDay'] = df_homicide['Date'].dt.hour

df_homicide = df_homicide.sort_values('Date')
*# print columns list and info*

df_homicide.info()

到目前为止，我已经创建了一个更精简的熊猫数据框架，只包含原始犯罪数据框架中的相关数据。在下一节中，我们将尝试探索和可视化新的凶杀数据框架。

泡菜数据

现在，我们已经执行了一些数据清理，我们可以开始将其可视化，以获得芝加哥犯罪的更大图片。为了能够从我们停止的地方继续，我以 pickle 形式存储了新数据，这是 Python 中一种将对象保存到文件中供以后检索的方法。Pickling 通过将对象写成一个长字节流来实现这一点。

*# save cleaned data to pickle file* 
df_homicide.to_pickle('df_homicide.pkl') 
print('pickle size:', os.stat('df_homicide.pkl').st_size)# load pickled data 
df_homicide = pd.read_pickle('df_homicide.pkl')

这个芝加哥犯罪数据集的数据探索和可视化将在本帖的第二部分继续。

芝加哥凶杀案:数据故事第二部分

原文：https://towardsdatascience.com/homicide-in-chicago-data-stroytelling-part-two-e8748602daca?source=collection_archive---------10-----------------------

Image via Wikipedia

数据探索和可视化

这是关于芝加哥凶杀案的数据故事的第二部分，这是最*的一个热门话题，包括特朗普总统在 2017 年竞选时提到的。作为芝加哥人，每次我遇到来自其他州的人，他们都会情不自禁地和我谈论这个城市的谋杀率，但很少有人从数据意识的角度提起这个话题。

在本系列的第一部分中，我清理了犯罪数据，但现在我将尝试从这些数据中提取一些见解。在这一节中，我将使用前一节中新创建的熊猫数据帧来描绘芝加哥市的凶杀案。

芝加哥最危险的地方是街道上，在夏天，周末，晚上 11 点到凌晨 2 点。

整个城市的犯罪分布

我们首先想看到的是按警区分组的整个城市的凶杀犯罪分布。

为此，我们将使用 Seaborn 。我们将从第一部分中早期的散点图中获得灵感，按地区可视化 2001 年至 2018 年 2 月的所有凶杀案。下面是代码和结果图。

*# plot all homicides in dataset by location per District*df_homicide = df_homicide.loc[(df_homicide['X Coordinate']!=0)]sns.lmplot('X Coordinate',
           'Y Coordinate',
           data=df_homicide[:],
           fit_reg=**False**, 
           hue="District", 
           palette='Dark2',
           size=12,
           ci=2,
           scatter_kws={"marker": "D", 
                        "s": 10}) 
ax = plt.gca()
ax.set_title("All Homicides (2001-2018) per District")

从上图中，我们可以观察到以下情况:

• 高凶杀率聚集在散点图的左上方和中下方。
• 右上角和中间一些区域的凶杀率更为分散。

由于每个区都是不同的颜色，我们可以从这张图表中获得的重要见解是，有很多点聚集在一起的区比没有聚集在一起的区有更多的凶杀率。所以现在，在某种程度上，我们对空间维度的凶杀有了一个概念，但我也想从时间维度了解这些凶杀率。

下面我创建了一些凶杀案与时间的可视化，并对之后的观察做了笔记。

年度凶杀率:

*# plot bar chart of homicide rates for all years*plt.figure(figsize=(12,6))
sns.barplot(x='Year',
            y='HOMICIDE',
            data=df_homicide.groupby(['Year'])['Primary Type'].value_counts().\
                 unstack().reset_index(),
            color='steelblue').\
            set_title("CHICAGO MURDER RATES: 2001 - 2018")

从上面的柱状图可视化中，我们可以得出以下结论:

• 在现有的数据范围内，芝加哥的凶杀案从 2001 年到 2003 年有一个短暂的上升趋势，从 460 起上升到 586 起。
• 接下来是一个良好的下降到 400 的范围，并保持了四年，直到 2008 年。
• 在 2016 年之前的七年里，凶杀率立即回落到 400。
• 然而，谋杀率在 2016 年急剧上升，从 2015 年的 467 起上升到 749，282 起，创历史新高。
• 2017 年也出现了持续的高凶杀率，尽管下降了 90 至 659 起。
• 我们可以说，2016 年和 2017 年芝加哥的凶杀率显著上升。
• 我想我们可以开始理解为什么有那么多关于风城谋杀案的新闻了。
• 根据我们对数据集中过去两年的观察，我想记住这一点，并在探索其余数据的过程中进行更深入的研究。

每月凶杀率:

*# plot homicides sorted by month*fig, ax = plt.subplots(figsize=(14,6))
month_nms = ['January','February','March','April','May','June','July','August'\
             ,'September','October','November','December']    
fig = sns.barplot(x='Month',
                  y='HOMICIDE',
                  data=df_homicide.groupby(['Year','Month'])['Primary Type'].\
                  value_counts().unstack().reset_index(),
                  color='#808080')
ax.set_xticklabels(month_nms)
plt.title("CHICAGO MURDER RATES by MONTH -- All Years")*# -------------------------------------------**# plot average monthly temps in Chicago*
*# source of data:  ncdc.noaa.gov*mntemp = [26.5,31,39.5,49.5,59.5,70,76,75.5,68,56,44,32]
df_temps = pd.DataFrame(list(zip(month_nms,mntemp)),
                       columns=['Month','AVERAGE TEMPERATURE'])
fig, ax = plt.subplots(figsize=(14,6))
sns.barplot(x='Month', y='AVERAGE TEMPERATURE', data=df_temps,color='steelblue')

• 从逐月凶杀率来看，我们看到*均凶杀案在 3 月份开始稳步上升，在 7 月份达到高峰。
• 一月份略高于二月份，但这似乎是十二月份的延续。
• 这种周期性趋势有很多原因，但最好的解释似乎与月*均气温和总体天气有关。
• 芝加哥的冬天往往很冷，这使得大多数人不到万不得已不出门。
• 这种周期性趋势的另一个可能原因是，学校在夏季放假，因此更多的年轻人有时间去惹更多的麻烦。考虑到风险最大的年龄组在 15 至 30 岁之间。(来源:芝加哥论坛报)

一周中的凶杀率:

*# plot homicide rates vs. day of the week*fig, ax = plt.subplots(figsize=(14,6))
week_days = ['Sunday','Monday','Tuesday','Wednesday','Thursday','Friday','Saturday']    
fig = sns.barplot(x='Weekday',
                  y='HOMICIDE',
                  data=df_homicide.groupby(['Year','Weekday'])['Primary Type'].\
                       value_counts().unstack().reset_index(),
                  color='steelblue')
ax.set_xticklabels(week_days)
plt.title('HOMICIDE BY DAY OF THE WEEK -- All Years')

接下来，我们深入挖掘从每月到每周的时间框架，以获得更精细的外观。

• 在这个水*上，周一和周二的谋杀率最低，*均每天约 60 起。
• 周三略有上升，周四又略有上升。这种微小的变化几乎不明显，但考虑到这是 18 年的*均值，我们可以假设这种上升在某些周比其他周更明显。
• 本周早些时候出现的这种小幅上升趋势从*均每天 61 起凶杀案跃升至每天 81 起凶杀案，增幅达 25%。我们必须记住，这些*均值并没有根据这些杀戮的季节性进行调整。所以实际上，在温暖的月份，这个数字要高得多，而在寒冷的月份，这个数字要低得多。
• 周六出现了持续的高利率，但仅比周五略有上升。
• 周日的谋杀率确实从 80 年代下降到 60 年代，并持续下降到周一，并在每周循环再次重复之前稳定在 50 年代以上。
• 我们不知道是什么导致了这种循环，但我们可以假设，它们与离开学校或工作的时间有关，更多的人倾向于在这段时间参与毒品和帮派活动以及其他犯罪。

一天中的小时凶杀率:

*# use seaborn barplot to plot homicides vs. hour of the day* fig, ax = plt.subplots(figsize=(14,6))
fig = sns.barplot(x='HourOfDay',
                  y='HOMICIDE',
                  data=df_homicide.groupby(['Year','HourOfDay'])['Primary Type'].\
                       value_counts().unstack().reset_index(),
                  color='steelblue',
                  alpha=.75)
plt.title('HOMICIDE BY HOUR OF THE DAY -- All Years')

继续时间框架分析，从一天中的某个时间来看芝加哥的凶杀率是有意义的。我认为很容易假设谋杀发生在晚上比白天多，但这充其量只是一种猜测，所以不管我们认为结论有多明显，看看这些数字是明智的。

看待上述情节的一种方式是从一个正常的工作日或学校日的角度。

• 上午 7 点的凶杀案数量最少，约为 9 起，但随着时间的推移，我们看到凶杀案的数量稳步上升。
• 下午 2 点，我们穿过 15 关口，这为另一个稳定的上涨让路，有一点波动，其中下午 6 点飙升，下午 7 点下降，但不足以抹去之前的利率收益。
• 晚上 9 点是事情开始变得令人担忧的时候。*均值有时可能无法给出清晰的图像，但它们确实报告了一个简单的指标，即所有观察值的总和除以观察值的数量。考虑到这一点，每小时 25 起谋杀案是相当高的。
• 从晚上 9 点到凌晨 12 点的高峰，我们看到这些数字持续上升。凌晨 12 点和 1 点的谋杀率保持在每小时 30 起以上，只有在凌晨 2 点我们才看到低于 30 起，然后迅速下降，直到早上 7 点回到低于 10 起。
• 下降的一个可能原因可能是因为每个人都倾向于在深夜睡觉。即使是毒贩子和黑帮成员也有睡着的时候。
• 我想从上面的图表中得出的最后一个观察结果是，通过每个小时的误差棒线，夜间的时间比白天的时间有更多的变化，这表明夜间的凶杀活动更加活跃。

按家庭成员分列的年度凶杀率:

*# plot domestic variable vs. homicide variable*fig, ax = plt.subplots(figsize=(14,6))
df_arrest = df_homicide[['Year','Domestic']]
ax = sns.countplot(x="Year",
                   hue='Domestic',
                   data=df_arrest,
                   palette="Blues_d")
plt.title('HOMICIDE - DOMESTIC STATS BY YEAR')

• 在整个数据范围内，家庭参与的程度似乎对凶杀率没有任何明显的影响。2016 年至 2017 年谋杀案的激增与国内数字没有任何明显的相关性。
• 考虑到原始数据集包含 40 多种犯罪类型，包括纵火、性侵犯、家庭暴力、跟踪等，因此将该变量包含在数据集中是有意义的，但它对我们涉及杀人的特定案例没有用处，尽管它在家庭暴力中肯定有权重。

按犯罪现场分列的凶杀率:

*# visualize the "scene of the crime" vs. number of occurences at such scene*crime_scene = df_homicide['Primary Type'].\
            groupby(df_homicide['Location Description']).\
            value_counts().\
            unstack().\
            sort_values('HOMICIDE',ascending=**False**).\
            reset_index()

*# Top Homicide Crime Scene Locations*
crime_scene.head(10)

*# create a count plot for all crime scene locations*g = sns.factorplot(x='Location Description',
                   y='HOMICIDE',
                   data=crime_scene,
                   kind='bar',
                   size=10,
                   color='steelblue', 
                   saturation=10)g.fig.set_size_inches(15,5)
g.set_xticklabels(rotation=90)
plt.title('CRIME SCENE BY LOCATION FREQUENCY')

• 从上面的 Seaborn FactorPlot，我们可以观察到大多数谋杀(超过 60%)发生在街上。
• 第二个最常见的地方是汽车，然后依次是公寓、小巷、房子、门廊、院子和停车场。
• 其余位置的含量非常低，具有显著的统计影响。然而，更深入地研究数据采集方法是值得的，因为其他一些位置(尽管标注可能很专业)可能会在更大的一般化标注(如街道)之后进行标注。
• 到目前为止，从所有上述观察到目前为止，我们可以开始看到一个画面出现；芝加哥最危险的地方是街道上，在夏天，周末，晚上 11 点到凌晨 2 点。
• 然而，我们想知道这是否适用于芝加哥的所有地区。我经常被外地的朋友问住在芝加哥是否安全，我告诉他们，只要你不去错误的地方，这是安全的。接下来，我将展示我的探索，看看这是否是真的。

热图—每个警区的凶杀率:

*# create a heatmap showing crime by district by year*corr = df_homicide.groupby(['District','Year']).count().Date.unstack()
fig, ax = plt.subplots(figsize=(15,13))
sns.set(font_scale=1.0)
sns.heatmap(corr.dropna(axis=1),
            annot=**True**,
           linewidths=0.2,
           cmap='Blues',
            robust=**True**,
           cbar_kws={'label': 'HOMICIDES'})
plt.title('HOMICIDE vs DISTRICT vs YEAR')

上面我创建了一个热图，比较了 2001 年至 2017 年芝加哥所有警区与每个警区的凶杀案数量。

• 正如热图所示，谋杀案在各地区的分布并不均匀。较暗区域对应较高的谋杀率。
• 热图上的区域越暗，该地区相应年份的谋杀案就越多。
• 在数据集中的所有年份中，第 1、16 和 20 区的凶杀率较低，每年为 10 起或更少。
• 第 17、18、19 和 24 区的谋杀率都在每年 20 起或更少(T3)的水*，尽管有些年份低于 10 起。
• 第 2、12、14 和 22 区每年有 30 起或更少的谋杀案发生在 T4。
• 其余的地区每年有超过 30 起谋杀案，有些地区的谋杀率甚至超过了 50 起。
• 第 7 区和第 11 区在 17 年的数据集中一直保持较高的数字。我们甚至可以宣布它们为芝加哥凶杀案最致命的警区。
• 整个数据集的最高谋杀率是在 2016 年的第 11 区，有 92 起谋杀案。
• 2016 年是数据集中凶杀案最糟糕的一年**，有 6 个区的凶杀案超过 50 起。**
• 热图使这些数据变得生动，是我们数据探索工具包中的一个非常好的工具。

最危险和最不危险的警区

**with** sns.plotting_context('notebook',font_scale=1.5):
    sorted_homicides = df_homicide[df_homicide['Year']>=2016].groupby(['District']).count()\
                    .Arrest.reset_index().sort_values('Arrest',ascending=**False**)
    fig, ax = plt.subplots(figsize=(14,6))
    sns.barplot(x='District',
                y='Arrest',
                data=sorted_homicides,
                color='steelblue',
                order = list(sorted_homicides['District']),
                label='big')
    plt.title('HOMICIDES PER DISTRICT (2016-2017) - Highest to Lowest')

正如我们之前从热图中观察到的，有些地区比其他地区更危险，但现在我们可以更仔细地观察这一现象。从我们创造的各种可视化来看，我们至少可以得出结论，2016 年和 2017 年是芝加哥凶杀案最活跃的年份。

• 在上面的柱状图中，我将每个地区在这两年中最多和最少的谋杀案可视化，以了解它们之间的关系。
• 在这两年中，排名前 10 的地区都发生了 90 起以上的凶杀案。
• 11 区比名单上的下一组多了 30 起谋杀案。
• 22 个群体中的前 5 个群体占了该市所有凶杀案的 50%以上。
• 前 10 个群体占芝加哥所有凶杀案的 80%以上。
• 25 个区中有 8 个区的凶杀率非常低或相对较低。

杀人罪的逮捕与不逮捕:

接下来，我通过绘制下面的一些关系来看逮捕和杀人之间的关系。

看起来你可以在芝加哥逃脱谋杀。

*# create seaborn countplots  for whole dataset*fig, ax = plt.subplots(figsize=(14,6))
df_arrest = df_homicide[['Year','Arrest']]
ax = sns.countplot(x="Year",
                   hue='Arrest',
                   data=df_arrest,
                   palette="PuBuGn_d")
plt.title('HOMICIDE - ARRESTS STATS BY YEAR')

上图比较了 17 年来数据集中所有凶杀案的逮捕与不逮捕情况。

• 在 21 世纪初，警方逮捕的人比没有逮捕的人多。
• 从 2001 年到 2008 年，警方逮捕了超过一半的凶杀案。
• 从 2009 年至今，警方逮捕了不到一半的人。
• 事实上，这种趋势看起来像是警察逮捕人数的下降趋势，可能始于 2004 年左右。
• 2016 年和 2017 年，逮捕率不到 30%。

*# create seaborn countplots for 2016 and 2017 -- high crime rate spike years*fig, ax = plt.subplots(figsize=(14,6))
ax = sns.countplot(x="Month",
                   hue='Arrest',
                   data=df_homicide[df_homicide['Year']>=2016][['Month','Arrest']],
                   palette="PuBuGn_d")
month_nms = ['January','February','March','April','May','June','July',\
             'August','September','October','November','December']    
ax.set_xticklabels(month_nms)
plt.title('HOMICIDE - ARRESTS STATS BY MONTH -- (2016-2018)')

• 真正让我惊讶的是，即使在 2016 年和 2107 年犯罪激增后，警方逮捕的谋杀事件仍在继续下降。上图试图观察月份特征，但只是证实了我们之前的观察。
• 我还没有发现这种下降的好原因，但经过一点点挖掘，我发现媒体报道了芝加哥警察局的政策变化，减少了对逮捕低级别罪犯的关注，更多地关注犯罪规模方面的大鱼。这就引出了一个问题，谋杀难道不是一种高调的犯罪吗？
• 2016 年发生的另一件有趣的事情是公众关注警察对有色人种的枪击事件，这让我想知道这是否在警察逮捕时不太积极方面发挥了重要作用。大多数高犯罪率地区都是以少数族裔为主的社区，2016 年，一名法官下令发布一段视频，显示芝加哥警察枪杀了一名黑人社区成员。

*# create seaborn lmplot to compare arrest rates for different districts*dfx = df_homicide[df_homicide['District'].\
                isin(list(sorted_homicides.head(10)['District']))].\
                groupby(['District','Year','Month','Arrest'])['Primary Type'].\
                value_counts().unstack().reset_index()**with** sns.plotting_context('notebook',font_scale=1.25):
    sns.set_context("notebook", font_scale=1.15) g = sns.lmplot('Year','HOMICIDE',
                   col='District',
                   col_wrap=5,
                   size=5,
                   aspect=0.5,
                   sharex=**False**,
                   data=dfx[:],
                   fit_reg=**True**,
                   hue="Arrest", 
                   palette=sns.color_palette("seismic_r", 2),
                   scatter_kws={"marker": "o",
                            "s": 7},
                   line_kws={"lw":0.7})

进一步细分地区一级的逮捕与不逮捕，仅是高凶杀率地区，为我之前观察到的数据集中逮捕数量逐年下降提供了更多依据。上图显示了前 10 个最危险地区在同一轴上的逮捕和未逮捕回归线。

2006 年以前，警察逮捕的人数就开始比前一年少，到 2010 年，所有地区逮捕的杀人案不到一半。

很可能因杀人被捕的几率不到一半。如果你是住在高犯罪率地区的罪犯，这种可能性会大得多。

接下来，我用 python 可视化相册“叶子”创建了一些地图，展示了我的一些发现，并在下面做了笔记。原始代码上的地图是用户响应的，所以你可以放大、缩小和移动它们。

凶杀案与地区的对比图

(2001–2017)

*# plot chloropleth maps 2001 - 2017* **def** toString(x):
    **return** str(int(x))df_homicide_allyears = df_homicide.groupby(['District']).count().Arrest.reset_index()
df_homicide_allyears['District'] = df_homicide_allyears['District'].apply(toString)*# ______________________________________________________#*chicago = location=[41.85, -87.68]
m = folium.Map(chicago,
               zoom_start=10)plugins.Fullscreen(
    position='topright',
    title='Expand me',
    title_cancel='Exit me',
    force_separate_button=**True**).add_to(m)m.choropleth(
    geo_data='chicago_police_districts.geojson',
    name='choropleth',
    data=df_homicide_allyears,
    columns=['District', 'Arrest'],
    key_on='feature.properties.dist_num',
    fill_color='YlOrRd', 
    fill_opacity=0.4, 
    line_opacity=0.2,
    legend_name='Choropleth of Homicide per Police District : 2001-2017',
    highlight=**True**
    )
folium.TileLayer('openstreetmap').add_to(m)
folium.TileLayer('cartodbpositron').add_to(m)
folium.LayerControl().add_to(m)
m.save("map1.html") 
IFrame('map1.html', width=990, height=700)*# plot 2016-2018 chloropleth map*# code for *second map* is available on github

2001–2017 vs 2018

• 我为两个不同的时间段制作了两张 choropleth 地图。一个针对整个数据集，另一个针对 2016-2017 年期间，我们看到了谋杀案的激增。
• 这些地图很好地展示了不同警区的凶杀犯罪情况。
• 从这两张地图上，我们可以看到犯罪集中在城市西边和南边的警区周围。
• 有两个地区特别突出。这是 11 区和 7 区。
• 此外，犯罪率较高的地区在地理上是相连的/会传染的。

凶杀案 vs 地区热图—(2016–2017)

*# plot heatmap all districts -- (2016-2018)*after_2015_geo = []
**for** index, row **in** df_homicide[df_homicide['Year']>=2016][['Latitude','Longitude','District']].dropna().iterrows():
    after_2015_geo.append([row["Latitude"], row["Longitude"],row['District']])
*# ___________________________________________________________________*
chicago = location=[41.85, -87.68]
m = folium.Map(chicago, zoom_start=9.5,control_scale = **False**)plugins.Fullscreen(
    position='topright',
    title='Expand me',
    title_cancel='Exit me',
    force_separate_button=**True**).add_to(m)m.choropleth(
    geo_data='chicago_police_districts.geojson',
    name='choropleth',
    data=df_homicide_after_2015,
    columns=['District', 'Arrest'],
    key_on='feature.properties.dist_num',
    fill_color='YlOrRd', 
    fill_opacity=0.4, 
    line_opacity=0.2,
    legend_name='HeatMap Homicides : 2016-2017',
    highlight=**True**
    )
m.add_child(plugins.HeatMap(after_2015_geo,
                            name='all_homicides_2016_to_2017',
                            radius=5,
                            max_zoom=1,
                            blur=10, 
                            max_val=3.0))
folium.TileLayer('openstreetmap').add_to(m)
folium.TileLayer('cartodbpositron').add_to(m)
folium.LayerControl().add_to(m)
m.save("map3.html") 
IFrame('map3.html', width=990, height=700)

Chicago Homicide Heat Map

• 上面的热图可视化是用 pythonfollow可视化库创建的，它可以很好地控制在笔记本上绘制动态地图。
• 该热图适用于 2016-2017 年时间框架。这个时间段的各个犯罪现场位置被绘制在城市的画布上，并用颜色表示。
• 热图可以帮助我们在地图上直观地显示犯罪发生频率高或低的大致位置。深橙色代表犯罪率高的区域，断开的浅黄色/绿色阴影显示地图上犯罪率低的位置。
• 给人的第一印象是芝加哥西区和南区的凶杀率较高。我们可以放大每个区域的更多细节，每次放大都会显示该子区域中的更多集群。

注:我还创建了更具交互性的时移热图和聚类图，可以在这里 和在github上**查看。

最后，我创建了显示谋杀地点的聚类地图。在 nbviewer 上渲染的现场互动笔记本就位于这里。

(2001–2017) vs 2018

这些地图描绘了各个犯罪现场，这或多或少类似于热图，只是没有给这些地理位置添加颜色。其中一张地图是 2016-2017 年期间的，另一张地图是 2018 年的两个月数据(1 月和 2 月)。

1 月和 2 月的地图特别有趣，因为它显示了 2018 年初犯罪已经开始大量出现的地方。可悲的是，凶杀案遵循与前几年相同的模式，绝大多数犯罪发生在同一地区。

对于在正确领域中试图确定哪些问题点需要更多资源的任何人来说，该地图将是一个很好的工具。这些地图也是一个很好的工具，可以直观地检查社区中的个人犯罪地点，结合他们对该地区的了解，可以带来新的见解，可以探索并采取行动，使社区更加安全。例如，社区成员可以确定问题点，并为儿童建立安全的上下学通道。这张地图将有助于他们识别不太危险的街区。

结论

在这本笔记本中，我使用了芝加哥警察局收集的数据，从中提取了一些关于芝加哥凶杀案的见解。虽然这里进行的数据分析缺乏国家视角，但我的主要发现可以归纳为以下几个要点:

• 各警区的凶杀犯罪数量差异很大。数字高的地区似乎年复一年都有高的数字，反之亦然。
• 从 2004 年到 2015 年，凶杀案数量基本未变，每年分别为 400 起和 500 起。这些数字在 2016 年突然跃升至每年 700 起凶杀案。
• 这个新数字一直保持到 2017 年，每年超过 650 起凶杀案。
• 天气温度和每月凶杀案数量之间有关联。越是温暖的月份，杀人犯罪就越多。
• 一周中的某一天也会影响谋杀案的数量，周末的谋杀案数量会更多。
• 一天中的时间也会影响杀人案件的数量，晚上 9 点到凌晨 2 点最危险，早上 7 点到下午 1 点最安全。
• 第 11 区、第 7 区和第 15 区在 2016-2017 年期间发生的凶杀案最多，同一时期各发生了 120 多起凶杀案。
• 绝大多数凶杀案发生在街头，占所有凶杀犯罪现场的 60%以上。
• 2016-2017 年期间，第 20、16、18、1、19、17、24 和 14 区的凶杀案都不到 20 起，这使它们成为芝加哥最安全的警区。
• 自 2003 年以来，因杀人罪而被逮捕的人数一直在下降，2008 年，谋杀案的数量超过了因谋杀而被逮捕的人数。截至 2018 年，每 10 起凶杀案中有不到 3 起被逮捕。

虽然这些观察结果很有启发性，但我应该指出，它们并没有描绘出全貌，应该与国家或其他可比数据进行比较，以提供更多的视角。例如，虽然每年的凶杀案数量看起来很高，但我们不知道这是在全国*均水*以内还是太高了。这种比较将有助于我们在讲述数据故事时建立更有说服力的论据，用它们来支持我们的本地发现。

话虽如此，我们的发现仍然与当地决策者密切相关，因为他们非常清楚何时何地，但不是为什么。

抓住你的下一条鱼——如何撰写完美的数据科学白皮书

原文：https://towardsdatascience.com/hook-your-next-fish-how-to-write-the-perfect-data-science-white-paper-28ab51ef45af?source=collection_archive---------12-----------------------

Peter Sellars as Dr Strangelove, emphasing the importance of publicising a successful project.

如果你保守秘密，这个项目就失去了意义。“你为什么不告诉全世界，嗯？”——奇爱博士，1964 年。

做令人兴奋的工作的最大好处之一就是告诉别人这件事。除了自我满足的热情之外，当你用过去的工作给别人留下深刻印象时，你很有可能会有更令人兴奋的工作。

做到这一点的一个关键方法是写一份白皮书。白皮书是一份营销文件，旨在展示作者在特定领域的专业知识。通常，作者会试图解释他们是如何用自己的专业知识解决问题的，或者教授他们领域的一些基本知识，目的是帮助读者理解什么时候该给专家打电话。因此，一个商人可能会分享一些关于一些非常小的工作的提示，导致读者应该打电话给专业人士。

互联网上有很多写白皮书的指南，比如这里的，通常包括结构指南。然而，在数据科学的情况下，有一个转折，即作者通常使用他们的数据科学专业知识来解决读者是专家的领域中的问题。这对文档的组织方式以及如何接*观众有一个微小但明显的影响。

第一项任务是在读者的问题领域建立凭证，因为你在该领域不太可能比读者有更高的资格或经验，直接提供你自己的凭证不太可能成功。相反，最好的方法可能是“展示不说”法，这种方法在创意写作课上很常见。在这种情况下，它指的是让读者看到你的角色在行动和他们的故事展开，而不是写出他们的特点或概述情节。在这种情况下，它意味着以一种不怀疑其对该领域的重要性的方式解释你所处理的领域问题。如果一个解决方案没有价值，你就不会去做它，所以解释价值在哪里——很多时候它会以这个问题成为更大目标的障碍的形式出现。总的来说，通过展示你了解问题如何影响他们的业务，你可以赢得听众。

一旦你确定了问题，故事的下一步将是你如何解决它。在数据科学的背景下，通常需要两种工具来获得解决方案——足够的数据集(“足够”是因为大多数数据集与我们的“理想数据集”相差甚远)和合适的分析工具。

鉴于如此多的数据科学工具都是开源的，数据集(如果不是处于原始状态，通常是在您对其进行清理和预处理之后)有可能比竞争对手更具优势。因此，提及数据获取或清理的方式可能有助于进一步建立可信度。如果您使用主题专家的建议来改进预处理流程，情况尤其如此，例如，如果存在与收集流程相关的丢失数据的原因，而收集流程决定了如何处理这些丢失的数据。

当讨论所使用的算法时，这不仅仅是一个为非技术观众正确定制讨论的问题，还是一个节奏的问题。为了保持读者的注意力，白皮书需要有一个正在展开的故事的感觉和节奏；太多关于算法如何工作和你是如何做的细节会减慢速度，让读者失去兴趣。至关重要的是，读者没有必要完全理解用来传达你的信息的算法。几乎可以说，对算法的任何描述都比它对算法如何工作的真实解释更有色彩和趣味。

将您的算法应用于数据代表了您的三幕故事中的第二幕。在这里，解决方案本身并不是卖点，尽管它很重要。当您实施类似于预测模型的东西时，卖点通常是您在此过程中观察到的数据——关于变量相互作用方式的额外经验，或者关于哪些变量最有影响力或关系形状的惊喜。如果有必要的话，将你的分析扩展为一个完整的推理分析(无论如何你都要这么做，但那是改天的话题)。

如果你的白皮书框架正确，它会让人们记住你，并在他们的领域中想到你。接受数据科学解决方案的最大障碍之一是认为数据科学正在篡夺专家知识——白皮书提供了一个绝佳的机会来证明数据科学不是篡夺者，而是对专家知识的补充。

这一块源自 这一块 和 这一块 ，它们与数据科学销售周期的早期阶段相关。这篇文章如何与预期的未来文章相适应的纲要可以在我的博客 这里 找到。

人工智能研究的热点

原文：https://towardsdatascience.com/hot-topics-in-ai-research-4367bdd93564?source=collection_archive---------1-----------------------

如果你正在阅读这篇文章，你已经被人工智能驱动的技术包围了，超出你的想象。从你面前的网站到阅读 CT 扫描，AI 应用是不可避免的。

一般来说，当人们听到人工智能时，他们往往会将其等同于机器学习和深度学习，但它们只是人工智能研究中的许多子主题中的两个。这两个主题可以说是当今人工智能世界中最有效的主题，但还有许多其他子主题因其应用和未来潜力而在人工智能社区中获得了巨大的吸引力。在本文中，我们将讨论人工智能研究中的一些热门子主题，其中许多主题是相互关联的，并属于人工智能的大范围:

大规模机器学习

机器学习(ML)关注的是开发能够通过经验提高性能的系统。在过去的十年里，人工智能的进步可以很容易地归因于人工智能的进步。ML 太受欢迎了，已经成了 AI 的代名词。研究人员现在专注于将最先进的 ML 算法扩展到大型数据集。想了解更多关于 ML 的信息，请阅读这篇介绍性博客。

深度学习

深度学习(DL)是 ML 的一个子集，是神经网络的重新品牌化——一类受我们大脑中生物神经元启发的模型。DL 一直是人工智能中许多应用的驱动力，如对象识别、语音、语言翻译、玩计算机游戏和控制无人驾驶汽车。欲了解更多关于 DL 的信息，请阅读这篇介绍性博客。

强化学习

强化学习是人类学习方式的封闭形式。它由一个智能代理组成，智能代理与环境智能地相互作用，以获得一定数量的回报。代理的目标是学习顺序动作，以便最大化长期回报。就像一个从现实世界中学习经验的人一样，不断探索新事物，更新自己的价值观和信念，RL 代理人以类似的原则工作，以从长远角度最大化自己的回报。2017 年，谷歌的 AlphaGo 计算机程序在围棋比赛中使用 RL 击败了世界冠军。想了解更多关于 RL 的信息，请阅读这个博客。

机器人技术

从技术上讲，机器人技术是一个独立的分支，但它确实与人工智能有一些重叠。人工智能使机器人在动态环境中导航成为可能。你如何确保一辆自动驾驶汽车在最短的时间内从 A 点到 B 点，而不伤害自己和其他任何人？DL，RL 的进展可能有机器人学中此类问题的答案。想了解更多关于机器人技术的信息，请阅读这篇关于人工智能机器人技术的博客，并观看这些演示视频: 1 、 2 、 3 。

计算机视觉

如果我们想让机器思考，我们需要教它们看。费-李非，斯坦福人工智能实验室主任计算机视觉(CV)关注的是计算机如何视觉感知周围的世界。具有讽刺意味的是，计算机擅长做庞大的任务，如寻找一个 100 位数的 10 次方根，但在识别和区分物体等简单的任务中却举步维艰。最*在 DL 和标记数据集的可用性以及高计算能力方面的进展使得 CV 系统有可能在一些狭窄定义的任务(如视觉对象分类)中胜过它们的人类对应物。想了解更多关于简历的信息，请阅读这个博客。

自然语言处理

自然语言处理(NLP)涉及能够感知和理解人类口语的系统。它由语音识别、自然语言理解、生成和翻译等子任务组成。随着全球使用多种语言，NLP 系统可能成为真正的变革者。目前的 NLP 研究包括开发可以与人类动态交互的聊天机器人。想了解更多关于 NLP 的信息，请阅读这篇介绍性博客。

推荐系统

从读什么，买什么，到和谁约会，推荐系统无处不在，已经完全取代了虚拟世界中烦人的推销员。像网飞和亚马逊重工这样的公司依赖 RS。智能推荐系统会考虑用户过去的偏好、同伴的偏好和趋势，从而做出有效的推荐。要了解更多关于 RS 的信息，请阅读以下文章: 1 ， 2 。

算法博弈论与计算机制设计

算法博弈论从经济学和社会科学的角度考虑多主体系统。它看到这些代理人如何在基于激励的环境中做出选择。这些多智能体系统可以包括自私的人类成员以及在有限资源环境中一起竞争的智能体。关于这个话题的更多信息，你可以关注大卫·巴夏礼教授的文章。这个环节也是很好的资源。

物联网

物联网(IoT)是一个概念，日常使用的物理设备连接到互联网，并可以通过交换数据相互通信。收集到的数据可以进行智能处理，使设备更加智能。这篇文章解释了人工智能如何被用来建造更智能的建筑。

神经形态计算

随着依赖于基于神经元的模型的深度学习的兴起，研究人员一直在开发可以直接实现神经网络架构的硬件芯片。这些芯片被设计成在硬件层面模仿大脑。在普通芯片中，数据需要在中央处理器和存储块之间传输，这导致了时间开销和能量消耗。在神经形态芯片中，数据以模拟方式在芯片中进行处理和存储，并可以在需要时生成突触，从而节省时间和能量。更多关于这些智能芯片开发的信息，请阅读这两篇文章: 1 、 2 。

其他详细介绍 AI 研究动态的文章: 0 、 1 、 2 、 3 。

注:该文章于 2018 年 5 月 7 日在 medium 上的出版物 AI Tale 中首次发表为“AI 研究中的热点子主题”。

参考文献:
斯通、彼得等《2030 年的人工智能与生活》。人工智能百年研究:2015–2016 研究小组报告 (2016)

房价和回归

原文：https://towardsdatascience.com/house-prices-and-regressions-7adf696053d6?source=collection_archive---------1-----------------------

本着我正在进行的系列活动的精神，如泰坦尼克号游戏竞赛，这里是另一个机器学习游戏竞赛。这次是为了用回归法计算出缺失的房价。

一如既往这里是我提交的捷径这里

数据

你从来不知道你想去爱荷华州的埃姆斯，但最终你会从迪安·德·科克收集的一组数据中获得超乎你想象的知识。有许多城市都有公开的住房数据集，比如我所在的佛蒙特州伯灵顿镇，但是在这次卡格尔竞赛中，我们希望探索销售价格与房子所有其他特征之间的可能关系。

房子的许多特征，但不是所有特征，都与销售价格有线性关系。通过填补缺失值，一些决定销售价格的功能工程和功能选择应该不会太远。在这种情况下，我尝试应用随机森林回归、套索和山脊回归来得出我的最终答案。

快速看一下地面以上*方英尺与销售价格的线性回归，就可以看出这种方法的优势。

方法

该数据集中有大量的特征，为了创建良好的预测，必须提前做大量的工作。组合训练集和测试集将意味着只需要在两个数据集之间进行一次更改。我们将探索以下步骤:

• 相互关系
• 特征探索
• 缺少值
• 数据标准化
• 特征工程
• 组装数据集
• 预言；预测；预告

销售价格应该有几个良好的指标，挑战将是数据和特征工程的标准化。

数据

该数据具有广泛的整数、浮点和分类信息。最终，它们将以数字的形式结束，但还不完全是。有几组不同类型的测量，了解它们的差异将有助于确定可以创建哪些新特征。

街区— 关于街区、分区和地段的信息。

• 示例:MSSubClass、LandContour、Neighborhood、BldgType

日期— 关于何时建造、改造或出售的基于时间的数据。

• 示例:YearBuilt、YearRemodAdd、GarageYrBlt、YrSold

质量/条件— 对房屋的各种特征进行分类评估，很可能是由房产评估员进行的。

• 示例:PoolQC、SaleCondition、GarageQual、HeatingQC

物业特征— 建筑附加特征和属性的分类集合

• 示例:基础、外部 1st、BsmtFinType1、实用程序

*方英尺— 建筑截面的面积测量以及门廊和地块面积等特征(单位为英亩)

• 示例:TotalBsmtSF、GrLivArea、GarageArea、PoolArea、LotArea

房间/特征计数— 特征(相对于分类)的定量计数，如房间，特征工程的主要候选

• 例如:全浴室、卧室、壁炉、车库

定价— 货币值，其中之一是我们试图确定的销售价格

• 示例:SalePrice、MiscVal

相互关系

快速相关性检查是了解数据集核心的最佳方式。销售价格与几个变量有很大的相关性:

• 总质量— 0.790982
• GrLivArea — 0.708624
• 车库汽车-0.640409
• 车库面积-0.623431
• TotalBsmtSF — 0.613581
• 1stFlrSF — 0.605852
• 全浴— 0.560664
• TotRmsAbvGrd — 0.533723
• 年份-0.522897
• YearRemodAdd — 0.507101

热图显示了整个数据集与其自身的相关性。记住红色越深(正相关)或蓝色越深(负相关)越好。

缺少值

缺失值的选择范围很广。首先，有意义的是先击中低垂的果实，处理那些缺少一两个值的，然后处理剩下的。其中一些看起来缺少值，不是因为他们没有数据，而是因为建筑物缺少该特征，如车库。使用熊猫获取。傻瓜会把那个问题分成真/假值。

替换丢失的数据

对于缺少单个值的分类信息，快速检查会显示哪些值占主导地位，并手动替换缺少的值。对大多数人来说，这是一个快速的过程。

推断缺失值

某些缺失值可以从该给定属性的其他值中推断出来。车库的建造时间最早应该是房子建造的那一年。同样，TotalBasementSQFeet 必须等于一楼的*方英尺。

地段临街

很多正面有点棘手。有 486 个缺失值(占总值的 17%)，但快速检查相关性后发现，在地块区域之外具有高相关性的要素少得惊人。

逻辑表明，地块面积应与地块正面成线性关系。通过对地块正面和地块面积的*方根(如果是方形地块，则为有效的一边)之间的关系进行线性回归，快速检查表明我们处于大致范围内。

一旦缺失的值被填充，就可以很好地确认分布没有超出 wack 的范围。蓝色是原始分布，绿色是推断出缺失值的新分布，红色是地块面积的*方根曲线。不出所料，这些地产中的大部分看起来都没有完美的正方形地块，但就我们的目的而言，一切看起来都很好。

特征工程

现在是时候创建一些新的功能，看看它们如何帮助模型的准确性。首先是几个宏观的创造，比如把所有的内部和外部面积加在一起，得到包括楼层、车库和外部空间在内的总居住空间。有趣的是，这里有一个与整体条件评级相关的新功能的可视化

条件评级增加到*方英尺，这并不奇怪。然而，当对销售价格进行线性回归时，一个更明显的模式出现了。

这是一个很好的添加特性，但是它确实向您展示了特性的选择非常依赖于您想要预测的内容。

房间总数

相反，如果你对房间感兴趣，房间和浴室的数量有明显的关系。这是浴室的*均值，这条线是方差(大多数值偏离*均值的程度)。

楼上的房间越多，浴室之间的关系也越紧密。对于 13 个房间及以上的房间，房屋数量要少得多，因此数据的可靠性和可预测性较差。

地区

我们都知道社区有各种各样的特点。在某种程度上，它与销售价格有关系，但它更难定义，在预测中也不太有用。

销售月

在结束之前，最后一次彩色图表。我想知道佛蒙特州的房地产市场，因为天气会对许多活动产生很大的影响，包括看我想象中的房子。

这两个图表向我们展示了，虽然价格没有明显的月与月之间的变化，但有几个月的房屋销售量比其他月份多得多。如果我想预测房子什么时候会被卖掉，那会很有用。因为我看到的是实际价格，所以实际价格要低得多。

特征选择

选择正确的功能至关重要。低相关性的不良特征只会使噪声比信号更强，遗漏太多会导致数据丢失。因为有这么多，我不打算在这里列出来，但它在笔记本上。

模型和结论

有几个模型试过了。随机森林回归、LassoLarsCV 和 Ridge 都是选项，经过试验，我最终选择 Ridge 作为更好的选项。令人着迷和沮丧的是，每次我运行它时，准确性都有很大的变化。这些模型似乎都有一些波动。最后，我有了大约 82%-90%的准确率。在尝试将同样的过程应用于伯灵顿的住房数据时，我遇到了更奇怪的不一致和巨大的过度拟合问题。

回归的应用是复杂的，因为你试图预测一个特定的值，而不是像泰坦尼克号一样的是/否答案。我的提交可以进一步完善，但我的目标是在我拥有的 Burlington 数据集上做，而不是在这里。

3 个行业如何利用人工智能和物联网个性化在 CX 竞争

原文：https://towardsdatascience.com/how-3-industries-tap-into-ai-and-iot-personalization-to-compete-on-cx-bb56f7a31a48?source=collection_archive---------4-----------------------

Photo by Daniil Vnoutchkov on Unsplash

在全球品牌家喻户晓之前，本土品牌和较小的市场允许在直呼其名的基础上进行面对面的交流——想想安迪·格里菲斯吧。随着品牌变得地区性甚至全球性，奢侈品个性化通过客户关系管理软件来实现——例如，酒店员工记住客人的首选房间。但是曾经的奢侈待遇现在变成了现状，消费者需要更多来保持忠诚。

数字化通过消费者喜爱的数据建议帮助品牌保持竞争力——想想亚马逊和网飞。但是，顾客期望的改变意味着，没有新的个性化举措将是不够的。Gartner 报告称，不断投资新技术以提供完全个性化的客户体验(CX)的品牌——从品牌认知到购买等——将比那些不投资的品牌获得高 30%的销售率。

品牌转向全方位个性化，以保持消费者的忠诚度。

因此，品牌必须始终准备采用新技术来提高他们的个性化能力。而且，如果他们善于观察，他们知道物联网(IoT)和人工智能(AI)将在客户旅程的所有阶段塑造我们与产品和服务的交互方式。事实上，来自不同行业的许多品牌已经在利用人工智能和物联网的强大伙伴关系来实现全方位的 CX 个性化。

医疗保健品牌创建个性化护理的完整健康视图。

一名 58 岁男性因内出血被紧急送往急诊室。在找到并止住了出血后，一位医生提出了一个看似难以忍受的诊断:正在恶化的肝癌。

鉴于潜在的肝脏疾病，他可以接受治愈性肝脏移植，但肿瘤必须很小，以符合从负担过重的器官池中获得肝脏的资格。进一步的测试显示，在漫长的器官等待期内，他的肿瘤不太可能保持在标准范围内。病人和他的妻子都希望他们能早点发现肝癌。但是肝癌是无症状的，直到进行治疗时往往已经太晚了。

为了防止更多家庭遭受类似的创伤，IBM Research 正在开发一种纳米技术设备，它实际上是一个芯片上的 T2 实验室。这种手持设备可以分离出直径小至 20 纳米的生物颗粒，如病毒、外来体，甚至 DNA，这比人类头发的直径小 1000 倍。这样，即使患者没有任何症状，它也能在体液中检测出癌症等疾病。

但这还不是全部。IBM Research 的转化系统生物学和纳米生物技术项目主任 Gustavo Stolovitzky 说“我们的目标是，在未来 5 年内，我们将能够将这一技术和其他纳米技术与人工智能相结合，以克服当前的挑战，并在最早的可能阶段检测出癌症等疾病。”

患者可以像进行家庭怀孕测试一样轻松地使用纳米技术设备。然后，诊断数据将被发送到云中，并与其他物联网健康设备数据相结合，如智能手表或睡眠监测数据。总之，这些数据显示了完整的患者健康视图，通过人工智能分析实现了个性化的实时计划。

酒店品牌提供每时每刻的个性化服务来取悦每一位客人。

商务旅行时，你登记入住万豪酒店，然后去你的房间。在里面，每台电视机都叫着你的名字迎接你。时间不早了，你还有一个早会，所以你决定马上去睡觉。

夜里，你醒来需要去洗手间。当你起床时，红色的落地灯照亮了黑暗中的道路。当你回到床上时，你深吸一口气，注意到房间里的氧气水*会根据房间里的人数自动调节，所以不会感到闷热。

早上，蓝色的灯光让你进入清醒状态。你走向房间的智能镜子，它会指导你进行晨练，同时监控你的心率。天亮了，你环顾四周墙上的个性化艺术作品。

你开了一整天的会，然后回到你的房间，渴望进行一次缓解压力的锻炼。当您喜欢的健身器闲置并可供您使用时，您的手机会提醒您。锻炼后，您可以享受智能淋浴，水龙头会自动将水调节到完美的温度，带来舒缓的体验。

这就像一个包裹在商务旅行中的假期。万豪酒店已经准备好了。该品牌与三星和罗格朗合作，创建了一个原型智能房间，可以提供这种和其他个性化体验，包括家庭度假体验。

“这个想法是，如果我是万豪奖励会员，我的个人资料中有我的属性和不喜欢/喜欢，它可以根据我和我的旅行类型来做事情，更加个性化，”Legrand 需求挖掘高级副总裁 Ken Freeman 解释说。客人只需加入品牌的奖励计划，创建个人资料，然后进入他们的个性化人工智能/物联网体验。

Photo by Denys Nevozhai on Unsplash

汽车品牌与 autotech 公司合作，在旅途中实现实时个性化。

莎拉开着她新买的车在高速公路上行驶时，听到汽车仪表板发出叮的一声。因此，她的一天变得很紧张。仪表板显示屏上出现一盏小小的发动机灯。由于几乎没有指向原因的信息，她的想象力变得天马行空。她想象自己在高速公路边，汽车冒着热气。她驶离高速公路，开始给经销商打电话。与此同时，她担心会迟到或完全错过工作。

好消息是，这种情况很快就会成为一种濒临灭绝的物种。这是因为，到 2020 年，将有 2.5 亿辆联网汽车上路。此外，联网汽车带来了大数据，为实时诊断当前和潜在问题提供了潜力。即使没有连接的物联网汽车也存储数据，一旦连接，这些数据可以用于创建个性化的驾驶体验。

例如， CarForce 与 AT & T 合作，将断开连接的汽车重新连接到汽车服务中心，从而将人们从可怕的仪表盘叮当声中解救出来。经许可，经销商服务中心可以在客户汽车上安装小型设备，然后从所有当前连接的传感器收集数据。利用这些数据，CarForce 依靠人工智能来诊断和提醒经销商潜在的车辆问题。

反过来，经销商通过预防性维护警报和驾驶员可以采取的主动措施来解决现有问题，帮助驾驶员在可怕的高速公路场景中保持领先。更好的是，通过将物联网和人工智能结合起来，汽车经销商在 CX 有了一种新的竞争方式:他们不再简单地出售汽车，而是成为值得信赖的维护来源，提供全方位的个性化汽车拥有体验。

品牌可以采取小步骤为消费者未来的个性化期望做准备。

《商业内幕》报道称，如果不能在 CX 很好地竞争，T2 40%的品牌将在七年后不复存在。一些品牌显然致力于提供前沿的个性化服务，从而提高了所有行业的标准。这意味着，鉴于预计到 2020 年将有 204 亿台联网设备，品牌必须知道如何利用它们来获得个性化体验。

三个步骤帮助品牌开始实现个性化技术的现代化，以尖端的客户体验取代现状:

1.**确定哪种技术将提供行业特定的 CX 个性化，且几乎没有陷阱。**虽然 HIPPA 可能会为医疗保健公司的大规模物联网和人工智能个性化战略设置障碍，但物联网和人工智能 it 仍然可以通过个人设备数据分析来帮助个性化与患者的一对一关系。

2.通过循序渐进的方式为新兴技术做准备。万豪不是从创造智能房间开始的。相反，他们首先试验了 Alexa 为客人提供更个性化 CXs 的能力。与此同时，他们计划下一步的发展。

3.与提供特定行业个性化功能的科技公司建立合作伙伴关系。CarForce 就是这样一家科技公司。合作的代理商和维修中心不需要建立内部能力。通过战略合作伙伴关系，他们将物联网和人工智能满足目标市场的个性化需求，为消费者和品牌创造双赢。

通过三个小步骤，品牌可以大步迈向未来最重要的个性化体验的竞争。

一个高中生如何制造一辆自动驾驶汽车

原文：https://towardsdatascience.com/how-a-high-school-junior-made-a-self-driving-car-705fa9b6e860?source=collection_archive---------9-----------------------

与这个库相关的问题是我收到的最多的问题之一，这个库来自我三年前创建的一个项目。这个存储库本身并没有什么特别的，只是一年前发布的 Nvidia 论文的一个实现。一名研究生后来设法在一辆实际大小的汽车上实现了我的代码，这真的很酷。我的代码创建背后的故事是有趣的部分。

我对机器学习的迷恋始于 2015 年初，那时我偶然发现了遗传算法和神经网络。YouTube 上的热门视频显示，虚拟生物似乎在没有任何人类输入的情况下神奇地进化出复杂的行为。视频解释说，算法就像我在生物课上学到的交叉和随机突变一样简单，但我仍然不相信这样的计算机模拟是可能的。所以很自然的，我写了我自己的模拟来验证这是可能的。在它实际上起作用后，我被迷住了，我深入研究了麻省理工学院关于人工智能的开放课件系列。我花了大约两个星期的时间，每天看一到两个讲座，基本上是吃了整整一学期的人工智能入门材料。

现在，真正有趣的事情开始了——数学。老实说，在我真正理解 backprop 之前，我与它斗争了几个星期。我找到的所有论文、指南和博客都没有以我能真正理解的方式解释它，我花了很长时间试图实现它，但几乎没有成功。最后，我找到了一个我点击的博客，我在 YouTube 上制作了一个视频浓缩了我所了解到的信息，以便处于我这个位置的困惑的人可以像我一样学习*。最后，我用 C++从头开始编写了一个神经网络库，以确保我理解了我所学的内容，并且(很)后来将其改进为一个小型知识库，旨在帮助初学者理解神经网络如何工作。*

我对自动驾驶汽车的迷恋几乎完全是受特斯拉(该公司，而不是天才)的启发，特斯拉最*发布了他们的自动驾驶仪“驾驶”他们汽车的疯狂视频。带着我新发现的天真和对机器学习的浅薄知识，我开始制作我自己的。

第一个(也许是最明显的)挑战是数据收集。我需要记录视频和相应的方向盘角度。视频很简单:我只是草率地在挡风玻璃上贴了一个摄像头。另一方面，方向盘角度是一个完全不同的挑战。我的第一个方法是将加速度计和 Arduino 连接到方向盘上，并将时间数据与视频同步。对于任何一个曾经在糟糕的司机急转弯时被甩到车边的人来说，你会立刻明白为什么这种方法会彻底失败。首先，加速度计从汽车的任何微小运动中获得加速度。其次，精确同步来自不同设备的加速度计数据和视频数据是一个巨大的挑战，我不想应对。

我的第二种方法是直接与汽车接口，使用每辆现代汽车都配备的 OBD-II 端口访问 CAN 总线。这给带来了许多挑战，但回报(超精确的方向盘测量)绝对值得。

*挑战 1: *我如何从 OBD-II 端口读取 CAN 总线？解码和处理 CAN 总线信号是一个复杂的过程，需要花费大量时间来编写和调试。幸运的是，已经有人做到了。使用这段代码和相对便宜的 Arduino shield，我能够轻松地从汽车中提取和读取 CAN 总线数据。

*挑战 2: *我如何将大量的 CAN 总线数据转化为方向盘读数？下面是我收到的仅 10 行(不到一秒)CAN 总线数据的图像。

所有这些数据都包含了与 CAN 总线相连的汽车中每个系统的信息，从挡风玻璃雨刷到方向盘上的扭矩传感器。在数据的最左列是对应于接收到的数据包的地址(右列)。例如，在第 1 行，我们从地址 86 接收[7，108，255，160，7，4]。汽车公司真的不喜欢公开发布哪些地址对应于汽车的哪些部件，他们尤其不喜欢有人摆弄他们汽车的硬件。因此，我必须设计一些方法来解析数百个 CAN 总线通道，并找到提供方向盘角度信息的单个通道。**

我基本上是通过手动单独监控每个通道来做到这一点的，同时我慢慢转动方向盘，寻找接收到的数据的*滑变化。经过大量的实验，我设法找出了哪个通道对应于方向盘，以及汽车的其他几个部件(油门、刹车、速度等)。).

挑战三: 我有了数据和渠道，现在怎么办？来自 CAN 总线的数据格式不佳。你不会收到类似“64 频道发送信息:43.5 度”的信息相反，你得到的是一堆杂乱的数据，这些杂乱的数据在某种程度上对应着一个角度。我需要确定几个字节的数据和方向盘角度之间的某种“转换函数”。为此，我将方向盘移动到不同的位置，并记录与该位置相关的相应字节。例如，如果我将方向盘移动到 90 度并接收到[0，128，0，0]，然后将其移动到 135 度并接收到[0，192，0，0]，我可以粗略估计第二个数据点对应于大约:(192–128)/(135–90)度的倍数。我非常幸运地得到数据是转向角的简单线性变换。使用这种方法，我最终通过实验确定了一个可以应用于数据的线性变换，以获得方向盘角度。

这里有一个视频展示了这一过程，三个挑战都得到了解决。后来我出去了，在我的镇上开了几个小时的车，收集有标签的数据，我的 2015 Macbook Air 放在副驾驶座上。我拿到驾照还不到一年，所以这真的不是个好主意。另一个有趣的事实是:我有几次逃学出去收集数据，所以为我错过的所有课程向 S 先生和 N 女士道歉！

现在有趣的部分:将机器学习应用于任务。

我的第一次尝试是用 Caffe 在 AlexNet 上训练一个分类模型。我把我的数据分成大小为 10 度的箱，得到一组方向盘角度在 0-9 度、10-19 度、20-29 度之间的图像。最后，我对分类输出进行线性组合，以获得最终预测。动机大致是这样的:“如果模型预测 20 度和 30 度的角度有相同的可能性，那么真实的角度可能在 25 度左右。”快速声明:这是而不是处理事情的好方法。感谢当时我并不真正理解的统计学的魔力，这实际上并没有变成可怕的，我后来把它变成了一个仓库的垃圾箱火灾。知识库中嵌入了许多糟糕的编码实践，我将它作为我成功和失败的提醒，将它作为我从那时起学到的许多东西的时间胶囊。

我的第二次尝试是复制最*出来的 Nvidia 论文，稍加修改。Nvidia 型号使用以下架构:

最后的输出是前面十个神经元的简单线性组合，我觉得还可以改进。我通过对线性组合应用反正切函数来改变这一点，我认为这样更直观。反正切为网络提供了一种从可视数据中“恢复”曲率角度的工具，而不必重新学习将斜率或切线转换为弧度的方法。在实践中，它真的没有什么不同，但我保留它只是为了好玩。

我在 TensorFlow 中花了大约一个晚上编写了代码，并在我当时拥有的廉价 750ti GPU 上对它进行了训练。Nvidia 的论文并没有详细说明他们的训练过程，总体来说，论文没有给出太多关于他们如何完成他们所做事情的信息。我使用亚当优化连同 L2-正常化和辍学的训练。最后，我取得了不错的成绩！

总的来说，这个庞大的项目教会了我大量的信息、技术和编码实践。它也引起了很多关注，并为我带来了一些面试和一些工作机会！Nvidia 甚至让我飞到他们的自动驾驶实验室，参观他们的技术，这真的很酷！他们给了我一个相当优厚的条件，让我在接下来的一年里和他们一起实习，但我不情愿地拒绝了继续读本科。在我发布了我的作品后，我在网上遇到了很多了不起的人，这可能是整个经历中最有收获的部分。

有什么问题尽管问！

一个简单的算法如何以中等精度对文本进行分类

原文：https://towardsdatascience.com/how-a-simple-algorithm-classifies-texts-with-moderate-accuracy-79f0cd9eb47?source=collection_archive---------1-----------------------

涵盖的内容:数据探索、文本分类、不*衡数据、各种度量

Photo by Damiano Lingauri on Unsplash

尽管最*围绕 NLP 的深度学习取得了令人兴奋的进展，但我想展示简单的分类器如何能够达到中等精度。这是一件好事，因为训练这些分类器不需要大量的数据和计算，这是训练深度神经网络的情况。

在这篇博文中，我选择了一个叫做逻辑回归的分类器。我将在亚马逊美食评论上训练它，以预测给定的文本被归类为正面评论或负面评论。

1。数据描述

数据形状(行，列):(568454，10)

列名:描述

1. Id:分配给每行的唯一编号

2.产品 Id:产品 id 号

3.用户标识:用户标识号

4.ProfileName:用户名

5.HelpfulnessNumerator:认为评论有帮助的用户数量

6.HelpfulnessDenominator:投票总数(认为评论有帮助的用户数和认为没有帮助的用户数)

7.得分:评分在 1 到 5 之间(1 =最不喜欢，5 =最喜欢)

8.时间:审核的时间戳

9.总结:产品的简短回顾

10.文本:产品评论的文本

我将只使用两个特征:7:分数和 10:文本作为预测器或自变量。

2.数据探索

import panda as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
import seaborn as sns; sns.set();data = '../../datasets/amazon_review/Reviews.csv'
data = pd.read_csv(data) *# Take proportion of each review score* score_pct = np.bincount(data['Score']) **/** data.shape[0]
scores = pd.DataFrame(np.random.rand(1, 5), 
                      index=['scores'],
                      columns=pd.Index([1, 2, 3, 4, 5], name='Score'))
scores.iloc[0] = score_pct[1:]
scores.plot.bar()

Proportion of review from 1 to 5

超过 60%的评论是最受欢迎的评论(得分 5)，其次是中等受欢迎的评论(得分 4)。总评论的 70%由这两个评论分数组成。

来看一些评分 3 和评分 4 的评论。

10 条评分为 3 的评论:

这些评论包括正面评论和负面评论。我将评分为 3 的评论归类为负面，原因如下:第一、第三和第十条评论不包含任何正面评论，即使有些评论有正面评论，但在同一食品的评论中包含负面评论可能会阻止其他人购买食品。

print(data[data['Score'] == 3]['Text'].values[:10])[ "This seems a little more wholesome than some of the supermarket brands, but it is somewhat mushy and doesn't have quite as much flavor either.  It didn't pass muster with my kids, so I probably won't buy it again."
 'The flavors are good.  However, I do not see any differce between this and Oaker Oats brand - they are both mushy.'
 'This is the same stuff you can buy at the big box stores.  There is nothing healthy about it.  It is just carbs and sugars.  Save your money and get something that at least has some taste.'
 "we're used to spicy foods down here in south texas and these are not at all spicy.  doubt very much habanero is used at all.  could take it up a notch or two."
 'Watch your prices with this.  While the assortment was good, and I did get this on a gold box purchase, the price for this was<br />$3-4 less at Target.'
 "If you're impulsive like me, then $6 is ok. Don't get me wrong, the quality of these babies is very good and I have no complaints. But in retrospect, the price is a little ridiculous (esp. when you add on the shipping)."
 'The taste was great, but the berries had melted.  May order again in winter. If you order in cold weather you should enjoy flavor.'
 'While my dogs like all of the flavors that we have tried of this dog food, for some reason their itching increased when I tried the lamb and rice. I have some very itchy dogs and am giving them a limited ingredient dog food to try to help. The duck and sweet potato cut down on the itching significantly, but when we tried lamb and rice they started itching more once again. I like Natural Balance for the quality ingredients.'
 'Awesome dog food. However, when given to my "Boston", who has severe reactions to some food ingredients; his itching increased to violent jumping out of bed at night, scratching. As soon as I changed to a different formula, the scratching stopped. So glad Natural Balance has other choices. I guess you have to try each, until you find what\'s best for your pet.'
 "not what I was expecting in terms of the company's reputation for excellent home delivery products"]

5 条评分为 4 的评论:

得分为 4 的评论总体上是正面的，并且包括诸如“高度推荐”、“我很高兴”之类的词语。

print(data[data['Score'] == 4]['Text'].values[:10])[ 'This is a confection that has been around a few centuries.  It is a light, pillowy citrus gelatin with nuts - in this case Filberts. And it is cut into tiny squares and then liberally coated with powdered sugar.  And it is a tiny mouthful of heaven.  Not too chewy, and very flavorful.  I highly recommend this yummy treat.  If you are familiar with the story of C.S. Lewis\' "The Lion, The Witch, and The Wardrobe" - this is the treat that seduces Edmund into selling out his Brother and Sisters to the Witch.'
 'I got a wild hair for taffy and ordered this five pound bag. The taffy was all very enjoyable with many flavors: watermelon, root beer, melon, peppermint, grape, etc. My only complaint is there was a bit too much red/black licorice-flavored pieces (just not my particular favorites). Between me, my kids, and my husband, this lasted only two weeks! I would recommend this brand of taffy -- it was a delightful treat.'
 'good flavor! these came securely packed... they were fresh and delicious! i love these Twizzlers!'
 'I was so glad Amazon carried these batteries.  I have a hard time finding them elsewhere because they are such a unique size.  I need them for my garage door opener.<br />Great deal for the price.'
 "McCann's Instant Oatmeal is great if you must have your oatmeal but can only scrape together two or three minutes to prepare it. There is no escaping the fact, however, that even the best instant oatmeal is nowhere near as good as even a store brand of oatmeal requiring stovetop preparation.  Still, the McCann's is as good as it gets for instant oatmeal. It's even better than the organic, all-natural brands I have tried.  All the varieties in the McCann's variety pack taste good.  It can be prepared in the microwave or by adding boiling water so it is convenient in the extreme when time is an issue.<br /><br />McCann's use of actual cane sugar instead of high fructose corn syrup helped me decide to buy this product.  Real sugar tastes better and is not as harmful as the other stuff. One thing I do not like, though, is McCann's use of thickeners.  Oats plus water plus heat should make a creamy, tasty oatmeal without the need for guar gum. But this is a convenience product.  Maybe the guar gum is why, after sitting in the bowl a while, the instant McCann's becomes too thick and gluey."]

2。训练分类器和预测

我会将每一篇评论分为正面或负面，并训练一个分类器来预测这两个值。正如我们在上面看到的，分数为 3 的评论可以被视为负面的，所以如果分数超过 3，我会将每个评论分为正面的，如果分数低于 3，则分为负面的。由于数据量很大，我将使用 4%的数据。

*# We shuffle the rows and extract 10% of the rows* df_reduced = data.sample(frac=0.04, random_state=7)
reduced_data_size = df_reduced.shape[0]# Encode positive as 1 and negative as 0
reduced_labels  = np.array([df_reduced['Score'] >= 4])[0][:].astype(int) 
reduced_texts = df_reduced['Text'].values

样本数量从 568454 减少到 22738

reduced_sentiment_pct = np.bincount(reduced_labels) / reduced_data_size # percentage value of each sentiment
sentiment = pd.DataFrame(np.random.rand(1, 2), 
index=[‘count’],
columns=pd.Index([“negative”, “positive”], name=’sentiment’))
sentiment.iloc[0] = reduced_sentiment_pct
sentiment
sentiment.plot.bar(title="Ratio of each sentiment")

Proportion of each sentiment value

正如我们在上面的柱状图中看到的，78%的评论是正面的。所以这是不*衡的数据，这意味着，**“如果我们只是手动将每个样本(或每个样本)分类为“阳性”，我们将获得大约 78%的分类准确率。”**因此，78%的准确率是我们的基准之一。

我将使用 80%的数据作为训练集，20%作为测试集。

*# we will use 80% of data as training set, 20% as test set*train_size = int(reduced_data_size ***** .8)text_train = reduced_texts[:train_size]y_train = reduced_labels[:train_size]text_test = reduced_texts[train_size:]y_test = reduced_labels[train_size:]

训练集:18190 个样本
测试集:4548 个样本

我会将文本转换成适当的格式(由数值组成)，以便可以对它们进行分类训练。我将使用两种方法:A:单词袋和 B.TFIDF

答:一堆废话

单词包使用标记化将文本转换成数字表示。

使用下面的单词包处理两个文档的示例:

Process of bag-of-words. Inspired by [Introduction to Machine Learning with Python](http://Process of bag-of-words. Inspired by Introduction to Machine Learning with Python)

上述过程的代码

from sklearn.feature_extraction.text import CountVectorizer
vect = CountVectorizer().fit(text_train)
X_train = vect.transform(text_train)
print(repr(X_train))X_test = vect.transform(text_test)
print(repr(X_test))

X_train 是:8190x26817 稀疏矩阵

X_test 为:4548x26817 稀疏矩阵

#稀疏矩阵是只包含非零元素的矩阵

拟合逻辑回归

注意:

1. 我在下面的实例化中使用了 class_weigtht="balanced"。这具有惩罚少数类(该数据集中的负类)上的错误的效果。
2. 我用的 GridSearchCV 是带“roc_auc”的，不是“分类精度”。这方面的理由写在下面一节。

from sklearn.pipeline import make_pipeline
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import confusion_matrix
from sklearn.linear_model import LogisticRegressionlogreg = LogisticRegression(class_weight=”balanced”, random_state=0)
param_grid = {‘C’: [0.01, 0.1, 1, 10, 100]}grid = GridSearchCV(logreg, param_grid, scoring=”roc_auc”, cv=5)
logreg_train = grid.fit(X_train, y_train)pred_logreg = logreg_train.predict(X_test)
confusion = confusion_matrix(y_test, pred_logreg)
print(confusion)
print("Classification accuracy is: ", (confusion[0][0] + confusion[1][1]) / np.sum(confusion))

混乱矩阵:
[[ 826 206]
[ 468 3048]]

分类精度为:0.851802990325

我打印了一个混淆矩阵，下面画出了它的一个概念。总的来说，我们希望增加真阴性和真阳性的数量。(这两个是矩阵的主对角线)同时最小化假阴性和假阳性的数量(这两个是非对角线)。在上面的混淆矩阵中，假阴性比假阳性多。这可能是由于给定的类权重的惩罚。分类精度计算为:(TN+TP) / (TN+TP+FP + FN)。

Concept of confusion matrix

from sklearn.metrics import roc_curvefpr, tpr, thresholds = roc_curve(y_test, grid.decision_function(X_test))
# find threshold closest to zero:
close_zero = np.argmin(np.abs(thresholds))
plt.plot(fpr[close_zero], tpr[close_zero], ‘o’, markersize=10, 
 label=”threshold zero(default)”, fillstyle=”none”, c=’k’, mew=2)
plt.plot([0,1], linestyle=’ — ‘, lw=2, color=’r’, label=’random’, alpha=0.8)
plt.legend(loc=4)
plt.plot(fpr, tpr, label=”ROC Curve”)
plt.xlabel(“False Positive Rate”)
plt.ylabel(“True Positive Rate (recall)”)
plt.title(“roc_curve”);
from sklearn.metrics import auc
print(“AUC score is: “, auc(fpr, tpr));

AUC 分数是:0.901340273919

ROC curve

ROC & AUC

ROC:针对假阳性率和真阳性率绘制的曲线，它考虑了分类器的所有阈值。真阳性率也叫召回率。最佳点是左上角，在这里可以实现最低的 FPR 和最高的 TPR。

AUC:ROC 曲线下的面积。此 AUC 的范围(可能值)介于 0(最差)和 1(最佳)之间。随机预测总是产生 0.5 的 AUC 分数。 AUC 是从阳性类别中随机选择的样本比从阴性类别中随机选择的样本给出更高分数的概率或阳性类别中的置信度。因此，AUC 给出了关于预测的附加信息，即关于模型比较(例如，一些模型可能是随机分类器)和可以产生更高分类率的适当阈值的信息。这就是我在 GridSearch 中使用 AUC 作为度量标准的原因。

from sklearn.metrics import precision_recall_curve
precision, recall, thresholds = precision_recall_curve(\
                                                      y_test, logreg_train.decision_function(X_test))
close_zero = np.argmin(np.abs(thresholds))
plt.plot(precision[close_zero], recall[close_zero], 'o', markersize=10, 
         label="threhold zero", fillstyle="none", c="k", mew=2)
plt.plot(precision, recall, label="precision recall curve")
plt.xlabel("precision")
plt.ylabel("recall")
plt.title("Precision Recall Curve")
plt.legend(loc="best");

Precision Recall Curve

精确和召回

精确度和召回率由下面的公式决定。这两种价值观之间是有取舍的。当目标是减少假阳性的数量时，使用精度。在该数据中，目标可以是减少被预测为正面的负面评论的数量。设定这一目标的理由是，如果预测是肯定的，一些食品公司可能会出售大量不喜欢或不受欢迎的食品。因此，更高的假阳性率将导致不必要的更高的食品生产成本。另一方面，当目标是减少假阴性的数量时，使用召回。在这些数据中，这意味着目标是减少被错误分类为负面评价的正面评价的数量。我们可能需要更高的召回率，因为销售更多的大众食品会增加利润。因此，我们可以将精确度和召回率的权衡视为该数据集中成本最小化和利润最大化的权衡。

Formulas of precision and recall and tradeoff

B: TFIDF(频率-逆文档频率)

TFIDF 对在特定评论(文档)中频繁出现但在作为整体的评论(语料库)中不频繁出现的词给予高权重。具有高权重的单词是每个评论的代表，而具有低权重的单词出现在许多评论(例如，吃、食物)中，并且不与特定评论相关联。

A formula of tf-idf

A process of tf-idf

logreg = LogisticRegression(class_weight="balanced", random_state=0)
pipe = make_pipeline(TfidfVectorizer(norm=None, stop_words='english'), logreg)
param_grid = {'logisticregression__C': [0.001, 0.01, 0.1, 1, 10]}grid = GridSearchCV(pipe, param_grid, scoring="roc_auc", cv=5)
logreg_train = grid.fit(text_train, y_train)fpr, tpr, thresholds = roc_curve(y_test, grid.decision_function(text_test))
pred_logreg = logreg_train.predict(text_test)
confusion = confusion_matrix(y_test, pred_logreg)
print(confusion)
print("Classification accuracy is: ", (confusion[0][0] + confusion[1][1]) / np.sum(confusion)) 
print("Test AUC score is: ", auc(fpr, tpr));

混淆矩阵

[[806 226]
【454 3062]]
分类准确率为:0.850483729112
AUC 得分为:0.899483666

让我们想象一下哪 25 个单词对预测的影响最大。(点击下图放大)

mglearn.tools.visualize_coefficients(grid.best_estimator_.named_steps['logisticregression'].coef_, 
                                   feature_names, n_top_features=25)
plt.title("tfidf-cofficient")

Blue for word which has huge influence on making prediction on positive review and red for negative.

对于负面评论(红色部分)，会出现“失望”、“最差”等词语。对于正面评论(蓝色部分)，会出现“很好”、“最好”等词语。奇怪的是，还有一些红色的单词，如“ok”、“excited”，这些应该是正面的评论。这将在下面讨论。

N-gram

对单词或每个单词进行训练是很棘手的，因为一些单词组合在一起表示非常不同的意思。

例如，“这不是一个好产品”，如果你用 1-gram(unigram)来标记这个句子，你会得到 6 个不同的单词，其中包括“好”。如果你用 3-gram，那么你会得到 3 个单词的所有组合，其中一个是“不好”。很明显，对“不是一个好”的训练可能导致更好的准确性，因为“不是一个好”更好地抓住了这句话的负面含义。

3-gram(三元模型)用于训练下面的分类器。

pipe = make_pipeline(TfidfVectorizer(min_df=5), LogisticRegression(class_weight="balanced", random_state=0))
param_grid = {'logisticregression__C': [0.001, 0.01, 0.1, 10, 100], 
              'tfidfvectorizer__ngram_range': [(1,1), (1,2), (1,3)]}grid = GridSearchCV(pipe, param_grid, scoring="roc_auc", cv=5)
logreg_train = grid.fit(text_train, y_train)
pred_logreg = logreg_train.predict(text_test)

confusion = confusion_matrix(y_test, pred_logreg)
print("confusion matrix \n", confusionprint("Classification accuracy is: ", (confusion[0][0] + confusion[1][1]) / np.sum(confusion)) 
print("AUC score is: ", auc(fpr, tpr)); 

混淆矩阵
[[810 222]
【261 3255】]
分类准确率为:0.893799472296
AUC 评分为:0.932426383

AUC 增加了约 3%

feature_names = np.array(grid.best_estimator_.named_steps["tfidfvectorizer"].get_feature_names())
coef = grid.best_estimator_.named_steps["logisticregression"].coef_
mask = np.array([len(feature.split(" ")) for feature in feature_names]) == 3
mglearn.tools.visualize_coefficients(coef.ravel()[mask], 
                                   feature_names[mask], n_top_features=40)

Trigram gram visualization

对于负面评论，会出现“不值得”、“不如”这样的词。对于这些单词，每个单词不传达任何意思(例如，the，as)或相反的意思(例如，值得，不值得)。对于正面评价，有一个连词，“喜出望外”。“惊讶”只能被认为是消极或积极的，副词，“愉快地”确保这有一个积极的意义。

总结:

对于少量数据和少量计算资源，您可以使用分类器，如逻辑回归，并根据如何转换数据来达到中等精度。考虑到数据大小和有限的硬件，在某些情况下，您可能不需要使用像 RNN、LSTM 这样的模型。

完整代码在此

主动学习如何帮助您用更少的数据训练模型

原文：https://towardsdatascience.com/how-active-learning-can-help-you-train-your-models-with-less-data-389da8a5f7ea?source=collection_archive---------5-----------------------

即使有大量的计算资源，在大型数据集上训练一个机器学习模型也可能需要几个小时、几天甚至几周的时间，这是昂贵的，并且是你生产力的负担。但是，在大多数情况下，您不需要所有可用的数据来训练您的模型。在本文中，我们将比较数据子集化策略以及它们对模型性能的影响(训练时间和准确性)。我们将在对 MNIST 数据集子集的 SVM 分类器的训练中实现它们。

通过主动学习构建子集

我们将使用主动学习来构建我们的数据子集。

主动学习是机器学习的一种特殊情况，在这种情况下，学习算法能够交互式地询问用户，以在新的数据点获得所需的输出。

子集化数据的过程是由一个主动学习者完成的，该学习者将基于一个策略进行学习，该策略的训练子集适合于最大化我们的模型的准确性。我们将考虑 4 种不同的策略来从原始训练集中构建这些数据子集:

• 随机采样:随机采样数据点
• 不确定性采样:我们选择我们最不确定其类别的点。
• 熵采样:选择类概率熵最大的点
• 边缘采样:我们选择最有可能和第二有可能类别之间的差异最小的点。

这些策略中的概率与 SVM 分类器的预测相关联。

对于这项研究，我们将构建 5000 个子集(8%的数据)；原始训练集 60，000 点中的 10，000 点(数据的 17%)和 15，000 点(数据的 25%)。

结果

为了测量我们在子集上训练的性能，我们将测量 训练准确度 和 训练时间比率计算如下:

我们可以为测试数据集计算相同的比率。结果总结在下图中。每个策略的 3 个数据点对应于子集的大小(5，000；一万和一万五)。

正如我们所看到的，使用不确定性采样策略，我们可以在 15，000 个点的子集上实现 99%以上的性能，而在完整数据集上训练 SVM 所需的时间仅为 35%。这清楚地表明，我们可以获得与使用完整数据集相当的结果，但只需要 25%的数据和 35%的时间。随机抽样是所有策略中最快的，但就准确率而言也是最差的。

因此，对数据子集进行处理是一种合理的方法，可以用更少的计算量显著减少训练时间，并且不会影响准确性。子集化数据适用于大多数分类数据集，但需要扩展以适用于时间序列数据和您正在训练的模型。

我们需要多少数据？

既然我们已经证明了在数据子集上训练模型的价值和可行性，我们如何知道最佳的子集大小应该是多少呢？一种叫做 FABOLAS [Klein et al.]的方法在这里实现可以推荐你应该使用的子集的大小。它通过学习上下文变量(要使用的数据集的大小)和最终得分的可靠性之间的关系来做到这一点。这意味着，通过在子集上训练模型，它可以推断模型在完整数据集上的性能。

贝叶斯优化扩展

如果我们想更进一步，我们可以通过使用贝叶斯优化来更有效地优化子集上的超参数的训练。我在以前的帖子中已经写了很多关于它的内容:

[## 高斯过程贝叶斯优化背后的直觉

在某些应用中，目标函数是昂贵的或难以评估的。在这些情况下，一般…

towardsdatascience.com](/the-intuitions-behind-bayesian-optimization-with-gaussian-processes-7e00fcc898a0) [## 揭开超参数调谐的神秘面纱

它是什么，为什么是自然的

towardsdatascience.com](/demystifying-hyper-parameter-tuning-acb83af0258f)

在 Mind Foundry，我们正在努力通过贝叶斯优化和主动学习来实现最优和高效的机器学习。如果您有任何问题或想尝试我们的产品，请随时给发电子邮件给我！

【更新:我开了一家科技公司。你可以在这里找到更多的

1:https://en . Wikipedia . org/wiki/Active _ learning _(machine _ learning)

2: 亚伦·克莱因，斯特凡·福克纳，西蒙·巴特尔，菲利普·亨宁，弗兰克·赫特，大型数据集上机器学习超参数的快速贝叶斯优化，arXiv:1605.07079【cs。LG]

人工智能和人类如何优化空气污染监测

原文：https://towardsdatascience.com/how-ai-and-humans-can-optimise-air-pollution-monitoring-bcc7807c7566?source=collection_archive---------8-----------------------

空气污染监测

众包空气质量监测案例

Photo by veeterzy on Unsplash

根据世界卫生组织(世卫组织)的数据，空气污染每年导致 420 万人死亡。难怪我们应该投入资源来了解和监测城市和社区的空气质量。这应该有助于城市规划当局，因为他们可以决定在哪里种树，建设绿地和管理交通。此外，它可以让我们所有人意识到空气污染对我们日常生活的影响，这对我们的健康至关重要。

在这篇文章中，我们从不同的角度探讨空气污染。我们想介绍和讨论众包空气质量监测的概念。对于那些不熟悉众包概念的人来说，它是关于让公众参与进来以实现一个共同的目标。我们可以通过将参与者的工作分成小任务来实现这一点；在这种情况下，收集空气质量测量值。我们的目标是以一种聪明的方式使用众包，通过使用人工智能(AI)来建立一个准确的空气污染热图。

我们认为，与目前放置在城市中的静态空气质量传感器相比，众包可能是一种更好的方法。首先，不是每个城市或城镇都有一个，当他们有一个时，他们通常被放置在一个捕捉该地区*均空气质量的方式。这意味着它们不一定反映我们在市中心行走时吸入的污染物。此外，我们需要考虑获取、维护和使用静态空气质量传感器的成本。

相反，众包提案依赖于我们参与的意愿。然而，这也需要使用低成本的移动空气质量设备来读取我们的行踪。

重要的是，我们不希望在任何时候任何地方都进行测量。这既有实际原因，也有数据隐私原因。首先，传感器必须连续工作。它还必须跟踪我们的位置，并采取时间戳空气质量测量。即使我们在室内，或者它在我们的包里或口袋里。因此，电池寿命很容易耗尽。最重要的是，这个小小的传感器比你的另一半更了解你的行动。不太好。

因此，挑战在于

确定何时何地应该进行空气质量测量，以便有效地监测我们的城市。

希望现在这里的优化问题开始变得更加清晰。考虑到我们实际愿意贡献的频率和设备可用的电池量，我们希望确定进行测量的最佳位置，以便这些测量对促进有效的环境探索最有用，从而提高我们对环境的了解。

要解决问题，首先需要回答一些关键问题。具体来说，我们的环境是如何表现的？每个测量对整体情况的贡献有多大？不同的测量方法如何影响我们对空气质量的理解？

本质上，我们需要一个环境模型。这将有助于我们量化每次阅读中包含的信息。它还可以帮助我们了解每个测量如何影响随时间收集的整体信息。

一个很好的候选方法是使用高斯过程。对于更专业的读者来说，高斯过程是一种回归技术，它自然地提供了估计值的预测均值和方差。在实践中，这意味着我们可以使用这种技术来插值随着时间推移的环境空气质量，只要进行一些测量。换句话说，我们可以预测未被观察到的位置(没有进行测量的位置)的空气质量，以及预测未来的环境状态。然而，重要的是，高斯过程也可用于提供我们对每个位置的空气质量有多确定(通过利用预测方差)。

Average air pollution over Beijing in terms of particulate matter (PM2.5) — Image by Author

在统计学和信息论中，*方差是不确定性的度量。*我们的目标是消除热图中的不确定性。我们想知道我们地区的空气质量。为了帮助我们直观地理解插值的含义，请看上图。在该图中，我们可以看到高斯过程作为回归技术的应用。具体来说，它插值了北京市的空气质量。

Variance/Uncertainty of air quality over Beijing — Image by Author

然而，正如我们所声称的，重要的是，高斯过程为你提供了对不确定性领域的理解。上图显示，静态传感器周围的不确定性较低，而其间的不确定性开始上升。离传感器越远，不确定性就越高。

现在，回到我们的众包方法。这种建模方法对我们有什么帮助呢？

让我们考虑一下。等效的数字看起来像什么，而不是静态传感器，我们正在模拟志愿者进行的测量。正如我们所说的，一直进行测量是很困难的。当我们在户外或者只是想测量时，我们更有可能进行测量。然而，从概率上来说，更多的人聚集在市中心，也许靠*受欢迎的景点。这部分不用想太多。下面是一个设置示例。确实有些人在市中心，有些人在颐和园附*。

Variance/Uncertainty of air quality over Beijing — Image by Author

然而，从该图中我们可以看出，静态传感器设置可能并没有那么糟糕。这是因为环境的变化或不确定性在所有区域都很高(如图中黄色部分所示)。从好的方面来看，市中心或热门景点的人们可以确信，他们知道他们所在地区的空气质量如何。但这对于城市规划来说用处不大。

我们可以做得更好。我们还没有真正解决这个问题，因为我们还没有指导或提醒人们何时何地获取读数。考虑到人们如何移动或者他们更可能愿意在哪里进行测量，这仅仅是一个可能的默认设置。

然而，我们设法发展了我们的理解。我们现在可以用我们的建模方法来描述这个问题。具体来说，我们需要进行一组测量，以使通过使用高斯过程测量的信息最大化。

这个问题的解决方案需要使用广泛的人工智能领域的算法。具体来说，我们需要一个智能系统来决定何时何地进行测量，以最大限度地获取有关空气质量的信息，同时最大限度地减少所需的读数数量。该系统可以采用与元启发式算法相结合的贪婪搜索技术，例如随机局部搜索、无监督学习(聚类)和随机模拟。这些只是一些潜在技术的例子，我不打算进一步展开，而是给出一个算法的大概情况。

主要想法是随着时间的推移模拟环境，问一些假设的问题。如果我现在进行测量，而不是晚上。哪一个会给我最好的结果？两者都有必要吗？如果我在市区测量或者在我家附*测量会怎么样？

想想我们可以问的所有可能的假设问题。这是每个人每时每刻的假设。即使对于最强大的计算机，这个问题也很难解决。这将需要运行数百万次模拟来涵盖我们每个志愿者的所有可能场景。幸运的是，如上所述，我们有更多的算法方法。例如，聚类可用于将同一地点的人分组，并从本质上将其视为一个实体。因此，智能系统不需要为每个志愿者考虑不同的模拟，而是为每个实体考虑不同的模拟。我们不仅能在空间上，而且能在时间上把人们分组。在相似的时间在相似的地点进行测量的人也可以被看作是一个单一的实体。

既然我们减少了所需的模拟，我们可以使用元启发式方法，基本上是按顺序评估每个组合，以便我们逐渐接*更好的配置，但不一定是最好的配置。一个比上述更好的可能对参与者和城市规划都有用。例如，贪婪算法将首先随时间迭代所有可能的实体，并评估如果这些实体中的任何一个进行单次测量，所收集的信息如何变化。以同样的方式，该算法可以逐步选择最佳位置，而实际上不必评估所有可能的设置。

Variance/Uncertainty of air quality over Beijing — Image by Author

最后，给定上述算法过程，智能系统给了我们一个很好的可能的解决方案。这意味着我们有一组推荐的位置来获取空气质量读数。正如我们在上图中看到的，这是一个比我们以前的设置好得多的设置。此外，它与我们之前讨论的静态传感器放置相当。想象一下有更多的志愿者。这只会变得更好，使上面的地图更绿。总体而言，随着人工智能算法和众包的使用，空气质量监测可以变得更容易和更有效。

这篇文章和数字是基于一个出版的期刊:泽诺诺斯，亚历山大，塞巴斯蒂安斯坦，和尼古拉斯詹宁斯。"在不确定的参与式传感环境中协调测量."人工智能研究杂志61(2018):433–474。

人工智能咨询如何损害您的数字化转型

原文：https://towardsdatascience.com/how-ai-consulting-can-hurt-your-digital-transformation-c51f35ba5dbb?source=collection_archive---------9-----------------------

Image by Edu Lauton, CC0

你对人工智能如何提升你的业务有很好的想法？你有预算，有支持，只是想让它动起来。现在你聘请外部顾问来做这项工作。他是一个完美的模型建造者——但是尽管他很善良，他却在摧毁你的生意，因为他在做模型和跑步！

伟大的机器学习顾问会被推进一项工作，并做得很好。然后他们消失了；留下一个模型。以下是为什么模型和运行对你的业务伤害大于帮助的原因。

失去了知识

在项目开始之前，顾问需要做很多事情。首先，他需要从统计学的角度定义你的问题。他需要抓住潜在的问题并找到正确的数据。这个过程很耗时间，需要大量的沟通。当顾问离开项目时，他最终的继任者面临两个主要问题。

他为什么要这样做？理想情况下，这应该可以从代码和注释中得到解答。现实告诉我，事实往往并非如此。另一个人工智能顾问进入这个项目的问题是，他需要从用例的角度理解派生的价值。虽然乍一看这听起来微不足道，但人们可能会碰到从物理方程推导出来的东西。

更难的问题是:他为什么不这么做？或他试过这个吗？。失败的尝试有时和成功的尝试一样重要。如果你想再次接触模型，你不想做徒劳的重复，只是因为你不知道这已经被尝试过了。失败通常没有记录。你可能会说这没关系，因为模型是静态的；但通常情况下这是不正确的。

型号维护

人工智能模型和其他机器一样需要维护。这是因为世界在变化。机器可能会更新，或者你的客户行为可能会改变。你需要发现这些概念的变化并采取行动。这可能像简单的再培训一样简单，但可能涉及建模技术或数据模型的重大变化。失去你的顾问对任何新的人工智能专家来说都是一项艰巨的任务。

另一个密切相关的点是，你经常想要在相同的数据上建立一个模型，但是有不同的目标。你建立了一个客户流失模型？也许你想在相同的数据上建立一个销售线索评分模型或客户生命周期模型。如果有相同的人参与，许多工作流程可以重复使用，许多讨论可以缩短。

运行不驱动变化

许多企业正处于转型阶段。他们需要采用新技术，并将数字化作为竞争优势。对于“非数字原生”企业来说，这带来了一个复杂的问题:*我如何利用我员工的现有技能来实现这一点？*拥抱数字化需要一个自下而上的组成部分。

团队中的每个人都需要看到用例，看到为什么要用 AI 来解决的原因。复杂的任务是让预测文化和思维进入公司。新的潜在的改变游戏规则的想法需要专家可以给出反馈的明确点。实际上，这个任务就是从推动式文化中走出来——做这个项目吧！ —对于拉动式文化:——嘿，我们有这种数据，我想我们可以对此建模，你觉得呢？

让人工智能顾问运行意味着你移除了一个关键的结晶点。有多少午餐讨论比一小时的会议更有成效？

解决方案:辅导

永远拥有一个人工智能顾问通常是不可能的，因为预算原因或者因为他想继续前进。你可以做的是转换到教练型的参与。与其在地下室的小衣柜里做模型，不如让其他人尽早参与进来。

最极端的情况是，顾问不是自己做工作，而是和别人一起做。这些人接受以数据科学的方式思考的训练。他们可以添加有价值的反馈和运输信息。

这方面最大的挑战是数据科学的两个最苛刻的技能:统计和编码。但是两者都可以通过正确的工具训练或减少到最低的必要水*。RapidMiner 等无代码数据科学解决方案与编码解决方案一样强大，并为每个人提供了参与旅程的选项。

人工智能如何改变公关

原文：https://towardsdatascience.com/how-ai-is-changing-pr-14b40b8cd619?source=collection_archive---------3-----------------------

如今，人工智能正在被广泛讨论，因为它有可能自动完成需要重复手工操作的任务。分析人工智能是否会在未来取代人类，这不是本文的范围，而是我在这里提出人工智能如何真正帮助公关专业人员的日常工作。

如果你有一个满是客户的机构，你可能已经意识到在社交媒体上与公众接触是多么令人疲惫，喜欢、回复、关注、搜索你每天管理的每个账户。如果每一项任务都可以自动化该有多好，这样可以节省公关专业人员的时间，让他们去做一些重要的工作，比如创造性的工作和决策活动。

如果你认为有足够的软件可以帮助营销人员，那你就大错特错了。大多数情况下，这些机构不得不依靠多种解决方案，因为没有一个软件能够满足公关机构的大部分需求。

因此，我越来越相信，公关专业人士将不得不掌握人工智能和机器学习的良好命令，以自动化上述重复性的手工工作。不要害怕，人的因素将始终与建立公众参与的机器人相关，因为算法必须不断受到监控，也由公共关系和营销专家设计。

总之，人工智能将塑造未来的公共关系，人们必须准备好充分利用它。

我在这里结束这个话题，但我建议你快速阅读关于人工智能和机器学习的文章，以了解它们如何帮助你推动你的活动。

想取得联系？请在下方留言或通过LinkedIn**:)**联系我

人工智能如何改变信任和安全

原文：https://towardsdatascience.com/how-ai-is-changing-trust-and-safety-9c0dfc1e4f9e?source=collection_archive---------3-----------------------

Source: https://medium.com/trooly-buzz/bay-area-tech-wire-los-altos-based-trooly-raises-10m-launches-instant-trust-ratings-5a600c77dd01

信任是人类互动的基础。这是贸易、政治和社会纽带所必需的。对于互联网来说是必不可少的。在过去的 20 年里，我们经历了三次不同的互联网活动爆炸，每一次都有自己的信任问题。

• 从 2000 年到 2005 年，我们见证了电子商务在 Ebay、亚马逊和 Paypal 等*台上的发展。这些公司饱受洗钱和欺诈问题的困扰。
• 从 2005 年到 2010 年，像脸书、Linkedin 和 Twitter 这样的社交网络发展迅速。这些公司面临着网络辱骂、仇恨言论、虚假账户以及最*的虚假内容等问题。
• 自 2010 年以来，像优步和 Airbnb 这样促进同伴互动的公司越来越多。这些公司面临着上述一些问题，以及游客破坏、卖淫、性骚扰和杀人案件中的新问题。

网上信任的主要目的是安全。随着在线互动变得越来越个人化，这种互动带来的危险也越来越大。去年最致命的枪击事件之一是密歇根州卡拉马祖市的一名优步司机所为。归咎于拼车公司的事故清单在这里汇总。

大多数领先公司已经采取措施解决信任和安全问题。这些步骤包括制定保护保险等政策、要求背景调查和对交易进行人工审查。但这些工具中最强的可以说是机器学习，因为不可能人工审查任何给定*台上的所有交易。

在我看来，机器学习的兴起导致了三个主要变化。**首先，企业在信任和安全方面变得更加积极主动。**在点对点经济的早期阶段，大多数公司只是在用户犯了一个不好的行为后才封禁用户。然而，当欺诈、损害和潜在诉讼造成的损失开始增加时，许多公司都出台了更严格的政策，甚至禁止用户进行可疑活动。例如，一家公司可能禁止 IP 地址来自尼日利亚的所有用户。这种新的警戒级别可能会导致大量的误报或假警报。在对个人或公司可能存在风险的情况下，人们可以调整算法以接受更多的误报。在其他情况下，风险只是很小的财务损失(促销滥用等)。)，公司可能愿意接受假阴性。机器学习允许我们根据场景做出正确的权衡。

**其次，在信任和安全领域，已经出现了建立行业模型的初创公司。**以前，公司仅依靠自己的数据来做出决策。现在，他们可以用外部数据来补充。 Sift Science 和 Onfido 就是这类创业公司的两个例子。这些公司与不同行业的各种客户合作过，并能够调整自己的模型来检测许多模式。

例如,在处理电子邮件地址时,提供信任解决方案的初创公司会查看诸如首字母大写、电子邮件中数字的存在以及一次性电子邮件域的使用等特征。根据他们的研究，存在上述特征的用户更有可能是欺诈用户的 6 倍、4 倍和 9 倍。Sift Science 在支付欺诈、账户接管和内容、推广和账户滥用方面提供解决方案；Onfido 在身份验证和背景调查方面提供解决方案。通过使用这些外部解决方案，引领 P2P 经济的公司已经能够减少良好用户的摩擦，减少欺诈造成的损失，提高转化率，同时节省欺诈团队的时间和金钱。

**最后，人工智能最积极的影响是减少了偏见。**研究人员表明人类基于认知、社会和个人偏见做出决定。例如，众所周知，Airbnb 的客人会歧视名字很黑的客人、亚裔和甚至是残疾人。这些偏见甚至已经蔓延到了我们的机器学习模型中。

微软研究院的研究表明，当你在谷歌新闻的文章上应用一种名为 word2vec 的神经网络技术时，它会对基于性别的刻板印象进行编码，如“父亲:医生母亲:护士”和“男人:计算机程序员女人:家庭主妇”。这些偏见往往对少数民族和有色人种影响最大。然而，一旦识别出这种偏差，修复人工智能或消除算法偏差就容易多了。公司现在正在采取积极的措施来减少他们*台上的偏见和歧视。最突出的例子是 Airbnb，该公司已采取重大措施促进包容性 。

如今，有大量的公开数据，以网站、社交媒体、观察名单、犯罪名单等形式存在。然而，从这些数据中提取洞察力是一个巨大的挑战。我一直致力于使用公开可用的数据来增强身份验证、滥用检测、背景调查和就业筛选解决方案。这很有挑战性，因为每个*台都是不同的，每个*台都有自己的问题。我认为，随着我们在线互动的增长，我们需要投资于信任层，以减少并有望在某一天消除不良事件。机器学习将在构建这一层中发挥巨大的作用。

Chirag Mahapatra 在 Trooly 工作，这是一家使用机器学习的初创公司，根据网站、社交媒体和犯罪记录等公共来源的数据提供信任评级。所有观点仅代表其个人观点，不代表其雇主的观点。

人工智能如何改变金融行业？

原文：https://towardsdatascience.com/how-ai-is-transforming-finance-industry-f2cd1eaf67be?source=collection_archive---------1-----------------------

风险评估

因为人工智能的基础是从过去的数据中学习；很自然地， AI 应该在金融服务领域取得成功，在这个领域，记账和记录是业务的第二天性。让我们以信用卡为例。今天，我们用信用评分来决定谁有资格申请信用卡，谁没有。然而，将人们分为“富人”和“穷人”并不总是对企业有效。取而代之的是关于每个人的贷款偿还习惯、当前活跃的贷款数量、现有信用卡数量等数据。可用于自定义卡上的利率，使其对提供卡的金融机构更有意义。现在，花一分钟思考一下，哪个系统有能力检查成千上万的个人财务记录并提出解决方案——当然是一台有学问的机器！这就是人工智能的用武之地。由于它是数据驱动和数据依赖的，扫描这些记录也使人工智能能够提出具有历史意义的贷款和信贷建议。

人工智能和人工智能正在很快取代人类分析师，因为人类选择中涉及的不准确性可能会花费数百万美元。人工智能建立在机器学习的基础上，它随着时间的推移学习，减少出错的可能性，并分析大量的数据；人工智能在需要智能分析和清晰思维的领域建立了自动化。聊天机器人确实证明了自己是提高客户满意度的强大工具，也是帮助企业节省大量时间和金钱的无与伦比的资源。现在，回到脸书在设计和开发机器人以像人类一样进行谈判方面的努力，让我们分析一下这项研究成功的机会。这项新技术不仅会改变我们做生意的方式，也会改变非商业活动。非商业活动的例子可以包括固定会议时间。机器人可以安排会议，记住参与会议的每个人的可用性。

欺诈检测和管理

每个企业都旨在降低其周围的风险条件。对于一个金融机构来说更是如此。银行给你的贷款基本上是别人的钱，这就是为什么你还可以获得存款利息和投资红利。这也是银行和金融机构非常、非常严肃对待欺诈的原因。在安全和欺诈识别方面，人工智能处于领先地位。它可以利用过去在不同交易工具上的消费行为来指出奇怪的行为，例如在其他地方使用过一张来自另一个国家的卡几个小时后就使用这张卡，或者试图提取一笔对相关账户来说不寻常的钱。使用 AI 的欺诈检测的另一个优秀特性是，系统对学习没有疑虑。如果它对常规交易发出了危险信号，而人类纠正了这一点，系统可以从经验中学习，并做出更复杂的决定，确定哪些可以被视为欺诈，哪些不可以。

金融咨询服务

根据普华永道的报告，我们可以期待更多的机器人顾问。随着金融机构降低个人投资佣金率的压力增加，机器可能会做人类不会做的事情——为一笔首付而工作。另一个不断发展的领域是仿生咨询，它结合了机器计算和人类洞察力，提供比单个组件更有效的选项。协作是关键。把一台机器看作是一个附件，或者另一方面，看作是一个令人难以忍受的万事通，这是不够的。出色的*衡和将人工智能视为决策中的一个组成部分的能力与人类观点一样重要，这是金融决策的未来。

贸易

投资公司一直依赖计算机和数据科学家来确定市场的未来模式。作为一个领域，交易和投资依赖于准确预测未来的能力。机器在这方面很棒，因为它们可以在短时间内处理大量数据。也可以教会机器观察过去数据中的模式，并预测这些模式在未来如何重复。虽然数据中确实存在 2008 年金融危机这样的异常，但可以教会机器研究数据，以找到这些异常的“触发器”，并在未来预测中为它们做好计划。更重要的是，根据个人的风险偏好，人工智能可以建议投资组合解决方案，以满足每个人的需求。因此，一个有高风险偏好的人可以依靠人工智能来决定何时购买、持有和出售股票。风险偏好较低的人可以在市场预期下跌时收到警报，从而决定是继续投资还是退出市场。

管理财务

在这个联系紧密、物质至上的世界里管理财务对我们许多人来说都是一项具有挑战性的任务，当我们进一步展望未来时，我们可以看到 AI 正在帮助我们管理财务。PFM(个人财务管理)是人工智能钱包的最新发展之一。 Wallet 由旧金山的一家初创公司创立，使用人工智能来构建算法，以帮助消费者在花钱时做出明智的决定。钱包背后的想法非常简单，它只是从你的网络足迹中积累所有数据，并创建你的消费图表。主张在互联网上侵犯隐私的人可能会觉得这很无礼，但也许这是未来的事情。因此，为了节省制作冗长的电子表格或写在纸上的时间，它必须是首选的个人财务管理。从小规模投资到大规模投资，AI 承诺做未来理财的看门狗。

毫无疑问，人工智能是金融业的未来。由于它在使客户的财务流程变得更容易方面的进步速度，它很快就会取代人类，提供更快、更有效的解决方案。随着人工智能领域的创新，机器人正在逐步发展。这些公司正在进行大规模投资，他们认为这是一项长期的成本削减投资。这有助于公司节省雇人的费用，也避免了这个过程中的人为错误。

虽然它仍处于萌芽阶段，但以其发展金融业的速度，可以预期其前景将导致轻微亏损、更智能的交易，当然还有一流的客户体验。

到 2020 年，人工智能、虚拟现实和大数据将如何改变房地产行业

原文：https://towardsdatascience.com/how-ai-vr-and-big-data-will-transform-the-real-estate-industry-by-2020-76f916cf016e?source=collection_archive---------3-----------------------

Photo credit: Shutterstock

对虚拟现实和人工智能的大肆宣传让我很长一段时间没有写这篇文章。在某一点上，似乎每个能够把单词放在一起的人都至少写了一篇关于这个话题的帖子。我不想追随潮流。我也不知道一些关于人工智能或虚拟现实的独特和有趣的东西，我可能会与他人分享。

然而，事情发生了变化。生活中所有美好的事情都发生在午餐时间(我是一个美食家，对此我很抱歉)。我坐在餐厅里，听到我的两个同事在谈论我们公司即将推出的新功能。我听了几分钟，这足以让我大吃一惊。“天哪，太大了，”我只能这么说。他们所描述的在我听来像是 2050 年。只不过这是我们团队当时正在开发的功能。那是 2017 年。现在依然如此。

如果我告诉你这是什么机密信息，希望没有人会责备我泄露了它。毕竟，已经上了新闻了。我的同事们谈论的是一些完全不寻常的事情。我惊讶地意识到，我工作的公司(和我一起工作的人)创造了由人工智能驱动的下一代租赁*台。我花了几个小时消化这些信息，花了几天时间才意识到我需要了解细节。这就是为什么我让我的同事告诉我他们所知道的一切。

长话短说，我听到的比我预料的要多。我不仅了解了 Rentberry 计划推出的新功能，还发现了整个房地产行业的未来。

长话短说，整个房地产世界将会翻天覆地。更具体地说，即将到来的将改变人们租房和出租的方式。告诉你最好的部分，最新的技术进步将带来优质的租赁体验，并节省我们的时间，金钱和精力。

对于对所有这些未来事物都不是特别满意的我(我就是那个害怕机器人有一天征服世界的人)，它给未来带来了一些希望。我准备承认，人工智能实际上可以服务于像你我这样的人的需求。但是我们先把空话放在一边，深入挖掘话题。我等不及要透露细节了。

租户智能搜索工具

想象一下搬到你从未去过的城市。你不知道哪些社区是安全舒适的，哪些是最好不要去的。你不熟悉当地的交通模式，这使得很难对可能的上下班通勤做出估计。更不用说你无法确定某个特定的街区是否符合你对餐饮和购物设施的期望。

在不久的将来，人工智能算法将能够分析你的习惯和偏好，并告诉你特定城市的哪个部分最适合你。很难相信，但有算法能够分析你的日常工作，并根据它们的位置、设施等为你建议最佳的租赁单元。

对你有什么好处？

正如我之前所说，由人工智能驱动的租赁*台将能够搜索成千上万的房源，并预测你最有可能喜欢的房源。该算法将根据你的工作地点、你满意的价格范围、你最可能喜欢的活动等等做出假设。该系统将不断研究你的偏好，并随着时间的推移使其假设更加准确。你能想象一个租赁*台知道你在找什么，并向你展示完全符合你需求的房产列表吗？

VR 和 AR vs. Open House

我几乎可以听到保守的房东尖叫说，没有什么可以取代传统的开放房屋。我几乎可以听到他们说，无论是高质量的照片还是 3D 旅行都不会挤掉对未来家园的真正访问。嘘，老学生。我明白你的意思。你说得对。但是没有人说新技术会取代所有传统的东西。不要想替代，要想补充。

看房仍然是了解某个房产是否符合你的需求的最佳方式。然而，如果手头有更多合适的选择，参加开放日有时可能太昂贵、太耗时，而且完全不合理。你未来的房产可能离你现在的住处有几英里远，或者你的日程安排可能被会议和紧急事情排得满满的。如果这描述了你的经历，开放参观选择可能是天赐之物。

你有什么好处？

假设你正计划搬迁到另一个城市，而你在那里没有地方住。你在网上搜索租房信息并找到几个你喜欢的房源。在旧世界(没有 VR 和 AR 的世界)，你的下一步将是花费时间和金钱去新城市旅行，以便参加开放参观。然而，在当今世界，这只是选择之一。让我告诉你这不是最好的。

多亏了新技术，你所要做的就是戴上虚拟现实耳机，让自己沉浸在另一个现实中。不需要去参观就能享受到开放日的所有好处。听起来很酷？确实如此。房地产公司看到了 VR 和 AR 的巨大潜力。虽然虚拟现实可以作为开放门户的替代方案，但增强现实可能有助于潜在客户想象他们现在空无一人的家中的家具和装饰。

由大数据驱动的列表

任何精通房地产的人都会证实，经过计算的风险才是王道。不要相信那些告诉你他们投资成功是靠运气的人。质疑那些向你保证他们在为房产定价时不分析市场的人的话。在房地产行业，一切都归结于分析。数据越多，预测就越准确。

这就是大数据在房地产领域如此强大的原因。由于大数据服务越来越受欢迎，在购买出租、设定合适的租赁价格或出售房产时，可以消除所有猜测并依赖统计假设。

在 Rentberry，我们现在正在开发一个功能，该功能将使用大数据资产来帮助房东和房主定义他们房产的真实价值，并确保他们的价格符合当前的市场趋势。

你有什么好处？

让我们假设你有一处房产出租。你需要找出什么是你的财产的正确价格。但是，你以前没有租出去的经验。你也没有时间和欲望去研究市场。

如果没有大数据分析，您将需要手动搜索类似的租赁单元，确保它们位于与您相同的城市/社区，并计算所有单元的*均价格。显然，要做到这一切需要时间、努力和耐心。多亏了 AI，系统会帮你跑腿。它将搜索相同大小、相同设施和相似位置的房产。最终，它会告诉你像你这样的财产最合理的价格是多少。

遇见未来

他们说我们永远不知道未来会发生什么。听起来不错，但对于本文的主题并不成立。作为一个在 IT 和租赁业务之间取得*衡的公司工作的人，我可以清楚地看到现在的情况和未来的情况。房地产的未来是关于改善和进步的。它是关于在更短的时间内获得更好的结果。而是让智能算法在很短的时间内解决我们的问题。而是变得更好，做得更多。

这是未来，孩子。你会喜欢的。

AI 将如何影响不同的技术领域！

原文：https://towardsdatascience.com/how-ai-will-affect-different-fields-of-technology-9977369f3e2b?source=collection_archive---------2-----------------------

人工智能是一个在一些人的头脑中激发奇迹，但在另一些人的心中引发恐惧的术语。事实是，人工智能正在以惊人的速度改变我们的生活。从无人驾驶汽车到专用机器人，人工智能旨在提高人类生活质量。

Driverless car by Google

由人工智能和机器学习驱动的技术已经开始改变工业格局，为组织提供了巨大的利益，并为其业务增加了巨大的价值。

在人工智能的影响下，交通运输、医疗保健、物流、金融和工业制造等行业将经历巨大的变革，它们将变得更具生产力、更便宜，更重要的是，提供更好的服务。

在它的所有应用中，我最兴奋的是人工智能在以下领域产生的结果:

卫生保健

在人工智能专家系统和自主机器人外科医生的帮助下，与所有类型手术相关的风险可以大幅降低，因为即使是小手术也可以以惊人的精度和效率完成。

由于人工智能系统可以作为一个整体不断学习和进化，与只能从自己的经验中学习的人类医生相反，它们将在利用现有的大量医疗数据诊断和治疗疾病方面变得更加优越。

研究已经表明，通过从医疗保健系统收集的数百万患者扫描档案中进行训练，可以训练深度神经网络产生高度可靠的基本放射学结果。许多巨头已经进入了医疗保健机器人领域。

例如，在 2000 年，Intuitive Surgical 推出了达芬奇系统，这是一种新颖的技术，最初上市是为了支持微创心脏搭桥手术，然后在前列腺癌治疗方面获得了巨大的市场牵引力，并在 2003 年与它唯一的主要竞争对手 Computer Motion 合并。

目前处于第四代的达芬奇，在一个符合人体工程学的*台上提供了 3D 可视化(与 2D 单眼腹腔镜相反)和腕式仪器。许多研究人员正在研究类似的医疗设备，这些进展有可能增加和提高人类的*均寿命。

个人护理

我们已经有几个聊天机器人和个人代理，如 Google home、Alexa 和 Siri，它们可以帮助我们进行简单的查询。

在不久的将来，我们可能会有能替我们做日常家务的人形机器人。国家劳工统计局预测，家庭健康助理在未来十年将增长 38%。

这说明了市场的需求。像亚马逊机器人和优步这样的公司正在研究能够提供基本家庭援助服务的类人机器人。

Human like Robot Sophia

由深度学习实现的自然语言处理和图像处理的巨大进步将增强机器人在家中与人的互动。人工智能真正有用的另一个领域是老年人护理。

尽管目前市场上已经有了一些设备，但一种帮助老年人的可持续人形机器人仍在研发中。人工智能将成为我们生活中不可或缺的一部分，因为我们的家庭将充满智能技术，带来更高的效率和更高的舒适度，为我们节省时间、金钱和能源，同时为我们提供优质服务。

最新的例子是 Amazon Go stores，它使用人工智能和计算机视觉来消除百货商店的长队账单，节省了我们的时间和精力。

自治系统

不管技术变得多么智能，它们永远不能被认为是人类生活的替代品。

在一段时间内，所有危及人类生命但很重要的工作都可以由 AI 赋能的机器人来完成；这包括修理电线，在最深的海沟中寻找石油，以及充当打击犯罪的警察力量。

One of RobotWorx designs

机器人保护人类免受伤害的最好例子之一是机器人焊接。手工焊接是危险的，会对相关人员造成很大伤害。 RobotWorx ，一家机器人初创公司已经开发出机器人来完成这种任务，只需要几个人来帮助机器人焊接。

另一个这样的例子是下水道勘测；目前，遥控设备可以爬下沙井，导航下水道，调查堵塞的下水道管道，很快它们就会有足够的智能来自行操作和自主行动。

这样，每年可以从这些地区发生的不幸事故中挽救许多生命。

太空旅行

人工智能最伟大的应用之一是在太空旅行和探索中。人工智能可以帮助我们到达未知的行星和恒星，而不必冒生命危险。

在不久的将来，人工智能驱动的人形机器人将足够聪明，能够独立执行太空任务，为人类的繁荣发展寻找新的资源。

正如你在这里看到的，美国宇航局喷气推进实验室的钱志军和奇莉·瓦格斯塔夫预测，在未来，太空探测器的行为将由人工智能而不是来自地球的人类提示来控制。

In future AI empowered robots will govern space programs autonomously

许多组织已经努力设计专门用于探索目的的人工智能技术，他们取得的进步继续模糊了虚构和现实之间的界限。

例如，2003 年发射的勇气号和机遇号火星车都有一个名为 Autonav 的人工智能驾驶系统，允许他们探索火星表面。鉴于人工智能行业的快速发展，我们将拥有完全自主的系统，这将很快改变太空探索领域。

这些只是人工智能应用的一小部分，尽管毫无疑问，人类将从这些应用中大大受益，但不可否认的是，将会有重大的后果。

根据一份报告，到 2021 年**，智能代理人和相关机器人将会减少 6%的工作岗位**。

也就是到 2021 年。因此，最重要的是密切监测人工智能的发展，并采取措施确保社会最终不会受害。

现在和人工智能驱动的未来之间的*稳过渡需要实施。

一个良好的开端是谷歌的“人人都有人工智能”项目，该项目试图向人们展示如何利用人工智能的力量。因此，人工智能可以被认为是一种工具，如果使用得当，它可以在无数方面造福人类。

亚马逊 Alexa 是如何工作的？你的自然语言处理指南

原文：https://towardsdatascience.com/how-amazon-alexa-works-your-guide-to-natural-language-processing-ai-7506004709d3?source=collection_archive---------1-----------------------

我们现在可以与几乎所有的智能设备对话，但它是如何工作的呢？当你问“这是什么歌？”，正在使用哪些技术？

【Alexa 是如何工作的？

据微软项目经理阿迪·阿加什称，Alexa 是基于自然语言处理(NLP)构建的，这是一种将语音转换为单词、声音和想法的程序。

• 亚马逊记录你的话。事实上，解释声音需要大量的计算能力，你讲话的录音会被发送到亚马逊的服务器上进行更有效的分析。

**计算能力:**指指令执行的速度，通常用千浮点、百万浮点等表示。

• 亚马逊将你的“订单”分解成单独的声音。然后，它会查询包含各种单词发音的数据库，以找到哪些单词最接*单个发音的组合。
• 然后识别重要的单词以理解任务并执行相应的功能。例如，如果 Alexa 注意到像*“运动”或“篮球”*这样的词，它就会打开运动应用。
• 亚马逊的服务器将信息发送回你的设备，Alexa 可能会说话。如果 Alexa 需要回应什么，它会经历上述相同的过程，但顺序相反
  ( 来源)

Source

深入解释

根据 Trupti Behera 的说法，“它从信号处理开始，这给了 Alexa 尽可能多的机会通过清理信号来理解音频。信号处理是远场音频领域最重要的挑战之一。

这个想法是为了改善目标信号，这意味着能够识别像电视这样的环境噪声，并将其降至最低。为了解决这些问题，七个麦克风被用来大致识别信号来自哪里，以便设备可以专注于它。声学回声消除可以减去该信号，从而只留下剩余的重要信号。

下一个任务是“唤醒词检测”。它确定用户是否说出设备被编程需要打开的单词之一，例如“Alexa”。这是减少误报和漏报所必需的，误报和漏报可能会导致意外购买和愤怒的顾客。这真的很复杂，因为它需要识别发音差异，并且它需要在 CPU 能力有限的设备上这样做。

如果检测到唤醒词，信号将被发送到云中的语音识别软件，该软件将音频转换为文本格式。这里的输出空间是巨大的，因为它查看英语中的所有单词，云是唯一能够充分扩展的技术。使用回声音乐的人的数量使这变得更加复杂——许多艺术家使用不同的拼写作为他们的名字，而不是单词。

Amazon.com

为了将音频转换成文本，Alexa 将分析用户语音的特征，如频率和音高，以给你特征值。

给定输入特征和分成两部分的模型，解码器将确定最可能的单词序列。第一个是先验，它基于大量的现有文本给你最可能的序列，而不看特征，另一个是声学模型，它通过查看音频和转录本的配对，用深度学习进行训练。这些被组合并应用动态编码，这必须实时发生。"(来源)

对“订单”的分析

Source

上面的命令有 3 个主要部分:唤醒词、调用名、话语。(这部分摘自基兰·克里希南的文章)

• 唤醒词 当用户说‘Alexa’时，唤醒设备。唤醒词将 Alexa 置于监听模式，并准备接受用户的指令。
• 调用名称 调用名称是用来触发某个特定“技能”的关键字。用户可以将调用名称与动作、命令或问题结合起来。所有的定制技能必须有一个调用名来启动它。

Alexa“技能”:语音驱动的 Alexa 能力。

• 话语 【金牛座】是话语。话语是用户向 Alexa 发出请求时使用的短语。Alexa 从给定的话语中识别用户的意图，并做出相应的响应。所以基本上话语决定了用户想要 Alexa 执行什么。

之后，支持 Alexa 的设备将用户的指令发送到一个名为 Alexa 语音服务(AVS)的云服务。

将 Alexa 语音服务视为 Alexa 启用设备的大脑，并执行所有复杂的操作，如自动语音识别(ASR)和自然语言理解(NLU)。

Alexa 语音服务处理响应并识别用户的意图，然后在需要时向第三方服务器发出 web 服务请求。

什么是 NLP？

这是人工智能和计算语言学的融合，处理机器和人类自然语言之间的交互，其中计算机需要分析、理解、改变或生成自然语言。

NLP 帮助计算机机器使用多种形式的自然人类语言进行交流，包括但不限于演讲和写作。

"与电脑进行 20 分钟的闲聊不仅仅是一次登月，而是一次火星之旅。"

在这篇文章中，我发现了一个有趣的部分，它说“理解人类语言由于其复杂性而被认为是一项困难的任务。例如，在一个句子中有无数种不同的方式来排列单词。此外，单词可以有多种含义，正确解释句子需要上下文信息。”

开始时，系统得到自然语言的输入。

**自然语言:**人类通过使用和重复，没有有意识的计划或预谋，自然进化出来的任何语言。自然语言可以采取不同的形式，如语音或手语

之后，它将它们转换成类似语音识别的人工语言。在这里，我们将数据转换成文本形式，由 NLU(自然语言理解)处理以理解其含义。

如果你只是在谈论机器理解我们所说的话的能力，一个好的规则是使用术语 NLU。NLU 实际上是更广阔的 NLP 世界的一个子集

隐马尔可夫模型(NLU 例子) :

在语音识别中，该模型将波形的每个部分与之前和之后的内容进行比较，并与波形字典进行比较，以找出正在说的内容。

**波形:**声带的周期性振动产生浊音

隐马尔可夫模型(HMM)是一种观察到一系列排放，但不知道模型产生排放所经历的状态序列的模型。隐马尔可夫模型的分析寻求从观测数据中恢复状态序列。

Image source

对于 NeoSpeech 的营销专家 Trevor Jackins 来说，“它试图通过获取语音数据并将其分解为特定持续时间(通常为 10-20 毫秒)的小样本来理解你所说的话。这些数据集进一步与预输入的语音进行比较，以解码你在演讲的每个单元中所说的话。这里的目的是找到音素(语音的最小单位)。然后，机器会查看这一系列音素，并通过统计确定最有可能说出的单词和句子。”(来源

然后 NLU 开始深入理解每个单词，试图理解它是名词还是动词，用的是什么时态，等等。这个过程被定义为词性标注。

根据 EasyGov 的 CPO Pramod Chandra Yan 所说，“NLP 系统也有一个词典(一个词汇表)和一组编码到系统中的语法规则。现代 NLP 算法使用统计机器学习将这些规则应用于自然语言，并确定你所说的话背后最可能的含义。”(来源)

对于一家名为 Lola.com 的公司来说，“为了建造理解自然语言的机器，有必要结合使用规则和统计建模来提取语音。必须提取、识别和解析实体，语义必须在上下文中导出，并用于识别意图。例如，一个简单的短语“我需要 12 月 5 日到 10 日在巴黎的航班和酒店”必须被解析并给出结构:

**need:航班

(来源)

Bernard Marr，作者、主题演讲人和顾问，“当 Alexa 在解释你的请求时出错，这些数据将用于下次改进系统。机器学习是语音激活用户界面功能快速提高的原因。”(来源)

在亚马逊网站上，我们可以读到“通过自然语言理解(NLU)，计算机可以推断出说话者实际的意思，而不仅仅是他们说的话。基本上，当你问“Alexa，外面天气怎么样？”时，它使像 Alexa 这样的语音技术能够推断出你可能在问当地的天气预报。"

今天的语音优先技术是由 NLU 构建的，它是以识别人类语言中的模式和意义为中心的人工智能。以语音助手为代理的自然语言处理已经重新定义了我们在家里和其他地方与技术互动的方式。"(来源)

你可以在这里查看 Alexa 设备背后的代码:

[## Alexa/AVS-设备-sdk

商业设备制造商将 Alexa 直接集成到互联产品中的 SDK。-Alexa/AVS-设备-sdk

github.com](https://github.com/alexa/avs-device-sdk/wiki)

有关更多信息:

• https://www.quora.com/How-does-Alexa-work
• https://www . quora . com/亚马逊回声背后的技术是什么
• https://chatbotsmagazine . com/how-does-Alexa-skills-works-82 a7 e 93 DEA 04
• https://becoming human . ai/a-simple-introduction-to-natural-language-processing-ea6a 1747 b 32
• http://future-ai.news/2018/03/02/hi-ai-lets-chat/
• https://machine learning-blog . com/2018/07/25/自然语言处理/
• https://code burst . io/a-guide-to-NLP-a-confluence-of-ai-and-language-2786 c56c 0749
• https://blog . neo speech . com/what-is-natural-language-processing/
• https://medium . com/@ Lola . com/NLP-vs-nlu-whats-the-difference-d91c 06780992
• https://medium . com/@ Lola . com/NLP-vs-nlu-what-the-difference-d91c 06780992
• https://developer.amazon.com/fr/alexa-skills-kit/nlu

人工智能引擎如何改善你的业务

原文：https://towardsdatascience.com/how-an-ai-engine-can-improve-your-business-f8dc91e8371?source=collection_archive---------3-----------------------

Image Attribution

过去十年的巨大技术进步解决并极大地影响了人类的基本通信需求。一方面是网站、博客、电子邮件、短信、脸书、Snapchat、Slack 和智能手机，另一方面是作为主导媒介的谷歌，所有这些本质上都满足了我们的沟通需求。我将此称为“通信时代”，我认为就潜在的真正颠覆性创新而言，这个时代已经“停滞不前”。

我们现在正处于下一个时代的开端，即“知识时代”，人工智能(AI)将占据主导地位。AI 是一个总括术语，包括机器学习(ML)、自然语言处理(NLP)和知识表示(KR)等多种技术。人工智能现在是技术的前沿。

你的企业如何使用人工智能？

客户和潜在客户总是问他们如何使用人工智能来增加他们业务的价值。答案是通过部署人工智能引擎作为实现工具，通过它可以利用人工智能功能，抽象出内在的复杂性。由几个不同的模块组成，例如人工智能驱动的创意引擎，人工智能引擎可以作为服务(AIaaS)部署，也可以嵌入客户端-服务器、web 或移动应用程序中。

什么是人工智能引擎？

一个 AI 引擎由几个基本模块组成，包括一个机器学习模块、一个自然语言处理模块和一个知识表示(本体)模块。

为了实现特定的业务目标，如增加销售额、降低成本、解决合规性和提高网络安全性，这些模块用于收集和转换数据、生成准确的预测和见解、读取和分类文本等。

Fortuit AI 引擎

在 Fortuitapps 我们开发了一个强大的、面向商业的人工智能引擎(相对于同样重要的面向学术的对手)。下面我将详细介绍 AI 引擎组件，并描述它们如何用于改进业务流程。

机器学习模块

机器学习基于模拟生物大脑功能的神经网络。神经网络是一个由神经元(脑细胞)组成的网络，这些神经元通过称为突触的连接相互连接(想象一个渔网)。这些连接具有一定的强度(正或负)，这些连接的组合将根据特定的阈值导致神经元打开(触发)或不打开(想象一个连接有一些电源线的灯泡:如果累积的功率足够大，灯泡将打开)。人类的思维是神经元放电(或不放电)的结果。

现在，拿一个神经网络的一边，打开一些神经元。然后拿另一边，再次打开一些神经元。你已经给了网络一个给定输入和预期输出的例子(想象一个 1 加 1 的输入和一个 2 的输出，以便教它加法)。接下来，给它许多例子，然后使用一种特定的标准化学习算法，通过这种算法，它可以通过调整其连接的能力以及神经元何时激活来学习。一旦它通过多次迭代稳定下来，让它添加你没有教过它的数字:它会根据它所学到的东西以很高的概率做出准确的响应。这样，给定输入数据集(例如图像)和输出数据集(例如这些图像的描述)，基于它“看到”的模式，它可以非常准确地回答新图片包含什么，即使它以前从未见过它。

机器学习模块如何改善您的业务

机器学习模块可以提供

o 描述性分析(发生了什么)

o 预测分析(将会发生什么)

o 规范性见解(应该做什么)

换句话说，ML 模块可以分析游戏的当前状态，并提供关于未来的预测和建议。用于商业目的的机器学习部署的具体示例如下:

库存需求预测

一家全国性面包店希望准确预测需求并相应地调整生产。给定与一系列因素相关的过去表现，如一年中的时间、天气、政治局势、当前事件等，基于 ML 的准确需求预测可以产生可测量的显著节约。

减少产品退货

一家在线零售服装公司希望根据各种因素降低其产品的退货率，这些因素包括买家性别、年龄、订单历史、网站访问量、产品兴趣等。根据可用数据，选择最佳 ML 模型以提供对促成退货的因素的重要见解，可以显著影响盈利能力和效率(甚至达到实时“阻止”有高退货概率的订单的程度)

产品推荐

也许机器学习最受欢迎的应用是网飞的电影推荐系统和亚马逊的“顾客也买了”功能。“结帐”时推荐的产品是根据对将要发生的事情的非常准确的预先评估(即实际将购买多少建议产品)来选择的。

不良贷款

贷款人面临的一个巨大问题是，在潜在的不良贷款候选人实际成为不良贷款之前识别出他们，并采取相应的行动，这显然可以提供重要的价值。给定足够的历史数据，包括客户交易、概况、当前事件、失业率、利率和股票市场利率，所有这些都输入到 ML 模型的选定组合中，可以以令人印象深刻的准确度识别潜在的不良贷款。

自然语言模块

自然语言处理(NLP)为计算机提供了以书面或口头方式理解和解释人类语言的能力。目标是让计算机在理解语言、识别语音和生成语言方面像人类一样智能。

主要应用领域包括:

o 摘要:提供只包含主要概念的文本摘要。摘要使用已经提供的句子或短语，而摘要使用新生成的文本

o 情绪分析 —识别给定文本中的感觉、判断和/或观点(即负面或正面的 twitter 帖子)

o 文本分类 —对文本进行分类(例如，根据域对新闻进行分类)或对文本进行比较，以识别其可能所属的组(例如，此电子邮件是否为垃圾邮件)

o 实体提取 —识别人物、地点、组织等

自然语言处理模块如何帮助您的业务

具体来说，在商业中部署自然语言处理模块的例子如下:

在线博客、新闻网站和论坛上用户评论的汇总和情感分析

抓取目标博客、论坛和新闻网站，提取与特定产品或公司相关的评论，然后自动总结和分析相关观点，以提供关于产品和服务的有价值的见解。

利用许多网站上的“关于”栏目寻找潜在客户

给定目标公司网站的列表(例如来自 CrunchBase)，专门的爬行器可以从“关于”部分提取文本，对这些文本进行总结和分类，然后提供洞察，以便通过根据当前客户的“关于”部分进行分类，从列表中定位潜在客户可能感兴趣的那些公司。

电子邮件发送者档案和情感

对于每个电子邮件联系人，对所有收到的电子邮件进行总结和分类，然后将它们输入预先训练的 ML 模型，以确定符合联系人个性和写作风格的回复方式。

知识表示/本体模块

KR 是人工智能的一个领域，致力于表示关于世界的信息:以计算机系统可以使用和理解的形式对现实的基本性质进行概念表征。这可以以“本体”的形式实现，本体是一种知识表示形式，由一组分层的概念和类别以及它们的属性和它们之间的关系组成。本质上，我们对世界的认识是一种内在的本体论。

人工智能引擎的核心是作为一个本体来实现的，该本体可以默认填充大量的一般知识(例如 DBPedia 形式的整个维基百科)，或者特定领域的知识，如电子商务或医疗保健。

在业务中利用知识表示模块

领域特定的本体可以提供显著的商业影响。具体例子包括:

电子商务

在电子商务网站上，用户可以通过名称或特征来搜索产品，但他们不支持诸如“如何减肥”或“如何消除蚂蚁”的查询，尽管他们可能针对这种情况销售产品。他们需要的是一个本体，通过这个本体，用自然语言表达的概念被映射到产品上。类似地，客户支持可以使用聊天机器人来利用本体，以提高的准确性和效率自动处理查询。

卫生保健

在医疗保健领域，将症状、病情、治疗和药物联系起来的本体可以为日常医疗保健业务流程提供显著的附加值。

集中公司知识

大多数公司都有一组存储在共享目录中的常用文档，以及一组驻留在本地员工 pc 和笔记本电脑上的文档。这些文档(可能是 word、pdf 或文本文档)包含重要的信息，这些信息总体上构成了重要的数字资产。通过 NLP/NLU 系统，这种知识可以被收集、预处理和语义分析，以创建公司集中的本体/知识库，然后可以被扩展、搜索或更新。

预览:自然语言生成模块

NLG 是上述“知识时代”向前迈出的非常重要的一步。在 Fortuitapps，我们现在正致力于为上述 AI 引擎添加一个 NLG 模块。由于这是我们商业专有工作的一部分，我不会给出确切的细节，而是在本文的上下文中以更一般的术语描述我们的工作。

什么是自然语言生成(NLG)？

NLG 是用自然语言生成文本以响应查询或特定用户请求的智能过程。为了做到这一点，一个 NLG 模块必须对使人类变得聪明的一项非常重要的能力进行建模:常识。如果没有大量关于世界的日常知识(或者至少是关于特定应用领域的知识)，自然语言的生成在产品层面是不可能的。因此，任何 NLG 模块的核心都必须由一个本体形式的知识库组成，该本体提供最终将作为“文本”响应产生的“知识”。

我们如何创建 NLG 核心知识库？

由于人类通过阅读任何形式的文档(如书籍、文章、博客、报纸、网站等)来学习，因此 NLG 核心知识库必须由机器“阅读”文档来填充。

从机器的角度来看，文档展示了一个具有多个抽象层次的顺序结构，如标题、句子、段落和章节。这些层次抽象提供了上下文，通过它我们可以推断文本中单词和句子的意思。

因此，为了填充 NLG 核心知识库，我们需要能够阅读和理解语料库(例如谷歌新闻文本)的软件，并利用通过维基百科(文本)和 DBPedia(本体)获得的大量一般知识。

机器如何阅读和理解文本？

从更广泛的意义上来说，有两种主要的自然语言理解方法，,这两种方法我们都使用，并且在更高层次的控制模块的上下文中互为补充。这两种方法描述如下。

基于机器学习的方法

如上所述，关于神经网络，LSTM 或长短期记忆网络是一种递归神经网络，它能够从过去的“经验”中给自己反馈。LSTM 是一种非常强大的算法，可以对数据，尤其是时间序列和文本进行分类、聚类和预测。

我们将上下文特征(主题)合并到模型中，以实现特定的 NLP 任务，如下一个单词或字符预测、下一个句子选择和句子主题预测。我们使用的模型帮助我们回答问题，完成句子，生成释义，并在对话系统中提供下一个话语预测。

除了上面的深度学习模型，我们还使用 Word2vec 中实现的“浅层”模型。Word2vec 是一个工具，它为我们提供了单词、它们的含义以及与其他单词的交互的“心理地图”。每个单词被映射到“数字空间”中的一组数字，这被称为“单词嵌入”。相似的词在这个数字空间中彼此靠*，不相似的词相距很远

基于语义框架的方法

语义框架是相关概念的结构化模型，它们共同提供所有概念的知识，没有它们就不可能有任何概念的完整知识。

一个例子是查询“苹果价格预测”:我们指的是水果苹果或苹果公司的价格以及与其股票价格相关的预测吗？为了回答这个问题，我们必须模拟人类是如何做到这一点的，那就是本质上使用“贝叶斯推理”。贝叶斯推理是一种统计理论，其中关于世界真实状态的证据是根据被称为贝叶斯概率的信任度来计算的。

在贝叶斯概率的上下文中，为了选择与查询“苹果价格预测”相关的正确概念框架，从而知道我们在谈论什么，我们使用“先验素性分布”，简称为不确定量的“先验”。先验是在一些证据被考虑之前，表达一个人对这个量的信念的概率。

虽然没有保证，但是给定先验和结构，我们选择我们认为与查询相关的语义框架(水果价格或股票价格),以便产生适当的响应。在我们的例子中，我们实际上是在问人们通常是什么意思，所以我们使用股票价格语义框架。

生成自然语言文本

基于我们的核心 NLG 本体知识库，以及结合上述两种方法的**，给定一个查询或命令，我们基于以下三个主要步骤继续生成自然语言文本:**

o 制定一个文件计划:选择将形成要制作的文本的知识地图的概念

o 将概念转化为句子

o 过滤结果:概念、语义和句法审查和调整

在 NLG 领域还会有更多有趣的事情发生！

最新跟进:元宇宙

关于作者

尼古拉·费克斯

http://www.fortuitapps.com

人工智能如何解决“玛丽的房间”思维实验

原文：https://towardsdatascience.com/how-an-ai-would-solve-the-marys-room-thought-experiment-4f708707c5f4?source=collection_archive---------2-----------------------

想象我们有一个人工玛丽智能(Ami)。Ami 是一个具有大型复杂人工神经网络和定制的感觉和运动设备系统的机器人。她的感觉装置不断向神经网络发送信息流，她有复杂的奖励信号驱动她学习关于颜色的一切。她的人工神经网络反过来与她的运动系统接口，以驱动机器人身体，从外表看起来就像玛丽的身体。

Ami 的生活和 Mary 的生活有很多相似之处。她的相机能够处理红色，并将信息发送到她的人工神经网络，但事实上，在她的生活中，它们从未这样做过，因为她的环境只包含黑白物体。她的书只是黑白的。她的电脑屏幕只是黑白的。她学习了所有关于颜色的物理知识，以及她的照相机和人工神经网络是如何工作的。所以她非常清楚一旦她的相机前面真的有了彩色的东西，她的系统会如何对颜色做出反应。

然而，关键的是，Ami 没有被允许重新连接她自己的人工神经网络。因此，尽管她知道自己的视觉系统会对看到的颜色做出怎样的反应，但她无法提前做出这些改变。

最后，Ami 被释放了。她走到外面，走进一个充满色彩的世界。她看到一大片健康的玫瑰花丛，有许多玫瑰，她的邻居告诉她是红色的，她看到附*有一个停车标志和一个消防栓，她用手指戳刺，看到一滴人造血。附*一个帅哥看到她脸红了。她对体验红色的感觉有什么新的了解吗？

她的人工神经网络到目前为止只有几秒钟的时间来处理这些新信息，所以网络中的连接权重才刚刚开始变化。她“大脑”中处理颜色的部分仍处于发育的最早期阶段。因此，起初，Ami 并不认为红色物体具有与其他颜色不同的颜色。但随着她与周围世界的互动，她的人工神经网络逐渐通过接触这些新的颜色输入进行训练，她开始能够区分颜色。起初她犯了许多错误。随着她识别颜色的经验越来越多，她变得越来越准确，不久她就能一直正确识别颜色。(除了偶尔在新的和不寻常的照明条件下，她会遇到边缘情况，她和她的朋友对事物的颜色有分歧，比如黑色和蓝色或金色和白色的裙子。)

在她的电子大脑适应她周围丰富多彩的世界的整个过程中，由于她的学习，Ami 理解并期待着每一个新的变化。她“大脑”中以前未被使用的部分从事新的联想和运动学习，但她没有学到新的事实。

玛丽也是如此。

轶事证据如何成就或破坏你的洞察力

原文：https://towardsdatascience.com/how-anecdotal-evidence-can-make-or-break-your-insights-97295303d577?source=collection_archive---------12-----------------------

你一直在等待一个特殊的场合，带你的伴侣去城里新开的高级餐厅。你已经做了调查:查了 yelp 评论，问了几个朋友，甚至搜索了报纸和杂志的文章，以确保它会成为一个完美的夜晚。

就在你预订之前，你告诉你的朋友，让我们叫她黛比，关于你的计划。“你犯了一个大错误，”她警告说，“我上周五在那里吃的，很糟糕。即使我有预约，我也要等 20 分钟，我们桌子旁边的声音太大，面包不新鲜，服务很慢，我的饭煮过头了。”

黛比不会对你隐瞒她的经历，但你详尽的研究表明这是一个很好的机构。你是做什么的？！

眼下的问题是企业不断挣扎的一个问题:我们应该如何恰当地从轶事证据中获得洞见？如果不正确地看待，轶事会让你和你的组织得出错误的结论。如果使用得当，它们对于与客户建立联系至关重要。

在我们进入什么在这里工作得很好之前，让我们从分析的角度来看“轶事”的定义。

我们如何定义与分析相关的“轶事”?

你知道轶事基本上是一个短篇故事，但是让我们想出一个定义来说明它在数据收集方面的价值。

“轶事是对数据点的描述，不仅仅是提供正在收集的指标。”

看一下餐馆体验的例子，让我们首先确定您可能收集的一个或多个指标。网上的评论和文章提供了所有的细节，从“良好的体验”到每个课程和服务元素的描述。(毫无疑问，在 yelp 的每篇评论和文章中，你都会读到有关这家餐厅就餐体验的细节。然而，如果你在 yelp 上看到的评论仅仅是“太棒了！”，您仍然会考虑该数据点。)

你真正衡量的是什么？如果你选择将体验作为一个整体来衡量(你是在衡量人们作为一个整体的体验。如果 Debbie 简单地说“我真的不喜欢”，该数据点仍然会提供很多价值，因为它说明了你的目标指标。除非你是专门跟踪服务和食品质量细节的反馈，否则你不需要额外的信息。

因此，黛比的“我真的不喜欢它”将构成一个数据点，但不是一个轶事。根据我们的定义，她实际上说的是一件轶事，因为它包含的信息超出了你正在收集的指标。请记住，这并不是说额外输入没有价值，我们稍后会谈到这一点。

趣闻轶事如何影响你的数据洞察力

大数据面临的一个众所周知的挑战是信息过载。你用什么？你能折腾什么？

奇闻轶事是同一个问题的缩影:给你的信息太多了！你如何比较 yelp 上给餐厅 5 颗星的评论和“年度美食！”用黛比的账户吗？有价值的数据点是那些与你优先考虑的变量相关的数据点。

轶事在情感层面上引起我们的共鸣，这会导致过分强调那些数据点。当黛比带你经历晚上的每一步时，就好像你自己正在经历一样。你想象自己感受到等待餐桌的烦恼，品尝不新鲜面包的不快，无法引起服务员注意的沮丧，以及期待已久的饭菜不合标准时的失望。

与其比较数据本身，不如比较你对每个数据点的情绪反应。是一般的网上评论还是黛比的描述给了你更大幅度的感动？显然是黛比的！我们很自然地把引起强烈情绪反应的叙述与更大的意义联系起来。

事实上，你认为写五星在线评论的人有强烈的情绪反应吗？可能是这样，特别是如果他们被感动后，一个好评如潮的审查。那个人和黛比暴露在相同的变量中，但是描述没有那么详细。同样的评论也可以被写成符合或超过黛比描述中的情感水*。

简而言之，当你亲身经历一个数据点时，你会比仅仅是向你报告时联想到更大的价值。因为你从一个数据点体验到更多的情绪，你自然地(通常是下意识地)赋予它更多的重要性。

这对你的数据洞察力有何影响？太多时候，这些轶事是对数据点的描述，这些数据点与为你提供你想要的度量和你想要的度量的数据点没有什么不同。这件轶事只是沧海一粟，它会诱使你把它看起来比实际更重要。

这种情况在客户服务中每天都会发生。最有可能打电话进来的人是不满意的顾客，你可以打赌他们会详细描述一个产品或服务是如何给他们带来可怕的体验的。如果高管们听到这些故事，并将它们与显示其销售正变得更强劲的原始数据进行比较，他们可能会倾向于做出不明智的改变，因为消费者轶事具有情感分量。这并不是说那些不满意的客户不算数据点，也不是说在改进产品或服务方面没有什么可做的。它只是简单地陈述了这样一个事实，即每个客户都应该得到同等的重视，即使不满意的数据点更具情感吸引力。

情感在生活的各个领域都是有用的，包括商业。它们让我们能够与客户建立联系，这样我们就可以有效地进行营销，开发出满足他们需求的产品和服务。然而，它们会影响我们的判断，阻止我们从数据集得出结论时保持客观。

如果没有一个事先准备好的数据收集过程，轶事证据会使你容易受到人类本能的影响，即赋予那些感动你的信息更大的价值。不正确的加权输入导致不正确的输出。这可能导致实施错误的策略，耗费您的资源，甚至更糟的是，客户。

联系客户和最终用户

在任何政治辩论中，你都会听到每个候选人讲述他们自己或他们在竞选中遇到的某个人的轶事。他们明白信息不足以投资，人们想要一种式的情感纽带。

数据本身是冰冷的，没有人情味的。它们呈现的数字和图形只不过是屏幕上的像素或页面上的墨水。事实上，这些数字通常代表人和经历。数据背后的意义对于联系内部和外部的人是至关重要的。

在内部，最终用户必须相信来自数据的洞察力足以改变他们的行动。没有他们的认同，你的洞察力是没有用的。轶事可以用来激励内部客户采取行动，而冰冷的数据可能不会。

例如，如果一家汽车制造商的产品开发人员正在确定应该在安全功能上投入多少质量，他们可能会获得如下图所示的数据。

该开发商可能会将每年每 10 亿英里死亡人数的下降(红线)视为不重视安全的理由，因为人们似乎是更好的司机。然而，如果听到一些关于汽车的安全特性如何极大地影响人们生活的故事，他们可能会采取新的行动，因为他们现在感觉到了安全。原始数据不能形成这种纽带，轶事可以。

对外，轶事可以把你和客户联系起来。这就是焦点小组的目的。仅仅知道人们认可或不认可你的产品是不够的。理解他们因你的产品而体验到的情绪，对于与你的目标市场建立联系并推动销售至关重要。

轶事也有助于解释没有意义的数据点。听到一些没有直观意义的数据点的故事，可以发现真正推动结果的隐藏变量。

只有当您的最终用户在实践中利用这些数据时，从您的数据中获得的洞察力才是有用的。轶事证据可能是获得你需要的认同的有效方式，因此你的分析为你的组织提供优势。

我们将何去何从？

如果使用得当，轶事证据可以成为从数据中获得独特见解的强大工具。还记得我们对轶事的定义吗？这是一个提供额外信息的数据点。如果你有一个训练有素的方法，这些信息不会误导你，它能让你更好地理解你正在研究的东西。

如果有一个收获，那就是:让轶事证据驱动你的问题，以及数据分析支持答案。

科学方法在你的数据分析过程中起着至关重要的作用。系统地测试你的假设，并从结果中传达结论，这就是数据如何帮助我们做出更明智的战略决策。然而，不要被术语“数据科学”误导，因为它也是一门艺术。

当接*一个数据集时，实际上有无限多的假设要发展。因此，选择一个测试是一种艺术形式，它允许并且经常需要创造力来获得最有用的洞察力。

轶事证据为我们提供了典型数据点之外的额外信息。在那些故事中可能会有反直觉的模式，或者你没有考虑到的变量。

让我们回到我们的餐馆例子。在读了许多评论和听了黛比的故事后，你会注意到在考虑星期几时可能会有一个模式。黛比周五在那里用餐，也许你看到的唯一负面评论也是在周五。这不足以得出应该避免周五的结论，但它可以促使你现在用一个新的问题来处理数据:一周中的某一天与客户体验之间有任何关联吗？轶事提供了问题，现在你让你的分析为你提供一个客观的答案。无论您是否发现了相关性，现在您都可以从您的数据集中做出更明智的决策，这要感谢轶事证据提供的额外洞察力。因此，当黛比抱怨她的外出之夜时，记住如何处理趣闻轶事:

1. 抛开情绪
2. 倾听你还没有考虑到的变量
3. 从你的新变量中发展出新颖的、可测试的假设
4. 系统客观地测试这些假设
5. 根据结果维持或改变你的策略

现在，你可以更有信心，你的夜晚将是一个愉快的夜晚。

本文原载于www.strataquant.com

动物投资者如何战胜市场

原文：https://towardsdatascience.com/how-animal-investors-beat-the-market-3c052dd1e31c?source=collection_archive---------4-----------------------

许多文章声称，一群驯养的动物可以成为选股者，不仅打败市场，也打败了熟练的基金经理。从一只名叫 Orlando 的可爱的猫，它通过将一只老鼠放在股票网格上来“击败”经理，到训练外汇交易的实验室老鼠和被蒙住眼睛的猴子在《华尔街日报》扔飞镖，动物王国似乎比我们优越！

“一只被蒙住眼睛的猴子向一份报纸的金融版投掷飞镖，可能会选择一个与专家精心挑选的投资组合一样好的投资组合。”—伯顿·马尔基尔

这回避了一个显而易见的问题——为什么我们付给基金经理那么多钱，而这些钱显然应该去奥兰多？

好吧，让我们看看是否有其他动物可以战胜市场！为了节省水族馆的费用，我将模拟金鱼从 S&P500 随机挑选股票。奥兰多几乎没有研究基本面，所以随机选择对我们的鱼来说不是一个可怕的假设。在这个模拟中，每条鱼挑选 50 只股票，构建一个相等权重的投资组合，持有 3 年。

1000 goldfish returns, S&P500 in black

在管理金鱼的 1000 个模拟基金中，96.1%跑赢了市场，市场回报与金鱼 3 年回报的*均差为 14.5%！

但是，S&P500 96%的随机样本怎么可能胜过整个 S&P500 呢？乍一看，这类似于抛硬币，96%的情况下得到的是反面，或者在 1-100 之间随机选择 10 个数字，大多数情况下得到的*均值在 50 以上。

然而，这是假设 S&P500 的每只股票对 S & P500 指数的整体表现的贡献是相同的，但是 S & P500 和其他指数是根据其中包含的每家公司的规模或市值进行加权的。

The divisor is roughly $8.933 Billion and is adjusted for major shakeups any of the component companies

与 S&P500 不同，我们的金鱼和其他非人类投资者选择的投资组合权重相等，这意味着他们持有相同数量的每只股票。

事实证明，S&P500 前 10%的股票贡献了* 50%的整体指数。这些大盘股的回报往往远不如小盘股那样易变或多变，这使得小盘股的风险更大。大多数投资者并不特别喜欢高风险的股票，所以为了补偿购买这些股票的投资者，这些股票需要提供更高的回报。这是从经验上看的，因为在 1980 年至 2015 年之间，小型股票的*均年增长率为 11.24%，而大型股票的*均年增长率为 8.0%。

因此，当我们的动物朋友选择随机投资组合时，他们选择了不成比例的大量小股票，与 S&P500 相比，这提高了投资组合的回报率，同时也增加了很多风险，这一点 Orlando 忘记提到了。因此，尽管金鱼/猫/老鼠选择的随机投资组合确实提供了高回报，但其风险水*的回报不太可能是最佳的。

苹果如何建立其 iPhone X 面部识别系统 TensorFlow 中的暹罗网络解释道

原文：https://towardsdatascience.com/how-apple-built-its-iphone-x-facial-recognition-system-siamese-networks-in-tensorflow-explained-707321c07d99?source=collection_archive---------8-----------------------

背景

在机器学习中，输入数据的质量经常取代模型架构和训练方案。与在较低质量数据集上训练的更高级、高度调整的模型相比，具有正确标记的高质量图像的大型、*衡数据集将始终产生更好的模型性能。然而，数据科学家并不总是收到大量的数据集。事实上，在我参与的大多数项目中，数据集甚至没有被标上。因此，机器学习的最大瓶颈是数据集的创建。

苹果已经建立了一个自动面部识别系统——在训练中只需给定几个人脸样本，它就能在测试中以极高的准确度正确识别出个人。有几个模型在幕后一起工作来实现这一点。这里有两个最重要的模型——1)能够区分真实的人和其他人工制品(如人的照片)的模型，以及 2)能够区分人的模型。考虑到 iPhone 用户的巨大数量(为了便于讨论，假设有 1000 万)，苹果如何建立一个足够强大的系统来识别一个人的图像？

解决这个问题的第一步是数据扩充。通过旋转、模糊或裁剪图像数据，可以创建*似反映原始数据集中图像分布的合成图像。然而，这种方法并不完美——它提供了一种正则化效果，如果网络在训练中表现不佳，这种效果可能是不想要的。

第二步，也是更重要的一步，是采用一类被称为暹罗网络的通用架构。这里讨论的暹罗网络的特殊风格使用带有共享参数的模型为每个图像构建特征表示。损失定义如下——如果两个图像属于同一类，则当它们的相关特征向量之间的距离较低时损失较低，而当它们的相关特征向量之间的距离较高时损失较高。反之亦然，如果两个图像属于不同的类别，只有当图像特征表示相距很远时，损失才很低。该模型架构旨在处理以下两种情况:

1. 稀疏数据
2. 新数据

该架构已经在苹果、百度等公司进行了全球部署。

现在，让我们在 tensorflow 中建立模型！

输入管道

由于暹罗网络严格的输入参数，输入管道可能是我们编写的最复杂的代码。基本要求是我们必须选择两幅输入图像。这些输入图像必须以相等的概率属于同一类或不同类。

虽然 tensorflow 中的健壮数据集类可以简单有效地提供图像数据，但它不是为暹罗网要求而设计的，因此需要一些技巧才能实现。

为了提高效率，在下面的代码中，我从 TFRecords 格式读入图像数据。图像数据可以很容易地与 tensorflow 的数据集类

dataset = tf.data.Dataset.from_tensor_slices()

第一步是创建一个包含所有图像数据的数据集。

数据以一定的缓冲区大小进行混洗(较大的值增加时间，较小的值减少随机性)，并映射到它们各自的图像和标签张量。回想一下，所有这些操作都是张量流图的一部分。

接下来，必须将上述结构的两个数据集压缩在一起，以创建暹罗数据集。对于这个数据集，我们有一些架构和性能要求

1. 数据必须被重新洗牌
2. 数据必须均匀分布
3. 开销应该是分布式的和同步的

通过 tensorflow 的prefetch()、filter()和 shuffle()实用程序，这可以实现。这些操作的顺序非常重要——在过滤之前重复可能会导致无限循环！prefetch()操作允许 CPU 在 GPU 训练时加载一批图像。

由于我们已经在 tensorflow 图形中工作，所有操作都必须由 tensorflow 支持。我在这里定义了操作filter_func。该操作根据图像对是否出现在同一数据集中来随机过滤图像对。

咻！我们有数据集了！现在，我们建模。

模型

让我们定义一个基本模型。首先，我们可以定义一个卷积块。

有了这些卷积块，我们可以定义一个模型。给定一个输入图像，该模型返回一个展*的 1024 单位特征向量。

回想一下，在暹罗网络中，两个图像都是由同一模型处理的。因此，我们可以在 tensorflow 中设置一个可变范围，允许我们在处理每一对输入时共享参数。

一个紧密连接的层被附加到特征因子的绝对差上。值得注意的是，没有激活函数应用于这个最终向量，这允许模型捕捉输出的自然分布，并允许所有神经元被表示。

最后，我们必须定义暹罗损失。在暹罗网络的这个特殊变体中，我展示了对比损耗——另一种常见的损耗是三重损耗。然而，三重态损耗需要与上述不同的模型架构。

培养

让我们现在把它拉在一起。首先，我们调用我们的数据集，并在我们的图中实例化代表左右输入图像的张量，以及它们对应的标签。

接下来，我们将损耗添加到张量流图中。

最后，我们实例化一个优化器来最小化损失，实例化一个初始化器来将所有变量实例化为值的某种分布(可以为每个操作指定)。我在这里使用流行的 Adam 优化器。

现在，我们可以开始张量流训练。

一些离别的想法

这里描述了一个使用低级 tensorflow API 的基本暹罗网络。这个网络在解析稀疏数据集方面非常强大，并被用于全球公认的系统，包括 iPhone X。

如果你对代码有任何问题/评论/修正，给我发消息或在这个帖子上发表评论。

逻辑回归和普通最小二乘回归(线性回归)有什么关系？为什么会出现逻辑上的“回归”？

原文：https://towardsdatascience.com/how-are-logistic-regression-ordinary-least-squares-regression-related-1deab32d79f5?source=collection_archive---------3-----------------------

https://cdn-images-1.medium.com/max/1436/1*_TqRJ9SmwFzRigJhMiN2uw.png

如果你和我一样被“逻辑回归”中的“回归”所困扰，而逻辑回归实际上应该被称为“逻辑分类”，考虑到它确实分类，我对你的困扰有一个答案！

逻辑回归和普通最小二乘回归(又名线性回归)简介:

逻辑回归适用于根据一组预测变量的值预测某个特征或结果是否存在的情况。它类似于线性回归模型，但适用于因变量为二分变量的模型。它的系数可以用来估计模型中每个独立变量的奇数比率。它比判别分析适用于更广泛的研究情况。另一方面，逻辑回归用于确定事件的概率，该事件以二进制格式捕获，即 0 或 1。

如你所知，使用逻辑回归，多类分类是可能的，而不仅仅是二元分类。但 logistic 回归多用于二元分类。

线性回归又名最小二乘回归，估计线性方程的系数，涉及一个或多个自变量，能最好地预测因变量的值。例如，可以根据年龄、教育程度和经验年限等独立变量来预测销售人员的年总销售额(因变量)。

线性回归是连续的，而逻辑回归是离散的。

这里有更多关于连续变量和离散变量的内容。

它们有什么特别的联系？

• 逻辑回归估计结果的概率。事件被编码为二进制变量，值 1 表示目标结果的出现，值 0 表示不出现。
• 最小二乘回归也可以使用线性概率模型来模拟二元变量。最小二乘回归可能会给出超出范围(0，1)的预测值，但该分析仍可用于分类和假设检验。
• 逻辑回归模型将事件的概率估计为独立变量的函数。设 y 表示情况 I 的因变量上的一个值，同样情况下 k 个自变量的值表示为 x (j = l，k)。假设 Y 是一个二元变量，用来衡量某个群体的成员关系。如果情况 I 是该组的成员，编码 y = 1，否则编码 0，那么让 p = y = 1 的概率。y = 1 的几率由 p/(l-p)给出。p 的对数概率或 logit 等于 p/(l-p)的自然对数。逻辑回归将对数优势估计为独立变量的线性组合

logit(p) =B0 + B1X1 + B2X2+ ……。+ BkXk

(0、1、2、k 都是在时缺乏媒介订阅能力的下标)

• 最小二乘回归对因变量和自变量集合之间的关系进行建模。因变量的值被定义为自变量加上误差项ϵ.的线性组合

Y = B0 + B1X1 + B2X2+ ……。+ BkXk + ϵ

(0，1，2，k 都是下标)

其中(B0 … Bk)是回归系数，Xs 是独立变量的列向量，e 是预测误差的向量

• 逻辑回归应用于二元因变量的建模。逻辑回归模型的结构是为二元结果设计的。
• 最小二乘回归不是为二元分类而构建的，因为与最小二乘回归相比，逻辑回归在分类数据点方面表现更好，并且具有更好的对数损失函数。

它们在哪里排列在一起:

线性回归使用一般线性方程 Y=b0+∑(biXi)+ϵ，其中 y 是连续的因变量，自变量 Xi 通常是连续的(但也可以是二元的，例如当线性模型用于 t-检验时)或其他离散域。ϵ是模型无法解释的方差的术语，通常被称为“误差”。用 Yj 表示的独立相关值可以通过稍微修改等式来求解:

Yj=b0+∑(biXij)+ϵj

(j，0，I，j 都是下标，具有与所解释的相同的表示)

线性回归的输出如下所示:

https://upload.wikimedia.org/wikipedia/commons/thumb/3/3a/Linear_regression.svg/400px-Linear_regression.svg.png

逻辑回归是另一种广义线性模型 (GLM)程序，使用相同的基本公式，但它不是连续的 Y，而是回归分类结果的概率。简单来说，这意味着我们只考虑一个结果变量和该变量的两种状态——0 或 1。

Y=1 的概率公式如下:

p(y = 1)= 1**/**(1+e−^(b0+∑(bixi)))

(0，我都是下标)

其中术语与先前解释的相同。

自变量 Xi 可以是连续的，也可以是二进制的。回归系数 bi 可以被指数化，以给出 Xi 每改变一次 Y 的几率的改变。

输出是一条如下所示的 s 形曲线:

https://upload.wikimedia.org/wikipedia/commons/thumb/8/88/Logistic-curve.svg/1200px-Logistic-curve.svg.png

两者都是线性模型，然而:

逻辑回归本身绝对不是一种分类算法。只有分类算法与决策规则相结合，才能使结果的预测概率二分法。逻辑回归是一种回归模型，因为它将类成员的概率估计为要素的多元线性函数(的变换)。

我们可能会问，为什么它被称为“逻辑回归”，而不是“逻辑分类”？

要回答这个问题，我们必须追溯到 19 世纪，在那里逻辑回归找到了它的目的。它被广泛用于发现种群的增长和自催化化学反应的过程，如这里的所示。

同样需要明确的是，正如一些专家指出的那样,“逻辑回归”这个名字远在任何“监督学习”出现之前就被创造出来了。此外，术语“回归”并不意味着结果总是连续的，正如本文 中指出的 。所以，并不是每个“回归”都是连续变量预测。

线性回归通常通过最小化模型对数据的最小二乘误差来解决，因此大的误差被*方惩罚。逻辑回归正好相反。

仅供参考:以下是线性回归的损失函数:

https://www.researchgate.net/profile/Alexandros_Karatzoglou/publication/221515860/figure/fig1/AS:339586132791298@1457975051470/Figure-1-Mean-Squared-Error-formula-used-to-evaluate-the-user-model.ppm

使用逻辑损失函数会导致较大的误差被罚为渐*常数。

考虑对分类{0，1}结果的线性回归，看看为什么这是一个问题。如果模型预测当真值为 1 时结果为 67，没有太大损失。线性回归会试图减少 67，而逻辑回归不会(同样多)，这意味着，对这一连续产出使用逻辑回归不会解释更多的损失。它认为损失并不大，换句话说，逻辑回归并不惩罚使“最佳拟合线”根本不是“最佳拟合线”的损失。

逻辑回归的结果在许多方面可以与最小二乘回归的结果相比，但它能更准确地预测相关结果的概率。最小二乘回归在从因变量预测连续值方面是准确的。

如上所述，重要的是要知道“回归”是一个抽象的术语。它根据上下文有不同的解释。

这是一个对比图像:

http://slideplayer.com/slide/6183997/18/images/8/Linear+versus+Logistic+Regression.jpg

最后，让我们来看看每个属性:

产出:

**线性回归:**连续值【2 个以上输出】。

**Logistic 回归:**离散值。通常是 2 个输出{0，1}。输出是在舍入到最接*的值 0 或 1 后得出的。请记住，多类是允许的。

解释系数:

**线性回归:**线性回归系数代表预测变量变化一个单位的响应变量的*均变化，同时保持模型中其他预测变量不变。换句话说，保持所有其他变量不变，这个变量增加一个单位，因变量预计会增加或减少某个值 x。

**逻辑回归:**解释逻辑回归系数需要解释概率，而概率本身就是另一个话题。然而，这里有一个直观的解释。

方程式:

线性回归:线性回归是一种对两个变量之间的关系进行建模的方法。你可能还会把这个方程看作斜率公式。该等式的形式为 Y=a+bX ，其中 Y 是因变量(Y 轴上的变量)，X 是自变量(即，它绘制在 X 轴上)，b 是直线的斜率，a 是 Y 截距。

Simple linear regression equation : http://www.statisticshowto.com/probability-and-statistics/regression-analysis/find-a-linear-regression-equation/

总有一个误差项，又名剩余项 ϵ ，如图所示:

https://cdn-images-1.medium.com/max/1436/1*_TqRJ9SmwFzRigJhMiN2uw.png

**逻辑回归:**逻辑回归使用一个等式作为表示，非常类似于线性回归。输入值( x )使用权重或系数值(称为希腊大写字母，beta)进行线性组合，以预测输出值( y )。与线性回归的一个关键区别是，被建模的输出值是二进制值( 0 或 1 )，而不是数值(来自 Safari 在线图书)。

Example for logistic regression: https://www.safaribooksonline.com/library/view/ensemble-machine-learning/9781788297752/e2d207ff-3690-4e74-9663-2d946e2a7a1c.xhtml

误差方程:

线性回归:均方误差:

https://www.researchgate.net/profile/Alexandros_Karatzoglou/publication/221515860/figure/fig1/AS:339586132791298@1457975051470/Figure-1-Mean-Squared-Error-formula-used-to-evaluate-the-user-model.ppm

**逻辑回归:**逻辑回归的输出是概率，这些概率随后被分类。底线是，你不能像以前看到的那样用逻辑回归做线性回归。

逻辑回归的通常成本或损失函数也称为误差方程，被称为“分类交叉熵”,如神经网络中所见。

Binary outcomes loss function aka binary categorical cross entropy (BCE): http://cat.birdhabitat.site/categorical-cross-entropy-loss-formula/

然而，由于这是一个分类，这里是来自 sklearn 的分类常用指标。

线性关系:

**线性回归:**需要因变量和自变量之间的线性关系。

**Logistic 回归:**因变量和自变量之间不需要线性关系。

剩余分配:

**线性回归:**要求误差项呈正态分布。

**Logistic 回归:**不要求误差项呈正态分布。

既然我们知道了线性回归和逻辑回归之间的关系。

如果你喜欢这篇文章，那就鼓掌吧！:)也许一个跟随？

在社交网站上与我联系:

[## Rakshith Vasudev | LinkedIn

查看拉克什特·瓦苏德夫在全球最大的职业社区 LinkedIn 上的个人资料。拉克什特教育上市…

www.linkedin.com](https://www.linkedin.com/in/rakshith-vasudev/) [## 拉克什特·瓦苏德夫

拉克什·瓦苏德夫。和我一起学习人工智能，让这个世界变得更美好。张量流…

www.facebook.com](https://www.facebook.com/imrakshithvasudev/) [## 拉克什特·瓦苏德夫

Datascience 入门，最佳编程实践。主题包括机器学习和其他。

www.youtube.com](https://www.youtube.com/c/rakshithvasudev)

来源:

http://papers.tinbergen.nl/02119.pdf

https://pdfs . semantic scholar . org/5a 20/ff 2760311 af 589617 ba 1b 82192 aa 42 de 4 e 08 . pdf

https://stats . stack exchange . com/questions/29325/线性回归和逻辑回归的区别是什么

https://stats . stack exchange . com/questions/24904/least-squares-logistic-regression

http://www . statistics solutions . com/what-is-logistic-regression/

https://stack overflow . com/questions/12146914/线性回归和逻辑回归的区别是什么

人工智能如何改变商业世界的面貌

原文：https://towardsdatascience.com/how-artificial-intelligence-has-changed-the-face-of-business-world-f554da5ff8?source=collection_archive---------8-----------------------

人工智能行业已经成为商业和技术整合的主流。

人工智能不再是未来某个地方会发生在小企业身上的现象——它已经在这里了。企业主和管理人员现在可以利用商业世界中的这些创新，因为等待人工智能到来意味着在商业发展中被抛在后面。人工智能可以帮助企业的几乎每个方面，包括移动性、营销和广告、客户服务和安全。

Artificial Intelligence

通过人工智能实现卓越的企业移动性

人工智能还允许员工在办公室之外的其他地方工作，并且仍然与办公室保持联系。例如，通过人工智能，员工可以通过云共享文档、信息、财务工作、营销和其他信息。移动性因素意味着办公室中的人可以在现场，他们可以在家工作，或者从不同的位置工作，但是团队中的每个人仍然能够相互联系以回答问题和进行协作。移动性的增加意味着员工可以随时随地工作。研究表明，当员工能够在不同的地点工作时，他们会感到更加快乐，并表现出更高的生产率。

营销和广告

人工智能改变了客户接收广告和营销信息的方式。任何上过社交媒体的人都知道人工智能在营销中扮演的角色。例如，如果客户在谷歌上搜索一家企业，该企业的广告可能会出现在他们的社交媒体订阅源上，而无需他们要求，因为人工智能能够识别某人过去的搜索，并使用搜索历史来做有针对性的广告。

人工智能对销售产品和服务的企业也至关重要，因为它能够通过有针对性的广告和搜索历史将客户带到企业。人工智能在网上收集重要的数据，并可以指出企业可以增加网站流量的方式，以及商店的位置。

以更低的成本提高效率和精度

使用人工智能的公司的增加只能意味着一件事——人工智能改变了任务的效率和速度。如前所述，人工智能在企业中的作用是增加企业以前留给员工的自动化量。例如，在 20 世纪 90 年代，人们被雇用来将公司必须支付的发票数据输入到计算机中，然后一名员工运行一个支票书写程序，该程序大约每周运行一次支票，以支付公司欠其他人的发票。然后，一个完全不同的员工会拿着公司从其他公司收到的支票，手动将其输入分类帐程序，然后将支票带到银行。然而，通过人工智能，计算机能够在没有输入的情况下根据从企业收到的数据生成发票，然后以电子方式支付发票上的存款，同时也以电子方式支付其他人，并将双方都记入其分类账，以便员工可以查看。

人工智能不需要喝咖啡休息，也不会在圣诞节休假，这意味着它能够生成数据，检索信息并进行分析，供员工在到达时或假期结束时查看和采取行动。

人工智能和机器人在工作场所意味着更好的客户服务和支持

虽然机器人不会像末日预言家们不断预测的那样，抹去世界上所有的工作，但机器人和先进的计算机编程可以自动完成一些任务。例如，使用人工智能语音电话系统的企业能够让客户接受服务，并在不与人类交谈的情况下回答他们的许多问题，这让客户感觉他们的问题已经得到解决，并允许与客户服务合作的员工帮助客户解决需要人工干预的更复杂的问题。此外，工作场所中的机器人技术允许通过计算机或机器人干预来完成重复性任务，而不可预测的任务可以由人类来完成。

帮助整合和巩固业务运营

AI 帮助商家巩固业务领域。虽然上面简要描述了，但还有其他方式可以整合业务，那就是通过使用人工智能结合云技术。有了人工智能和云，业务信息和文件不必保存在多个地方，而是可以保存在云中，这意味着不仅可以有多人查看文件，而且没有搜索文件，也没有因为文件丢失而导致的办公室混乱，因为使用云技术可以获得信息。此外，可以简化日常业务流程，减少从事相同工作的人员，让办公室内的人员专注于特定的业务领域。

更强的网络安全

当与云技术结合时，人工智能还增加了公司的安全性。人工智能能够发现在线或服务器内的威胁，并在违规发生前或发生时警告技术和安全人员。鉴于黑客不仅在信息损失方面给公司造成了数百万美元的损失，而且当黑客泄露数百万客户的个人信息时，客户的不信任也给公司带来了损失，因此人工智能帮助公司更加安全的概念尤为重要。出于这个原因，企业越来越多地指望人工智能来帮助填补他们的安全漏洞。

人工智能可能有点可怕，特别是如果一家企业难以将所有业务流程的控制权交给计算机。然而，通过一点灵活性和一点工作，企业可以让人工智能为他们工作。人工智能可以简化和自动化企业的许多方面，从客户服务电话到办公室程序到营销，甚至到完成销售。人工智能不再是一种说企业懂技术的方式。在 21 世纪的第二个十年，信息技术正迅速成为商业运作的重要组成部分。

深度神经网络眼中的你有多有魅力？

原文：https://towardsdatascience.com/how-attractive-are-you-in-the-eyes-of-deep-neural-network-3d71c0755ccc?source=collection_archive---------1-----------------------

几个月前，华南大学发表了一篇论文和一个关于“面部美容预测”的数据集。这里可以找到[。该数据集包括 5500 人，他们对自己的吸引力进行了 1 到 5 分的评分。

以下是文中的一些例子:](https://arxiv.org/abs/1801.06345)

片场还有几个名人。这张朱莉娅·罗伯特的照片*均得分为 3.78:

以色列著名模特芭儿·莱法利的这张照片得到了 3.7 分:

这些看起来可能很低，但 3.7 分意味着 bar 比数据集中的 80%的人更有吸引力。

除了数据集，作者还训练了多个模型，试图根据面部照片预测一个人的吸引力。

在这篇文章中，我想复制他们的结果，看看我有多有魅力。

原始论文实现了一堆不同的模型，包括具有手工制作功能的经典 ML 模型和 3 个深度学习模型:AlexNet、ResNet18 和 ResNext50。
我想让我的工作尽可能简单(我不想从头开始实施和培训整个resnet网络)，我想微调一些将完成工作的现有模型。在keras中，有一个叫做applications的模块，它是不同预训练模型的集合。其中一个就是resnet50。不幸的是，在keras.applications没有 ResNet18 或 ResNext50，所以我无法复制完全相同的作品，但我应该足够接*resnet50。

from keras.applications import ResNet50

ResNet 是一个深度卷积网络，由微软开发，并赢得了 2015 年 ImageNet 竞赛，这是一个图像分类任务。
当我们在keras中启动resnet50 模型时，我们创建了一个具有 ResNet50 架构的模型，并且我们还下载了在 ImageNet 数据集上训练的训练权重。

论文作者没有提到他们到底是如何训练模型的，所以我尽量做到最好。
我想删除最后一层(“softmax”层)并添加一个没有激活功能的密集层来执行回归。

resnet = ResNet50(include_top=False, pooling=’avg’)
model = Sequential()
model.add(resnet)
model.add(Dense(1))model.layers[0].trainable = Falseprint model.summary()# Output:
  Layer (type)                 Output Shape              Param #    ================================================================= resnet50 (Model)             (None, 2048)              23587712   _________________________________________________________________ dense_1 (Dense)              (None, 1)                 2049       ================================================================= Total params: 23,589,761 
Trainable params: 23,536,641 
Non-trainable params: 53,120

您可以看到，我将第一层(resnet 模型)设置为不可训练，因此我只有 2，049 个可训练参数，而不是 23，589，761 个。

我的计划是训练最后的密集层，然后，用更小的学习率训练整个网络。

model.compile(loss='mean_squared_error', optimizer=Adam())model.fit(batch_size=32, x=train_X, y=train_Y, epochs=30)

在那之后，我改变第一层为可训练的，编译并且适合另外 30 个时期的模型。

这里的train_X是照片，即numpy个形状(350, 350, 3)的数组，train_Y是被标记图像的分数。

结果

论文使用两种技术训练模型:5 重交叉验证和 60%-40%的训练测试分割。他们使用皮尔逊相关(PC)、*均绝对误差(MAE)和均方根误差(RMSE)来衡量他们的结果。这些是他们使用五重交叉验证得到的结果:

这些是他们用 60%-40%的训练测试分割得到的结果:

我将进行 80%-20%的训练测试分割，因此这类似于执行 1 倍的交叉验证部分。

我得到了以下结果:

RMSE: 0.301799791952313 
MAE: 0.2333630505619627 
PC: 0.9012570266136678

非常好。此外，查看分数的散点图和直方图总是很好的:

原始分数分布(标准化):

预测分数分布(标准化):

结果看起来相当不错。现在让我们看看这个深度神经网络对我说了什么。我一开始用这张照片:

我得了 2.85 分，这意味着我比这个数据集中 52%的人更有吸引力。我不得不说我有点失望，我希望我会比那更好。所以我试图改善我的处境。

我拍了很多照片，最终这张照片我得到了 3.15 分，这意味着我比数据集中 64%的人都更有吸引力。

这好多了，我必须诚实地说，我希望更好:)

最后一点，我使用谷歌合作实验室构建并微调了这个模型，简而言之，它给你一个免费使用 GPU 的 python 笔记本！

希望你喜欢这篇文章。

贝叶斯统计如何说服我去健身房

原文：https://towardsdatascience.com/how-bayesian-statistics-convinced-me-to-hit-the-gym-fa737b0a7ac?source=collection_archive---------1-----------------------

Image Source: Pixabay

一次有趣的贝叶斯线性回归理论之旅(是的，我在这篇文章中使用了度量标准)

正如文章题目所暗示的，我会对我的体质做一个科学的调查。

“得了吧，你不会是认真的吧！！!"

是的，我是。所以有一点背景信息:我来自越南，在新加坡上高中，目前在美国上大学。我经常听到人们取笑我看起来有多小，我的体重肯定有多轻，我应该如何锻炼，去健身房，增加体重，以便拥有“更好的体格”。我常常对这些评论半信半疑。对于一个身高 1 米 69 (5 英尺 6 英寸)、体重 58 公斤(127 磅)的人来说，我的身体质量指数指数接*完美(20.3)。

“不老兄！我们说的是体格"

好吧，我明白了，没人在这里谈论身体质量指数。

想想看，人们可能有一个好的观点:鉴于我比普通越南男性略高，体重也完全相同(维基百科的资料显示为 1 米 62，58 公斤)，我可能“看起来”更瘦一点。 看 是这里的关键词。逻辑挺简单的不是吗？如果你稍微伸展一下自己，保持同样的体重，你会看起来更瘦更苗条。我认为这是一个需要进一步研究的严肃的科学问题:

对于一个身高 1 米 69 的越南男性来说，我(体重)有多小？

我们需要一种方法来研究这个话题。一个很好的前进方式就是尽可能多地找到越南男性身高体重的数据，看看我在他们中间的位置。

越南人口概况

在浏览网页后，我发现了一份调查研究数据，其中包含了一万多名越南人的人口统计信息。我将样本量限制在 18-29 岁年龄组的男性。这样我就有了 383 名年龄在 18-29 岁之间的越南男性的样本，这对于分析来说可能足够了。

首先，让我们画出人口的重量，看看我如何融入年轻的越南男人。

红线显示样本的中值，而橙色线显示*均值

这张图表明，我略低于 383 名越南年轻男性的*均体重和中值体重。令人鼓舞的消息？有点，但不完全是。看，问题并不在于我的体重与样本中的体重相比如何，而在于 给定 1 米 68 的身高， 假设这 383 个人很好地代表了越南男性人口，那么与整个越南人口相比，我们可以推断出我的体重是多少？为此，我们需要进行回归分析。

首先，让我们绘制一个身高和体重的二维散点图

嗯，我只是看起来一般。事实上，如果我们只看那些身高 168 厘米的人的数据(想象一条 168 厘米的垂直线穿过红点)，我的体重比这些人稍微轻一点。

另一个重要的观察结果是，该图表明越南男性的身高和体重之间存在正线性关系。我们将做一个定量分析，以弄清这种关系。

首先，我们快速添加一条标准的“普通最小二乘法”线。

我们可以将我们的最小二乘法直线y**= 86.32+0.889x解释为，对于我这个年龄的越南男性的一般轮廓来说，身高每增加 1 厘米，体重就会增加 0.88 公斤**

然而，这仍然没有回答我们的问题；也就是说， 对于我这种身高(1 米 68)的人来说，58 公斤是算多了，还是算少了，还是算一般？ 用一种更定量的方式重新表述这个问题，如果我们有一个身高 1 米 68 的所有人的分布，我的体重落入 25、50 或 75 百分位的几率有多大？要做到这一点，让我们更深入地挖掘，并试图理解回归背后的理论。

线性回归理论:

在线性回归模型中， Y 变量(在我们的例子中是人的体重)的期望值是 x (身高)的线性函数。我们姑且称这种线性关系的截距和斜率为0和β1；即我们假设 E(Y|X=X)=β0*+β1×X。我们不知道0和β1所以我们把它们当作未知参数。***

在最标准的线性回归模型中，我们进一步假设给定X=X的条件分布是正态分布

这意味着简单的线性回归模型:

可以改写为:

(1)

注意，在很多模型中，我们可以将 方差 参数 σ 替换为 精度 参数 τ ，其中 τ=1/σ 。

****总结:因变量 Y 服从均值 μ i 和精度参数τ参数化的正态分布。 μ i 是由 β0 和 β1 参数化的 X 的线性函数

最后，我们还假设未知方差不依赖于x**；这个假设被称为同质性。****

这是很多，但你可以想象我用这个图像讨论了什么。

在实际的数据分析问题中，我们得到的只是黑点——数据。注意每个点周围的正态分布看起来完全相同。这就是 同质化的本质。使用这些数据，我们的目标是对我们不知道的事物做出推断，包括【β0】、β1** (它们决定了神秘的黑线)和***【σ】(它们决定了从中得出【y】数据值的红色法线密度的宽度)。***

估计参数

现在，有几种方法可以用来估算和 β1 。如果您使用普通最小二乘法估计这种模型，您不必担心概率公式，因为您是通过最小化拟合值与预测值的*方误差来搜索 β0 和 β1 的最优值。另一方面，您可以使用最大似然估计来估计这种模型，您可以通过最大化似然函数来寻找参数的最佳值**

注意:一个有趣的结果(这里没有数学证明)是，如果我们进一步假设误差也属于正态分布，最小二乘估计也是最大似然估计。

带有贝叶斯方法的线性回归；

贝叶斯方法不是单独最大化似然函数，而是假设参数的先验分布并使用贝叶斯定理:

似然函数同上，但变化的是你对估计参数 β0，β1，τ 假设了一些先验分布，并把它们包含到方程中:

(2)

“等等，之前的演出是怎么回事，为什么它让我们的公式看起来复杂了 10 倍？”

相信我，这个优先业务感觉有点奇怪，但它是非常直观的。事实是，有一个强大的哲学推理，为什么我们可以用一些看似任意的分布来分配一个未知参数(在我们的例子中是 β0，β1，τ )。这些先验分布是为了在看到数据 之前捕捉 我们对情况的信念。在观察了一些数据后，我们应用贝叶斯规则来获得这些未知量的后验分布，它考虑了先验和数据。根据这个后验分布，我们可以计算出未来观测值的预测分布。

跟我重复:这些先验分布是为了在看到数据之前捕捉我们对情况的信念

最终的估计将取决于来自 1) 你的数据和 2) 你的前科的信息，但是你的数据包含的信息越多，前科的影响就越小。

"所以我可以选择任何先验分布？"

这是一个好问题，因为有无限多的选择。(理论上)只有一个正确的先验，这个先验捕获了你的(主观的)先验信念。然而，在实践中，先验分布的选择可能是相当主观的，有时是任意的。我们可以只选择具有大标准偏差(小精度)的正态先验；例如，我们可以假设 β0 和 β1 来自均值为 0 且 SD 为 10，000 或其他值的正态分布。这被称为无信息先验，因为本质上这种分布将是相当*坦的(也就是说，它将几乎相等的分布分配给特定范围内的任何值)。

接下来的是，如果这个分布族是我们的选择，我们不需要担心哪个确切的分布可能是最好的，因为:
(a)在可能性不可忽略的区域中，它们几乎都是*坦的，以及(b)在可能性可忽略的区域中，先验分布看起来像什么对于后验分布并不重要。

同样，对于精度，我们知道这些必须是非负的，因此选择限制为非负值的分布是有意义的——例如，我们可以使用低形状和比例参数的伽马分布。**

另一个有用的无信息选择是均匀分布。如果你为 σ 或 τ 选择均匀分布，你可能会得到一个由约翰·k·克鲁施克展示的模型

用 R 和 JAGS 进行模拟

理论到目前为止还不错。问题是解方程(2)在数学上是有挑战性的。在绝大多数情况下，后验分布不会直接可用(看看正态分布和伽玛分布有多复杂，你必须将它们相乘)。马尔可夫链蒙特卡罗方法常用于估计模型的参数。JAGS 帮助我们做到了这一点。

“等等！！！有一种工具可以帮助我们解决这些可怕的方程？”

JAGS 模型是一个基于马尔可夫链蒙特卡罗(MCMC)的仿真过程会产生参数空间θ=(β0；β1;τ)* 。为该参数空间中的每个参数生成的样本的分布将*似该参数的总体分布。*****

为什么会这样呢？这个解释比这篇文章所能容纳的要复杂得多。一行解释是:MCMC 通过构造马尔可夫链(！idspninfopath)从后验分布生成样本。？)具有目标后验分布作为其稳定分布。

我告诉过你这不好玩。快速的收获是:我们可以做一些智能采样，用数学证明我们的样本分布是 β0，β1，τ的真实分布，而不是求解方程(2)，这在分析上通常是不可能的。

“好了，数学挥舞够了。我如何使用这个 JAGS 魔法？”

我们在 R 中运行 JAGS 如下

• 首先，我们以文本格式编写模型:

然后，我们命令 JAGs 进行模拟。这里我让 JAGs 模拟参数空间 θ 的值 10000 次。

经过这样的采样，我们得到的采样数据为θ=(β0；β1;τ)如是

“很酷的东西，那又怎么样？”

****现在我们有参数空间 θ 的 10000 次迭代，记住由方程(1) 😗***

这意味着，如果我们将 x=168cm 代入每次迭代，我们将找到 10，000 个权重值，因此，假设的高度为 168cm，权重**的分布。****

我们感兴趣的是我体重的百分位数，以我的身高为条件。我们能做的是找到以我的身高*为条件的我体重的百分位数分布。***

现在，这张图告诉我们的是，我的体重(考虑到 168 厘米的身高)很可能位于模拟越南人口的 0.3%左右。

例如，我们可以找到我的体重在前 40 个百分点或更少的百分点

因此，有压倒性的证据表明，以我 168 厘米的身高为条件，我 58 公斤的体重将使我处于越南人口的较低百分位。也许是时候去健身房增肥了。毕竟，如果你不能相信一些做得很好的贝叶斯统计结果，你还能相信什么？

我在数据源中包含了一个数据集，其中包含了 8169 名美国男女青年的身高和体重(国家纵向调查 1997 2 )，您能进行同样的分析并看看您的情况吗？

如果你喜欢这篇文章，你可能也会喜欢我的另一篇关于有趣的统计事实和经验法则的文章

• 优化生活的统计法则:呼唤效应
• 规则三:计算尚未发生事件的概率

对于其他深潜分析:

• 利用数据驱动的体育博彩策略赚大钱
• 寻找上帝的贝叶斯探索
• 用 Python 构建自己的图书推荐引擎

这篇文章的完整 R 脚本可以在我的 Github 页面找到。

注:我想为 Joseph Chang 教授(耶鲁大学)和他的班级 S&DS238:(贝叶斯)概率与统计大声喊出来。我几乎是偶然上了这门课，这很容易成为我上过的最有影响力的课之一(谈论一个政治科学专业的学生正在成为一名数据科学家)

数据来源:Vuong Q. H..开放的科学框架。2017 年https://doi.org/10.17605/OSF.IO/AFZ2W

资料来源:1997 年全国纵向调查| https://www.nlsinfo.org/investigator/pages/search.jsp?劳动统计局 s = nlsy 97

大数据分析如何帮助企业开发新机遇

原文：https://towardsdatascience.com/how-big-data-analytics-helps-businesses-to-develop-new-opportunities-88af9a9457b9?source=collection_archive---------4-----------------------

无论你经营的企业规模有多大，你都需要有价值的数据和见解来帮助你了解谁是你的目标受众，他们的偏好是什么，这样你就可以预测他们的需求。这就是所谓的“大数据”它在你的业务中扮演着非常重要的角色。有了它，你可以有效地提出和分析所有这些问题，实现你的品牌目标。考虑到这一点，这里有一些你们都想知道和需要知道的事情。

云:大数据战略的关键点

IE 表示，大数据战略的一个关键组成部分是云。这是因为企业外部的数据比企业内部的数据多得多。因此，我们应该开始看到公司更加依赖外部数据——特别是现在越来越多的数据存储在云中，API 和外部服务用于访问这些数据。

当您准备考虑大数据战略时，您也必须决定是将信息存储在自己的系统中还是使用云。云的主要好处之一是没有任何限制或障碍，因此您可以直接链接到任何其他数据源。这意味着您可以快速实施变革和新的业务模式。这在今天是至关重要的，即使这意味着从我们的错误中学习，然后花时间去纠正它们。当你使用云来做到这一点时，你将不必承受进行大量初始投资的限制，这种投资会使你局限于单一的行动过程。

大数据——一种新的竞争优势

Simpli Learn 表示，你可以通过捕捉和创新大数据，利用大数据超越竞争对手。这就是为什么你会发现它被应用于当今几乎每个领域的例子。公司用它来发现他们的服务和产品，供应商和买家，以及消费者的意图和偏好的缺陷，这样他们就可以创造更新更好的产品。老实说，自从 1997 年公司开始使用它以来，它创造了许多新的增长机会。从那时起，它甚至催生了一种新的业务类别——包括那些负责分析和汇总这些数据的业务。在过去的 20 多年里，它也成为大多数企业非常积极的事情。

除了其他好处，大数据还经常被实时挖掘。这是至关重要的，因为它可以评估指标，包括消费者忠诚度，这在过去是相互独立处理的。现在，它们不仅被连续处理，而且被更广泛地处理，甚至使它们成为对您的业务更有力的因素，因为您现在可以实时测试您的理论。

这些只是大数据可以帮助公共和私营部门企业的多种方式中的几种。

创造新的收入来源

有了大数据，你将拥有基于对市场及其消费者分析的洞察力。这些数据不仅对你有价值，对其他人也有价值。你可以通过向同行业的大型企业出售非个性化趋势数据来获得额外收入，从而为你的企业创造新的收入来源。

技术帮助

Data Floq 表示，有很多技术可以帮助你进行大数据分析。还有很多方法可以收集您想要和需要的数据，包括:

基于云的电话系统让您可以轻松存储和检索大量与通信相关的数据——包括保存的通话记录、客户信息和客户对话，无论它们发生在何时何地。这是非常经济、可靠和稳定的。您还可以轻松集成新的附加功能(如 Google Apps、Office 365)，使数据收集和存储变得更加简单。然后，当您仍在进行通话时，您将能够收集和存储电子邮件 id、公司名称和物理地址等信息。

云存储也提供了许多优势。其中最大的一个好处是，它让你的企业可以轻松存储、访问和共享你收集的信息。这是以一种安全且经济高效的方式完成的，便于您以后访问这些信息。

今天，分析工具大量存在。这些将有助于你分析收集到的信息。你也可以使用这些工具来寻找具体的信息，比如你的公司在获取客户方面花了多少钱，你的每个客户在你的业务的不同领域花了多少钱。分析工具本质上是描述性的、预测性的和说明性的，这意味着您可以使用它们来了解在任何给定的时间点您的业务的任何部分正在发生什么。你也可以用它们来发现未来会发生什么。这些工具可以根据它们过去为你收集的信息做出这些预测。这在你考虑做出某些决定或制定某些行动计划的任何时候都是有益的。

数据安全和风险分析

有了大数据工具，您可以规划出公司的完整数据环境，以便在各种内部威胁发生之前进行分析。当您掌握了这些信息后，您就可以采取适当的措施(根据法规要求)来保护您所有的敏感信息。这也是如今大多数行业都在关注大数据的另一个重要原因。但是，任何处理财务信息、信用卡和借记卡信息或任何其他此类业务的公司都应该更加注意这一点，甚至要持续进行风险分析。为了取得成功，必须考虑许多不同的因素，包括经济和社会因素——这两个因素在决定你的成就时都起着重要作用。这并不难做到，因为大数据带来了预测分析，这意味着你可以快速、持续地扫描和分析你的社交媒体源和报纸报道。因此，你将能够轻松地跟上行业的最新趋势和发展。

大数据和商业智能如何改变资本市场

原文：https://towardsdatascience.com/how-big-data-and-business-intelligence-are-transforming-capital-markets-4ef61a06b2b8?source=collection_archive---------7-----------------------

商业决策通常会对财务产生影响，但在金融交易中影响最大，每个决策，无论大小，都会对底线产生直接影响，导致损失或收益。

因此，商业智能(BI)解决方案开始利用其处理大量结构化和非结构化数据的能力来支持交易决策就不足为奇了。对投资银行和大型交易机构来说是这样，但对小型金融企业甚至个人交易员来说也是如此。

金融交易市场一直非常依赖数据分析，因此大数据和高级商业智能的出现应该会扰乱这些市场参与者的运营方式。它确实做到了，其结果与本文简要探讨的三个结果一样重要。

金融交易变得数据驱动

投资银行和对冲基金从来都不缺数据。然而，自从大数据和金融商业智能的出现，他们使用数据的方式发生了相当大的变化。更快地分析市场状况的需求已经将金融交易组织从数据消费者转变为真正的数据驱动型实体，这依赖于除金融专家和分析师之外的可用数据工程师和科学家的专业知识。

金融行业的许多企业都有非常具体的软件需求，因此决定从头开始构建大数据解决方案。对于这项任务，数据工程师是不可或缺的。

对于雇不起数据工程师的较小企业来说，答案往往是金融科技开发外包，这种做法反过来刺激了软件公司对金融专业知识的需求。

金融交易中的数据科学

数据科学家比工程资源更受欢迎。这部分是因为，与其他商业领域不同，数据的数量和种类通常过于复杂，无法在交易员可以理解的通用仪表盘上提供。相反，数据科学家需要识别微妙的数据模式，并在复杂算法的帮助下生成可操作的见解。

因此，大数据和商业智能在金融交易中的使用越来越多，这对科技行业来说是个好消息。然而，这也导致了分析专业人员的短缺，迫使金融服务和交易公司为他们雇佣的资源支付更多费用。

事实上，根据 Glassdoor 的数据，2018 年一名数据科学家的中值基本工资约为 11 万美元。毫无疑问，这一高比率部分归因于金融行业，IBM 的一项研究显示，该行业目前对数据科学家和分析师的需求高于其他任何行业，占所有相关职位空缺的 19%。

大数据:新型交易者的数字黄金

对于能够访问大数据和金融商业情报的交易员来说，决策变得越来越明智，因此风险也越来越小。交易曾经主要基于对价格行为的分析，而大数据的整合使得支持和反对水*、政治和社会因素以及其他有影响的条件能够被添加到等式中。

预测性商业智能的应用可以进一步降低风险，使交易员能够评估每笔交易的可能结果和回报率。然而，整个过程都需要大量数据，这促使越来越多的企业准备收集数据并出售给金融交易机构。

量化对冲基金:大数据的大买家

通过购买或其他方式获得大数据，也催生了一种全新的交易实体——量化对冲基金。这些基金在某些方面类似于传统或“基本面”对冲基金，但几乎完全依赖数字算法和模型来选择和发起交易。

由于他们的商业模式，量化对冲基金需要大量的数据，讽刺的是，他们的胃口已经把出售数据变成了金融行业最赚钱的活动之一。事实上，在所谓的“替代数据”上的支出到 2016 年已经达到 2 亿美元，预计在五年内将翻一番。这是研究和咨询公司 Tabb Group 的研究得出的结论之一。

HFT 让位于智能交易

金融科技行业进步产生的一个更有趣的动态可以被视为影响了有争议但广泛存在的高频交易实践(HFT)。高频交易本身是一个数据驱动的过程，一度非常有利可图(对一些 HFT 公司来说仍然如此)。

然而，随着在 HFT 领域竞争的技术要求变得越来越复杂，利润开始下降，机构开始将注意力从闪电般的机器启动交易转向基于大数据洞察的人工交易。例如，人类股票交易者可能使用市场情绪分析的结果来提取可操作的交易信号。

HFST 的趋势？

考虑到 BI 技术的持续改进，这种动态变得更加有趣。例如，实时分析将成为金融科技领域的一股强大力量。随着交易实体可以实时收集和分析来自新闻、社交媒体和股票市场的数据，然后将情报输入自动化交易解决方案，我们可能会再次看到高频交易的兴起。

然而，在下一次迭代中(会是 HFT 2.0，还是高频智能交易？)区别可能在于机器执行更智能算法的能力，这使得高度知情的交易能够以极高的频率达成。

当然，尽管自动化金融交易在公*性方面名声不佳，但仍有很多值得称道的地方。毕竟，机器不会受到紧张、兴奋或任何其他导致错误决策的行为特征的影响，而在金融市场的世界里，这些行为特征确实非常昂贵。

这只是大数据和金融 BI 的开始

奇怪的是，对于一个一直依赖数据的行业来说，情绪分析、智能高频交易和数据科学等发展在金融交易领域相对较新。

实际上，这还只是皮毛，所以如果你的公司在资本市场交易或涉足金融服务，你应该预计大数据和商业智能将在你的业务中发挥越来越大的作用。

此外，机会不太可能仅限于创收。密切关注在中后台流程中利用财务 BI 的可能性，因为随着越来越多的公司适应大数据，这些领域的用例肯定会变得明显。

以下是数据分析如何帮助社区银行

原文：https://towardsdatascience.com/how-big-data-can-help-community-banks-c7e672c4f6a4?source=collection_archive---------5-----------------------

大数据工具不仅简化了任何行业中冗长的分析程序，还为银行提供了竞争优势。随着新法规的出台，银行正在寻找使合规程序更加有效和准确的方法。银行业的大数据正慢慢获得动力，并成为整个银行业不可避免的必需品。随着传统数据管理结构变得过时，社区银行很难适应外部竞争和监管压力。

在社区银行系统中执行分析工具的需求逐渐成为一种强制而不是一种选择。Gartner 的 2014 年首席信息官调查显示，金融公司鼓励在技术支出方面投资数据分析。尽管大银行通过在数据分析方面的昂贵投资，在了解客户方面拥有明显优势，但社区银行在采用这种创新趋势方面似乎有点谨慎。为了实施大数据工具，社区银行面临着围绕高成本、缺乏专业知识和数据安全性的障碍。

社区银行并不总是负担得起实施分析工具和基础设施，以及雇佣新数据库所需的专业人员。

此外，对于许多社区银行来说，与私人客户信息相关的数据安全是一个敏感问题。大多数银行在当地社区发展壮大，在那里银行和客户之间有着高度的信任。通过个人互动和长期建立的关系，社区银行往往比大银行更了解客户的信贷决策。

随着大数据的实施，社区银行可以保持密切的监督，并实时检测任何欺诈行为。通过预测分析，银行可以识别和监控客户账户中的任何差异，甚至预测贷款违约。社区银行还将能够发现高风险账户，帮助他们做出更明智的决定。但不愿分享私人信息对许多银行来说仍是一个问题，因为它们的繁荣依赖于客户的信任和信心。

然而，许多社区银行正在采用分析解决方案来做出完全基于准确风险分析和透明度的数据驱动型决策。

这些银行越来越有兴趣与技术驱动的竞争对手竞争，并从中脱颖而出。他们正在与 Verizon Enterprise Solutions、亚马逊、IBM 和谷歌等云服务公司合作，以更低的成本获得大数据和分析的存储。此类服务的实施有助于社区银行通过实时市场反馈和社会趋势在成本和回报之间实现*衡。除了与以相对较低的成本获得的服务建立伙伴关系之外，数据可视化工具还为银行内的更多员工而不仅仅是少数员工提供数据趋势。

随着运营变得越来越复杂，对数据分析工具的需求对这些小型银行来说也变得至关重要。据北卡罗来纳银行(BNC)称，数据可视化软件也有助于简化数据报告过程。通过 SAS Visual Analytics ，获得的数据比通过传统电子表格获得的数据更强大、更准确。数据可视化工具可靠、成本较低，并且有助于银行快速把握趋势。

MX 为银行提供了一个类似的可视化*台，帮助潜在账户持有人实现账户聚合、自动分类和资金管理功能。Insight 和 Target 等工具有助于同时对不同的账户持有人应用更加定制化的方法。这种分析工具不仅有助于社区银行在竞争对手中的定位，而且有助于在不到五分钟的时间内跟踪潜在的活动，而不需要它。这些工具的部署有助于实时掌握客户的需求。

视觉分析在并购过程中也很有用，可以发现不准确之处，从而确认数据的真实性。

通过利用大数据，社区银行可以管理信贷、流动性和利率风险，并更好地为社区服务。随着对社区银行的既定看法慢慢适应这种变化，通过整合智能数据治理、低成本和客户隐私的*衡方法可以恢复人们对当前银行系统失去的信任和信心。

版权所有。重新出版需要作者的许可。

大数据和位置智能如何改变世界

原文：https://towardsdatascience.com/how-big-data-location-intelligence-are-changing-the-world-4207ff92a151?source=collection_archive---------3-----------------------

毫无疑问，智能手机数量的爆炸式增长已经改变了我们所知道的世界。传感器和互联设备数量的增加产生了海量数据。这正被用来改变我们的生活方式。

物联网，位置数据，位置智能，大数据。不管你给它起了什么名字，很难否认各种行业的潜力

现在很明显，精确的位置数据可以提供对离线世界前所未有的洞察力。越来越多的企业意识到移动位置数据的价值及其在全球范围内的影响。

随着我们远离不可靠的数据集，传感器驱动的精确数据集正在占据中心舞台。这种精确的数据有许多用途。但是我想看看一些具有最大破坏性影响的。

商业智能

通过使用数据来观察趋势的能力并不新鲜。基于人们在线下世界的活动，以接*实时的方式做到这一点的能力。

位置智能揭示了经常被忽略的大数据集之间的关系。它将这些见解转化为可操作的商业智能。帮助通知关键业务决策，提高转化率优化，尤其是在网站上。

从与大型连锁场馆竞争的小酒吧，到与在线大公司竞争的小零售商，这些企业正在通过使用这种大数据来制定商业战略，从而获得宝贵的见解。

事实是，移动位置数据现在已经足够成熟，可以解决小型企业和大型企业面临的许多问题。让我们来看几个:

金融服务 —通过大数据集了解客流量对于金融行业很有价值。移动设备数据有助于在正式报告之前预测收入和其他 KPI。这有助于投资决策。

零售 — 大数据可以帮助小型和大型零售商。通过移动设备数据了解商店访问以及客户行为，对零售行业产生了许多积极的影响。这些见解有助于为商业决策提供信息，如商店布局、营业时间、人员配备等。

基础设施和规划

我们都听说过智能城市这个术语。我们倾向于认为，这不仅仅是添加一些数据点，并在前面加上“智能”一词。事实上，还不止这些。我们正朝着人口众多的城市中心前进，并渴望实现无人驾驶汽车。大数据是开启这一真正智能未来的关键。

移动设备数据的增加为理解城市如何运转提供了更好的机会。它有助于创建反映这一点的系统和基础设施。

结合城市中不断增加的联网设备，中央规划机构现在拥有了一套工具，可以为许多不同领域的决策提供信息。

移动位置数据有助于更好地了解哪里对公共基础设施的需求最大。例如，我们可以检查移动设备位置数据，以了解城市中自行车最多的道路。当计划在哪里实施新的自行车路线时，这些信息是精确的和无价的。

交通和拥堵也是如此。在日益拥挤和污染的大城市，了解如何缓解交通问题是很重要的。了解交通流量以及在哪里建设新的道路结构或引入新的低排放区，对于建设能够维持当前人口增长水*的智能城市至关重要。

大数据正在对此类规划产生巨大的积极影响。由于移动设备数据和位置智能的准确性和独特性，它正在改变世界各地城镇的决策方式。

营销和广告

大数据和营销从来都是相辅相成的。营销人员总是希望利用数据集来提高广告的效率和效果。使用大数据创建量身定制的相关受众并不是一种新的做法。

但是移动位置数据允许营销商和广告商将数字广告与消费者离线时的行为联系起来。了解消费者如何在线下世界移动有助于营销人员变得更加有效。它帮助营销人员向消费者提供更多的个人广告。

对消费者行为的这种理解使品牌能够根据一个人的独特体验来定制沟通——例如建立更好的网站来匹配访问者的行为，并相应地进行个性化。

位置智能正在扰乱消费者生命周期的许多阶段。它把网络上的分析能力带到了现实世界。

分割

移动设备数据有助于构建人们如何移动和行为的复杂图像。这有助于广告商建立复杂的客户档案。品牌最终理解了顾客去的地方，以及他们如何与周围的物质世界互动。

这远比其他受众细分的方法有效。这是因为一个人的位置往往比他们在电脑上搜索或坐在沙发上浏览手机时更能表明意图。

这使得营销人员能够准确识别消费者在购买过程中的位置。此外，它允许他们以更详细的级别来完成这项工作。

个性化

大数据在营销和广告方面的一个重大突破是增强大规模个性化的能力。

位置数据让品牌通过了解顾客的情况变得更有帮助和人性化。这个概念并不新鲜，但是这个空间中数据集的准确性和不断增长的规模使得交流变得更加个人化。

位置有助于在客户实际兑换时提供促销。它让“顾客也买了”的体验到达现实世界的零售店。通过这种方式，大数据正在为线下问题提供数字化解决方案。位置智能是根据一个人对现实世界的独特体验来定制品牌传播。

对消费者行为的这种理解，使得品牌能够根据一个人的独特体验来定制沟通——例如，建立符合访问者行为的网站，并据此进行个性化。营销人员应该问问自己，他们如何能够使用行为目标来实现他们的目标和提高他们的底线。

客户体验

大数据改善了客户体验。位置智能有助于自动寻路、订购、协助和队列管理。了解一个人的物理位置有助于改善许多领域的游客体验。

体育场、度假村、机场和交通枢纽都会改善在这些地方花费时间和金钱的人们的体验。这可能是基于位置的售票方式——你走上火车买票。或者它可能在你的位置订购食物和饮料。

大数据和位置智能在改善客户体验方面仍有巨大的应用空间。在网络定制和登陆页面中，无论是 Leadpages 还是insta page，你都会获得更好的参与度和更好的客户体验。

属性

正如我们所见，移动设备数据已经将许多数字生活方式与线下消费者行为联系起来。这项技术革新营销和广告空间的另一种方式是通过属性。

传统上，许多广告商在衡量线下广告对线下 KPI 的影响时都是盲目的。

但是移动设备位置数据正在填补空白。例如，当一个人站在户外广告前时，位置智能可以理解。然后，它可以测量这些人中有多少人在商店内或特定实物产品前被看到。

将两者联系起来，为营销人员提供了一种准确的方法来衡量线下广告库存的影响和投资回报率。这种线下归因也让他们能够衡量数字广告对线下目标的影响。这些事情以前是不可能确定的。但是大数据改变了广告的衡量方式。

阿肯色州

如果 AR 真的要实现它的承诺，它将不得不依赖复杂的数据集和准确的位置智能。

随着 AR 越来越突出，它的应用将从好玩的游戏转向有用的生产力应用。随着 AR 的发展，它作为一种通过内容和广告接触观众的方式的使用将会增长。像以前的营销活动一样，它将通过使用大数据和位置智能来改进。

当用户在现实世界中移动时，AR 将需要大量准确和实时的位置数据才能正常工作。

优化供应链

大数据和位置智能正在影响希望优化供应链的组织。

位置智能在供应链中的明显应用在于理解和跟踪交货和供应的能力。它已经被用来生成数据集，可以优化和改善这些服务。

但是位置智能不仅仅是帮助企业优化流程。这有助于他们了解对产品的需求。历史上有很多人建造一些东西，希望人们想要它，结果却发现他们并不需要。

大数据帮助制造业优化的另一种方式是帮助它调整运输类型、装货地点或销售地点。

随着位置数据的兴起，这些见解现在由来自线下世界的信息推动。随着数据治理的出现，以前无法实现或已经滞后的洞察力现在可以实时获得。这是扰乱供应链运作的核心问题。

隐私和透明度

像往常一样，对于新的破坏性活动，焦点集中在这些新技术的责任上。理应如此。事实上，大数据领域的企业需要更加透明地了解数据集的来源。

仅仅勾选一个框并开始收集和汇总个人数据是不够的。为了清理数据供应链，还需要做更多的工作。需要将更多的控制权交给用户。

这一点已经很明显了，从目前移动 VPN的兴起就可以看出来。这些应用是用户的一种反应，他们希望保护自己的隐私，并控制谁可以看到他们在网上做什么。

通过这种方式，我们有责任向用户传达大数据和位置智能的价值。它在全球范围内产生了巨大的积极影响，这也是保护隐私的更多理由。

您的数据应该有多大？

原文：https://towardsdatascience.com/how-big-should-be-your-data-fdace6e627e4?source=collection_archive---------6-----------------------

在设计机器学习模型时，所有数据科学家都会想到一个简单的问题:“数据集应该有多大？建模应该使用多少特征？”。本文将通过一项实验研究，向您展示如何决定数据集大小和模型所需的特性数量。

https://commons.wikimedia.org/wiki/File:BigData_2267x1146_white.png

下面是我的 github 资源库的链接。它包含用于分析的 python 代码。您可以派生或克隆存储库，并使用代码:-P

[## bmonikraj/机器学习数据分析-01

机器学习-数据分析-01 -使用统计方法对数据集进行实验分析，以获得更好的机器…

github.com](https://github.com/bmonikraj/machine-learning-data-analysis-01.git)

下面是从 UCI 机器学习知识库到数据仓库的链接。它包含与数据集和属性相关的信息。这里提到，这个问题是一个回归问题。

https://archive . ics . UCI . edu/ml/datasets/理化+属性+of+蛋白质+三级+结构

**Description of Dataset**
Dataset inititally has 10 columns. 
Column with name 'RMSD' is the target column of our data set
Rest 9 columns with name F1, F2, ... , F9 are the features columns of the data set. m = Number of observations in the data set
Dimension of Y : m X 1
Dimension of X : m X 9

现在，我将向您展示数据帧的每一列之间的关联矩阵，包括 RMSD (数据帧是一个术语，用来表示 Python 的 Pandas 模块读取的数据集)。

Correlation Matrix — Heat Map , showing the correlation between each and every column of data frame

从上图中，我们可以得出结论，RMSD 与其他列几乎是独立的，因为理论上说如果，correlation(x，y)~0，那么‘x’和‘y’是彼此独立的(其中‘x’和‘y’是相同维数的向量)。

在我们不知道哪一列将被选为目标列的情况下，我们可以找到相关矩阵，并找到与所有其他列最独立的列。

这是 x 中所有特征列之间的相关矩阵图。

对于 X 的列‘I’和列‘j ’,它显示了两个变量之间的散点图，当‘I’时！= 'j '。如果' i'=='j '，那么它显示了变量的频率分布。

Correlation Matrix plot — Correlation between two variables (feature column) and frequency distribution of the variable itself

上图讲述了变量之间的相互关系。同样，我们可以用图形来推断矩阵之间的相关性，以便更好地进行分析。

变量的频率分布显示了它所遵循的分布类型，如果遵循一个已知的标准分布，如 【高斯】 分布或 【瑞利】 分布，我们可以预测和分析变量的行为，这在进一步研究数据时会很方便。

注:变量的频率分布或直方图通常用于将变量拟合为标准分布。

现在，我想请大家注意功能选择。在这里，我将阐明决定保留哪些特性的方法。我将使用 Python 的 Sci-kit 学习模块中的 SelectKBest 模块来完成这项工作。他们使用 f 检验估计从数据集中找到最佳特征。关于模块和理论的更多信息可以在参考资料中找到。

from sklearn.feature_selection import SelectKBest, f_regression
#Assuming X and Y are numpy array of dimension (m,9) and (m,1) #respectively
#We use f_regression function since our's is a regression problem
X_best = SelectKBest(f_regression, k=5).fit_transform(X,Y)
'''
After the code snippet is run, X_best keeps top k=5 features from X.
'''

现在，我将使用线性回归向您展示最佳“k”特征对模型的“ R2 分数”指标的影响。这里你可以看到，通过增加“k”的值，我们的线性回归模型得到了更好的 R2 分数。我还存储了与' SelectKBest '方法相关的功能的降序。同样的代码可以在我上面的 github 链接中找到。

‘k’ vs ‘R2 Score ‘ plot on linear regression model (‘k’ determines the top k features from the data set)

这样，我们可以选择一个合适的“k”值作为模型的 R2 分数的相应值，这对于我们的问题陈述来说是可接受的(我可能会选择 k=5，但对于您来说，可能会根据问题的需求而有所不同)。
以下是按降序排列的‘k’个特性列表:【F3，F4，F2，F9，F6，F1，F5，F7，F8】

特征选择的主要应用之一是降低数据的维数，以获得更好的计算性能。

主成分分析是将维度(特征)分解成更小维度空间的另一种方法。使用主成分分析的主要好处是:

• 降维
• 将高维空间数据转化为低维空间数据进行可视化

以下是将高维空间分解为低维空间后的数据可视化(对于“X”)。

Visualizing ‘X(1-D space)’ vs ‘Y’ after decomposing X into lower single dimension space

Visualizing ‘X(2-D space)’ vs ‘Y’ after decomposing X into lower 2 dimension space

现在，我将向您展示使用线性回归将数据投影到“p”分量特征空间对模型的“ R2 分数”度量的影响。这里你可以看到，通过增加“p”的值，我们可以得到更好的线性回归模型的 R2 分数。

‘p’ vs ‘R2 Score ‘ plot on linear regression model (‘p’ determines the top p components from the eigen vector projection of data set)

查看图表，我们可以为我们的解决方案选择一个合适的“p”值。根据问题的要求，应通过相应的可接受的 R2 评分值来选择“p”的值。

现在我将讨论数据集大小的影响，【m】=数据集 中的观察次数。我保留了最初出现在数据集中的 9 个特征，我改变了“m”，在训练集 (80%) 上训练，并使用线性回归模型计算了测试集 (20%) 上每个“m”的 R2 分数。

分析上面的图表，我们可以推断出以下几点:

• R2 分数的最初峰值是由于较低的“m”值造成的数据偏差。
• 在尖峰之后，R2 分数在某种程度上饱和(忽略中间的尖峰，这是因为在分裂成‘m’’时随机选择数据点)，这意味着逐渐增加数据集大小，最终增加 R2 分数，直到饱和。
• 在某一点之后，它饱和，增加“m”，不影响 R2 分数。
• 较低的“m”导致模型中的偏差或较低的 R2 分数。

D 设计机器学习模型包括许多因素，如选择特征、决定数据大小以获得更好的模型性能、计算成本、实现实时数据的可行性(对于某些情况)，以及根据问题的要求的许多其他因素。这总是对数据的探索性分析，这导致了更好的模型设计，因为

机器学习中的每个问题都是不同的

参考:

1. Sci-kit 模块:http://scikit-learn.org
2. SelectKBest 模块:http://sci kit-learn . org/stable/modules/feature _ selection . html
3. 熊猫模块:https://pandas.pydata.org/pandas-docs/stable/
4. 用于可视化的 Seaborn 模块:https://seaborn.pydata.org/
5. 主成分分析:https://en.wikipedia.org/wiki/Principal_component_analysis

区块链将如何保护隐私

原文：https://towardsdatascience.com/how-blockchains-will-enable-privacy-1522a846bf65?source=collection_archive---------3-----------------------

科技侵蚀了我们的隐私保护。个人或组织所做的大多数事情现在都在公共领域。第三方监控、存储和使用个人和组织数据、模式、偏好和活动。许多新兴的商业模式依赖于我们个人数据的收集、组织和转售。

技术也使得将数据与个人联系起来变得更加容易，即使个人选择退出社交网络*台。例如，面部识别技术的突破已经在商业和安全领域得到广泛应用，特别是在中国和俄罗斯。

区块链技术可能会限制这种隐私侵蚀的影响，同时仍然会在有用的时候发布个人信息。例如，用户可以在区块链上存储个人信息，并临时释放部分信息以接受服务。比特币和其他基于区块链的数字货币已经证明，使用点对点的分散网络和公共账本，可信和透明的计算是可能的。

这篇文章探讨了个人和组织产生的数据对隐私的影响。它还简要考虑了支持区块链的系统如何帮助用户重新掌控自己的数据。

第一部分:个人

个人

隐私对个人来说很重要，因为他们的个人信息对组织、营销人员和其他个人来说很有价值。互联网用户中的一个普遍说法是:如果你不为产品付费，你就是产品。这意味着，对于提供免费服务的公司，如社交网络*台，个人信息是有价值的。

宪法保护

在美国，隐私对于行使各种宪法权利非常重要，包括言论自由权、结社自由权、出版自由权、免受不合理搜查和扣押权以及免受自证其罪权。缺乏国家行为者的隐私会危及这些权利。知道他们的言论将在公共领域被归因于他们，一个人可能不会为正义的事业大声疾呼，特别是如果他们的观点或主题是有争议的或不受欢迎的。由于许多重要的观点不受欢迎或有争议，自我审查应该引起社会的严重关注。知道自己被监视，也可能会阻止你和志同道合的人见面。如果举报者和其他揭露组织不法行为的人不能保持匿名，他们就不太可能这样做。随着技术的进步，法院已经勾勒出了对国家行为的限制。

健康资讯

如果信息就是力量，保护信息可以帮助一个人与组织谈判。例如，健康保险公司可以利用负面健康信息向特定个人收取更高的保费，或者拒绝承保。因此，个人有动机阻止这些信息进入公共领域。健康信息的公开发布也会给一个人的社交或职业生活带来尴尬或尴尬。

金融信息

金融信息是个人信息赋予其拥有者权力的另一个领域。个人可能不希望金融机构知道几年前的不良信用记录，并且肯定不希望邪恶的行为者使用个人的个人信息来实施身份盗窃或金融欺诈。

虽然人们不得不经常披露个人财务信息，例如纳税或获得抵押贷款，但如果这种信息进入公共领域，各种行为者都会感兴趣。寻求客户的公司、寻求捐赠者的慈善机构以及寻求捐赠的政治候选人都对了解个人的个人财务信息感兴趣。尽管这些行为者大多是良性的，但人们对于他们想要与谁分享个人财务信息以及他们想要这些信息用于什么目的有着不同的偏好。

例如，人们可能不希望他们的财务信息被公司用来确定他们愿意和能够为通常以较低价格购买的东西支付的最高金额。然而，Orbitz 向 Mac 用户展示同样的酒店房间，价格却比 PC 用户高。这表明，即使是一点点个人信息，比如一个人是使用 PC 还是 Mac，也能对营销人员评估一个人的经济能力有用，这种方式会让大多数人感到不舒服。

个人行为

研究表明，当人们知道自己被监视时，他们的行为会有所不同。因此，在更基本的层面上，隐私使一个人能够以一种受启发的、亲密的或愚蠢的方式行动，而没有恐惧。就像人们凭直觉关上或锁上前门一样，他们在与技术的互动中也渴望隐私。如上所述，组织有许多充分的理由收集个人信息(从未来使用产品或服务的便利性，到未来互动的便利性，到研究消费者偏好以创造更好的产品或服务)。精明的组织努力不违反个人对个人隐私的期望，因为个人隐私具有内在的价值:它允许人们做自己，以不受约束的方式行事。

匿名和假名

互联网的核心存在一个悖论:人们期望它成为一个公开透明的论坛来交流思想、信息、商品和服务，然而他们也期望匿名上网。正如《纽约客》一幅著名漫画的标题所言:在互联网上，没有人知道你是一只狗。对互联网隐私的期望因利益集团和国家而异。例如，由于政府监管，韩国人对互联网隐私的期望比美国人低。2015 年初，中国政府通过了新的规定，要求互联网用户今后在写博客或使用社交媒体时使用真实姓名。在互联网上匿名和假名是可取的情况是有争议的。例如，虽然一个大学生期望在互联网上匿名是合理的，但对于利用互联网策划暴力犯罪的人来说就不是这样了。对于是否应该允许教授用笔名写作，人们有不同的看法。

虽然有趣，但关于何时应该尊重匿名或假名的辩论有可能变得没有实际意义，因为新技术对个人隐私构成了前所未有的新挑战。

社交媒体和按需经济要求披露个人数据

脸书、推特和其他社交网络*台的崛起改变了人们对互联网隐私的期望。使用这些*台的人自愿提供个人信息，并同意与有限的受众或所有人分享。然而，即使是那些不想分享个人信息的人(例如，那些没有脸书或 Twitter 账户的人)也会因为职业或营销目的而感到压力。雇主经常对候选员工进行谷歌搜索。虽然没有结果总比糟糕的结果好，但今天的求职者通常会使用互联网来推销自己，要么创建一个 LinkedIn 帐户，要么通过个人网站、博客或文章展示成就。对小企业来说也是如此:大多数要么有网上业务，要么因为没有网上业务而失去业务。

过去十年的另一个主要技术趋势是按需经济(简称为共享经济)的出现，在这种经济中，商品或服务的提供商和用户通过网络或电话应用程序或网站进行交易。这就产生了排挤现有中间参与者的效果(这一过程被称为非中介化)。正如优步和 Lyft 等拼车服务已经让传统的出租车服务和城市出租车牌照系统几乎过时一样，维基百科已经取代了微软 Encarta 等大型私人编辑的百科全书。如今，旅行者不仅会查看其他城市的酒店价格，还会查看 Airbnb 的价格，以便直接从其他人那里租赁短期房间或房屋。随着 Airbnb 和其他代表按需经济的公司的出现，他们通过要求主人和客人提供个人信息来满足客户的安全需求。此外，在 Airbnb 住宿后，主人和客人会被邀请互相评论，这些评论通常包含个人信息，任何浏览 Airbnb 网站的人都可以免费获得。

尽管几十年来，易贝等公司一直在使用身份验证和用户评论来打击欺诈，并鼓励在线市场的质量，但新一代共享经济应用认为个人信息等同于可信度:越多越好。由于按需服务的参与者之间的互动比易贝上的买家和卖家之间的互动更密切，这是有意义的。上陌生人的车，在陌生人家里睡觉，让陌生人帮你遛狗，这些都需要对应用、站点或*台的高度信任。收集更多信息的*台会产生更多信任。例如，虽然 Airbnb 的客人可以通过积极的主机评论历史来建立信任，但没有先前历史的客人可以上传政府 ID，甚至链接到他们的脸书账户，以表明可信度。因此，尽管共享经济的去中介化让人们能够相互信任，但它也经常要求人们向*台甚至公共领域披露公共信息。

个人提供给社交媒体网络和按需经济服务的个人数据可以为希望基于诸如位置、年龄、性别、消费者偏好、社交偏好和其他类似属性来描述个人的组织或个人提供基础。个人信息赋予其拥有者权力，因此个人应该仔细考虑他们在不同情况下可以接受的个人隐私级别。

第 2 部分:组织

保护组织战略和专有信息

组织需要保护敏感信息，如公司战略见解或专有信息(如知识产权)，这些信息可能会被竞争对手或不法行为者用来破坏组织。这不仅适用于制造行业尖端技术的组织(如国防、航空航天或汽车行业)，也适用于所有类型的组织。2016 年，黑客以民主党全国委员会为目标，发布了其内部电子邮件通信，破坏了几位民主党候选人的可信度。同样在 2016 年，冒充孟加拉国中央银行官员的黑客向纽约美联储发送指令，试图从孟加拉国中央银行在纽约美联储的账户中窃取 9.51 亿美元。他们成功地吸走了 1 . 01 亿美元，其中大部分国际当局仍未追回。这些引人注目的黑客事件象征着组织在保护其组织战略和专有信息免受竞争对手和不良行为者攻击时所面临的挑战。

出于营销和研究目的收集客户信息

组织出于营销目的收集客户信息。杂货店筛选从人们的手机上收集的位置信息，以确定他们在特定的过道里花了多长时间。常旅客和其他忠诚度计划向人们提供额外津贴，以换取他们的个人信息，这些信息可用于加强产品和服务的促销。营利性和非营利性组织都建立客户或捐赠者档案，帮助他们进行销售和筹集资金。

客户信息还可以用来帮助了解消费者的偏好，并在未来提供更好的产品和服务。此外，组织对客户信息的收集通常会使客户将来与该组织的交易更加方便。

在收集此类信息时，组织必须遵守适用的联邦和州法律。在美国，医疗保健公司、金融服务公司和其他公司在允许收集的客户信息类型方面受到不同的限制。成熟的组织熟悉管理其行业的法律框架。随着数据收集和分析越来越多地由非人类参与者执行，法律和法规合规性变得越来越困难。

保护客户信息

对于所有面向消费者的公司，尤其是谷歌、苹果和亚马逊等科技公司，收集消费者的个人信息有助于为每位消费者提供更个性化的服务。这也让公司有责任保护这些信息。例如，在一个人的 Mac、iPhone 和 iPad 上同步数据可以方便地访问信息，但也让人预期苹果会采取措施保护这些信息不受外人影响。

保护客户信息

对于为其他组织提供服务的组织(如会计或法律服务组织)，保护客户信息对于维护客户关系同样至关重要。黑客以前曾瞄准专业服务公司，以获取他们客户的数据，试图绕过客户复杂的数据保护措施。认识到这一风险后，主要的专业服务公司已经采取了大量措施来保护客户信息。

当前保护敏感信息的组织措施

组织已经采取了许多措施来保护敏感信息:例如，雇用内部和外部信息安全专业人员，教育员工如何保护信息，以及审查员工以防范内部威胁。一些已经成为或可能成为目标的组织也开始使用蜜罐(伪造的、由公司监控的数据室，声称保存敏感的公司信息，引诱和欺骗黑客，帮助公司了解黑客的动机)。这些措施是重要和必要的，需要发展以应对新的挑战。

第 3 部分:大数据

组织收集包含各种信息的数据，例如公司的产品和服务、内部流程、市场条件和竞争对手、供应链、消费者偏好趋势、个人消费者偏好以及消费者与产品、服务和在线门户之间的特定交互。组织收集的数据量显著增加。

对存储数据数量膨胀的担忧至少在上个世纪就已经存在。2014 年 4 月，研究机构 IDC 发布了一份题为“充满机遇的数字世界:丰富的数据和物联网不断增长的价值”的报告，该报告预测，“从 2013 年到 2020 年，数字世界将增长 10 倍——从 4.4 万亿千兆字节到 44 万亿字节”。当今数据的扩展是由计算和数据存储能力的增加、传感器的增加和连接性的增加推动的。

计算能力和数据存储能力的提升

随着时间的推移，我们发现存储更多的信息变得更加容易，因为在过去的几十年中，计算能力和存储容量都有了显著的提高。英特尔联合创始人戈登·摩尔在 1975 年观察到，芯片上的晶体管数量每两年翻一番。这一观察结果被称为摩尔定律，准确地描述了 21 世纪计算能力的指数增长。类似地，同时，在过去的几十年中，数据存储容量呈指数增长，尤其是我们在越来越小的驱动器上存储大量数据的能力。

由于这些增长，存储大量数据变得可能、便宜，甚至方便。因此，组织往往倾向于存储更多数据，因为丢失随后证明有用的数据的风险超过了通过保存更少的数据来略微降低存储成本的好处。

云计算的兴起

云计算仅仅意味着按需使用远程(而非本地)计算能力、数据存储、应用程序或网络。由于云计算，组织可以简单地从云提供商那里租用计算能力或存储，而不再需要在自己的服务器上存储大量数据，维护巨大的计算能力，或维护供应商的传统数据库(尽管传统数据库对大型组织仍然有用)。由于云提供商必须提供可靠的按需、可扩展的解决方案，像亚马逊、微软和谷歌这样的大公司是占主导地位的云提供商。

面向企业的云计算服务有三种形式:软件即服务(SaaS)，其中云提供商允许组织在线使用其软件(例如，在线访问 TurboTax *台即服务(PaaS)，其中组织使用云提供商的资源开发应用程序供其成员访问(例如，Microsoft Azure)；基础设施即服务(IaaS)，其中云提供商为客户提供基本的基础设施服务以提供服务(例如，网飞使用亚马逊网络服务基础设施来支持视频流)。(个人用户可能更熟悉 iDrive、Google Docs 或 Dropbox 等云应用。)云计算的实现不仅得益于前面讨论的计算能力和数据存储能力的进步，还得益于互联网接入、速度和可靠性的显著提高。虽然云计算的采用在一定程度上是为了应对存储不断增长的数据量的困难，但它的广泛采用促进了存储数据量的增长。

增加传感器的使用、传感器的复杂性和连接性

传统上，互联网由人类用户相互之间以及与数据库的交互组成，互联网越来越多地用于将物理设备相互连接。机器对机器(M2M)交互的定性和定量增长预计将导致无处不在的物联网:一个智能设备网络，这些设备相互集成，在最少的人工干预下执行越来越复杂的功能。

物联网不需要全新的基础设施。相反，它是通过在现有设备和基础设施中嵌入传感器来实现的。例如，当家庭空调系统使用传感器来确定人们何时在家，并使用这些信息来决定温度以保持每个房间时，它就变得'智能'。类似地，当城市能源和水基础设施嵌入传感器时，智能系统可以监控使用情况，预测未来使用情况，并更有效地分配资源。先进的传感器可以改善几乎任何技术，从智能手机到心脏监视器，再到大型农场或工厂。

智能设备根据其用途需要不同种类的传感器。电脑有摄像头和麦克风已经有几十年了。现在，设备还可以配备传感器，测量温度、运动、其他物体的距离、压力、化学物质和各种其他东西。传感器的质量每年都在提高，价格也越来越低。

虽然传感器本身可以极大地改善设备，但设备之间的通信对于许多智能系统来说是必不可少的。例如，虽然使用嵌入在汽车中的各种传感器让你的汽车自动驾驶会很有用，但让路上的所有汽车相互通信会更有用。这将缓解交通流量，并理想地使汽车旅行更加安全。同样，当物联网适用于大规模生产或仓储时，它将需要设备之间良好的通信。各种通信技术的进步，尤其是无线通信技术的进步，释放了物联网技术的潜力。

智能设备经常收集个人数据

在智能设备出现之前，晨跑几乎不会产生任何数据。今天，如果你在智能手机上安装一个健康应用程序，并进行相同的跑步，关于跑步持续时间、你走的路线、你走的步数以及你在跑步过程中各个点的心率的数据都可以收集并存储在你的手机中。同样，三十年前，你家窗户里装个空调也不会产生多少数据。如今，智能家居温度系统每天都会收集大量的温度和湿度数据。一旦收集起来，这些数据不仅可以用来保持室内温度和节能，还可以推断出你通常在家的时间，或者你最有可能调整温度设置的时间。晨跑和家用空调系统的例子表明，智能设备可以创造更多的数据。它们还表明，为一个目的收集的个人数据可以用于许多其他目的。

数字世界正在以指数速度扩张:在 2013 年 4 月的一篇文章中，Ralph Jacobson 在 IBM 的消费品行业博客上发表了一篇文章，估计世界每天创造 25 亿千兆字节的数据。正如计算能力和存储能力的进步促使组织收集的数据量增加一样，改进的传感器和通信技术的出现也是如此。传感器测量事物，这些测量结果被传送到其他设备或服务器，被收集并存储为数据点。

人工智能

人工智能从数据中出现，正如我在 之前的 中所讨论的。

大多数人工智能研究都是由谷歌、亚马逊和百度资助的，因为数据是人工智能的食物，这些公司每天都产生大量数据。微软收购 LinkedIn 不是为了它的*台，而是为了它的数据。

到目前为止，公司已经利用人工智能彻底改变了金融和制造业。保护我们的财务信息有时看起来像是一个失败的事业，因为政府、房东、银行、信用卡公司和信用评级机构都在收集这些信息(正如 Equifax hack 所显示的，存储得很差)。

人们通常认为他们的医疗保健信息比他们的财务信息更敏感。人工智能已被用于医疗保健数据，但由于隐私问题，这些数据往往是分散和碎片化的，人工智能在医疗保健中的影响有限。然而，最终，公司将利用我们的私人健康信息编制越来越全面的数据库。

如果是技术导致了隐私的侵蚀，也许技术可以帮助解决这个问题。

第四部分:区块链

采用特殊协议的区块链允许不同程度的匿名、保密和隐私，可以保护医疗保健、金融和其他个人数据，同时仍允许这些数据用于人工智能应用。例如，用户可以拥有带有个人健康信息的区块链，并且出于特定目的，仅向产品或服务提供商(例如隐形眼镜制造商)简要发布该信息的特定元素(例如视力处方)。

虽然区块链是一个公共账本，存储在多个地方，但它可以实现匿名和信任，正如多个区块链应用程序和已经存在的高隐私加密货币所证明的那样。

目前，第三方收集的个人数据通常存储在具有单点故障的集中式数据库中。这种数据的泄露通常不被注意和报道。一旦我们的数据落入不受信任的一方手中，我们就无法控制如何使用这些数据。

区块链解决方案

正如比特币所显示的，密码学和深思熟虑的经济激励可以创造一种安全的方式来存储和管理信息，包括个人信息。

区块链上的私人数据受密码保护。我曾在其他地方讨论过散列是区块链技术的核心。以下是区块链技术可用于保护个人数据的一些方式，即使这些数据的一部分可供算法处理。

同态加密

一种称为“同态加密”的新加密技术允许在加密数据上进行计算，而无需首先解密数据。这意味着在对数据进行计算时，可以保护数据的隐私和安全。只有拥有适当解密密钥的用户才能访问数据或交易的私人细节。

诸如零知识证明(ZKPs)和 zk-SNARKs 之类的密码技术已经使用同态加密。一种叫做 Zcash 的流行加密协议使用 ZK-SNARKs 加密其数据，并且只将解密密钥提供给授权方，以便他们查看该数据。

状态通道

区块链可以为非区块链解决方案提供模型，或者成为保护隐私的混合解决方案的一部分。

国家频道是区块链互动，可以发生在区块链，但不是在区块链进行。状态通道通过三个过程工作。

1.锁定:使用链上的智能契约锁定事务。

2.相互作用:相互作用发生在链外或侧链上。

3.发布:在交互完成并且状态通道关闭之后，智能合约被解锁，并且在区块链上发布对交易的引用。

国家频道可以允许服务提供商保护用户数据的隐私和安全。交易可以在区块链之外进行，交易的参考散列(不泄露关于交易的机密细节)被保存在区块链上。

结论

我们的私人信息目前集中在互联网和公司数据库中，因此被少数玩家控制。数据创建和收集的指数级增长预计会继续侵蚀我们的隐私。基于区块链或受区块链启发的解决方案可以帮助减少这种隐私侵蚀，同时让我们受益于更快的交易、更好的服务和更强大的人工智能算法。

沙安雷

请关注 Lansaar Research 关于媒体的报道，了解最新的新兴技术和新的商业模式。

** [## 沙恩·雷

来自 Shaan Ray 的最新推文(@ShaanRay)。创造新价值和探索新兴技术| ENTJ | #科学…

twitter.com](https://twitter.com/shaanray)**

博客如何帮助你建立一个数据科学社区

原文：https://towardsdatascience.com/how-blogging-helps-you-build-a-community-in-data-science-923460cfabbf?source=collection_archive---------12-----------------------

天啊。我在三月份开始写博客，这让我大开眼界。

首先，我想说我并没有奇迹般地想出自己写博客的主意。我注意到我的朋友乔纳森·诺利斯在 LinkedIn 上变得活跃起来，所以我给他们发了短信来获取独家新闻。他们让我开个博客，还开玩笑地说“我正在做我的#品牌”。我是那种什么都尝试一次的人，而且我已经拥有了一个域名，有了一个网站建设者(在 Vistaprint 工作时)，我还有一个电子邮件营销账户(因为我的工作是为了保持联系)。那么确定，为什么不呢？

如果你想开一个博客。要知道，你不需要有一堆现成的工具供你使用。你可以在 Medium.com 的 LinkedIn 上写文章，在投资一分钱之前，你有很多选择可以尝试..当然，你也可以创建自己的网站。从那以后，我开始使用自托管的 Wordpress。我已经爱上了写博客，Wordpress 让我利用了很多额外的功能。

在我的第一篇文章中，我开始看到数据科学社区的其他成员正在做的所有事情。老实说，如果你在我开始写博客之前问我在数据科学方面谁是我最崇拜的人，我可能只会快速说出那些创造了让我生活更轻松的 R 包的人，或者那些在 Stack Overflow 上发布了许多问题答案的人。但现在我关注 LinkedIn 和 Twitter，看到 Kirk Borne、Lillian Pierson、Carla Gentry、Bernard Marr 和许多其他人(说真的，还有许多其他人)等大数据科学影响者正在向社区添加信息。

我也开始第一手地看到很多人正在学习成为一名数据科学家(耶！).即使是仍在上学或刚刚步入职业生涯的人也在积极参与数据科学社区。(不需要专业人士，直接跳进去就行)。

我关注了我的博客统计(当然，我是一个数据狂)，发现我写的得到最大回应的文章要么是:

1. 关于如何进入数据科学的文章
2. 关于如何执行数据科学领域的编码演示

但是你可能会发现有些不同的东西适合你和你的写作风格。我不只是在 LinkedIn 上发布我的文章。我也在 Twitter 上发帖，Medium，我把它们发到我的邮件列表，我把它们放到 Pinterest 上。当有人第一次提到 Pinterest 用于数据科学文章的想法时，我犹豫了。这很疯狂，但 Pinterest 是我网站流量的最大推荐者。谷歌分析没有骗我。

我在 LinkedIn 消息中与许多人聊天，我有机会与一些热爱数据和围绕数据科学创作内容的优秀人士交谈和(虚拟地)见面。我真诚地建立关系，为社区做贡献，这感觉很棒。如果你是“活跃于 LinkedIn 上的数据科学社区”的新手，请关注塔里·辛格、兰迪·劳、凯特·斯特拉赫尼、法维奥·瓦兹奎、博·沃克、埃里克·韦伯和莎拉·诺拉维。如果你走出去，你会很快找到你的部落。我发现当我参与时，我得到的比我投入的要多得多。

第一次点击你创建的内容的“发布”是令人生畏的，我不是说这将是你做过的最容易的事情。但是你会和有同样热情的人建立真正有价值的关系甚至友谊。如果你开了博客，我期待着阅读你的文章，看你的旅程。

如果你喜欢这篇文章，请访问我在 www.datamovesme.com的博客

你的国家对商业有多友好？Python 中的线性回归

原文：https://towardsdatascience.com/how-business-friendly-is-your-country-linear-regression-in-python-c22ff0fcebdd?source=collection_archive---------0-----------------------

Image courtesy: Wikipedia

动机

世界发展指标(WDI) 是由世界银行编制的广泛而全面的数据汇编。WDI 包括 200 多个国家经济的 1400 个指标，它提供了现有的最新和最准确的全球发展数据。

“营商便利度排名”指标对各国进行比较，其排名范围从 1 到 190(1 =最有利于商业的法规)。我今天的目标是开发一个多元线性回归模型，以了解什么属性使一个国家排名更高。那么，我们开始吧。

数据

r 有一个叫做 WDI 的很棒的软件包，可以让你搜索和下载世界银行的数据系列。

library(WDI)
indicator1 <- WDI(country="all", indicator=c("NY.GDP.PCAP.CD", "IC.REG.COST.PC.ZS", "IC.REG.PROC", "IC.TAX.TOTL.CP.ZS", "IC.TAX.DURS", "IC.BUS.EASE.XQ"),
start=2016, end=2016)colnames(indicator1) <- c("code","country","year", "GDP_per_capita", "Cost_start_Bus", "Days_reg_bus", "Bus_tax_rate", "Hours_do_tax", "Ease_Bus")write.csv(indicator1, file = "indicator1.csv",row.names=FALSE)

根据常识，我选择了以下变量作为预测值(独立变量):

• 人均国内生产总值
• 创业程序成本占人均国民总收入的百分比
• 注册企业的天数
• 营业税税率
• 纳税时间

预测变量:

• 做生意容易(1 =最有利于商业的法规)

我选择 2016 年，因为它是最*的一年，并且缺少的值最少。在选择了所有我需要的变量后，我将它保存为一个 csv 文件。

多重线性回归假设

1. 线性
2. 无多重共线性
3. 同方差性
4. 多元正态性
5. 误差的独立性

我们将在分析过程中检查上述假设。现在我们来看看 Python。

数据预处理

%matplotlib inline
import numpy as np
import pandas as pd
np.random.seed(45)
import matplotlib
import matplotlib.pyplot as plt
plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12indicator = pd.read_csv('indicator1.csv')
indicator.head()

很好，正是我们需要的。

现在，删除“代码”列和“年份”列。

indicator.drop(indicator.columns[[0, 2]], axis=1, inplace=True)
indicator.info()

我们正在处理 186 个观察值(国家)和 7 列(变量或属性或特征)。

我现在使用 describe()方法来显示数字变量的汇总统计信息。

indicator.describe()

计数、*均值、最小值和最大值行是不言自明的。std 显示标准偏差。25%、50%和 75%的行显示了相应的百分位数。

为了了解我们正在处理的数据类型，我们为每个数字变量绘制了一个直方图。

indicator.hist(bins=50, figsize=(20, 15))
plt.savefig('numeric_attributes.png')
plt.show()

Figure 1

两个直方图向右倾斜，因为它们向中间值的右侧延伸得比向左侧延伸得更远。然而，我会考虑他们所有的回归分析。

我们检查属性之间的相关性。

from pandas.plotting import scatter_matrixattributes = ["GDP_per_capita", "Hours_do_tax", "Days_reg_bus", "Cost_start_Bus", "Bus_tax_rate", "Ease_Bus"]
scatter_matrix(indicator[attributes], figsize=(12, 8))
plt.savefig("scatter_matrix_plot.png")
plt.show()

Figure 2

看来“人均 GDP”和“营商难易程度排名”是负相关的。其他自变量均与“营商难易程度排名”呈正相关。让我们找出最有希望预测“做生意容易程度排名”的变量。

from sklearn.linear_model import LinearRegression
X = indicator.drop(['country', 'Ease_Bus'], axis=1)
regressor = LinearRegression()
regressor.fit(X, indicator.Ease_Bus)

*print('Estimated intercept coefficient:', regressor.intercept_)*

预计截距系数:59.9441729113

*print('Number of coefficients:', len(regressor.coef_))*

系数个数:5

*pd.DataFrame(list(zip(X.columns, regressor.coef_)), columns = ['features', 'est_coef'])*

预测“做生意容易程度”的最有希望的变量是“注册企业的天数”变量，所以让我们放大它们的相关散点图。

*indicator.plot(kind="scatter", x="Days_reg_bus", y="Ease_Bus",
             alpha=0.8)
plt.savefig('scatter_plot.png')*

Figure 3

相关性确实很强；你可以清楚地看到上升的趋势，而且这些点不是太分散。

将数据分为训练集和测试集。

*from sklearn.cross_validation import train_test_split
y = indicator.Ease_BusX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)*

建立线性回归模型

*from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X_train, y_train)*

linear regression(copy _ X = True，fit_intercept=True，n_jobs=1，normalize=False)

*y_pred = regressor.predict(X_test)regressor.score(X_test, y_test)*

0.60703279859102988

因此，在我们的模型中，Y 的 60.7%的可变性可以用 x 来解释。

计算均方根误差(RMSE)。

*from sklearn.metrics import mean_squared_error
regressor_mse = mean_squared_error(y_pred, y_test)import math
math.sqrt(regressor_mse)*

33.582374172286

因此，在我们的测试集上进行预测时，我们离“做生意容易程度”的实际分数*均相差 33.59 分。

“做生意容易程度”的中值是 95，因此 33.59 的典型预测误差不是很令人满意。这是一个模型欠拟合训练数据的示例。当这种情况发生时，可能意味着这些特征没有提供足够的信息来做出正确的预测，或者模型不够强大。修复欠拟合的主要方法是从词库指标中选择更多的特征(例如，“获得信贷”、“登记财产”等)。

剩余剧情

最后，我们绘制残差图来检查线性回归假设。残差图是检验同质性的好方法。分布中不应该有明确的模式；特别是，不应该有锥形图案。

*plt.scatter(regressor.predict(X_train), regressor.predict(X_train)-y_train, c='indianred', s=40)
plt.scatter(regressor.predict(X_test), regressor.predict(X_test)-y_test, c='b', s=40)
plt.hlines(y=0, xmin=0, xmax=200)
plt.title('Residual plot using training(red) and test(blue) data')
plt.ylabel('Residual')
plt.savefig('residual_plot.png')*

Figure 4

我们的剩余地块看起来不错。

结论

1. 在这个练习中，我下载并研究了一个世界银行业务相关指标数据集。我的目标是通过选定的特征来预测一个国家的“经商便利度”排名。
2. 我使用 Sklearn 对整个数据集进行线性回归拟合，并计算系数。
3. 我将数据分为训练集和测试集，并计算了测试集的 R *方和 RMSE。
4. 我绘制了训练集和测试集的残差图。
5. 如前所述，为了获得更好的 RMSE 分数，我可以尝试添加更多的功能，或者尝试另一种模型，如随机森林或决策树。
6. 由于缺乏信息，朝鲜和索马里没有包括在本分析中。
7. 叙利亚最新的人均 GDP 是 2007 年的数据。因此，关于叙利亚的信息不是最新的。

创建这篇文章的源代码可以在这里找到。我将很高兴收到关于上述任何反馈或问题。

人工智能如何成为你的营养师并预防糖尿病

原文：https://towardsdatascience.com/how-can-ai-be-your-dietitian-and-prevent-diabetes-dd87196bdb7c?source=collection_archive---------2-----------------------

以下故事基于这篇文章:通过预测血糖反应进行个性化营养发表在《细胞》上。

带回家的信息

1. 餐后高血糖(餐后高血糖)是二型糖尿病的主要危险因素。
2. 餐后葡萄糖反应因人而异。
3. 具有微生物组和个人数据的机器学习算法可以帮助区分改善或恶化餐后葡萄糖反应的食物。
4. 该算法可以提供有效改善餐后葡萄糖反应的个人定制饮食建议。

背景

糖尿病是影响全球 8.5%成年人口的主要健康负担，其并发症包括中风、心脏病发作、肾衰竭、视力丧失等。(世卫组织，2016)

餐后高血糖(餐后高血糖)是发生二型糖尿病和前驱糖尿病的主要危险因素。而饮食摄入是餐后血糖的核心决定因素。(加尔维茨，2009)

问题:差的葡萄糖反应预测导致差的控制

我们知道饮食摄入是餐后葡萄糖反应(PPGR)最重要的决定因素，但我们没有现有的方法可以准确预测 PPGR。

碳水化合物计数是目前的做法，但它不能提供良好的预测，因为不同的人对同一种食物的 PPGR 差异很大。例如，PPGR 的一些地区涨幅较大，而另一些地区涨幅较小。

Variability of PPGR of different patients gathered from the study, doi: 10.1016/j.cell.2015.11.001

假设我的血糖目标是餐后血糖控制在 7.8mmol/L 以下(美国糖尿病协会推荐)。

如果我能在决定自助餐选择什么食物之前有一个准确的预测值，那就简单多了。

问题的根源:没有考虑到个体差异

我们可以把计算 PPGR 看作一个数学函数。我们选择食物作为输入 x，我们的生理过程作为函数 f:，我们的 PPGR 将是输出 f(x)。

input: food. Function: physiological process. output: PPGR

我们生理功能的个体差异解释了为什么不同的患者会有不同的 PPGR，给定相同的输入 x(相同的膳食)。这是因为每个个体的功能部分是不同的。

以前的方法是基于广义总体，因此忽略了个体差异。

解决方案:学会用个人数据建立个人模型

目标是为 PPGR 建立一个准确的预测模型，我们可以通过找到个人的函数公式来实现。

生物过程非常复杂，许多因素都可能导致 PPGR，包括饮食习惯、体育锻炼、药物摄入、微生物群等..我们将期待该函数是一个多元线性回归模型，它将有许多不同的输入，不同的输入不同的权重。

目标是:

1. 列出对 PPGR 有贡献的因素作为输入(X1，X2，…，Xn)
2. 找出不同输入(β1，β2，…，βn)的单独权重

用机器学习的方法解决它

我们将通过机器学习的方式来解决这个问题，我们收集了大量的数据，不同的个人和微生物组数据作为特征和 PPGR 作为标签。我们将数据交给计算机算法，我们将能够得到不同个体的 PPGR 的预测模型。

收集数据

患者人口统计:

该研究针对以色列成年非糖尿病人群。

该研究招募了 800 名年龄在 18-70 岁之间、之前未被诊断为二型糖尿病的人。

该算法来自于从上述 800 个人中收集的数据。

该算法随后被另外 100 名具有相似人口统计学特征的个体验证。

收集输入:

生活方式信息

一个移动网站已经被开发出来，供患者记录他们的饮食、锻炼、睡眠和其他个人信息。

微生物组

患者使用omni gene GUT工具包收集他们的粪便样本。用 MagAttract PowerSoil DNA 试剂盒提取 DNA(从粪便中自动分离 DNA)。用 Illumina MiSeq 对微生物组进行测序。

衡量产出:PPGR

连续血糖监测器(CGM)用于收集 800 名参与患者的血糖，连续 7 天，每 5 分钟一次。

算法

使用梯度推进回归来生成模型，作为 PGGR 和我们数据集中不同因素之间非线性关系的方法。

梯度推进回归使用决策树对数据进行分类。

决策树模型不断尝试用是/否问题对数据进行分类，直到我们得出最终答案。

梯度推进回归基于先前树的残差来训练决策树。例如，黑点代表实际数据，蓝线代表我们模型的预测。我们可以观察到，每个树都建立在先前树的分类之上，并且与实际数据更加匹配。

使用梯度推进回归，该研究推断了数千棵决策树。这些树的特征是从代表膳食含量(卡路里、营养含量)、血液参数(HbA1c)、日常活动和微生物组特征的 137 个特征中选出的。

模型:在预测中超越黄金标准

一种定制算法的预测结果考虑了个体差异的 137 个特征，并与当前“碳水化合物计数”的黄金标准进行了比较。

我们可以通过使用决定系数来比较模型与实际数据的拟合程度。

如果 R 2 =1，表示模型可以完全预测结果，如果 R 2=0，表示模型完全不能预测结果。

基于个体的模型比目前“碳水化合物计数”的黄金标准大大提高了预测能力。

给出定制饮食建议的算法

另外招募了 26 个人，旨在通过给出定制的饮食建议来研究该算法在 PPGR 改善中的有效性。

所有 26 名患者都经历了一个“分析周”,收集个人数据，供算法生成预测模型。

12 名患者被分为算法组，另外 14 名被分为营养师组。

根据个人的 PPGR 模型的预测，所有的参与者都经历了一个“好饮食”周和一个“坏饮食”周。无论在“好”或“坏”饮食周，所有建议的膳食都有相同的卡路里含量，但成分不同。

Red represents PPGR in “bad diet” week, green represents PPGR in “good diet” week. Both the expert’s and algorithm’s dietary suggestion shows significant difference in PPGR response.

Individual data shows fewer glucose spikes and fewer fluctuations

注意:饮食建议是高度个性化的

对建议膳食的分析表明，不存在普遍的“好”或“坏”饮食。一些能有效控制一个病人 PPGR 的饮食对另一个病人来说可能是“坏”的饮食。

这就是为什么拥有一个适合您自己的 PPRG 的个性化模型对于管理您的血糖水*非常重要。

结论

这是“个性化医学”的一个例子，现代医学尚未了解个体差异，但这些差异确实很重要。

故事中的例子是关于 PPRG 的，但该原则也适用于医疗保健的其他方面，例如癌症治疗。

随着个人数据收集变得越来越可用，例如更便宜的基因组学测试成本，我们开始拥有更精确和个性化的医疗保健。

分析和人工智能如何让营销人员预测未来？

原文：https://towardsdatascience.com/how-can-analytics-and-ai-allow-marketers-to-predict-the-future-2e7b46d6a48c?source=collection_archive---------15-----------------------

永远不要做预测，尤其是对未来。

我们并没有预测未来的良好记录，所以这似乎是明智的建议。

从 IBM 总裁 Thomas Watson 在 20 世纪 40 年代早期宣称将会有“大约 5 台计算机”的世界市场(诚然，这个星球上可能只容得下 5 台早期的 IBM 机器)，到 Y2K 的喧嚣，人们无法抗拒浮夸的、常常是极其不准确的预测。

提前知道未来的回报太大了，以至于无法抗拒尝试一下，但我们相当依赖人类的直觉来形成我们的预测。因此，这些奖励经常无人认领。

然而，这是一个快速发展的行业，人工智能(AI)的进步可能很快会让我们将未来的预测建立在可靠的统计模型上，而不是我们熟悉但有缺陷的直觉上。

在这个由三部分组成的系列中，我们将探索人工智能在开发准确、可访问的预测分析以提高业务绩效方面的潜在作用。

本文将首先分析预测分析行业的现状，以及一些帮助企业充分利用现有技术和数据的技巧。

我们所说的“预测分析”是什么意思？

预测分析是一种数据挖掘形式，它采用机器学习和统计建模，根据历史数据预测未来的事态。

我们周围已经有了预测分析的例子。如果您的银行通知您，您的信用卡有潜在的可疑活动，很有可能已经使用统计模型根据您过去的交易来预测您未来的行为。严重偏离这种模式被标记为可疑。

作为理解该领域兴趣水*的一个简单代表，我们可以从 Google Trends 中看到，主题“预测分析”的搜索量在过去 5 年中显著上升:

我们可以看看这条线，预测它会继续增长。但这实际上只是基于最*的历史趋势，或者我们在业内听到了很多关于这个话题的议论。我们需要进行更多的调查，才能真正确定这条线的下一步走向。

这么多企业对这个话题感兴趣也是有道理的。据预测到 2020 年，每年将有超过 760 亿美元花费在大数据技术上。获得投资回报的最佳方式是利用所有这些数据来预测未来的需求趋势。

正如我们所看到的，这对于人们来说是一项很难掌握的任务。如果我们要开始做出正确的预测，我们需要一点帮助。

因此，在 Gartner 的“分析优势模型”中，预测分析被视为描述性分析和诊断性分析的进化飞跃。

也就是说，对精确预测分析的渴望并不新鲜，使用分析来模拟未来消费者行为的尝试也不新鲜。例如，许多分析专业人员每天都在从事这一领域的工作，以计算典型客户的终身价值(LTV)等数字。大量不同的数据集的可用性有助于大大提高这些计算的准确性。

相对较新的是人工智能的应用，以填补我们技能组合中的差距，并扩展预测分析的可能性。

这种结合产生了更复杂的统计模型，这些模型可以发现过去消费者行为的模式，并利用这些模式来规划未来可能的行动。

但是为什么人工智能在实现我们自己发现几乎不可能的事情上如此有效呢？

习惯的生物:预测分析在现实世界中是如何应用的？

人们的可预测性极大地帮助了预测分析。

尽管我们愿意相信自己是独一无二的、有自由意志的，但人工智能可以根据我们过去的行为和类似人的行为，相当准确地预测我们将继续做什么。

麻省理工学院媒体实验室的科学家在 2007 年进行的一项研究发现“大多数人每天所做的事情中有 90%都遵循着如此完整的常规，以至于他们的行为可以用几个数学公式来预测。”

许多营销活动都基于这一假设，但我们现在可以更准确、更负责地应用这一原则。

人工智能在这一领域发挥作用的地方在于它能够识别人类根本看不到的更广泛的模式。我们根据我们认为安全的假设选择调查领域，但 AI 可以识别其他变量，当这些变量被改变时，会相互影响。

这种方法(在很大程度上是通过使用回归分析形成的)恰当地反映了消费者所处的不断变化的世界。

例如，根据我的位置、年龄、过去的购买和性别，如果我刚刚在篮子里放了面包，我有多大可能会买牛奶？网上超市可以利用这类信息，根据我预测的购买倾向，自动向我推荐产品。

此外，金融服务提供商可以利用我和类似人的在线互动产生的数千个数据点来决定何时向我提供哪张信用卡。一家时装零售商可以根据我刚买的牛仔裤，使用我的数字档案来决定我下一次购买哪双鞋。

这有助于企业提高转化率，但其影响远不止于此。预测分析允许公司根据消费者预期和竞争对手基准制定定价策略。它允许零售商预测需求，从而确保每种产品都有合适的库存水*。

预测分析甚至可以通过发现客户偏好的变化，为新的产品线提供建议。这标志着分析从数据专家的追溯工具转变为塑造业务战略、改善客户关系和创造运营效率的重要预测功能。

事实上，最*的一份 Forrester 报告指出，“预测型营销人员报告收入增长率高于行业*均水*的可能性是 2.9 倍。”

这场革命的证据已经在我们周围了。例如，每次我们在谷歌、脸书或亚马逊输入搜索查询，我们都在向机器输入数据。机器因数据而繁荣，随着接收这些反馈信号，变得越来越智能。

这种现象给营销人员带来了很多好处。谷歌使用这项技术已经有一段时间了，通过其在分析领域的 Smart Goals 产品，以及去年底推出的会话质量评分功能。这些是由机器学习技术推动的预测分析的例子。

有一种观点认为预测是智能的基石，所以这对人工智能来说是一个壮举。

然而，这仅仅是开始。目前预测分析的大部分工作都集中在提出建议或推荐上，但基于人工智能的预测有机会成为营销战略的支点。

在这方面，最*的发展提供了很多乐观(或者有些人可能会说是恐惧)的理由。谷歌的 DeepMind 团队刚刚创造了一个人工智能，它能够规划未来，并在行动前考虑不同的结果。

这在预测分析的范围内是相关的，因为想象力是创建预测的一个基本方面。这种能力只会巩固人工智能作为成功预测分析活动的重要组成部分的作用。

企业如何整合预测分析？

为了利用人工智能和预测分析的潜力，组织需要落实四个要素。

1.正确的问题

最好的预测分析项目始于一个要测试的合理假设。尽管我们应该为机器学习算法提供空间，让它们能够在数据点之间建立自己的客观关联，但我们需要着手解决一个我们希望克服的商业挑战。这有助于提供一些努力的形状。

2.正确的数据

过去十年数据科学的进步意味着我们可以更准确地从大量非结构化数据中获得洞察力，但我们仍然需要完整的数据集来得出令人信服的结论。

因此，在定义了您希望用预测分析来回答的问题之后，下一步就是弄清楚哪些数据可供您使用，以及这些数据是否足以令人信服地回答您的问题。

3.正确的技术

正如预计到 2020 年价值 760 亿美元所暗示的那样，大数据技术是一个蓬勃发展的行业。数据产生的速度如此之快，以至于我们需要不断改进的技术能力来捕捉、存储和理解数据。

许多领先的分析软件包已经推出了预测分析工具，但它们的方法各不相同。要决定哪种解决方案最适合您的企业，现在比以往任何时候都更需要一个团队，他们对每种解决方案都有经验，能够确定最合适的方案。

4.合适的人

本质上，这将我们带回到第一步。没有合适的人，很难提出合适的问题。也很难知道可能需要什么数据来回答这些问题，或者从最新技术中获得最佳效果。对于所有关于人工智能取代人的讨论，它只是真正加强了对让正确的人充分利用它创造的新机会的关注。

这项技术的应用已经很广泛了，但我们还只是刚刚触及皮毛。在本系列的下一篇文章中，我们将了解目前使用预测分析来提高业务绩效的五家企业。

最初发表于【www.clickz.com】。

如何释放大数据在风险管理方面的潜力？

原文：https://towardsdatascience.com/how-can-big-datas-potential-be-unleashed-for-risk-management-e7c62bcd02b7?source=collection_archive---------3-----------------------

一个相互关联的世界意味着更大的增长潜力，但也带来了更多的系统性风险，因为各个组成部分都在一起移动，任何变化都会传播。有时，这放大了协同效应。大数据分析的作用是通过揭示可能预示市场甚至个人账户危机或突变的模式，为经理们提供预见和对冲这些风险的必要信息。到目前为止，唯一的应用是在金融领域——以投资组合管理为目标——但最*在其他活动领域的进展证明，这种方法还有更大的潜力可挖。

大数据的潜力

如果您准备好加入大数据运动，并成为这个到 2020 年将达到500 亿美元的行业的一部分，那么很自然会问这将给您的组织带来什么？大数据是一个术语，指各种信息源的巨大集合，其中大多数是非结构化的，有时是作为其他活动的副产品生成的。例如，与卡支付历史相关的数据，或者媒体上的新闻和谣言，甚至社交媒体聊天，都可以用来提取关于风险管理的知识。

欺诈检测

大数据是用来为专门从事模式检测的机器学习算法提供信息的原材料。这在可能存在欺诈的情况下非常有用，因为“照常营业”的变化可能是恶意活动的信号。分析中包含的数据可能各不相同，如地理位置、用于连接账户的设备类型或转账金额。参与交易的各方的身份也是一个潜在的警告信号。主要优势是由于实时处理，这种类型的欺诈检测可以触发警告并停止操作，直到进一步授权，从而最大限度地降低风险。

增强场景分析

在大数据出现之前，情景分析和模拟很难创建，并且结果不准确。现在，使用大量信息样本的能力提高了准确性，加快了决策过程。现在的挑战是在模拟的数量和容量与速度限制之间达到完美的*衡。这项工作最有用的工具之一是蒙特卡洛模拟，由分布式文件系统上的并行计算提供动力。结果给出了给定时间范围内投资组合的风险价值。

开发新的商业模式

到目前为止，风险要么通过对公司的审计和尽职调查来计算，要么通过评估个人的 FICO 或 Vantage 分数来计算。然而，这些代理并不能说明全部情况，尤其是对新进入者而言。一家拥有百万美元创意的初创公司没有资格获得融资，一名常青藤联盟(Ivy League)的应届毕业生即使有六位数的收入，也无法在大学毕业后马上找到像样的住房解决方案。

同样，大数据在这里重新定义了风险衡量标准，并创造了机会和新的业务模式。一些公司现在使用每个申请的 10K 数据点来衡量信用度，他们考虑的不仅仅是信用历史。

使用区块链预先验证申请人

风险衡量不是用几十年前的标准来衡量，而是可以根据情况进行调整。引入基于大数据的区块链技术可以提供一种方法来追踪特定个人的历史，直到他们在网络中的进入点。这种新的交易方式会使当前的风险衡量变得多余。每次操作都可以自动计算风险分值，并将其附加到每个账户上。这可能意味着信贷或智能合同的申请人甚至不需要披露他们的身份，他们可以通过网络预先验证。

常见障碍

由于金融和银行业是 T4 监管最严格的行业之一，即使承诺削减成本和增加利润，引入创新模式也是困难的。旨在利用大数据提供的洞察力的公司不仅需要得到董事会的批准，还需要得到客户的批准。否则，他们可能会被指控未经同意处理个人数据。此外，人们可以期待更多的监管和进一步加强数据的数字处理。

目前已知的风险只是随着技术进步而出现的一小部分危险。通过大数据进行的分析应该能够识别网络攻击，就像它检测欺诈一样，并建立实时机制来预防它。

由于机器学习在很大程度上是一个黑盒，因此纠正有偏差的模型或其假设比纠正确定性模型更困难，因此正确的测试和校准应该是模型定义的一个组成部分。

上升的预期

我们越来越习惯于技术，以至于我们将很难等待银行和信贷机构使用他们几十年前的程序。为了避免客户失望并提高他们的利润率，他们最终将被迫采用大数据技术。金融机构可以从零售连锁店和艺人那里获得灵感，他们已经通过这些工具完善了与客户的关系。

好消息是，有大量可能的应用，因为直到现在，关于使用大数据模型进行风险管理的讨论更多地是在学术层面，而不是在实践中。大型、单一的机构需要跟上更小、更灵活的公司和点对点模式。

数据如何刺激创新？

原文：https://towardsdatascience.com/how-can-data-spur-innovation-6f6cbdab1bfa?source=collection_archive---------2-----------------------

Photo credit : The Vegan Society

如果管理是为了降低风险、不确定性和模糊性；数据科学就是将数据转化为集体行动。今年的皇后国际创新挑战赛为研究生提供了一个利用他们的分析技能和创造力解决食品安全问题的机会——这是一个普遍的、永恒的挑战，不会消失。竞赛面向在本学年注册学位或证书研究生课程的所有学生。数据科学和创新之间的关系是什么，为什么参与这样的挑战，为什么是食品安全，以及你的努力会有什么回报？

大学挑战和创新之间有什么联系？斯蒂夫·约翰森对创新历史的十年研究使他得出结论，某些“空间”的固有特征，如 18 世纪的英国咖啡馆、19 世纪的 T4 赌场和今天的万维网，有利于创新思想、产品和实践的诞生。这种空间的一个特点是，它们将注意力集中在特定的问题上，而不是久经考验的“解决方案”。第二个特征是，这种空间允许参与者以新的眼光看待数据，促进了现在和可预见的未来的无限结合。最后，这些空间鼓励小预感的对抗，这种对抗随着时间的推移发展成在新的环境中应用想法。与他研究的例子类似，创新挑战提供了一个将数据转化为创新的绝佳机会。

在这个比赛中你能学到什么关于数据科学的知识？数据科学是衡量要解决的问题，鉴定手头的数据，应用适当的方法，并将数据转化为行动。加拿大丰业银行客户分析中心副主任 Dean McKeown 指出，创新挑战为每个参与者提供了一个独特的*台，与来自世界各地的高度多元化的学生、从业者和专家团队合作。您将与 Queen ' s Master of Management Analytics 的员工一起研究来自各种公共和私人数据源的真实数据。您将被要求开发一个数据科学模型，以理解数据，提供可操作的见解，并以激励行动的方式传达您的结果。数据科学永远不会在教室里掌握，而是通过在处理现实世界挑战时练习分析方法来掌握。

为什么关注粮食安全？根据联合国世界粮食安全委员会的定义，粮食安全是指所有人在物质、社会和经济上都能获得积极健康生活所需的营养的状况。麦克欧文教授提醒我们，在可预见的未来，对自然资源的管理充满了风险、不确定性和模糊性。全球变暖、大规模移民、商品价格波动和政治动荡严重影响着粮食安全。公共政策以及企业预测需要适应当地和全球条件，包括处理土地使用模式、用水、商品贸易和食品加工的战略。

你努力的回报是什么？女王国际创新挑战赛为您提供了使用最先进的分析*台(如 SAS Institute 的 VIYA)解决重要问题的可能性。这是一个与来自其他学校和文化的学生联系的理想场合，面对你的经历和见解，并提出可以对社会产生真正影响的做法。该活动提供了一个向经验丰富的从业者学习和向潜在雇主展示你的技能的绝佳机会。前五名团队将被邀请到多伦多展示他们的作品，获奖者将获得 2 000 至 20 000 加元的奖金。带上你的思考帽，今天就报名吧——因为正如斯蒂夫·约翰森会补充的那样——“未来属于互联的头脑”。

Lee Schlenker 是 Pau 商学院的教授，也是 http://baieurope.com T2 商业分析研究所的负责人。他的 LinkedIn 个人资料可以在 www.linkedin.com/in/leeschlenker.[查看](http://www.linkedin.com/in/leeschlenker.)你可以在 https://twitter.com/DSign4Analytics[通过 Twitter 关注我们](https://twitter.com/DSign4Analytics)

更多关于女王 2017 年国际创新挑战赛的信息可以在https://www.facebook.com/queenschallenge找到。

研究生可以在https://Smith . queensu . ca/centres/scotiabank/competition/index . PHP报名参赛

约翰逊，S. (2010)，好主意从何而来:创新的自然史，河源图书公司

【ii】世界粮食安全委员会，网站

怎样才能写出更好的 AI 文章？

原文：https://towardsdatascience.com/how-can-i-write-better-articles-on-ai-6b37e1baad5a?source=collection_archive---------3-----------------------

我很清楚，我在媒体上的写作让我获得了有趣的联系，这些联系可以转化为我业务发展渠道中的线索。对我在 medium.com 上发表的 35 篇文章的分析告诉我，你们——我的读者——喜欢阅读更多关于人工智能的业务，以及我作为顾问的经历。你似乎不太关心技术建议或学习资源。

数据告诉我，像“如何雇用一名人工智能顾问”和“如何为一个人工智能项目定价”这样的文章，比关于如何提取电子邮件有效性的演示或关于机器视觉的演示有趣 10 倍。

支点:少一些科学，多一些远见

好吧，与其和数据斗争，我要听听你们的点击和掌声，把我的文章集中在我收集的经验上。这将需要一些额外的认知努力，但我会在不违反任何保密协议的情况下做到这一点，基本上是通过用说明性的例子来讲述故事，而不是使用声明性的“我为 y 公司做了 X，”事实上，我在这篇文章中承诺不会成为一个名字滴漏者。我将从我俯瞰人工智能工程和商业化漩涡的树枝上，给你我对正在发生的事情的诚实看法。所以不要再说“这是做 x 的代码。”而且，从严格的自私的角度来看，为这些文章编写代码并不简单。所以当我写观点和经历的时候，我花费的时间更少，吸引的眼球也更多。

在开始这一系列文章时，我问自己，如何在不违反 NDAs 的情况下，表达我公司做的事情。这些是回归、分类、标准化、云、物联网、教育等等。相反，我转而谈论经验和观点。正如我的商业伙伴马特指出的，我的努力需要赚钱、省钱或者节省工作和时间。这个支点将节省工作和时间(我的工作和时间)，它将赚钱(通过介绍你，我的观众，给我)。所以，亲爱的读者，如果我误解了你对人工智能世界中商业故事的渴望，而你真正想要的是技术细节…告诉我。发表评论。

经验和观点:付费数据清理

现在，关于我要写的许多经历中的第一个……一个客户最*要求我在他们签订合同之前帮助他们组织他们的数据。这种态度忽略了一点，即数据科学的核心是数据，而不是算法。下面这张漂亮的图片让你感受到清理数据是一项多么艰巨的工作。这通常比项目的其余部分要大得多。

From Mohamadreza Mohtat in this post.

现在，一旦组织好数据，就需要一些时间来为数据找到合适的解决方案，并将解决方案与体系结构挂钩。通常我们的客户端会从某种数据库(例如 postgres)进入 tensors，然后从 tensors 返回某种可调用的 JSON 服务，发出响应。

总结一下，当我做人工智能咨询时，我不会让数据清理逃避工作声明。这是工作。对客户来说，项目的其余部分可能看起来很难，但对顾问来说这并不是最难的部分。困难的部分是整理你的数据。剩下的就是魔法了。

如果你喜欢这篇文章，那么请试试屏幕右下角的新鼓掌工具。就像我之前说的，我也很高兴在评论中听到你的反馈。

编码快乐！

——丹尼尔
丹尼尔@ lsci . ioLemaySolutions.com

如何用球员名字预测世界杯，准确率 80%？

原文：https://towardsdatascience.com/how-can-use-player-name-to-predict-world-cup-with-80-accuracy-262d076544c4?source=collection_archive---------13-----------------------

在这个内核中，我将演示如何通过 Tensorflow 使用球员姓名来预测历史世界杯结果，准确率达到 80%。后来，我试图预测 2018 年世界杯的结果，似乎有一些有趣的发现

阶段

1. 数据摄取:首先，我从给定的数据集中获得 3 个数据框架，并从网站上手工构建 2018 年世界杯数据
2. 预处理:对建筑物特征嵌入输入所需的特征进行预处理
3. 转换:为模型输入转换处理过的数据
4. 模型构建:构建字符嵌入模型
5. 评估:尝试预测 2018 年世界杯结果

特征工程

为什么球员名字和教练名字选择为特色？这是因为我们发现这些名字可能为我们做预测提供关键信号(来自测试集结果)。

标记

为了建立一个训练数据，让冠军的标号为 1，亚军的标号为 2，季军的标号为 3，依次为 4。团队的其他成员为 0。从数据来看，我们有大约 20 个世界杯记录。

数据分布:标签 1、2、3 和 4 分别有 20 条记录，大约有 300 条负数据。

模型结构

我们使用字符嵌入来建模预测模型。如果你不熟悉，你可以看看这篇文章。通过使用定义的函数，我们可以简单地用几行代码构建模型

char_cnn = CharCNN(max_len_of_sentence=256, max_num_of_setnence=1)
char_cnn.preporcess(labels=training_df['label'].unique())

然后处理原始数据

x_train, y_train = char_cnn.process(
    df=train_df, x_col='name', y_col='label')
x_test, y_test = char_cnn.process(
    df=test_df, x_col='name', y_col='label')

试着预测结果

char_cnn.build_model()
char_cnn.train(x_train, y_train, x_test, y_test, batch_size=32, epochs=10)

输出

Train on 341 samples, validate on 86 samples
Epoch 1/10
341/341 [==============================] - 13s 40ms/step - loss: 0.9741 - acc: 0.7801 - val_loss: 1.0188 - val_acc: 0.7674
Epoch 2/10
341/341 [==============================] - 10s 30ms/step - loss: 0.7981 - acc: 0.8240 - val_loss: 1.0271 - val_acc: 0.7674
Epoch 3/10
341/341 [==============================] - 11s 31ms/step - loss: 0.7864 - acc: 0.8240 - val_loss: 1.0512 - val_acc: 0.7674
Epoch 4/10
341/341 [==============================] - 10s 30ms/step - loss: 0.7660 - acc: 0.8240 - val_loss: 0.9753 - val_acc: 0.7674
Epoch 5/10
341/341 [==============================] - 10s 30ms/step - loss: 0.7506 - acc: 0.8240 - val_loss: 1.0135 - val_acc: 0.7674
Epoch 6/10
341/341 [==============================] - 10s 30ms/step - loss: 0.7426 - acc: 0.8240 - val_loss: 1.0135 - val_acc: 0.7674
Epoch 7/10
341/341 [==============================] - 10s 30ms/step - loss: 0.7824 - acc: 0.8240 - val_loss: 1.0176 - val_acc: 0.7674
Epoch 8/10
341/341 [==============================] - 10s 30ms/step - loss: 0.7763 - acc: 0.8240 - val_loss: 1.0137 - val_acc: 0.7674
Epoch 9/10
341/341 [==============================] - 10s 30ms/step - loss: 0.7805 - acc: 0.8240 - val_loss: 0.9793 - val_acc: 0.7674
Epoch 10/10
341/341 [==============================] - 10s 31ms/step - loss: 0.7624 - acc: 0.8240 - val_loss: 1.0138 - val_acc: 0.7674

估价

来到这篇文章的结尾，准确率好像很不错，大概是 80%左右。让我们看看 2018 年世界杯的预测结果。

在我们的编码中，4 表示团队失败。说到这一点，你可能会认为这有什么不对吗？请看看结论部分。

输出

array([4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4,
       4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4,
       4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4,
       4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4])

结论

完整源代码请去 kaggle 看看。

谢谢你看了这个毫无意义的模型。实际上，我想展示的是特性的重要性，而不是模型架构。

• 当人们谈论“我们正在使用机器学习”、“应用深度神经网络”时，你可能更好地询问特征和数据，而不是询问模型架构。当然，模型架构很重要，但是特性和数据也很重要。请记住垃圾进，垃圾出。
• 当人们谈论拥有 80%甚至 90%的准确率时。你最好检查一下是实验的结果还是实际的结果。许多模型在实验阶段过度拟合，尽管数据科学家认为他们已经很好地防止了这种情况。
• 对于测量，更好地理解其他指标，而不仅仅是准确度。比如我们在分类上也有精准和召回。我们有机器翻译的 BELU。
• 作为一名数据科学家，与其谈论使用 CNN，LSTM bla bla bla，花更多的时间去理解你的特性和数据
• 如果您没有足够大的数据(在本例中，少于 500 条记录)。不要相信你可以从零开始建立一个惊人的模型。

关于我

我是湾区的数据科学家。专注于数据科学、人工智能，尤其是 NLP 和*台相关领域的最新发展。

中:http://medium.com/@makcedward/

领英:https://www.linkedin.com/in/edwardma1026

github:https://github.com/makcedward

https://www.kaggle.com/makcedward

VLSI 设计的模式检测有多复杂？

原文：https://towardsdatascience.com/how-complex-pattern-detection-can-be-for-vlsi-designs-1ca729260899?source=collection_archive---------13-----------------------

VLSI pattern detection can be exciting and scary at the same time !

早期，电子设计自动化行业吸引我的主要原因之一是过多的 NP 完全问题及其天文复杂性。在机器学习的时代，这仍然是正确的，全世界都震惊于训练一个神经 50 层 CNN 所需的天数。就性能而言，EDA 问题的复杂性让图像识别等现实生活中的解决方案相形见绌。请允许我用神经网络展示一个简单 VLSI 单元模式检测的简单问题的艰巨性。

为了便于讨论，我们假设在电路级使用一个简单的 VLSI 单元，如下图所示。

transistor schematic of simple AND gate

上图显示了一个简单与门的晶体管原理图。这个电路的连接性被转化为适合输入深度学习网络的数字矩阵的形式。该矩阵的第一列显示了分别表示为任意整数 20 和 10 的 PMOS 和 NMOS 晶体管。矩阵中其余 3 列是 MOS 器件的漏极、栅极和源极节点，编号如下图所示。

每个器件有三个电节点。受 M. Ohlrich 的工作[1]的启发，我们分别为特殊节点地和电源保留节点号 1 和 2。其余的节点可以在不改变电网络的情况下任意标记。

让我们假设 n 是节点的数量， d 是电气网络中设备的数量。电网络可以标记的排列数由下面的等式给出:

(n-2)！

其中感叹号代表一个数的阶乘。上面的表达式减去了 2，因为 2 个特殊的节点地/电源是不可置换的。现在，节点已被标记，它们与符合 SPICE 格式[2]的表 1 所示的器件放在一起。排列设备可以在矩阵中排序，矩阵由下式给出:

维！

给定任何器件(矩阵行)的漏极和源极端子可以在不改变电气网络的情况下互换，该操作的组合总数给定为:

σd！/我！。(d-i)！

从 1 到 n-2。一个电网络的排列总数可以表示为矩阵，它是上述三个表达式的简单乘积。这在下面给出。

d！。(n-2)！。(σd！/我！。(d-i)！)

让我们为上面的例子计算矩阵排列的数量。在 n=7 和 d=6 的情况下，矩阵排列的总数刚好低于140 亿。

走向无限… ∞

对于具有(d=) 351 个设备和(n=) 44 个节点的数据集中的较大尺寸的单元之一，矩阵置换超过 1e900。

这个数字是 1 后面跟着 900 个零。

如果这还不足以惊叹设计自动化中模式检测数据集的巨大规模，我会让你计算出在最快的 GPU 上训练一个具有 50 层的深度神经网络需要多少年，就像 nVidia 的 Titan X Pascal 每秒仅 11 万亿次浮点运算(1e13)。

提示:远远超过宇宙的年龄(即 4.35e17 秒)

超越👊

该计算时间是针对具有 351 个晶体管的非常小的单元的。我将给你们留下一个真实的例子，nvidia 的 Volta 芯片有超过 210 亿个晶体管。这么说吧，为这种模式训练一个神经网络所需的时间超出了…嗯，超出了我的想象。

Totem spinning forever (credit: Movie Inception)

参考

1. 米（meter 的缩写））Ohlrich，C. Ebeling，E. Ginting 和 L. Sather，“使用快速子图同构算法识别子电路”，Proc .1993 年设计自动化会议，第 31-37 页，1993 年 6 月。
2. 长度以集成电路为重点的模拟程序。第十六届中西部电路理论研讨会，加拿大滑铁卢，1973 年 4 月 12 日。
3. 设计自动化中的机器智能

数据和设计如何帮助防止托管安置。

原文：https://towardsdatascience.com/how-data-and-design-can-help-prevent-custodial-placements-b4662e07f273?source=collection_archive---------14-----------------------

Prototype of the Extra Team member application and game board at Dutch Design Week 2018

把孩子从家里带走是一件令人痛苦的事情。青年福利部门的社会工作者尽一切可能防止这种情况发生。然而，在 2017 年，每 10，000 名儿童中，就有 121 名儿童被带离家庭。2017 年，阿姆斯特丹市政府(青年部)和 Garage2017 使用数据分析来深入了解影响监管安置的因素。

在荷兰市政协会(VNG)和荷兰设计基金会的“如果实验室:智能社会遇见设计”中，数字设计机构 Greenberry 与garages 2020一起着手在青年社会工作者中寻找这些数据的应用。我们希望通过假设实验室回答的关键问题是:我们如何成功地利用青少年福利部门的数据，以最大限度地降低监管安置的可能性？原型可以在荷兰埃因霍温举行的 2018 年荷兰设计周上看到

阿姆斯特丹市政府进行的数据分析确定了某些可识别的模式。它还表明，在向社会工作者提供的信息方面还有改进的余地。然而，仅仅听到“数据”这个词就会让许多社会工作者吃惊。说到底，数据不就是冷冰冰的、硬邦邦的、匿名的信息，与社工的同理心和直觉工作关系不大吗？

Mapping insights from the interviews

不是放在地球上坐在电脑前

我们设计流程的第一步是对一线专业人员进行一系列全面的采访。我们总共采访了八名社会工作者。在采访中，我们决定不要过多谈论数据。相反，我们把讨论集中在参与者的工作，他们的挫折，他们的动机。这些都是很棒的谈话，在谈话中，我们获得了对社会工作者工作的更多尊重。但我们也越来越深入地了解到青年福利部门面临的挑战:从极高的工作量到专业人士不愿采取行动。

“帮助社工复查一下很好:我是不是把事情看清楚了？”—社会工作者玛丽莎

采访向我们表明，青年福利是一个直观的职业。在经验和感觉的基础上，与家庭、儿童和其他专业人员协商(在个案讨论期间)，就下一种干预形式作出决定。数据目前在这方面不起作用。我们了解到，社会工作者来到这个世界上不是为了坐在电脑前，他们主要是想把时间花在他们的客户身上。我们还发现，社会工作者需要确认他们的决定。我看清形势了吗？对我的当事人来说这是正确的干预途径吗？

Co-design session with experts & designers

我们如何……

在与来自 Garage2020、阿姆斯特丹市政当局和 Greenberry 的设计师、护理专业人员和团队负责人的设计会议上，我们开始在合作设计过程中开发原型。我们把采访作为我们的出发点:我们如何创造一个工具，方便专业人士在不同的干预途径之间作出决定？我们如何让社会工作者洞察可比的情况？我们如何向他们展示干预过程中所有可能的选项(包括不太为人所知的选项)？我们如何帮助他们更快更有效地分析一个案例？

“我来到这个世界上不是为了坐在电脑前。”—朱迪思，社会工作者

经过几次合作设计会议，我们开发了两个概念。我们使用故事板研究每个概念的细节，并再次与社会工作者交谈。我们在格林伯里实验室展示了故事板，并让社会工作者在实践中测试这些概念。他们被要求深入探索原型，对其进行改进和补充。在原型测试结束时，我们达成了一个可行的概念:为青年社会工作者增加一名“额外的团队成员”。

玩玩具

在与社会工作者的访谈中，我们发现社会工作者从来不会在没有与其他专业人士和同事进行深入讨论的情况下就某个客户做出决定。为了进一步支持这一过程，我们提出了“额外团队成员”的概念。想象一下，有一个团队成员拥有阿姆斯特丹(以及后来整个荷兰)所有青少年福利案例的信息。最重要的是，在与团队或客户讨论时，你可以咨询谁。

然而，我们不想生产一种社会工作者被迫坐在电脑前使用的数据工具。我们的偏好是创造一个实体产品，通过它可以很容易地检索数据，而不需要在屏幕上点击太多。所以，我们玩玩具。当我们这样做时，我们寻找合适的格式。

Early storyboard of the concept

额外的团队成员

额外的团队成员包括一个游戏板、木块和一个软件应用程序。每个干预路径都由一个特定的木块代表，这些木块由社会工作者按时间顺序放置在游戏板上。这创建了到目前为止部署的所有干预路径的可视化时间线。

“如果这个概念行得通，结果可能会改变游戏规则。”社会工作者萨宾

额外团队成员应用程序“了解”所有可能的情况，并通过数据分析支持社会工作者为其客户选择下一个干预途径。通过在应用程序中拍摄游戏板的照片(木块通过图像识别被识别为代码)，社会工作者可以立即看到下一个合乎逻辑的干预可能是什么。此外，extra team member 应用程序提供了与不同干预途径相关的故事和背景信息。还显示了不同选项的等待时间、可用性和位置。更重要的是，通过数字化游戏板，我们积累了关于不同干预途径的新的匿名数据。

The Extra Team member prototype

在实践中

在 2018 年荷兰设计周期间，Greenberry、Garage2020 和阿姆斯特丹市政府将展示原型:一名额外的团队成员。与社会工作者一起为他们设计。原型可以在 4 号展厅 Klokgebouw 的 VNG 现实主义展台上看到。下一步是将原型转化为我们可以在实践中测试的功能应用程序。想法？感兴趣吗？小贴士？我们希望通过extra teamlid @ garages 2020 . nl收到您的来信

产品演示:https://vimeo.com/295986844

本文由green berry的创意总监 Alain Dujardin 撰写。
译本:丽贝卡·海鲁尔， D2E 译本 。

数据驱动的企业如何进行场景规划

原文：https://towardsdatascience.com/how-data-driven-businesses-approach-scenario-planning-7ba3e9a89e79?source=collection_archive---------2-----------------------

有已知的已知。这些是我们知道自己知道的事情。有已知的未知。也就是说，有些事情，我们知道我们不知道。但也有不为人知的未知。有些事情我们不知道我们不知道。 拉姆斯

情景规划是 20 世纪 50 年代开发的一种规划技术，用于帮助军方更好地应对意外变化。在情景规划之前，许多军事规划都是以类似于影响分析技术的方式进行的，假设未来与现在非常相似。相比之下，情景规划迫使你分析许多可能的未来，这些未来可能与现在非常不同。

场景规划会因业务而异，因为您需要考虑的未来场景取决于您的业务。本周我们将介绍情景规划的基本框架，这样你就可以将它应用到你自己的需求中。具体来说，我们将涵盖:

• 识别驾驶趋势
• 选择场景
• 情景模拟
• 高级场景

让我们从确定将形成我们需要考虑的未来的驱动趋势开始吧！

离群值 **监控您的业务数据，并在发生意外变化时通知您。**我们帮助营销/发展&产品团队从他们的业务数据中获取更多价值。 今天安排试玩。

• Outlier 是 Strata+Hadoop World 2017 观众奖得主。

场景规划:识别驱动趋势

在你开始构建未来的场景之前，你需要确定可能塑造这些未来的力量。这些力量很大程度上取决于你的业务类型，但通常可以分为社会，技术，经济，环境和政治趋势，这就是所谓的陡峭。例如，如果你是一家电子公司，你的未来可能会受到进口关税(政治)、运输成本(经济)、制造成本(技术)、回收法规(环境)和客户认知(社会)的影响。让我们通过几个简单的步骤来识别你所有的驾驶趋势。

第一步。集思广益，找出你的企业可能存在的所有驱动趋势。这可能会是一个非常大的列表，所以寻找相似之处和可能包含许多不同趋势的更大趋势。理想的情况是，你希望汇集一个合理的主要趋势列表，而没有太多的重复。

第二步。即使在整合之后，您的业务也可能有大量潜在的驱动趋势。下一步是对这些趋势进行分类，并找出最重要的趋势来塑造你的场景。为此，我们将从两个不同的方面对每位驱动因素进行评估:

• 影响:这个驱动因素对未来的潜在影响有多大？
• 不确定性:你能多好地预测这个驱动因素在未来会发生什么？

回到我们的电子公司，构建产品的组件成本具有较低的不确定性(不太可能在没有警告的情况下改变)，但具有较高的影响(影响您的利润)。同时，竞争性的产品发布具有很高的不确定性(你不知道你的竞争对手在计划什么)和很高的影响(可能会降低销量)。影响和不确定性是定性的衡量标准，因此您应该决定自己的评分标准。无论你用什么标准，确保你对每个司机的相对评分是一致的。

第三步。评分后，您现在可以根据潜在驾驶员的两个得分将他们分为三类:

• 次要因素是对塑造你的未来影响较小、不太重要的驱动因素。
• 总体趋势是重要的驱动因素，但也很容易理解和预测。
• 关键的不确定性是很难预测其未来的重要驱动因素。

显然，关键的不确定性是最重要的，也是你应该用来构建你的场景的！次要因素和总体趋势将成为你从关键不确定性中构建的情景的背景。接下来，我们将讨论如何做到这一点。

方案规划:选择方案

在您确定了业务的驱动趋势(昨天的那些关键不确定性)之后，是时候选择值得研究的场景了。如果你只是简单地选择你最感兴趣的场景或者你已经知道的场景，那么整个场景规划的过程就是一种浪费！为了使情景规划有效，你需要面对可能的不愉快或未知的未来。

幸运的是，你已经确定的关键不确定性将为你塑造你的场景。例如，给定任意两个不确定性，您可以使用它们可能的结果(积极或消极)构建场景:

如果没有例子，这可能很难想象，所以让我们用一个例子！假设我们是一家电子公司，在中国生产产品，主要在美国销售。通过我们的流程，我们发现最大的关键不确定性是竞争性价格变化和进口关税变化。每种情况都有两种可能的结果:

然后，我们可以根据这两个关键的不确定性构建四种情景:

每个场景都有很大的不同，对每个场景进行分析将有助于深入了解这些以前不确定的业务领域。这是一个简单的例子，只使用了你的两个关键不确定性来创建场景，但是你可能会有两个以上的不确定性。您可以通过组合成对的不确定性(重复这个简单的过程)或者将两个以上的不确定性组合成一个更复杂的矩阵来构建更多的场景。无论哪种方式，您都应该有一个有趣的场景集合来分析。

如果你有太多的场景需要在有限的时间内考虑，按照可能性对它们进行排序会很有帮助，这样你就可以在极不可能的场景上花费更少的时间。例如，如果你的一个场景依赖于心灵运输的发明，你可以跳过这一个，因为你可能不会很快看到心灵运输的发明。

接下来，我们将介绍分析这些场景的不同方法，因为您已经掌握了这些方法！

一旦你确定了你的场景，以及产生这些场景的关键不确定性，是时候模拟这些场景，看看它们会如何发展。这里的目标不是完美地预测场景的未来，而是充分地探索它，以便您可以使用获得的知识做出更好的决策。你可以通过思考场景中的一连串事件以及它们在未来可能会如何发展来做到这一点。

你的模拟将依赖于你的业务经验、你能收集到的关于总体趋势和关键不确定性的任何数据以及外部建议。许多公司会聘请顾问来帮助他们进行场景规划，以确保他们避免在这个阶段引入偏见。如果你真的希望你的利润增加，你可能会无意中添加到你的模拟偏差，显示利润增加。

与任何模拟一样，最重要的部分是您建立的规则。运行良好的模拟具有以下规则:

• …反映公司潜在的战略选择。如果你的公司位于加州，搬迁是不可能的，你应该避免考虑搬迁到其他国家。
• …不受制于你当前的战略。情景规划的发展是为了攻击“官方未来”的想法，即简单地将今天延伸到明天。你需要愿意改变现状，考虑彻底的改变。
• …足够严格以提供一个结果。生活非常复杂，有很多因素，这就是为什么很难预测下周会发生什么。你需要限制你的模拟中的因素，否则你真的不能取得很大进展。

当你发现自己在考虑以前没有考虑到的选项和因素时，你就会知道你的模拟在起作用。请记住，情景模拟的目标不是最终结果，而是过程和它迫使你思考业务的不同方式。

接下来我们将介绍如何模拟真正复杂的场景，包括许多不同的竞争者或组织相互作用:战争游戏！

方案规划:高级方案

有些场景太复杂，不能简单地在白板上思考，因为要考虑的因素太多了。例如，如果您的场景涉及与三个或四个竞争对手的竞争性价格战，则很难理解每个参与者对每个变化的反应。这些可能是需要理解的最重要的场景；你如何管理复杂性？

正如我前面提到的，情景规划最初源于军事规划技术。军方预测未来的一个非常有效的方法是运行战争游戏(模拟)，让团队在模拟的战斗中相互竞争，以观察不同部队之间的事态发展。战争游戏运行良好，因为每个团队只需要担心他们的利益和资源，给他们清晰的决策和更有效的整体模拟。这是一个有效的工具，您可以部署它来理解这些高度复杂的多方场景。而且很好玩！

最简单的部分是把你的人分成小组，在你的场景中每一方一个小组。困难的部分是建立模拟的规则(正如我们昨天所讨论的)，以便它以一种对决策有用的方式进行。这与我们之前模拟的场景没有太大的不同，不同的是在你的战争游戏中每个团队可能有不同的规则。例如，一个大的竞争对手可能比一个小的竞争对手更灵活地调整他们的价格和利润(由于大量的现金流)。你为每个团队设计的规则越好，你的模拟结果就越好。

轮换你的团队总是一个好主意，这样每个人都有机会从不同的角度看问题。如果你定期重复这个过程，这是很容易的，这也将帮助你的团队提高他们的模拟技能。

延伸阅读:我在这里只触及了场景规划的皮毛！如果你想了解更多关于场景规划的知识，并看到更多详细的例子，我推荐莱比锡管理研究生院发表的关于场景规划的的优秀论文。

离群值 **监控您的业务数据，并在发生意外变化时通知您。**我们帮助营销/发展&产品团队从他们的业务数据中获取更多价值。 今天安排演示。

• Outlier 是 Strata+Hadoop World 2017 观众奖得主。

数据驱动型公司如何构建客户角色

原文：https://towardsdatascience.com/how-data-driven-companies-build-customer-personas-c1559d82a1d4?source=collection_archive---------1-----------------------

“与人打交道可能是你面临的最大问题，尤其是在商界。”——卡耐基

客户角色通过识别共同的特征和行为来帮助你理解你的客户。

不是所有的客户都是一样的，这就是为什么我们首先需要数据！如果你的生意成功，你将拥有大量的客户，每个人都有不同的需求和兴趣，这使得你很难理解你的客户到底想要什么。你如何为数百个不同的客户建立营销策略和计划？

客户人物角色通过识别大群客户共有的共同特征和创建简单的档案，使得处理如此多样化的客户群变得更加容易。这些人物角色是代表大部分客户的客户档案，将使您的决策更容易，因为相对于数百个单独的客户，根据已知的人物角色测试给定的策略更容易。

例如，如果您在线销售桌子，并且有大量居住在加利福尼亚的女性客户，您可以创建一个名为 Beth 的热爱家具的加利福尼亚妇女的角色。Beth 不是一个真实的人，但是她的角色与你的许多现有客户有着共同的特征，因此 Beth 可以用来代表他们的利益。当你考虑产品变化和营销活动时，你可以通过 Beth 的视角来看待它们，并考虑她作为你客户的代理人可能会如何回应。

你如何建立你的客户角色，你如何知道他们代表你的客户？本周我们将介绍一些技巧，包括:

• 第 2 部分— 寻找特征(群体重采样)
• 第 3 部分— 构建人物角色(人群分类)
• 第 4 部分— 测试人物角色
• 第 5 部分— 利用人物角色做决策

首先，我们将从一个简单的方法开始，确定哪些角色已经存在于您的客户数据中。

离群值 **监控您的业务数据，并在发生意外变化时通知您。**我们帮助营销/发展&产品团队从他们的业务数据中获取更多价值。 今天安排试玩。

• Outlier 是 Strata+Hadoop World 2017 观众奖得主。

客户角色:寻找特征

创建人物角色很容易，你只需要收集描述大部分用户的一系列特征，并把它们组合成一个人物角色。识别这些大片段并提取它们的特征是真正的挑战。

如果你把你的客户想象成一大群复杂的人，这个任务可能会令人生畏。然而，你需要做的只是找到一些特征，有效地将你的客户分成几个主要群体。要做到这一点，你可以一次从一个角度看你的客户。

比如让我们考虑一下我们网上表公司的客户群。我们的客户遍布全国各地，代表了许多年龄组和人口统计数据。让我们看看它们是如何分布在几个常见维度上的:

在这种情况下，购买量分布相当均匀，因此没有明显的客户集中。因此，这对于我们的任何角色来说都不是一个好的特征。

购买总数有一个有趣的钟形曲线形状，表明购买总数向中心集中，但它未能将我们的客户划分成任何逻辑组。相反，看起来我们的客户在一系列购买中表现得像一个单一的、大的部分。

Breaking customers into groups based on effective traits

年龄让我们第一次清楚地看到有效的特质，两个明显的年龄组彼此分开。这使得年龄成为创建人物角色的理想特征，因为这里出现了两种明显的人物角色:年轻人和老年人。

正如你所看到的，通过不同的维度来观察客户的分布，可以很容易地识别出清晰的界限，这表明这是构建人物角色的一个很好的选择。您正在寻找的维度将在您的客户中创建清晰的分离，并允许您用单一维度有效地捕获大型群体。

接下来，我们将讨论如何将这些候选特征组合成人物角色！

客户角色:构建角色

我们刚刚讨论了如何通过维度来查看客户的分布，从而为我们的人物角色确定候选特征。现在我们只需要将它们放在一起，组成人物角色！

不幸的是，你可能有一长串的特征，因为你的客户会自然地分成几十个组。虽然我们欢迎你创建几十个人物角色，但通常只有少数几个是最有用的。为了处理这种复杂性，我们将通过使用总人数来对可能的角色进行分类。

例如，让我们假设我们为我们的在线家具公司确定了 3 个特征，每个特征都有 2 个明确的细分:年龄(年轻人和老年人)、桌子大小(小和大)和购买频率(一次性和每月)。即使这个简单的模型有三个特征(每个有两个部分),也能产生 8 个不同的角色！

这太多了，所以让我们通过查看属于每个候选人角色的客户总数来减少数量。当我们这样做时，事情就变得清楚多了:

如你所见，结合我们的特征实际上减少了我们大部分潜在的人物角色到我们人口中很小的一部分。只有“年轻的、小的、一次性的”和“老的、小的、每月的”代表了足够多的客户，值得创建人物角色。

请注意，这两个人物角色并没有涵盖我们所有的客户，只是很大一部分。你的人物角色永远不会覆盖 100%的用户，因为需要的人物角色数量是不切实际的。然而，在使用你的人物角色时，请记住这一点，因为有许多客户不在此列。

你会发现使用人口作为过滤器是从几十个潜在人物角色中筛选出几个的非常有效的方法。有了这些，明天我们将讨论如何验证你的人物角色是否真正代表了你的客户，或者你的客户只是代表了你的人物角色。

客户角色:测试角色

既然我们已经集合了一组人物角色，我们需要做最后的检查，确保组成我们的人物角色的特征是有用的。特征可以是两种形式之一:

• 描述性。这些特征抓住了客户行为方式的某些方面，并有助于预测未来的行为。
• 衍生。这些特征是客户行为的结果，很可能是你的产品如何运作或者客户如何看待你的公司的产物。

区别是很重要的，因为由衍生特征组成的人物角色是没有用的，因为它们不会帮助你理解变化会如何影响你的客户。你的人物角色应该只由描述性特征组成，但是你如何确定呢？

为了说明这个困难，让我们回顾一下另一篇关于集群的文章中的一个特征:桌子大小。请记住，我们发现了两个客户角色:(1)一次性购买小桌子的年轻人，以及(2)每月购买小桌子的老年人。有人每个月都会买桌子，这应该会让你感到奇怪吧！为什么会发生这种情况？

1. 他们可能代表一个更大的组织或社区购买桌子，所以他们并不是真正为自己购买，幕后有一个你永远看不到的顾客。
2. 他们可能会在你的网站上购买桌子，然后在其他地方转售，因为你的价格低于他们在其他地方可以买到的价格。

选项#1 是描述性的，因为购买一张桌子的频率表明了一组特定的客户需求，这意味着向您购买时有一组特定的决策标准。选项#2 是派生的，因为它仅仅是你的桌子价格的结果，没有真正的决策标准。根据哪个原因是正确的，这种特征的分类会有所不同，所以你需要调查所有的原因来确定。

理解为什么一个特征存在对于正确分类它是至关重要的。做到这一点的唯一可靠方法是在每个角色中与客户交谈，更好地了解他们的需求。好消息是，你不必在每个人物角色中与几个人交谈，就能确定你已经捕捉到了代表他们的描述性特征。

接下来，我们将讨论如何利用我们收集的这些人物角色做出决策！

客户角色:使用角色

有了我们的客户角色，是时候使用它们来做一些决定了！

正如我在开始时提到的，客户角色作为大部分客户的替身是很有用的。你可以用它们来评估客户眼中的许多不同决策。例如，如果你是…

• …考虑增加新功能。你的角色会在意吗？对他们的效用是什么？他们将如何看待这种效用？他们是否有时间使用更多的功能，或者他们已经尽可能多的花时间和你在一起了？
• **…考虑新的品牌信息。**它将如何脱颖而出？他们还收到了哪些信息，这些信息与其他信息相比会有什么不同？有没有办法用一种直接吸引他们的语言来说话？
• ……考虑新市场。你的人物角色在新市场中存在吗？你需要接触全新类型的客户，还是以新的方式接触相同的人物角色？

大多数公司会更进一步，使用他们的人物角色来组织客户焦点小组，这些小组是符合给定人物角色的简单的客户小组。通过按人物角色收集客户，您可以从真实客户那里获得关于即将到来的变化的实时相关反馈，反馈的方式应该是有针对性的和一致的。从人物角色中建立的客户焦点小组远远优于一般的客户小组，在那里你会得到许多相互冲突的利益和观点。

无论你如何使用你的人物角色，确保你公司的每个人都知道他们是什么，并把他们作为决策的参考点。如果你这样做了，你会发现你的团队做出了更好、更一致的以客户为中心的决策。

回顾:顾客角色是一种简单的方法，可以确保你在做每一个决定时都考虑到顾客。通过创建几个典型客户类型的简介，你可以更容易地从客户的角度看问题。

离群值 **监控您的业务数据，并在发生意外变化时通知您。**我们帮助营销/发展&产品团队从他们的业务数据中获取更多价值。 今天安排试玩。

• Outlier 是 Strata+Hadoop World 2017 观众奖得主。

数据科学如何实现早期癌症诊断

原文：https://towardsdatascience.com/how-data-science-enables-early-cancer-diagnosis-6221ae841ae3?source=collection_archive---------8-----------------------

在这篇文章中，我提出了一个使用两步法的癌症早期检测的解决方案。第一步是使用霰丨弹丨枪法，如质谱法，利用常规检查样品收集尽可能多的化学信息；第二步是建立一种可靠的方法来筛选化学信息，并标记可疑的癌症样本以供进一步测试。开发了一个网络应用程序，以促进癌症预测和发现用于癌症诊断的指纹化学物质。

癌症的早期发现和治疗对于提高癌症患者的生存率和生活质量至关重要。根据英国癌症研究的数据，对于女性和男性最常见的癌症乳腺癌和前列腺癌，如果在 I 期/之前诊断，五年存活率几乎是 100%，而在 IV 期存活率显著下降到不到 30%！

Figure. 5-Year Survival Rate for Breast Cancer at Different Stages

Figure. 5-Year Survival Rate for Prostate Cancer at Different Stages

目前，癌症通常是在患者出现呕吐和头晕等症状后才被诊断出来。然而，在大多数情况下，症状只有在晚期才明显，即使症状出现，病人和医生也不会首先怀疑癌症。因此，最好是找到一种可靠的方法，使用常规体检样本(，例如，血液样本)来检查癌症，并且甚至在症状出现之前就“标记”可疑的癌症样本以进行进一步的测试。

早期癌症检测的两步法

第一步。猎枪法

质谱提供了一种经济、快速的解决方案，可从唾液、血液或其他样本中收集尽可能多的化学信息，已被制药公司广泛应用于药物筛选和测试。

一般来说，质谱通过化学物质的重量或质量来区分化学物质，即使化学物质的浓度很低，质谱也具有很高的灵敏度。此外，质谱分析通常使用微小的样品(毫克)，需要几分钟才能完成，并且可以很容易地与机器人样品制备技术结合，这是高通量化学筛选和测试的理想方法。

然而，太多的信息意味着很难找到哪个肿块是癌症诊断的决定性因素，即使是有经验的专业人员。通常的做法是，人们根据有限数量的已知癌症决定化学物质(或标准)来预测癌症，这将由于样本差异而导致大量的错误分类。

Figure. Typical mass spectra of ovarian cancer samples and ovarian control samples

第二步。受数据科学启发的频谱分析

在人们的印象中，数据科学和机器学习更多的是与高科技行业相关，比如图像处理、语音处理、人工智能，但它们与频谱分析有什么关系呢？换句话说，如何将现实世界的癌症早期诊断问题转化为机器学习问题来解决？让我们在下面几节中演示这种“转换”。

数据收集

查看我的 github 了解更多详情@第一节

首先，让我们收集一些质谱数据。我正在调查的数据可以从国家癌症研究所 (NCI)公开获得。在这里，我主要关注两种癌症:卵巢癌和前列腺癌。对于卵巢癌，我采用了两组，一组由机器人准备，另一组按照标准协议手工准备。对于前列腺癌，所有样品都是按照标准方案手工制备的。每组都有癌症组和对照组(健康组)。大约 20%的癌症样品处于 I 期，而其余 80%的癌症样品处于 II、III 和 IV 期。

Figure. Mass spectra samples collected for cancer prediction

这种情况下的数据争论是将单个质谱结合到光谱矩阵，每行代表单个样品，每列代表单个 M/Z。所有样品都标记为癌症为 1，非癌症为-1。

Figure. Mass spectra matrix after combining individual mass spectrum

数据可视化

查看我的 github 了解更多详情@ Section 2

那么我们的数据是什么样的呢？他们可以很容易地被分为癌症或非癌症群体吗？现在，我们面对的数据集的特征(不同的质量)明显大于样本(质谱的数量)。这对于所有光谱数据都是常见的，通过实验收集大量样本相对困难，但通过光谱分析获得大量特征或数据点却相当容易。由于我们数据的高维数(> 9000 个特征)，不可能直接查看我们的数据。相反，我们可以将我们的数据“投影”到 2D 空间，并将其可视化。主成分分析为我们提供了很好的工具来做到这一点，在这里我们可以很容易地看到和知道我们的数据。在这里，我们使用前两个主成分绘制了数据分布图。

Figure. Comparison of cancer and non-cancer group in three groups. Purple plots represent the non-cancer group, while yellow plots represent the cancer group. From left to right: robotic prepared ovarian samples, hand-prepared ovarian samples, and prostate samples

我们可以看到，对于机器人制备的卵巢样本和前列腺样本，癌症和非癌症样本可以合理地分离，而对于手工制备的卵巢样本，癌症和非癌症样本在很大程度上重叠，无法仅使用前两个主成分进行分离(与机器人制备的卵巢组和前列腺组相比，更难预测癌症/非癌症)。

特征选择

查看我的 github 了解更多详情@ 3.1 节

我们知道我们的光谱数据是高维数据。事实上，高维数据不仅带来了高维的诅咒，还带来了相关和噪声特征，这可能导致我们的模型过拟合数据或难以收敛。因此，在应用机器学习算法之前，我们需要选择重要的特征。

决策树是一种自然的特征选择方法。树分裂基于基尼不纯的最大增益，因此树总是向着更重要的特征分裂。随机森林算法是一种集成方法，对每次分裂使用树打包和随机特征选择。在这里，我使用随机森林来选择最重要的特征。我将阈值设置为 95 %,这意味着我预计最重要的特征可以解释数据集 95%以上的差异。

Figure. Explained Variance vs. Number of Features rendered by Random Forest.

值得注意的是，在 9，200 个特征(M/Z)中，仅使用 40 个特征(总特征的 0.43%)就可以解释前列腺样本 95%以上的差异，52 个特征(总特征的 0.58%)将解释机器人制备的卵巢样本 95%以上的差异，而手工制备的卵巢样本需要 86 个特征(总特征的 0.93%)。特征选择将显著减少噪声和冗余特征。

选择的特征有意义吗？

是的，这意味着指纹肿块可以确定癌症

【T4查看我的 github 了解更多详情@第 4.4 节

对于机器人制备的卵巢样本，200 到 1000 之间的指纹质量数为 25，确定卵巢癌的癌症的一个关键代谢物 (分子量 472) **在我们用于卵巢预测的重要质量列表中。**换句话说，我开发了一种工具，用于选择可能用于癌症诊断的指纹分子，这对新发现代谢和致癌化学物质具有重要价值。在这种情况下，研究人员可以只关注 52 个预测卵巢癌的分子，或者 40 个预测前列腺癌的分子，而不是关注所有 9300 个可能的分子，这将大大提高研发效率并节省成本。

癌症预测模型

查看我的 github 了解更多详情@ 3.2 和 3.3

使用选择的特征，我应用了支持向量机(SVM)随机森林(RF)K 最*邻 (KNN)和集成方法，通过投票进行癌症预测。模型参数通过网格搜索交叉验证进行调整。基于预测准确性、AUC 评分和 F1 评分比较模型性能。

Figure. Comparison of model performance on robotic-prepared ovarian samples, hand-prepared ovarian samples, and prostate samples

值得注意的是，对于卵巢癌和前列腺癌的预测，所有机器学习模型都表现良好。对于机器人准备的卵巢数据，随机森林和 SVM 可以达到 100%的准确性，1.0 的 AUC 和 1.0 的 F1 评分，使它们成为预测的完美模型；对于手工准备的卵巢数据，SVM 和系综方法表现相似，达到 95%的准确性，0.95 的 AUC 和 0.96 的 F1 评分；对于前列腺数据，SVM、随机森林和集成方法可以实现高达 98%的准确性、0.98 的 AUC 和 0.98 的 F1 分数。然而，我们不应该对我们的模型过于自信，因为我们的结果是基于小规模的样本，我们将需要更大的数据来优化我们的模型和测试模型的性能。我们的模型还必须灵活，这意味着它们应该能够处理质谱中出现比*时更多噪音的情况(例如，仪器误差和样品制备过程中引入的杂质)。

我们可以看到 SVM 和集成模型在预测准确性、AUC 和 F1 评分方面相似，但是哪一个对于癌症的早期确定更好呢？

查看我的 github 了解更多详情@第 4.1 节

让我们回到这项工作的目标。我们将对疑似癌症样本进行“危险标记”以进行进一步检测，因此敏感性是我们首要关注的问题。换句话说，如果有癌症，我们的模型应该尽可能地预测癌症。这类似于机场的安全检查，警报被调整为对所有金属物体敏感，甚至对钥匙和手机也是如此。

如果我们看一下下面显示的混淆矩阵，它显示了当有癌症时有多少样本没有被预测为癌症(假阴性结果)，我们希望尽可能少地出现假阴性结果。这里，1 代表癌症，而-1 代表非癌症。可以容易地看出，SVM 模型在所有三组中呈现 0 假阴性结果，使得 SVM 是比集合模型更好的预测卵巢癌和前列腺癌的模型。

Figure. Comparison of Confusion Matrix between SVM and Ensemble models

如果样本不小心混在一起，我们能知道它属于哪一组吗？

查看我的 github 了解更多详情@ 4.3 节

经常会有人把样本搞混的情况，尤其是处理大量样本的时候。在这里，我提供了一个如何使用机器学习工具将未知样本分配到组中的解决方案。在这个数据集中，我们有六个单独的组。我们必须使用多分类来决定样本属于哪一组。通过比较三种模型(SVM、随机森林和 KNN)，我们得出结论，SVM 在这种多分类中表现最佳，准确率高达 93%。进一步证明，我们的模型可以根据性别(高达 97%的准确率)以及机器人准备和手工准备(高达 100%的准确率)来分离样本。

我们能否开发一个应用程序，只需上传一个质谱文件，它就会提供预测结果？

是的。为了实现这个目标，我开发了一个名为癌症诊断 1.0 的应用程序

在这里，我开发了一个基于 Dash 的 web app ，你只需上传一个质谱文件，癌症诊断结果就会立即显示出来。该应用程序已通过 Heroku 部署。

• 上传文件

• 质谱将通过热图和曲线图显示，您可以选择质量范围

• 它显示所有训练样本中新样本的可视化，并通过四个模型预测概率。您可以选择不同的分类标准:全部、性别或准备

• 如果您选择一个特定的组(此处为机器人准备的卵巢组)，它会显示该组中训练样本内新样本的可视化，并通过四个模型预测癌症/非癌症的概率

• 它还将显示特定组(此处为机器人准备的卵巢组)内的指纹质量，您可以选择质量范围来显示感兴趣的指纹质量

结论

• SVM 被选为预测卵巢癌和前列腺癌的最佳模型，准确率高(95-100%)，假阴性率为零，非常适合“标记”疑似癌症样本
• 确定了决定卵巢癌的指纹分子之一，这被文献报道所证实
• 开发了一个癌症诊断应用程序，以提供快速的癌症预测结果以及用于癌症诊断的指纹分子列表

建议

• 在癌症筛查的常规检查中，患者应该要求进行质谱检测
• 医生应该建议患者在常规体检时做质谱测试
• 保险公司应该支付质谱测试费用，作为一种预防性测试，以鼓励人们进行常规癌症筛查

数据科学如何帮助营销

原文：https://towardsdatascience.com/how-data-science-helps-marketing-d63980fcc8fa?source=collection_archive---------0-----------------------

This post is the updated version of a piece I wrote last year, How Data is Fueling Marketing

数据科学正在迅速改变营销。具体来说，情境营销正在兴起。情境营销不同于传统营销。顾名思义，这种营销策略完全是关于背景。我们不再对观察和预测人们如何进行简单的有意识决策感兴趣。相反，通过这种类型的营销，我们试图观察个人在购买某种产品、预订旅行或浏览在线目录时的习惯。

I updated the content after the talk I gave at the SXSWi 2016 in Austin, Texas

习惯模式塑造了我们每天大约 45%的选择。通过情境营销，我们不仅可以发现和了解某人是谁，还可以了解他们的地理位置，他们在不同的地区和时间点正在做什么，以及他们接下来最有可能做什么。更准确地说，利用今天可用的数据，我们可以观察个人的年龄、性别、过去的行为、设备使用、位置、天气条件、一天中的时间和购买历史以及其他相关因素。这有助于我们在正确的时间传递正确的信息，并识别正确的趋势。我们观察和评估深层背景特征的能力改变了一切。

大公司已经在战略性地使用情境营销。例如，在线预订公司 Orbitz 向 Mac 用户显示价格更高的酒店！另一方面，Travelocity 为移动购物者提供 5%的折扣。众所周知，美国航空公司会在你购物时提高机票价格，以制造一种紧迫感。购物零售商 Target 已经开发了一款“怀孕探测器，它基本上是通过观察访问其网站的女性的购物和浏览历史/cookie 来挖掘数据，从而进入你的子宫。

这是怎么回事？营销人员知道怀孕是一个非常有利可图的时间段。通过观察成千上万不同的产品购买，数据科学家能够确定 25 种最显著的产品，这些产品对“怀孕预测”得分有显著影响。该分析模型有助于预测个人在特定时间段和小机会窗口内的购物行为。然后，Target 会在孕妇可能搜索和购买其产品的特定怀孕阶段发送优惠券。

计时是如何工作的？举个例子:化妆水是一种广泛使用的，每个人都广泛购买的，不仅仅是孕妇。然而，据观察，孕妇在第二个三个月开始时会购买更多的无味乳液。

数据科学不仅非常好地补充了传统营销，它还在我们眼前改变了传统营销。数据科学的一个重要方面是，它通过输入和输出来改善情境营销。诸如年龄、性别、收入、位置、搜索历史、购买历史、一天中的时间等输入。这些输入产生相关的输出，这些输出可以改变你的服务/产品的游戏规则，例如:你需要使用什么渠道来锁定你的客户，你的产品的正确价格和折扣，客户在一年中的特定时间对什么特定产品感兴趣，等等。

关于数据科学如何驱动环境，我最喜欢的一个例子是 Stitchfix 。在刚刚于 6 月 1 日发布的玛丽·米克尔互联网趋势报告中，Stitchfix 在微观数据驱动的参与度、满意度、数据收集和个性化方面领先。Stitchfix 正在将类似网飞和 Spotify 的内容发现应用于时尚，为每位顾客提供差异化的体验。Stitchfix 有一个融合了艺术和科学的数据驱动的入职流程。他们收集顾客偏好、风格和活动的数据点。设计师使用 Pinterest 板和访问算法来帮助改善产品选择。下面的幻灯片描述了 Stitchfix 如何利用数据科学不仅驱动上下文，而且作为其整个产品的基础。

Get the full report at Kleiner Perkins

Nestle Purina 在数据科学方面也取得了成功，不仅利用它来个性化客户信息，还个性化客户宠物！雀巢普瑞纳，*年来，已经建立了一个目标，为宠物主人提供量身定制的营养计划，为他们喜爱的宠物。作为全球第二大宠物食品公司，data science 通过文章索引、文章结构聚类以及推荐算法的使用，帮助 Purina 推出了许多针对客户的广告。

所有这些例子听起来都很棒。但问题出现了，我们如何在数据科学的支持下实际实现和实施情境营销？

确定你的战略无论你的品牌是什么，舒适的鞋子、驾驶汽车的乐趣、快餐配送、难忘的经历都会强化这种价值。与此同时，开始思考什么样的输入对改进你的产品最有益，以及你希望产生的输出。

为顾客旅程提供便利想办法解决顾客购买前、购买中和购买后的旅程问题。关注客户体验和参与度。

内容仍然是王道在互动过程中，你提供的每一条内容都必须基于你从过去的互动中收集的数据，不仅针对客户，而且针对特定的时刻。

与您的 IT 部门合作引入正确的工具来执行自动化和项目。

今天，我们作为营销人员可以获得大量的数据。你必须愿意去挖掘它。搜索、移动设备使用、内容浏览和社交媒体活动揭示了客户一生的旅程。重新定义活动的目的，邀请你的客户不仅购买你的产品或服务，还要与你建立深厚的关系。

这只是冰山一角。如果您有更多问题，请在 Twitter 上联系我。

在 Slideshare 上查看这篇文章的演示文稿。

数据科学如何实现更好的决策

原文：https://towardsdatascience.com/how-data-science-is-enabling-better-decision-making-1699defd6899?source=collection_archive---------9-----------------------

良好的决策是公司和机构高效运行和克服不可预见障碍的关键。在数据科学公司的帮助下，决策者现在能够通过形成和过滤他们的组织收集的数据，做出比过去更明智的选择。通过使用这些数据，他们能够对未来做出预测，例如，如果他们决定将他们的组织带到一个全新的方向，或者他们将如何在金融灾难后重建自己，等等。

然而，应该提到的是，仅有数据科学并不总是足够的。正如 InData 实验室的 Irina Peregud，解释:“数据科学家分析数据以发现洞见，但告诉他们要寻找什么是产品经理和商业领袖的工作。”从本质上来说，企业领导人和政府机构负责人需要在派出数据科学团队尝试解决问题之前，知道问题是什么。数据科学家能够挖掘大量信息，但这些信息毫无价值，除非他们由了解他们工作环境的人领导，即具有行业经验的领导者。在数据科学家能够理论化实现目标的方法之前，需要明确设定目标。

自动化

构建自动响应系统通常被视为许多寻求投资数据科学的企业领导者的最终目标。当收集和利用正确的数据时，许多小的决策可以很容易地自动化。例如，许多发放贷款的银行多年来一直使用信用评分系统来预测其客户的“信用价值”，然而，现在，在数据科学的帮助下，他们能够以更高的准确度做到这一点，这减轻了员工的一些决策过程，降低了如果客户“不值得”就无法获得贷款回报的可能性，同时也加快了这一过程。

最重要的是，数据科学还能够帮助自动化更复杂的决策过程，能够提供许多可靠的方向供选择，并以数据作为这些可能性的证据。使用数据科学，有可能预测尚未做出的决策的影响。这种例子有很多，但最著名的可能是那些濒临倒闭的公司，他们相信数据科学，并根据数据告诉他们会起作用的东西重塑公司，从而得救了，如 Dunkin' Donuts 和 Timberland 。前者投资于忠诚度系统，后者投资于识别其理想客户。拥有支持此类重大决策的数据，可以让决策者对他们正在做的事情更有信心，并在财务和心理上对该想法进行更多投资。

医疗保险

医疗保健是另一个领域，数据科学已证明对各种行业的决策非常有益。显然，提供充分的治疗是第一要务。许多医疗保健提供商现在正在转向循证医学，当与数据科学结合使用时，医生可以通过在做出治疗决定之前访问更大的资源池来为患者提供更个性化的体验。

健康和人寿保险是从数据科学中受益匪浅的其他医疗保健领域。与上述银行根据“信用价值”评分发放贷款的方式类似，健康和人寿保险公司也可以制定“健康”评分。要得出这样的分数，需要从大量地方收集数据，包括社交媒体、金融交易甚至身体传感器。这在整个保险行业也可以看到。事实上，正如 Datafloq 解释的那样:“保险公司依赖于通过为每个客户调整保单来增加客户数量”。通过使用数据科学，保险公司能够为客户和保险公司提供更加个性化的保险方案。这使得决策过程变得更加容易，因为这不再是保险公司对客户说“是”或“否”的问题，而是询问对双方都适用的条款。

更顺畅的操作

数据科学也为那些旨在提高运营标准的人所熟知。通过将数据科学应用于运营程序，决策者能够更有效地实施变革，并通过反复试验更密切地监控变革是否成功。这种方法可以应用于雇佣和解雇员工，通过收集和测量数据来看谁最适合这份工作，以及测量绩效目标来看谁真正应该得到提升。最重要的是，它有助于雇主了解哪里真正需要工作，哪里可以裁员。

威廉·爱德华·戴明曾经说过:“我们相信上帝。所有其他人都必须带数据。”虽然他在 24 年前就去世了，但他的话现在比当初说的时候更有道理。在数据科学的帮助下，决策者——无论他们身处哪个行业——都可以做出比以往更加精确的选择。或者，在某些情况下，通过自动化来消除整个决策过程。

通过充分利用数据科学的潜力，所有行业的顶级决策者不仅可以做出更明智的决策，还可以对未来做出更清晰的预测。凭借这一优势，他们能够稳定那些一直没有清晰愿景的企业，拯救那些濒临倒闭的企业。

然而，应该再次提到的是，只有当决策者知道有一个问题需要解决，并且能够给他们领导下的数据科学家以目标时，数据科学才是一种优势。一旦目标确立，数据科学家就可以施展他们的魔法，并理论化如何修正它。数据科学本身并不是决策的优势，数据科学结合良好的领导力才是优势。

数据科学如何带来更好的决策

原文：https://towardsdatascience.com/how-data-science-leads-to-better-decision-making-2de2116e586e?source=collection_archive---------4-----------------------

Simplilearn

本周美国、欧洲和中东的新闻生动地提醒人们理性决策的谬误。无论我们阅读的是商业、经济还是社会方面的书籍，每天似乎都会带来明显糟糕的决策。杰克·曾格和约瑟夫·福克曼概述了决策者失败的几个原因，包括疏忽、缺乏预见性、优柔寡断和孤立。【我】。假新闻、伪造的事实和被操纵的观点是糟糕决策的原因还是结果？【ii】最重要的是，为了我们的组织、我们的客户和我们的职业，我们可以做些什么来提高我们的决策技能？

我们生活在一个数据经常被误认为事实的时间和空间里。*做出更好的决策，而不是处理数据，是改善管理的最终基准。*我们目前每天大约产生 2.5 万亿字节的数据——过去两年的数据量超过了人类历史上的数据量。克劳斯·施瓦布认为，我们已经进入了第四次工业革命，在这场革命中，价值是由我们捕捉和分析这些海量数据的能力来定义的。迄今为止，很少有证据表明这场革命带来了比过去更好的决策。数据科学旨在将数据转化为有效的行动，以应对基本的组织挑战。

改善决策需要什么？在决策科学中，我们了解到有效管理的主要挑战是对我们做出决策的环境的复杂性、模糊性和不确定性的认识。在认知科学中，我们被告知，我们的先入之见和偏见扭曲了我们看待问题的方式，也限制了我们提出创新解决方案的能力。在管理学院，我们被训练认识到当今现实世界问题的复杂性，无视“一个最好的方法”的逻辑。最后，在商业中，我们意识到罪魁祸首不仅仅是我们自己的决定，还常常是我们周围的人。

什么是更好的决定？根据大卫·斯诺登关于理性决策的研究，我们认为好的、更好的和伟大的决策之间有着明显的区别。在确定性决策环境中，好的决策是可能的，在确定性决策环境中，可以通过检查手头的数据找到正确的答案。不幸的是，大多数商业决策是在随机环境中做出的，在这种环境中，无法从可用数据中推断出正确的决策——通过减少不确定性的原因，更好的决策仍然是可能的。最后，我们所指的伟大决策是那些背景、挑战和解决方案允许我们重新审视决策过程本身性质的决策。

虽然机器学习目前作为一种神秘的灵丹妙药被推销给管理层，但它只不过是一种用于探索我们所面临问题的本质的技术工具。监督学习代表了一种特定类型的解决问题的方法，在这种方法中，我们知道答案就在数据中，挑战在于推导出它。无监督学习概括了一种没有唯一正确答案的挑战，但我们相信研究数据将使我们能够归纳出潜在反应的模式。半监督学习代表了第三种方法，其中我们知道答案，但我们正试图校准决策过程，以产生更可靠的结果。在所有情况下，信息技术为我们提供了一面思考我们周围挑战的镜子。

数据科学研究如何帮助我们成为更好的决策者？业务分析是一个四步流程，旨在帮助人们在其工作环境中做出更好的决策。首先，我们需要扫描环境(物理环境和数字环境),以了解我们试图解决的问题的本质。第二步是探索我们必须处理的数据的质量。第三步是应用正确的方法来探索数据，并针对我们试图解决的问题类型制定解决方案。最后，我们需要将数据转化为故事，激励我们的团队和社区采取适当的行动。数据科学与其说是理论，不如说是实践，将这些决策基础整合到我们的工作方式中。

数据科学实践是商业分析研究所的核心和灵魂。2018 年 白暑期项目 将探索利用数据科学提高管理决策的关键任务技能。我们独特的夏季会议将为来自美国和加拿大、欧洲和亚洲的四十多名参与者提供对使用分析实践的坚实理解——如何评估手头的数据，如何将适当的方法应用于特定类型的个人和专业挑战，以及如何将数据转化为集体行动。

Lee Schlenker 是商业分析和数字化转型教授，也是 http://baieurope.com 商业分析研究所的负责人。他的 LinkedIn 个人资料可以在www.linkedin.com/in/leeschlenker.查看，你可以在https://twitter.com/DSign4Analytics的 Twitter 上关注我们

【I】曾格尔，j .和福克曼 J. (2014)。导致可怕决定的 9 个习惯。哈佛商业评论[在线]

【ii】Schlenker，L. (2017)，更好的决策对你来说意味着什么？，中等

【iii】屈臣氏营销，(2017)2017 年十大关键营销趋势

【iv】施瓦布，K. (2017)。第四次工业革命。第一版。兰登书屋公司。

Snowdon，d .和 Kurtz，C.F. (2003)，复杂世界中的意义构建，IBM 系统杂志

数据科学家如何让医生相信人工智能有效

原文：https://towardsdatascience.com/how-data-scientists-can-convince-doctors-that-ai-works-c27121432ccd?source=collection_archive---------0-----------------------

当我在医学院的时候，我被教导对一个病人说的四个最重要的词是*‘你没有癌症’*。我相信你会同意，这一声明对于正确行事至关重要。为了作出这一声明，观察者必须尽可能地确信这一声明在当时确实是正确的(癌症已经被证明是不存在的)。在统计学术语中，这种说法被称为真正的否定。可惜医学不是非黑即白的，医生也有可能搞错。这种情况并不经常发生(嗯，比我们希望的要多，但还不足以让每个人都放弃)，但一旦发生，结果对患者来说可能是灾难性的。

当人工智能系统进行诊断或报告发现时，确保新技术也是准确的，或者至少像人类一样准确是很重要的。这是通过临床验证过程完成的，其目的是评估系统的“准确性”。我们当然不希望 AI 开始错误地告诉人们，他们比人类更容易患癌症或不患癌症！在这篇文章中，我将回顾在临床环境中为 AI 开发者报告准确性的最相关的指标。

准确性到底是什么？

“准确性”不是一个已定义的科学统计术语，但它本质上包含了指数测试(被测试的系统)表现如何的概念，通常与另一个预先存在的系统相比较，在人工智能的背景下，该系统通常是人类医生。“准确性”可以使用替代测量来评估，例如可靠性、灵敏度、精确度和误差率，等等。

指标测试的“准确性”最好通过与黄金标准的无误差测试进行比较来衡量。然而，在医学诊断领域(或其他领域，如放射学或病理学发现)，往往没有无错误的黄金标准。因此，应该使用建立“基础事实”的最佳方法，即临床参考标准(CRS)。CRS 可以定义为“一组合格医生的一致意见”，或者更简单地说是“一名合格医生的专家意见”。CRS 的全部意义在于尽可能接*一个完美的系统。在进行临床验证时，CRS 的定义非常重要，因为它会影响任何统计检验的方法、分析和结果。我经常看到发表的关于人工智能系统准确性的文献，相比之下只有一两个医生，这可能还不够。(但是，占用几百个医生的时间，大概是不合理的，所以尽你所能吧！)

有几种统计方法来衡量“准确性”。然而，必须指出的是，大多数统计测试旨在评估二元分类(给定的疾病、条件或生理测量)中仅一个目标条件的测试的“准确性”，而不是大量变量。

或者，测试间比较(kappa 一致性、一致性、可靠性)可用于评估“准确性”，尤其是在缺乏具体定义的目标条件的情况下。然而，这些测试只是衡量 AI 和人类之间的一致程度，并不能反映‘准确性’。不一致并不能告诉你两个测试哪个更好，只能说明他们不一致。因此，我将在本文中忽略这些比较测试。

最后，任何对“诊断准确性”的方法学评估都应尽可能消除偏见，适用于具体情况，透明，并有适当的依据。出于这个原因，产生了报告“诊断准确性”的国际标准,这是一个同行评审的框架，使研究人员能够充分记录和合理化他们的研究和发现。

测量二元分类的“准确度”

在结果是二分的环境中(二元；存在或不存在)，没有不确定的结果，可以使用统计二元分类器。

通过将指数测试与黄金标准进行比较，可以创建一个简单的 2x2 表格，称为混淆矩阵或列联表。

Standard confusion matrix

基于真/假正/负的计算可以提供“准确性”的替代测量。

一般来说，系统越“精确”，出现的真阳性和真阴性就越多，假阳性和假阴性就越少。

两个世界碰撞

在报告诊断“准确性”时，医学和数据科学指标之间有相当大的重叠。在临床领域，使用的主要指标是真实柱比率——真实阳性率和真实阴性率(灵敏度和特异性)。在数据科学中，最常报告的指标是真阳性率，即阳性预测值(PPV)和真阳性率(TPR)，分别称为精确度和召回率。

传统上，非医疗部门的人工智能系统仅根据精确度和召回率进行评级。这是因为在将模型应用于非临床问题(例如，为文档或信息检索而设计的系统)时，真正的负面因素可能并不重要。然而，当将人工智能应用于医疗情况时，真正的负面因素必须包括在你的统计分析中。

精度

精确度(绿色单元格)是对阳性结果与相关性的度量，也称为阳性预测值(PPV)。

其计算方法如下:

精度= TP / (TP + FP)

Precision

当黄金标准完全没有误差时，精确度是一种有用的“准确度”衡量标准。然而，当金本位制可能出现错误时，必须小心谨慎。这是因为指数测试实际上可能更“准确”(例如，人工智能比人类医生更好*)，但因为它只是与 CRS 进行比较，指数测试产生的任何真阳性都可能被错误地归类为假阳性，从而人为地降低了报告的精确度。医生的一致意见是有癌症，而实际上没有。人工智能系统正确地说没有癌症。在这种情况下，AI 系统是正确的，但因为我们只是将结果与医生的不正确共识意见进行比较，所以 AI 系统的精度受到了负面影响)。*

召回/灵敏度

回忆(红细胞)是对正确阳性结果的比例的测量，也被称为真阳性率，或灵敏度。

其计算方法如下:

召回= TP / (TP + FN)

Recall

只有当黄金标准是无误差的，召回/灵敏度才能真正有用，因为它假设黄金标准的所有阳性结果确实是阳性的。如果一个人是不正确的，一个诊断实际上是一个真正的否定，那么报告召回将被人为地减少。

值得注意的是，精确度和召回率/灵敏度都没有考虑真正的负面因素，因此不能提供“准确性”的完整描述。出于这个原因，传统的数据科学的精确度和召回率指标不足以在临床环境中评估准确性。记住——“你没有癌症”是一个真正的否定，无论是精确度还是召回率都不能告诉我们任何关于人工智能系统是否能做出这种声明的事情。

特异性

特异性(黄色细胞)是对正确阴性结果的比例的测量，也称为真阴性率。

其计算方法如下:

特异性= TN / (TN + FP)

Specificity

真正的阴性率在诊断测试中至关重要，因为它是衡量指标测试正确否定诊断的频率。这在临床上很重要，因为排除诊断对所需的分类/进一步调查/治疗水*有很大影响，更不用说假阴性对患者的情绪影响了。

然而，只有当金标准产生真阴性时，才能测量真阴性率，而医生在做出临床诊断决定时往往不会这样做。想象一下，医生的鉴别诊断列表必须包括所有可能的阴性诊断，或者放射学报告必须包括所有可能的阴性发现——这几乎是不可能的！在实践中，可以假设，如果医生没有而不是将一个诊断包括在鉴别诊断中，则所有其他可能的诊断都被自动排除。

阴性预测值

阴性预测值(NPV，蓝色单元格)衡量的是与阴性结果的相关性。

其计算方法如下:

NPV = TN / (FN + TN)

Negative predictive value

至于真负率，只有金本位产生真负才能算出来。

具有高 NPV、特异性和敏感性的人工智能系统很可能被批准用于临床。

组合二元分类

ROC 曲线

为每个诊断临界值绘制 1-特异性和敏感性对给出了接收器操作特征曲线(ROC 曲线)。

左上角的曲线越高，诊断测试就越“准确”。

曲线下面积(AUC)给出了诊断测试的区分能力的单一数字指标。

Arbitrary AUC cut-off meanings

当比较两种不同的诊断试验时，AUC 通常比对照金标准比较指数试验更有用，因为它不提供关于试验在裁定或排除诊断或发现方面有多好的信息。还需要进行统计显著性计算(p 值),以便将结果放入上下文中。(我甚至不打算触及支持和反对 p 值的论点！).

如果两条 ROC 曲线不相交，那么一种方法优于另一种方法，因为它在各方面都优于另一种方法。如果两条曲线相交，那么这表明存在一个*衡点，在这个*衡点上，对于某项任务，一个系统比另一个系统好，在这个*衡点之上，另一个系统更好。例如，人工智能系统可能比人类更具体，但人类可能更敏感。这可能表现为两条曲线在两个系统执行两个指标的点上相交。

有趣的是，与完美的黄金标准相比，人工智能系统永远不会有更好的 AUC。这是因为不可能在完美的金本位上有所改进。你所能期望的最好结果是同等的。幸运的是人工智能开发者，但不是病人，人类容易出错！

F1 得分

精确度和召回率的加权*均值(紫色单元)被称为 F1 分数，是机器学习中分类系统的常用度量。

其计算方法如下:

F1 得分= 2x((精确度 x 召回率)/(精确度+召回率))

然而，重要的是，这个分数没有考虑真正的否定(TN)。人工授精系统的阴性率对于确定(诊断“遗漏”率)很重要，因此也应尝试报告特异性和/或 NPV。

可能性和诊断优势比

为了涵盖阳性率和阴性率，需要一个包含检测概率和误报概率的综合单一指标。假阳性是“假警报”，假阴性是“假再确认”。

阳性似然比(LR+ = TPR / FPR)是检测的概率，高 LR+值是包括诊断的良好指标。

负似然比(LR- = FNR / TNR)是虚警的概率，低 LR 值是排除诊断的良好指标。

这两个比率(包括所有 4 个粉红色细胞)可以结合起来形成诊断比值比(DOR ),它是一项测试诊断准确性的量度。

其计算方法如下:

DOR = LR+ / LR- = (TPR/FPR) / (FNR/TNR)

DOR 的优势在于它不依赖于潜在的患病率，是一个不需要统计学意义的单一指标，具有 95%置信区间的简单计算，并且得到医学认可。

效力

测试的有效性可能最接*于“准确性”的定义，因为它是所有情况下指数测试的正确输出比例的度量。

其计算方法如下:

有效性= (TP + TN) / (TP + TN + FP + FN)

然而，有效性受潜在患病率的影响很大，这使得它成为一个较差的统计测试。例如，给定一组灵敏度和特异性，人群中高患病率的疾病比低患病率的疾病更有可能被指数测试诊断出来。因此，成效从不作为单一指标报告，而总是与 PPV 和 NPV 等其他指标一起报告。在测试人工智能系统的情况下，当计算有效性时，极高的流行率可能是一个问题，因为测试的每个案例都有一个诊断。

总结

不符合严格方法标准的研究通常会高估或低估测试性能的指标，因为它们限制了研究结果的适用性。人工智能开发人员可以使用几种统计方法，每种方法都有自己的优点和缺点。在临床环境中验证人工智能系统时，重要的是要考虑是否会报告真正的阴性结果，因为这将影响可以应用哪些统计测试。目前，医生的鉴别诊断、报告或发现不包括所有可能的阴性结果(这将过于详尽)，因此必须假设被排除的诊断/发现是阴性的。但是，由于错误/疲劳/知识偏差，这可能会错误地将排除的诊断/发现计算为阴性，从而导致一些错误的结果。相反，如果没有真正的阴性结果，只能推断出精确度、召回率和 F1 值，这不能提供医学相关阴性诊断/发现和遗漏方面的完整情况。

最后的信息是，没有 100%正确的方法来报告人工智能系统在临床环境中的准确性，因为每个人都有自己的怪癖！我的建议是报告 ROC 曲线、AUC 和 DOR——这样你就可以用医学家理解的统计语言涵盖阳性率和阴性率的所有方面。令人欣慰的是，ROC 曲线在机器学习界越来越受欢迎，所以对于那些将你的技能应用于医疗问题的人来说，你将能够让你遇到的医生理解你的结果。

参考文献:

【http://www.stard-statement.org/ 号

*【http://bmjopen.bmj.com/content/6/11/e012799 *

http://www.ifcc.org/ifccfiles/docs/190404200805.pdf

http://gim.unmc.edu/dxtests/roc3.htm

* [## 选择和解释诊断测试|生化医学

诊断检查的范围从从病人的病史和体检中获得的体征和症状到…

www.biochemia-medica.com](http://www.biochemia-medica.com/content/selecting-and-interpreting-diagnostic-tests)*

如果你和我一样对人工智能在医学成像领域的未来感到兴奋，并想讨论这些想法，请联系我们。我在推特@drhughharvey

如果你喜欢这篇文章，点击推荐并分享它会很有帮助。

关于作者:

哈维博士是一名委员会认证的放射科医生和临床学者，在英国国民医疗服务体系和欧洲领先的癌症研究机构 ICR 接受过培训，并两次获得年度科学作家奖。他曾在 Babylon Health 工作，领导监管事务团队，在人工智能支持的分诊服务中获得了世界第一的 CE 标记，现在是顾问放射科医生，皇家放射学家学会信息学委员会成员，以及人工智能初创公司的顾问，包括 Kheiron Medical。

DBSCAN 如何工作，为什么要使用它？

原文：https://towardsdatascience.com/how-dbscan-works-and-why-should-i-use-it-443b4a191c80?source=collection_archive---------0-----------------------

Scikit Learn — Plot Cluster Comparison

首先，这是我在 medium 上的第一个故事，如果我做错了什么，我很抱歉。其次，我的英语不是很流利，那么我可能会犯很多错误，对此我也很抱歉。

简单解释一下我为什么用英语写这篇文章:首先，我需要提高我的英语技能。那么，什么比用英语写课文更好呢？第二，我认为英语文本会比葡萄牙语(我的母语)文本更受欢迎。

我认为当我们尝试去做，犯错误并从中吸取教训的时候，我们就学到了新的东西。

"经验只是我们给自己的错误起的名字."(奥斯卡·王尔德)

好了，开始说 DBSCAN 吧。

带噪声应用的基于密度的空间聚类(DBSCAN) 是一种众所周知的数据聚类算法，常用于数据挖掘和机器学习。

基于一组点(让我们在图中举例说明的二维空间中思考)，DBSCAN 根据距离度量(通常是欧几里德距离)和最小点数将彼此靠*的点分组在一起。它还将低密度区域中的点标记为异常值。

参数:

DBSCAN 算法基本上需要两个参数:

eps :指定点之间应该有多*才能被认为是聚类的一部分。这意味着如果两点之间的距离小于或等于该值(eps)，则这些点被视为邻居。

minPoints :形成密集区域的最小点数。例如，如果我们将 minPoints 参数设置为 5，那么我们至少需要 5 个点来形成密集区域。

参数估计:

参数估计是每个数据挖掘任务都面临的问题。为了选择好的参数，我们需要了解它们是如何使用的，并且至少对将要使用的数据集有一个基本的了解。

eps :如果选择的 eps 值太小，很大一部分数据将不会被聚类。它将被视为异常值，因为不满足创建密集区域的点数。另一方面，如果选择的值太高，聚类将合并，大多数对象将在同一个聚类中。eps 应该根据数据集的距离来选择(我们可以使用 k-距离图来找到它)，但一般来说，较小的 eps 值是更可取的。

minPoints :作为一般规则，最小 minPoints 可以从数据集中的多个维度(D)中导出，因为 minPoints ≥ D + 1。对于有噪声的数据集，较大的值通常更好，并将形成更重要的聚类。minPoints 的最小值必须是 3，但是数据集越大，应该选择的 minPoints 值就越大。

你可以在这里找到更多关于参数估计的信息。

为什么要用 DBSCAN？

DBSCAN 算法应该用于查找数据中的关联和结构，这些关联和结构很难手动找到，但对于查找模式和预测趋势可能是相关的和有用的。

聚类方法通常用于生物学、医学、社会科学、考古学、市场营销、字符识别、管理系统等领域。

让我们考虑一下 DBSCAN 的实际应用。假设我们有一个电子商务，我们想通过向客户推荐相关产品来提高销售额。我们不知道客户到底在寻找什么，但根据数据集，我们可以预测并向特定客户推荐相关产品。我们可以将 DBSCAN 应用于我们的数据集(基于电子商务数据库)，并根据用户购买的产品找到聚类。使用此聚类，我们可以发现客户之间的相似之处，例如，客户 A 购买了 1 支笔、1 本书和 1 把剪刀，客户 B 购买了 1 本书和 1 把剪刀，然后我们可以向客户 B 推荐 1 支笔。这只是使用 DBSCAN 的一个小示例，但它可以用于多个领域的许多应用程序。

如何才能轻松实现？

正如我已经写的(提示:不要相信我写的所有东西)DBSCAN 是一个众所周知的算法，因此，您不需要担心自己实现它。您可以使用互联网上可以找到的一个库/包。下面是一个可以找到 DBSCAN 实现的链接列表: Matlab、 R、 R、 Python、 Python 。

我还开发了一个应用程序(葡萄牙语),以教学的方式解释 DBSCAN 如何工作。该应用程序是用 C++编写的，你可以在 Github 上找到它。

参考资料:

1996 年 8 月，北京大学出版社出版。一种基于密度的发现带噪声的大型空间数据库中聚类的算法。在 Kdd (第 96 卷，№34，第 226–231 页)中。

https://en.wikipedia.org/wiki/DBSCAN

应该有多‘深’才称得上深度学习？

原文：https://towardsdatascience.com/how-deep-should-it-be-to-be-called-deep-learning-a7b1a6ab5610?source=collection_archive---------2-----------------------

深度学习现在无处不在。它是 AI 的前沿，每个人似乎都在追求它。

当我们第一次试图理解深度学习的概念时，通常会出现一个问题，

“机器学习模型需要有多深才能被认为是深度学习模型？”

这听起来可能是一个合理的问题。毕竟，在深度学习中，我们正在使用更深更复杂的模型。

事实证明，我们问了一个错误的问题。我们需要从一个不同的角度来看待深度学习，看看为什么。

让我们来看几个深度学习的定义。

“机器学习中的一个子领域，它基于学习多级表示的算法，以便对数据之间的复杂关系进行建模。因此，较高级别的功能和概念是根据较低级别的功能和概念定义的，这样的功能层次结构被称为深度架构”——深度学习:方法和应用。

“概念的层次结构允许计算机通过用简单的概念构建复杂的概念来学习它们。如果我们画一个图表来显示这些概念是如何建立在彼此之上的，那么这个图表是很深的，有许多层。为此，我们将这种方法称为人工智能深度学习。”—深度学习。麻省理工学院出版社，伊恩·古德菲勒，约舒阿·本吉奥，亚伦·库维尔。

这些谈到了一个叫做分层特征学习的概念。为了理解它，让我们后退一步，看看深度学习模型是如何工作的。

让我们以卷积神经网络为例。

卷积神经网络是深度学习的一个主要例子。他们受到了视觉皮层(大脑中处理视觉输入的区域)中神经元排列方式的启发。这里，并不是所有的神经元都与来自视野的所有输入相连。相反，视野是由相互部分重叠的神经元群(称为感受野)组成的。

卷积神经网络(CNN)以类似的方式工作。它们使用数学卷积算子(*似于感受野的工作方式)处理输入的重叠块。

A Convolutional Neural Network

典型 CNN 的第一卷积层使用一组卷积滤波器来从输入图像中识别一组低级特征。这些识别的低级特征然后被汇集(来自汇集层)并作为输入提供给下一个卷积层，该卷积层使用另一组卷积滤波器从先前识别的低级特征中识别一组高级特征。这对于几个层继续进行，其中每个卷积层使用来自前一层的输入来识别比前一层更高级别的特征。最后，最后一个卷积层的输出被传递给一组完全连接的层，用于最终分类。

本质上，CNN 的卷积滤波器试图首先识别较低级别的特征，并使用这些识别的特征通过多个步骤逐渐识别较高级别的特征。

这就是我们前面讲的分层特征学习，是深度学习的关键，也是它与传统机器学习算法的区别所在。

Hierarchical Feature Learning

深度学习模型(如卷积神经网络)不会试图一次理解整个问题。

即，它不像传统算法试图做的那样，试图一次掌握输入的所有特征。

它所做的是逐段查看输入，并从中导出较低级别的模式/特征。然后，它使用这些较低级别的特征来逐步识别更高级别的特征，通过许多层，分等级地。

这使得深度学习模型能够通过从简单模式逐步建立复杂模式来学习复杂模式。这也允许深度学习模型更好地理解世界，它们不仅“看到”特征，还看到这些特征是如何建立的层次结构。

当然，必须分层次地学习特征意味着模型中必须有许多层。这意味着这样的模型将是“深”的。

这让我们回到了最初的问题:这并不是说我们将深度模型称为深度学习。那就是，为了实现分层学习，模型需要是深度的。深度是实现分层特征学习的副产品。

分层特征学习允许深度学习模型不像传统机器学习模型那样具有“性能高原”。

The (lack of) Plateau in Performance in Deep Learning

那么，我们如何鉴别一个模型是深度学习模型还是现在？
简单来说，如果模型使用分层特征学习——首先识别较低级别的特征，然后在此基础上识别较高级别的特征(例如，通过使用卷积滤波器)——那么它就是深度学习模型。如果不是，那么无论你的模型有多少层，它都不被认为是深度学习模型。

这意味着具有 100 个全连接层(并且只有全连接层)的神经网络不会是深度学习模型，但具有少量卷积层的网络会是。

如果你想了解更多关于深度学习的知识，可以在亚马逊查阅我的书:Build Deeper:Deep Learning 初学者指南 。

原载于 2017 年 9 月 5 日 www.codesofinterest.com。

牙科诊所如何解决取消预约的问题

原文：https://towardsdatascience.com/how-dental-clinics-are-solving-their-cancellation-epidemic-382e0131c0b3?source=collection_archive---------5-----------------------

牙科医学的学生在学校学习口腔卫生和牙科的各个方面，但有一点他们没有让你做好准备，那就是你会因为预约取消的瘟疫而浪费多少空闲时间。

事实证明，大约 20%的牙科预约在最后一刻被取消。在一些诊所，这个数字可能高达 50%,特别是当考虑到没有出现时。其中至少 75%仍未填补，这相当于该行业每年损失约 114 亿美元的收入。

当我们检查这种患者行为背后的原因时，我们可以看到许多患者在提前两到四周预约时取消预约——任何超过四周的预约被取消的风险都要高得多。

这是合乎逻辑的，因为大多数人的时间表主要是由他们不可预测的老板决定的，他们的孩子忘记告诉他们即将举行的家长会或在学校太早到来的最后期限等等。

取消的另一个预测因素是保险类型，它与社会经济地位密切相关。来自有公共保险的低收入家庭的病人是臭名昭著的失约者。处罚和一些战术服务的引入，如旨在提醒患者预约的灯塔 360 和解决方案 Reach ，在一定程度上改变了这种行为。然而，他们设法减少了失约，但没有取消，因为以前可能失约的人现在只需提前一两天取消。

这些行为上的变化，虽然为这些公司提供了成功的声称，但对该行业仍然是无益的，因为这些被取消的任命仍然在很大程度上是空缺的。

一家总部位于波士顿的健康科技初创公司对这个行业之谜提出了一个罕见的新观点。EarlierCare 的目标是通过应用机器学习算法来研究预订模式和取消约会的行为，从而减少取消，接*零。该数据将允许牙科诊所看到其最频繁取消的时间段的热图，并被给予关于如何修改其时间表中这些红色区域的可用性以尽可能减少它们的建议。

除了采用人工智能， EarlierCare 还旨在通过创建一个*台来减少取消预约的情况，该*台将通过一个应用程序向现有患者和新患者群“转售”这些新开放的位置。

然后，患者可以标记出他们最想看牙医的日期和时间，从而创建一个个性化的提醒日历，在取消预约后突然有空的时候通知他们。这为患者和诊所创造了双赢的局面，因为患者现在可以获得更方便的预约，他们也更确定自己能遵守。诊所的空缺职位会自动从现有数据库和外部早期护理患者库中填补。

无论机器学习发展到什么程度，不确定性都会存在。但通过研究我们的行为，我们可以利用习惯的力量，最终通过看似随机的万亿字节数据，帮助解决几十年的老问题。

费德勒是如何击败纳达尔的

原文：https://towardsdatascience.com/how-did-federer-beat-nadal-aus-open-17-90b956137610?source=collection_archive---------3-----------------------

对费达尔游戏玩法的深入探究

对于那些生活在岩石下的人来说，今年 1 月 29 日早些时候，费德勒和纳达尔之间的澳大利亚网球公开赛决赛在墨尔本举行。费德勒在史诗般的五盘比赛中胜出6–4 3–6 6–1 3–6 6–3，这是为电影编写的完美跷跷板！两位球员在整个比赛中都表现出了令人难以置信的毅力，特别是因为他们都在长期受伤后复出。对罗杰和拉法来说，这标志着一个非凡游戏赛季的开始，对我来说，有很多数据需要分析！

我一直想对费德尔的竞争做一次真正的深度挖掘，澳大利亚公开赛决赛似乎是一个不错的起点。多亏了令人难以置信的图表项目，世界可以对最*的大部分比赛进行逐镜头分析。对我们这样的网球爱好者来说绝对是金牌；)

在这篇博客中，我们将会看到拉法糟糕的正手击球，罗杰漂亮的反手回击以及这之间的一切。他们在球场上的发球有多好，身体发球对罗杰有效吗，拉法是从哪里完成长途拉力赛的？罗杰的反手击球被讨论了很多，他是打得很深，还是打在底线上？谁控制了反弹，谁处理压力更好，等等！

拍摄制作

让我们看看他们的投篮——意料之中的正手触地球和反手触地球领先，其次是反手削球和其他击球。

有趣的是，拉法比罗杰打更多的正手球，而罗杰比拉法打更多的反手球——很可能是纳达尔掩盖他的反手球的结果。很快会有更多的消息:)

按拉力赛长度计算的胜率

纳达尔的一个著名策略是延长反弹，迫使对手失误。这对罗杰不利吗？

左边是罗杰·费德勒通过致胜和诱导强迫失误赢得的分数(来自纳达尔)，右边是拉法。纳达尔的策略看起来肯定是有效的(6 杆后明显增加)，强迫失误让他比胜利者获得更多的分数！在费德勒这边，他的获胜者是在一个不同的联盟，在 6 次出手后为他赢得了超过 30%的分数。

谁主宰了！

分数显示这场比赛打得很好，两局轮流进行。然而，我想看看双方球员在比赛中的统治力，比赛分数是一个很容易衡量的变量。

优势得分:我没有深入研究拉力赛长度(一分有多难！)，只看在那个特定游戏中赢得的积分份额。假设罗杰以 40 比 15 赢得了比赛——罗杰的统治力得分是 0.8，而拉法的统治力得分是 0.2。

一个有趣的统计数据——罗杰在发球比赛中的*均统治力为 0.71，而纳达尔为 0.66。费德勒的发球稍微轻松了一点！

这是两个球员每场比赛的优势分数，由于发球的变化，会出现预期的曲折。看看第 6-8 场比赛，罗杰在第一盘击败了纳达尔，第 11-14 场比赛，纳达尔连续 4 场比赛！最后，在第五盘，罗杰最初被打破(勉强)，但他回来赢得了最后 4 场比赛的小跑！

发球

作为玩家游戏性的最重要因素之一，你的发球决定了接下来的对打风格！我已经分析了他们的发球策略，他们是否在寻找更短的反弹，以及他们的第一次和第二次发球有多不同。

显然罗杰有更好的一发(22%的一发得分率！)，但是拉法在第二次发球时挡住了它(用那一脚！).

发球方向——发球方向分为三大类，“宽”、“身体”和“T”。看看他们在*分(左边)和分庭(右边)的百分比。

x 轴是发球的自然顺序，deuce_wide 在最左边，ad_wide 在最右边。

重要的是要记住，罗杰打右手，而拉法打左手，以了解模式。而罗杰在 Deuce T 和 Ad Wide 打反手，拉法在 Deuce T 和 Ad T 打反手，罗杰投篮 60%发球给拉法的反手，拉法投篮 50%以上给罗杰的反手。该模式几乎是对称的两个*分和广告法院！

还要注意罗杰几乎从不在身体上发球，但是拉法在 30%的时候都在这样做——有意思！它有分红吗？

服务器在 3 分或以下赢得的分数百分比

对于纳达尔来说，向身体发球并不是一个很大的优势(在短分上)——这几乎类似于在*分场上向反手发球，以及在 Ad 场上最糟糕的方向。对于费德勒来说，所有方向的短分都几乎相等！

现在让我们把注意力转移到他们发球得分的进程上——发球方需要多长时间才能结束得分？

正如我们前面看到的，罗杰的第一次发球非常有效！由于拉法的二次发球胜率更高，我本以为这些反弹会持续更短时间——两者完全相等！每秒 5.3 次拉力赛——这可能是纳达尔用他的触地击球指挥拉力赛的结果。我们再深入一点，好吗？

左边的图表示第一次发球得分与对打得分的百分比，右边的图表示第二次发球得分。一个非常有趣的之字形图案是可见的，因为当球在他的球场上时，两个球员都占上风！根据我们之前的观察，拉斐尔在第二次发球时领先，而罗杰在第一次发球时也领先。

第一次发球的稳步下降表明，得分越长，对他不利的可能性就越大——如果这是一次强有力的发球，得分应该更早结束，对打仍然存在的事实表明回球者占了上风！

接发球

足够的服务，让我们得到一些好的回报！我们将会看到在回球时打了哪些球，从哪些位置以及回球的深度。

根据报道，费德勒在反手回击方面占据上风，而拉法在正手回击方面略微领先罗杰。不要看太多的切片和芯片回报，数量太少，没有任何洞察力。

我们已经看到了纳达尔令人惊讶的高身发球，让我们看看费德勒如何反应！

罗杰·费德勒几乎 50%的身体发球胜利——难以置信！拉法，请发球出界！纳达尔在身体上也有 50%的胜率，但他们总共只占 6 次发球(对洞察力来说微不足道)。

好的回报通常是快速深度的，这使服务器处于惊讶状态。弱小的矮个子通常很容易被派出，这就是为什么两个球员都更喜欢发球而不是对手的反手。

图中显示的是费德勒(左)和纳达尔(右)的短回和深回的百分比。费德勒在所有击球中都有更深的回球，尤其是正手击球！很明显，拉法应该在回报上下功夫，这将是费德勒发球 3 分高比例的一个重要因素。

触地击球

发球发了，接发球发了，我们还是要得分，对吗？让我们关注一下两位选手的击球方向——费德勒更多的直拍，纳达尔更多的正手？

蓝条代表斜线球、中线球、底线球、内外球的正手击球百分比。费德勒在左，纳达尔在右

我对两位球员如此高的斜线球命中率感到惊讶！正如所料，当球打在中间时，反手击球的比例较高，这表明反手击球的风险较低。另一个非常令人惊讶的数据是——相比纳达尔的 27 次(12%)，罗杰打出了 42 次内翻正手(20%)。你可能永远也猜不到这一点，让我们看看这些内外颠倒是否能有效地完成这一点？

为了计算最后一击的有效性，我考虑了三个因素——如果这一击是致胜的或者导致了对手的被迫失误(在接下来的一击中),则为+1，如果这一击被证明是非被迫失误，则为-1。因此，如果拉法打了 5 次反手得分，其中 2 次是致胜球，2 次是罗杰的诱导失误，1 次是拉法的非受迫性失误，他的反手得分将是(2+2–1)/5 = 0.6

让我们剖析一下上面的情节，它给了我们很多启示！

• 罗杰的正手斜线球还可以，但是拉法的失误有点多
• 中路的正手一点也不漂亮，尤其是拉法(6 次非受迫性失误，1 次致胜)。
• 嗯，拉法的正手下网一如既往的完美(香蕉射谁了？).罗杰因为他的非受迫性失误受到了很多处罚，显示了他的表现有多不稳定！
• 从内外来看，罗杰可能命中更多，但在这方面没有人能击败纳达尔！
• 反手向下-中间也不好看。基本不要中间击球！
• 费德勒的反手直拍再次显示了他的连胜(4 次胜利，2 次受迫性失误和 3 次非受迫性失误)

在最后的镜头中有更多的视觉效果

Forehand Finishing Shots

Backhand Finishing Shots

两张饼状图都显示了费德勒非受迫性失误的优势，也显示了纳达尔是如何从受迫性失误中获得异常高的分数的！

网玩

随着费德勒*年来在网球比赛中大获全胜，纳达尔成为一名底线球员，这几乎是一个机会！

一个有趣的统计数据是，当费德勒决定上网时，反弹是多么短暂。我完全可以想象费德勒发球，上前截击，然后纳达尔将球打入网内——4 次对打！

我告诉过你！

压力点

现在我们知道费德勒的比赛有多冒险了，他是如何在第五盘坚持住的，尤其是在休息的时候！我试图理解压力点，我的定义是当发球方在发球时落后一分以上(例如 0-30 或 15-40)，或者当他落后一个破发点(40-AD)时，就称为“压力点”。

这是压力点的图表。

Pressure points and Pressure points saved, Federer on left, Nadal on right

通过之字形曲线可以看到设定的优势，两条曲线之间的差距变成了失去的关键破发点！在第一盘，罗杰没有面对一个压力点，这与纳达尔在第四盘的情况类似。第五盘非常有趣——尽管在一个压力点上输了，但费德勒反击了，让纳达尔承受了巨大的压力(13 分！).最终，罗杰在最后 4 场比赛中连胜，夺得冠军:)

结论

• 罗杰打出了更多的致胜球和更多的非受迫性失误。五花肉的游戏性！
• 罗杰的发球比拉法更有统治力(0.71 比 0.66)
• 罗杰的第一次发球更有效，他发球得分率高
• 拉法有一个更强的二次发球，在比赛中一直表现得更好。
• 两名球员都在对方的背后发球，拉法在罗杰的身体上发了相当多的球。
• 为身体服务对拉法来说没有用——失去了 50%的分数
• 两位球员都有很高的斜线球命中率，罗杰比拉法更多的内外球。令人惊讶！
• 拉法在所有射门类型上都有更好的得分——罗杰犯了太多的错误。
• 罗杰打了一场非凡的落网球，在离网 4.5 个回合内完成了比赛。
• 直到第五盘，两位选手对压力点的处理几乎是一样的。罗杰全力以赴，最后一盘拉法连得 13 分，最终他屈服了！

总而言之，这个分析是更多分析的起点——我很想看看这几年来两位球员是如何处理最后一击、发球方向和压力点的！

2008 年温布尔登网球公开赛应该讲述一个不同的故事，对吧？；)

我们如何在一小时内构建图书推荐系统第二部分— k *邻和矩阵分解

原文：https://towardsdatascience.com/how-did-we-build-book-recommender-systems-in-an-hour-part-2-k-nearest-neighbors-and-matrix-c04b3c2ef55c?source=collection_archive---------0-----------------------

在的上一篇文章中，我们看到了如何使用简单的相关技术，根据图书用户的评分记录，在他们之间建立一个相似性的衡量标准。在本帖中，我们将展示如何使用这些相似性度量向读者提出建议。

基于 k *邻的协同过滤

kNN 是一种机器学习算法，可以根据常见的书籍评级来找到相似用户的聚类，并使用前 k 个最*邻居的*均评级进行预测。例如，我们首先在矩阵中显示评级，矩阵中每个项目(书籍)占一行，每个用户占一列，如下所示:

然后，我们找到具有最相似的用户参与度向量的 k 个项目。在这种情况下，项目 id 5 的最*邻居= [7，4，8，…]。现在让我们将 kNN 实现到我们的图书推荐系统中。

数据

我们使用上次使用的相同的图书数据:它由三个表组成:ratings、books info 和 users info。我从这里下载了这三张表。

评分信息

用户信息

图书信息

为了确保统计上的显著性，我们将只看流行书籍

为了找出哪些书受欢迎，我们需要结合书籍数据和评分数据。

然后，我们按书名分组，并为总评分创建一个新列。

我们现在将评分数据与总评分计数数据相结合，这正好给了我们过滤掉不太出名的书所需的数据。

让我们来看看总评分的统计数据:

中值书只被评价过一次。让我们看看分布的顶端:

大约 1%的书获得了 50 或更多的评分。因为我们的数据中有如此多的书，我们将把它限制到前 1%，这将为我们提供 2713 本独特的书。

仅过滤美国和加拿大的用户

为了提高计算速度，并避免遇到“内存错误”问题，我将把我们的用户数据限制在美国和加拿大。然后将用户数据与评级数据和总评级计数数据相结合。

实现 kNN

我们将表格转换为 2D 矩阵，并用零填充缺失的值(因为我们将计算评级向量之间的距离)。然后，我们将矩阵数据帧的值(等级)转换成一个稀疏矩阵，以便进行更有效的计算。

寻找最*的邻居

我们使用带有 sklearn.neighbors. 的无监督算法我们用来计算最*邻的算法是“brute”，我们指定“metric=cosine”这样算法就会计算评分向量之间的余弦相似度。最后，我们拟合模型。

测试我们的模型并提出一些建议:

在这一步中，kNN 算法测量距离以确定实例的“接*度”。然后，它通过查找最*的邻居对实例进行分类，并在邻居中挑选最受欢迎的类。

完美！《绿色一英里》系列书籍绝对值得推荐，一本接一本。

使用矩阵分解的协同过滤

Source: ohAI

矩阵分解只是一个玩弄矩阵的数学工具。矩阵分解技术通常更有效，因为它们允许用户发现用户和项目(书籍)之间交互的潜在(隐藏)特征。

我们使用奇异值分解(SVD)——一种矩阵分解模型来识别潜在因素。

与 kNN 类似，我们将美加用户评级表转换为 2D 矩阵(这里称为效用矩阵),并用零填充缺失值。

然后我们转置这个效用矩阵，这样书名变成了行，用户标识变成了列。在使用 TruncatedSVD 对其进行分解后，我们将其拟合到模型中进行降维。这种压缩发生在数据帧的列上，因为我们必须保留书名。我们选择 n_components = 12 作为 12 个潜在变量，您可以看到，我们的数据维度已经从 40017 X 2442 显著减少到 2442 X 12。

我们为最终矩阵中的每个图书对计算皮尔逊相关系数。为了与 kNN 的结果进行比较，我们选择了同一本书“绿色里程:科菲的手(绿色里程系列)”，以找到与它具有高相关系数(在 0.9 和 1.0 之间)的书籍。

你有它！

不算太寒酸！我们的系统可以打败亚马逊的，你说呢？看标题截图！

参考:音乐推荐

我们如何在一小时内建立图书推荐系统第一部分——基础

原文：https://towardsdatascience.com/how-did-we-build-book-recommender-systems-in-an-hour-the-fundamentals-dfee054f978e?source=collection_archive---------3-----------------------

几乎每个人都有过这样的网上体验:网站为了未来的销售或持续的流量而提供个性化的推荐。亚马逊告诉你“买了这个商品的顾客也买了”，Udemy 告诉你“看过这个课程的学生也看过”。2009 年，网飞向一个开发团队颁发了 100 万美元的奖金，奖励其将公司推荐系统的准确率提高了 10%的算法。

如今，构建推荐系统需要分析、机器学习和软件工程方面的专业知识，学习新的技能和工具既困难又耗时。在这篇文章中，我们将从头开始，讲述 Python 中的一些基本技术和实现。在以后的文章中，我们将介绍更复杂的方法，如基于内容的过滤和基于协作的过滤。

所以，如果你想从头开始学习如何构建推荐系统，那就开始吧。

数据

Book-Crossings 是由蔡-尼古拉斯·齐格勒编制的图书评分数据集。它包含 90，000 个用户对 270，000 本书的 110 万个评级。等级从 1 到 10。

该数据由三个表组成:评级、图书信息和用户信息。我从这里下载了这三张表。

import pandas as pd
import numpy as np
import matplotlib.pyplot as pltbooks = pd.read_csv('BX-Books.csv', sep=';', error_bad_lines=False, encoding="latin-1")
books.columns = ['ISBN', 'bookTitle', 'bookAuthor', 'yearOfPublication', 'publisher', 'imageUrlS', 'imageUrlM', 'imageUrlL']
users = pd.read_csv('BX-Users.csv', sep=';', error_bad_lines=False, encoding="latin-1")
users.columns = ['userID', 'Location', 'Age']
ratings = pd.read_csv('BX-Book-Ratings.csv', sep=';', error_bad_lines=False, encoding="latin-1")
ratings.columns = ['userID', 'ISBN', 'bookRating']

评级数据

评级数据集提供了用户对图书的评级列表。它包括 1，149，780 条记录和 3 个字段:userID、ISBN 和图书评级。

收视率分布

收视率分布很不均匀，绝大多数收视率都是 0。

书籍数据

图书数据集提供了图书的详细信息。它包括 271，360 条记录和 8 个字段:ISBN、书名、图书作者、出版商等。

用户数据

该数据集提供用户人口统计信息。它包括 278，858 条记录和 3 个字段:用户 id、位置和年龄。

年龄分布

最活跃的用户是那些 20-30 岁的人。

基于评级计数的建议

ISBN 为“0971880107”的书获得了最多的评分。我们来看看是什么书，前 5 都有哪些书。

在这个数据集中获得最多评分的书是里奇·沙佩罗的《野性的阿尼姆斯》。这五本书有一个共同点，那就是它们都是小说。这位推荐者认为小说很受欢迎，可能会获得更高的收视率。而如果有人喜欢《可爱的骨头:一部小说》，我们大概也应该向他(或她)推荐《野阿尼姆斯》。

基于相关性的建议

我们使用皮尔逊相关系数来衡量两个变量之间的线性相关性，在我们的例子中，两本书的评级。

首先，我们需要找出*均评分，以及每本书获得的评分数。

观察结果:

在这个数据集中，获得最多评价的书根本没有得到很高的评价。因此，如果我们使用基于评分的推荐，我们肯定会犯错误。所以，我们需要一个更好的系统。

为确保统计显著性，评级低于 200 的用户和评级低于 100 的图书被排除在外。

评级矩阵

我们将评级表转换成 2D 矩阵。这个矩阵将是稀疏的，因为不是每个用户都对每本书进行评级。

让我们来看看哪些书与排名第二的书《可爱的骨头:一部小说》相关。

引用维基百科的话:“这是一个十几岁的女孩在被强奸和谋杀后，在她的个人天堂看着她的家人和朋友努力继续他们的生活，同时她接受了自己的死亡”。

我们获得了图书的 ISBNs，但是我们需要找出书名，看看它们是否有意义。

让我们从上面高度相关的列表中选择三本书来考察:《保姆日记:一部小说》、《飞行员的妻子:一部小说》和《心在哪里》。

《保姆日记》讽刺了曼哈顿上层社会在照看孩子的人眼中的形象。

《可爱的骨头》的作者是同一个人，《飞行员的妻子》是 Shreve 非正式三部曲中的第三部小说，故事发生在新罕布什尔州海岸的一座大型海滨别墅里，这里曾是一座修道院。

《心在何处》详细描述了美国低收入家庭和寄养儿童的苦难。

这三本书听起来会与《可爱的骨头》高度相关。看来我们的关联推荐系统正在发挥作用。

摘要

在这篇文章中，我们学习了如何设计简单的推荐系统，你可以在一个小时内实现并测试它。这篇博文的 Jupyter 笔记本版本可以在这里找到。如果你想了解更多，Xavier Amatriain 的讲座是一个很好的起点。

在未来的帖子中，我们将介绍更复杂的方法，如基于内容的过滤、k-最*邻、协作过滤，以及如何提供推荐和如何测试推荐系统。在此之前，享受推荐！

我的训练和测试数据有多相似？

原文：https://towardsdatascience.com/how-dis-similar-are-my-train-and-test-data-56af3923de9b?source=collection_archive---------0-----------------------

了解机器学习模型可能失败的场景

他们总是说不要拿苹果和橘子比较。但是如果我们比较一种苹果和橘子的混合物和另一种苹果和橘子的混合物，但是分布是不同的呢？还能比吗？你会怎么做？

在现实世界的大多数情况下，你会遇到后者。

这在数据科学中经常发生。在开发机器学习模型时，我们遇到了这样一种情况，我们的模型在训练数据上表现很好，但在测试数据上却无法达到同样的性能。

我这里指的不是过度适应。即使我选择了基于交叉验证的最佳模型，但它在测试数据上的表现仍然很差，测试数据中仍有一些我们没有捕捉到的固有模式。

想象一下这样一种情况，我正试图模拟顾客的购物行为。现在，如果我的训练和测试数据如下所示，那么您可以清楚地看到这里的问题。

与测试相比，该模型将针对*均年龄较低的客户进行培训。这个模型从未见过像测试数据中那样的年龄模式。如果年龄是你的模型中的一个重要特征，那么它在测试中就不会有好的表现。

在这篇文章中，我将谈论如何识别这个问题，以及我们如何解决它的一些原始想法。

协变量移位

我们可以更正式地定义这种情况。协变量是指我们模型中的预测变量。协变量移位是指预测变量在训练和测试数据中具有不同**特征(分布)**的情况。

在有许多变量的现实世界问题中，协变量的变化很难发现。在这篇文章中，我试图讨论一种方法来识别这一点，以及如何解释这种训练和测试之间的转换。

基本思路

如果存在协变量偏移，那么在混合训练和测试时，我们仍然能够以良好的准确性对每个数据点的来源(无论是来自测试还是训练)进行分类。

我们来了解一下原因。考虑上面的例子，其中年龄是测试和训练之间的漂移特征。如果我们采用类似随机森林的分类器，并尝试将行分类为测试和训练，年龄将成为分割数据时非常重要的特征。

实施

现在，让我们尝试将这个想法应用到真实的数据集上。我用的是这次 kaggle 比赛的数据集:https://www . ka ggle . com/c/Porto-seguro-safe-driver-prediction/data

第一步:数据预处理

我们必须首先清理我们的数据，估算所有缺失值，并对所有分类变量进行标签编码。对于这个数据集，不需要这一步，所以我跳过了这一步

#loading test and train data
train = pd.read_csv(‘train.csv’,low_memory=True)
test = pd.read_csv(‘test.csv’,low_memory=True)

Step2: 表示产地来源

我们必须在训练和测试数据中添加一个特征**‘is _ train’**。该特性的值对于测试为 0，对于序列为 1。

*#adding a column to identify whether a row comes from train or not
test[‘is_train’] = 0
train[‘is_train’] = 1* 

第三步: 训考结合

然后我们必须把两个数据集结合起来。此外，由于训练数据具有测试中不存在的原始“目标”变量，我们也必须删除该变量。

***注意:*对于您的问题，“目标”将被您的原始问题的因变量的名称所替代

*#combining test and train data
df_combine = pd.concat([train, test], axis=0, ignore_index=True)
#dropping ‘target’ column as it is not present in the test
df_combine = df_combine.drop(‘target’, axis =1)y = df_combine['is_train'].values #labels
x = df_combine.drop('is_train', axis=1).values #covariates or our independent variablestst, trn = test.values, train.values*

第四步: 构建并测试一个分类器

出于分类的目的，我使用随机森林分类器来预测组合数据集中每一行的标签。您也可以使用任何其他分类器。

*m = RandomForestClassifier(n_jobs=-1, max_depth=5, min_samples_leaf = 5)
predictions = np.zeros(y.shape) #creating an empty prediction array*

我们使用分层的 4 倍，以确保每个类别的百分比得到保留，并且我们一次覆盖全部数据。对于每一行，分类器将计算它属于训练的概率。

*skf = SKF(n_splits=20, shuffle=True, random_state=100)
for fold, (train_idx, test_idx) in enumerate(skf.split(x, y)):
 X_train, X_test = x[train_idx], x[test_idx]
 y_train, y_test = y[train_idx], y[test_idx]

 m.fit(X_train, y_train)
 probs = m.predict_proba(X_test)[:, 1] #calculating the probability
 predictions[test_idx] = probs*

第五步: 解释结果

我们将输出我们的分类器的 ROC-AUC 度量，作为对该数据有多少协变量偏移的估计。

如果分类器能够以良好的准确性将行分类到训练和测试中，我们的 AUC 得分应该在较高的一侧(大于 0.8)。这意味着训练和测试之间的强协变量转移。

*print(‘ROC-AUC for train and test distributions:’, AUC(y, predictions))# ROC-AUC for train and test distributions: 0.49944573868*

AUC 值为 0.49 意味着没有明显的协变量变化。这意味着大多数观察值来自不特定于测试或训练的特征空间。

由于这个数据集取自 Kaggle，所以这个结果是意料之中的。因为在这种竞争中，数据集是经过精心策划的，以确保这种变化不存在。

在我们开始建模之前，可以对任何数据科学问题重复这一过程，以检查协变量的变化。

超越

在这一点上，我们要么观察协变量转移，要么不观察。那么，我们可以做些什么来提高测试数据的性能呢？？

1. 漂移特征的丢弃
2. 使用密度比估计的重要性权重

漂移特征的丢弃:

***注:*此方法适用于你见证协变量移位的情况。

• 从我们在上一节中构建的随机森林分类器对象中提取特征重要性
• 顶部的特征是那些正在漂移并导致转变的特征
• 从顶部的功能中，一次放下一个变量，构建您的模型并检查其性能。收集所有不会降低性能的特性
• 现在，在构建最终模型时，删除所有这些功能

Bucketing of features

我们的想法是移除红色桶中的要素

使用密度比估计的重要性权重

***注:*无论是否存在协变量移位，该方法都适用。

让我们来看看我们在上一节中计算的预测。对于每个观察值，该预测告诉我们根据我们的分类器它属于训练数据的概率。

*predictions[:10]
----output-----array([ 0.34593171])*

因此，对于第一行，我们的分类器认为它属于概率为. 34 的训练数据。我们姑且称之为 P(火车)。或者我们也可以说它有 0.66 的概率来自测试数据。我们姑且称之为 P(测试)。魔术是这样的:

对于每一行训练数据，我们计算一个系数 w = P(测试)/P(训练)。

这个 w 告诉我们训练数据的观察值与我们的测试数据有多接*。下面是笑点:

我们可以在我们的任何分类器中使用这个 w 作为样本权重，以增加这些看起来与我们的测试数据相似的观察值的权重。直觉上，这是有意义的，因为我们的模型将更侧重于从观察中捕捉模式，这似乎类似于我们的测试。

这些重量可以使用下面的代码来计算。

*plt.figure(figsize=(20,5))
predictions_train = predictions[len(tst):] #filtering the actual training rows
weights = (1./predictions_train) — 1\. 
weights /= np.mean(weights) # Normalizing the weightsplt.xlabel(‘Computed sample weight’)
plt.ylabel(‘# Samples’)
sns.distplot(weights, kde=False)*

您可以传递在模型拟合方法中计算的权重，如下所示:

*m = RandomForestClassifier(n_jobs=-1,max_depth=5)m.fit(X_train, y_train, ***sample_weight=weights***)*

Weights distribution for the training observations

以上情节中需要注意的一些事情:

• 观察值的权重越高，与测试数据越相似
• 几乎 70%的训练样本具有接* 1 的样本权重，因此来自对训练或测试高密度区域不是非常特定的特征空间。这与我们计算的 AUC 值一致

结束注释

我希望现在你对协变量转换有了更好的理解，你可以如何识别它并有效地对待它。

参考

[1] Shimodaira，H. (2000 年)。通过加权对数似然函数改进协变量移位下的预测推断。统计规划与推论杂志，90，227–244。
【2】比克尔，S. 等 (2009)。协变量移位下的鉴别学习。机器学习研究杂志，10，2137–2155

https://github.com/erlendd/covariate-shift-adaption

[4]所用数据集的链接:https://www . ka ggle . com/c/Porto-seguro-safe-driver-prediction/data

数据科学家如何提出正确的问题？

原文：https://towardsdatascience.com/how-do-data-scientists-ask-the-right-questions-6a5d7b89cdd9?source=collection_archive---------10-----------------------

我喜欢提问。而且，多年来，这份爱让我不仅能很好地提问，还能问出正确的问题。

通过在大学里学习古希腊语和拉丁语，我非常熟悉一些最好的魔鬼拥护者:苏格拉底、亚里士多德和柏拉图；在获得图书馆和信息科学硕士学位的同时，我开始应用批判性思维大师的学术研究框架，如玛西娅·贝茨和布伦达·德文；现在，在熨斗学院的数据科学沉浸式课程中，我开始学习数据科学的提问方式。

那么，对于一个数据科学家来说，问正确的问题是什么样的呢？

如果你花几秒钟在谷歌上搜索“问正确的问题数据”，你会检索到几十个“问这几个问题，你不会出错”的想法。这些妙趣横生的文章更有可能用下图这样的图表来修饰:

Image from Piyanka Jain‘s piece “3 Key Analytics Questions to Ask Your Big Data” (2012).

这些图片通常概述的步骤大致如下:1)就衡量成功的关键绩效指标达成一致(上文 Jain 的衡量框架)，2)定义这些关键绩效指标(上文 Jain 的投资组合分析)，以及 3)确定利益相关方(上文 Jain 的客户分析)。一旦你做到这一切，瞧！你拥有一切你需要的东西来精心制作一个值得数据驱动的探索的真诚问题。

虽然回答上述问题应该是任何数据驱动的分析的一部分，但简单地回答这些问题似乎不符合数据科学家在“做”数据科学时所做的事情。那么，我们带来了什么额外的东西呢(当然，除了我们对微积分、线性代数、统计学、概率和编程的惊人理解之外)？

嗯，在这个领域呆了整整两个星期之后，我觉得有资格说，数据科学提问方式的独特力量来自于……等等……科学！

(不，我不是说数据科学家整天站在实验室里，在显微镜下看着比特和字节。我的意思是，数据科学家通过使用传统上与生命科学相关的技术来质疑他们的世界。)

对一些人来说，这似乎是显而易见的——科学实际上是专业的名称——但在写这篇文章之前，它对我来说仍然有点模糊。

为了提醒我们自己“科学”意味着什么，让我们回到五年级和科学方法。科学方法的第一步(或者第二步，如果你把观察算作第一步的话)是提问。

https://www.slideshare.net/jamesbirchler/experimenting-your-way-to-success-applying-lean-startup-principles-to-product-development-at-imvu

回到五年级，在提出一个问题后，我们被教导形成一个假设，然后检验这个假设，最后分析我们的结果。但是我们很少被鼓励在观察数据和得出结论之间徘徊(另外，我们为什么要这样做？最酷的部分是证明醋和小苏打混合会使东西爆炸。

但是，我们在五年级时掩盖的同一个极限空间，我们可以根据某种基于数据的反馈循环一次又一次调整我们的问题的空间，似乎就是制造数据科学特殊调味酱的地方。

如果我们深入一些数据科学教育学，我们可以看到科学方法与乔·布利茨坦和汉斯·彼得·菲斯特所说的“数据科学过程”之间的相似之处:

https://insidebigdata.com/2014/11/12/ask-data-scientist-data-science-process/

你会很快发现科学方法和数据科学过程非常非常相似。

(如果你想要一个更性感的版本，请查看微软的数据科学生命周期，并用“问一个问题”替换商业理解。)

而且，与探索最相关的是，他们都强调迭代(Bircher 的科学方法图及其“快速迭代”调用，以及 Blitzstein & Pfister 的不断旋转的箭头)。这些过程中的“科学”似乎体现在一个我们应该反复重复的问题-测试-分析循环中。通过重复这些步骤，数据科学家能够精心设计正确的问题。

这些正确的问题被脸书数据科学家 Brandon Rohrer 称为“尖锐的”在“如何做数据科学”中，他写道:

在选择你的问题时，想象你正在接*一个神谕，它可以告诉你宇宙中的任何事情，只要答案是一个数字或一个名字。这是一个恶作剧的神谕，它的回答将尽可能含糊不清，令人困惑。你想用一个无懈可击的问题来确定它，以至于先知不得不告诉你你想知道的。糟糕问题的例子有“我的数据能告诉我关于我的业务的什么？”，“我该怎么办？”或者“我如何增加利润？”这些为无用的答案留下了回旋的空间。相比之下，对于“第三季度我会在蒙特利尔卖出多少台 Q 型小玩意？”这样的问题，答案很明确或者“我车队中的哪辆车会先出故障？”是无法避免的。

当然，因为我们是在这里做科学研究，Rohrer 的文章以命令式的**“然后重新开始”结束。**

数据科学教育家 Raj Bandyopadhyay 在“数据科学过程:一个数据科学家每天实际做什么”中同样强调了提问的迭代过程是真正的数据科学分析的第一步:

你一开始会问很多问题。。。一旦你对这个领域有了一个合理的理解，你应该问更多有针对性的问题，以准确理解你的客户想要你解决的问题。。。答对了！你现在可以看到问题中的数据科学。。。[和]。。。你可以把它框起来。。。请求进入数据科学问题。。。【还有一次】。。。你有一些具体的问题，你可以回到销售副总裁那里，向她展示你的问题。

…等等，直到你到达的问题。

总之，虽然为数据分析提供一个按数字绘制的解决方案的思考片段对于调整业务目标和让你的老板高兴是有用的，但要知道数据科学远不止这些。

数据科学是关于科学的！科学是关于反复提问的，很少能被包装成一个可转移的“做这个，然后做那个”的包。这就是为什么数据科学家拥有我们出了名的高薪，并且是值得这些薪水和尊敬的神奇科技独角兽——我们是批判性思维、商业敏锐度和硬技能的结合体。

爱因斯坦知道发生了什么，他说

如果我有一个小时来解决一个问题，而我的生命取决于它，我会利用前 55 分钟来确定要问的适当问题，因为一旦我知道了适当的问题，我就可以在不到 5 分钟的时间内解决问题。

如果我有一个小时来解决一个问题，我可能会分配至少 10 分钟来阅读栈溢出，但是嘿，爱因斯坦不得不利用他所拥有的。

温哥华人对(取消)拥挤收费有什么看法？一种社交媒体文本挖掘方法。

原文：https://towardsdatascience.com/how-do-vancouverites-feel-about-de-congestion-pricing-a-social-media-text-mining-approach-90b3635f840c?source=collection_archive---------3-----------------------

温哥华是世界上许多考虑移动定价策略的城市之一，希望以此减少交通拥堵，促进公*，支持交通投资。成立了一个移动定价独立委员会，对在温哥华市引入去拥堵收费的可行性进行研究并提出建议，以实现这些目标。

几周前，我在委员会的脸书官方网页上浏览对其中一个帖子的评论——“是时候了，Metro Vancouver*”——这两条评论引起了我的注意:*

在同一周，我有机会参加了由新威斯敏斯特市组织的小组讨论，会上发表了不同的意见。许多与会者认为移动定价是减少拥堵的灵丹妙药，而其他人则严重关注公*、公正和可负担性。在脸书和推特的官方页面上，我也观察到了一个类似的趋势，这让我很好奇——温哥华人对拥堵费有什么看法？

我的假设是:这是一种消极的感觉。显而易见先生——嘿，我听到了！不要认为我的话是理所当然的。正如 w .爱德华兹·戴明曾经说过的:我们信赖上帝；所有其他人带来的数据。因此，让我们获取数据，进行一些分析，并对这一假设进行测试。**

正如你将在几分钟后看到的，我的分析得出结论，虽然关于这个有争议的话题确实有复杂的感情，但负面的情绪占主导地位。这是一种自然的反应:没有人愿意为他们曾经“免费”拥有的东西付费(许多纳税人认为这不是真正的免费)。这适用于任何形式的移动定价，尤其是在像美丽的温哥华这样的昂贵城市，以及我们目前支付的所有税收(包括汽油税)之外。也许这个一般观察的(唯一)例外是当人们看到引入新收费的价值时。不幸的是，真正的价值可能我们很多人都不清楚。****

在我们看结果之前，我想指出一个重要的注意事项。这种分析所感受到的表达出来的情绪可能不能用它们的真实程度来表示。只有通过精心设计的实验，从的代表性样本中收集数据，才能对感兴趣的量进行准确的估计。在这一分析中，来自用户在脸书官方帖子上互动的数据只被使用了*。诚然，这个样本不能被认为是一个代表性的样本，但尽管如此，它提供了一个镜头来回答这个有趣的问题。***

在接下来的两节中，我将解释数据是如何收集和分析的。分析在R中完成，源代码可在 Github 上获得。

数据

数据收集自 2017 年 10 月下旬至 2018 年 3 月中旬委员会的官方脸书页面。这一时期涵盖了是时候了项目的整个公众参与阶段。

我使用了Rfacebook包——它提供了一个到脸书 API 的接口——来获取页面内容。数据分 3 步查询。首先我查询了帖子，然后是评论，最后是评论回复。帖子数据集包括发布的消息和类型(状态、照片、视频等。)，喜欢的次数和反应(喜欢，难过，生气等。)、份额数量、时间戳和 ID。评论和评论回复数据集的结构几乎相同。两个数据集都包括发表的评论、赞数、时间戳和 ID。

分析

为了测量用户的印象，我们将从两个方面分析这些数据:一个是通过用户对每个帖子做出反应的显式情绪(对帖子的分析)。另一种是通过使用文本挖掘技术的情感分析(评论分析)。我将在下面的小节中详细讨论这两种方法。

一、职位分析

为了将事情放入 perceptive 并了解页面的活跃程度，让我们看看每月的帖子数量:

下图显示了每月的参与度。我不是社交媒体专家(甚至不是一个非常活跃的用户！)，但是，我理解“参与度”一词在营销和广告领域可能有不同的含义。在这个分析中，我将参与度定义为“用户每月的总活动量”，包括喜欢、反应、评论和分享的数量。

理想情况下，敬业度计算为一个比率或加权*均值，其中不同类型的敬业度根据其重要性进行加权。例如，一个帖子的分享应该比一个评论或类似的东西更重要。然而，就我有限的知识而言，没有明确的方法来量化这一点。因此，我决定简单地将不同类型的约定放在一起。也就是说，可能有一些重复计算(同一个人可能喜欢、分享和评论同一篇帖子)，这在下图中没有考虑到。由于我无法访问只有页面所有者或管理员才能访问的“洞察”数据(如帖子的总点击量或浏览量)，因此限制重复计算和/或计算更有意义的比率是不可行的。

回到正题:看起来二月是参与度最高的月份。接下来，我们来看看帖子反应的分布情况:

特别感兴趣的，点赞数和愤怒情绪。总的来说，喜欢的情绪多于愤怒的情绪。以下是在参与阶段每个月的*均反应数，即喜欢和愤怒反应数的趋势:

在参与活动的早期阶段，没有太多的愤怒反应，然而，这一数字在 2 月份达到了最高水*。有意思！看起来二月份的帖子收到了最多的喜欢和愤怒情绪！

让我们看看最受欢迎的帖子是什么？

**We’re studying Distance-Based Charges: charging per kilometre driven within a given boundary, varying by time and location. We’re exploring ways this type of charge could work in Metro Vancouver to figure out whether this approach would reduce congestion, improve fairness, and support transportation investment in our growing region. We want to hear your thoughts when online engagement opens on February 26!**

收到最多愤怒反应的帖子是什么？

**We’re studying Distance-Based Charges: charging per kilometre driven within a given boundary, varying by time and location. We’re exploring ways this type of charge could work in Metro Vancouver to figure out whether this approach would reduce congestion, improve fairness, and support transportation investment in our growing region. We want to hear your thoughts when online engagement opens on February 26!**

不，这不是一个错误！同样的帖子获得了最高数量的喜欢和愤怒的反应。在不同的拥挤收费方法(警戒线收费、过路费等)中。)，看起来“基于距离的收费”是页面上讨论的最有争议的方法。有道理，对吧？

在我们进入下一部分之前，让我们将反应分为积极(喜欢和爱)和消极(生气、悲伤、哈哈和哇)情绪。我把哈哈和哇的反应归类为负面情绪，因为在这种情况下，它们分别与讽刺和震惊联系在一起。

耶！

抓紧…我们不要太兴奋太快。评论中仍然隐藏着大量我们尚未看到的信息。下一节重点分析评论和评论回复。

二。评论分析

根据所选的分析单位，有许多可能的方法来分析文本数据。一种方法是将分析单位定义为单词。另一种方法是将其定义为文本块(一句或多句)。后一种方法更现实，但也更复杂。

在我们深入分析之前，值得注意的是，我将评论和评论回复合并在一个数据集中。我还删除了页面管理员的所有评论，以便分析只关注用户的评论。在文本挖掘分析中，去除“停用词”和数字是很典型的，我也是这样做的。

现在，让我们来看看评论中最常用的词语:

“拥堵”这个词没有进入前五名！“税”是使用最多的词，其次是“人”——嗯，“税务人”只是提醒一下，以防你想知道:“不”是一个停用词，从正在分析的词包中删除。

这里是评论中使用的漂亮的彩色单词云——颜色和大小表示每个组的排名:

接下来，我们将讨论从用户评论中挖掘情感的两种方法:作为单词和作为评论。

二世。a .情感分析—字数

在我们看了词频之后，现在让我们来看看这些词背后潜在的情感。这个过程通常被称为意见挖掘或情感分析。为了做到这一点，我们需要知道每个单词的相关情绪。幸运的是，有字典可以用来评估超过 27，000 个单词的相关意见或情绪。****

在这个分析中，我使用了三个通用词汇:AFINN、bing和nrc——这三个都是tidytext R包的一部分。值得注意的是，这些词典是基于单字(即单个单词)。单字方法不考虑单词组合，如“不高兴”或“非常悲伤”。在某些文本中(如小说)，这可能不是一个问题。然而，对于预期会出现否定和讽刺的情况，比如在社交媒体文本中，基于词汇的方法可能不会返回最准确的结果。尽管如此，它们仍然可以用来获得评论中情感内容的总体感觉。

如使用 R 的 文本挖掘中所述，nrc词典以二元方式(“是”/“否”)将单词分类为积极、消极、愤怒、预期、厌恶、恐惧、快乐、悲伤、惊讶和信任。bing词典以二元方式将单词分为积极和消极两类。AFINN词典给单词打分在-5 到 5 之间，负分表示消极情绪，正分表示积极情绪。

让我们来看看基于三种词汇的结果是如何比较的:

Word Sentiments using nrc lexicon

Word Sentiments using bing lexicon

Word Sentiments using AFINN lexicon

看起来,bing和AFINN词汇的结果更加一致——负面情绪的词汇更多。另一方面，将nrc词典中的不同情绪分为积极情绪和消极情绪(类似于我们之前对帖子反应所做的)会导致两组之间的单词份额几乎相等。鉴于我前面提到的这种方法的局限性，我不想在这些结果上多费口舌。相反，让我们看看如何将评论作为一个文本单元而不是一个词来进行情感分析。

二。b .情感分析—评论

在本节中，我们的目标是为每条评论分配一个情感分数，同时将评论视为一个文本单元，而不是单个单词。几年前，这不是一个简单的问题。然而，多亏了谷歌，这现在变得更加可行和容易实现。

谷歌云*台的最新更新提供了强大的机器学习 API，这些 API 运行在复杂的深度学习模型背后，这些模型是多年来利用谷歌源源不断的数据和巨大的计算能力开发的。这些工具和服务使用户更容易在指尖驾驭机器学习的力量。自然语言处理(NLP) API 也不例外。我使用了[googleLanguageR](https://cran.rstudio.com/web/packages/googleLanguageR)包来访问 NLP API。为了能够访问这个 API，必须首先获得一个密钥。查看谷歌文档获取快速入门指南。建立一个软件开发帐户，除了 300 美元的注册积分之外，还提供每月一定限额(NLP API 为 5000)的免费访问。

NLP API 提供不同的服务。出于本文的目的，我将只关注情绪分析。分析的重点是识别给定文本中的主流情感观点。根据谷歌的文档，情感是由数值score和magnitude来表示的。score的范围在-1 和 1 之间，表示总体情绪是消极的还是积极的。与score不同的是，magnitude没有规格化。然而，它是一个正整数，表示情绪的强度(消极或积极)，通常与文本的长度相关(文本越长，magnitude越高)。

为了验证 API 结果，我评估了一堆注释和它们的赋值scores。结果相当不错。正如人们所料，API 背后的模型并不完美，但我多次惊讶于其对潜在情绪的捕捉。请记住，社交媒体文本通常是低质量的文本，包括拼写错误、表情符号和缩略语。我还注意到，非常短的评论经常得到零或接*零的scores。这可能表明，如果模型是不确定的，它会分配一个低的score——这是需要记住的。

下面是用户评论的score分布:

如你所见，负面评论比较多。然而，有很多零或接*零的评论score。我们应该如何处理这些问题？

总的来说，score和magnitude指标可用于测量四种情绪水*，即:积极、消极、中性和混合情绪。例如，零或接*零的文本score可能被解释为低情绪或混合情绪的文本。低情绪文本是一个中立的观点，而混合情绪文本是一个积极和消极情绪相互抵消的文本。谷歌建议用magnitude来区分两者。具有低score和低magnitude的文本应归类为中性文本，而混合文本将具有低score和高magnitude。低和高的定义相当宽松；这在很大程度上取决于分析的背景。基于score的分布，并通过检查个人评论，我发现，*均而言，score在-0.2 和 0.2 之间的文本既不明显是负面的，也不明显是正面的。类似地，通过查看magnitude低score评论的分布(在-0.2 和 0.2 的范围内)，0.5 似乎是定义低/高magnitude的合理界限。

如果你还记得，根据明确的反应(例如，喜欢，愤怒的情绪)，我们发现关于“基于距离的收费”的帖子是同时收到最多喜欢和愤怒情绪的帖子。你猜怎么着？结果发现，同一篇帖子收到的正面和负面评论最多(基于四个定义的情绪水*)。这是对情感分析结果的很好的验证。

我们来看看用户评论中情绪的四个层次的分布情况:

这并不奇怪。我们从score分布中得知，负面评论会更多。但是，正如你所看到的，也有相对较高比例的低情绪评论被分为中性和混合情绪评论。

现在让我们考虑一下看待这个问题的另一种方式。如果你是脸书用户，你可能知道评论和评论回复也可以被用户喜欢。让我们考虑这个假设的例子，对于一个给定的帖子，有两条评论:一条负面评论获得 10 个赞，一条正面评论获得 15 个赞。如果我们忽略喜欢的数量，我们会得出结论，该帖子被感知的比例为 50/50。然而，与一个负面评论和 10 个喜欢(11 个负面印象)相比，得出帖子被正面看待的结论可能更现实，因为有一个正面评论和 15 个喜欢(16 个正面印象)。下图显示了基于他们收到的评论和相关赞数的分布情况。

这种方法是一种改进，但并不完美。同一个人可以任意多次评论一篇文章，也可以喜欢自己的评论。此外，更有可能的是，一个写了负面(或正面)评论的人也会喜欢同一帖子上的其他负面(或正面)评论。因为我们不知道对帖子(或评论)发表评论和/或喜欢评论(或评论回复)的用户的 id，所以我们在解释这些结果时必须小心——它们不代表用户的百分比。然而，有人可能会争辩说，这些影响可能会相互抵消，不应该对结果产生太大影响。不幸的是，我们没有更多的数据来确认。

最后，为了把事情放在一起，让我们把我们从用户对每个帖子的反应的显性情绪和我们从他们的评论中提取的隐性情绪结合起来。与我们之前所做的类似，我将喜欢和爱的反应的数量添加到正面评论及其相关喜欢的数量中，将愤怒、悲伤、哇和哈哈的反应的数量添加到负面评论及其相关喜欢的数量中。下面是情绪水*的总体分布:

哒哒！该图总结了分析。它结合了我们从帖子和评论分析中学到的见解。这也证实了我最初的假设——负面情绪占主导地位。好消息是，现在我们对情绪水*的分布有了更好的认识。中性和混合感觉占整体分布的 40%左右。与强烈反对的人相比，不确定引入移动定价的人可能更容易改变看法。这可以通过解决他们关心的问题并帮助他们理解问题的复杂性和欣赏提议的解决方案来实现。第一步是确定这些评论和相关的意见/关注点——这种类型的分析有助于实现这一点。

TL；博士；医生

在这篇文章中，我们使用文本挖掘技术来分析社交媒体源。特别是，从独立移动定价委员会的官方脸书网页收集数据。我们探索了几种分析公开可用数据的方法，并提出了一种了解用户情绪水*的方法。这是数据科学和机器学习如何从半非结构化数据中提供有价值的见解的一个例子。

交通拥堵和移动定价是影响每个人日常生活的争议话题。个人不太可能意识到向他们曾经免费拥有的东西收费的价值。这解释了为什么就需求管理这样一个复杂的概念教育公众不是一件容易的事情。我们发现，虽然用户表达了许多中性和混合的情绪，但负面情绪占主导地位。这样的反应是意料之中的。这一分析帮助我们理解了不同情绪水*的分布，这对制定公众参与策略非常有用。

谢谢你的来访！我希望你喜欢阅读这篇文章，我很想听到你的反馈。欢迎在评论中给我留言。

在这个帖子中表达的观点和看法完全是我的。用于进行分析的数据和信息都是公开的，不包含任何敏感和/或个人信息。代码可在这里获得，但是，数据集不符合 API 服务提供商的条款和条件。您可以通过按照代码中提供的步骤获取数据来重现结果。探索愉快！

我们如何在网上自动找到每天的好交易？

原文：https://towardsdatascience.com/how-do-we-find-daily-good-deals-online-automatically-fe8cfc8f783a?source=collection_archive---------0-----------------------

使用 R 进行基本的 web 内容抓取，以自动化枯燥的任务

背景

正如这里所定义的那样，“数据科学家比任何软件工程师都更擅长统计，比任何统计学家都更擅长软件工程。”因此，这篇博客文章重点关注 web 内容废弃的实践，这是数据科学家在结构化数据库之外获取信息的一项基本技能，当 API 不可用时。

当在网上寻找好的交易时，我们经常去一些电子商务网站查看我们想要的商品的价格。过了一段时间，这就变成了一项乏味的任务。受 程序员预订飞机指南 的启发，Zeke 在 Node 中编写了一个脚本来自动完成寻找廉价机票的过程，我们想在好的 MacBook 交易中复制他的方法，使用 r

目标

目的是当 MacBook 价格跌至某个点以下时，可以收到自动电子邮件提醒。

方法

1. 从电子商务网站上删除产品信息

我们需要首先加载网站的 html 结构，以便检索我们需要的信息。我们将使用的 R 包是 rvest 。

library(rvest)
library(XML)#save html of URL
url <- "[http://www.rakuten.com.tw/category/4945/?p=1&l-id=tw_pagen_1](http://www.rakuten.com.tw/category/4945/?p=1&l-id=tw_pagen_1)"

保存 URL html 后，我们需要通过检查页面源代码来找到我们需要的信息部分。我们将搜索价格以导航到产品相关信息，如下所示。

Screenshot of the page source

我们注意到产品相关信息在

product <- url %>%
  read_html() %>%
  html_nodes(".b-content")

name <- product %>%
  html_nodes(".product-name") %>%
  html_text()

price <- product %>%
  html_nodes(".b-underline .b-text-prime") %>%
  html_text() %>%
  gsub(",","",.) %>%
  as.numeric()

all <- data.frame(name, price,stringsAsFactors = FALSE)

for (i in 1:10){
starturl <- "[http://www.rakuten.com.tw/category/4945/?p=](http://www.rakuten.com.tw/category/4945/?p=)"
nexturl <- "&l-id=tw_pagen_"
url <- paste(starturl,i,nexturl,i,sep="")product <- url %>%
  read_html() %>%
  html_nodes(".b-content")name <- product %>%
  html_nodes(".product-name") %>%
  html_text()price <- product %>%
  html_nodes(".b-underline .b-text-prime") %>%
  html_text() %>%
  gsub(",","",.) %>%
  as.numeric()mydata <- data.frame(name, price,stringsAsFactors = FALSE)
all <- rbind(all,mydata)
}all<-all[!duplicated(all),]

alert <- all[all$price>25000&all$price<=30000,]

if (nrow(alert) >=1){write.table(alert,"alert.txt",fileEncoding = "UTF-8")send.mail(from = "[jchen6912@gmail.com](mailto:jchen6912@gmail.com)",
          to = c("[jchen6912@gmail.com](mailto:jchen6912@gmail.com)"),
          subject = "Mac Deal Alert",
          body <- "alert.txt",
          smtp = list(host.name = "smtp.gmail.com", port = 465, user.name = "[jchen6912@gmail.com](mailto:jchen6912@gmail.com)", passwd = "xxxxxxxx", ssl = TRUE),
          encoding = "utf-8",
          authenticate = TRUE,
          send = TRUE)
}

library(rvest)
library(XML)
library(taskscheduleR)
library(mailR)setwd("~/Desktop/deals")url <- "[http://www.rakuten.com.tw/category/4945/?p=1&l-id=tw_pagen_1](http://www.rakuten.com.tw/category/4945/?p=1&l-id=tw_pagen_1)"
product <- url %>%
  read_html() %>%
  html_nodes(".b-content")name <- product %>%
  html_nodes(".product-name") %>%
  html_text()price <- product %>%
  html_nodes(".b-underline .b-text-prime") %>%
  html_text() %>%
  gsub(",","",.) %>%
  as.numeric()all <- data.frame(name, price,stringsAsFactors = FALSE)for (i in 1:10){
starturl <- "[http://www.rakuten.com.tw/category/4945/?p=](http://www.rakuten.com.tw/category/4945/?p=)"
nexturl <- "&l-id=tw_pagen_"
url <- paste(starturl,i,nexturl,i,sep="")product <- url %>%
  read_html() %>%
  html_nodes(".b-content")name <- product %>%
  html_nodes(".product-name") %>%
  html_text()price <- product %>%
  html_nodes(".b-underline .b-text-prime") %>%
  html_text() %>%
  gsub(",","",.) %>%
  as.numeric()mydata <- data.frame(name, price,stringsAsFactors = FALSE)
all <- rbind(all,mydata)
}all<-all[!duplicated(all),]alert <- all[all$price>25000&all$price<=30000,]if (nrow(alert) >=1){write.table(alert,"alert.txt",fileEncoding = "UTF-8")send.mail(from = "[jchen6912@gmail.com](mailto:jchen6912@gmail.com)",
          to = c("[jchen6912@gmail.com](mailto:jchen6912@gmail.com)"),
          subject = "Mac Deal Alert",
          body <- "alert.txt",
          smtp = list(host.name = "smtp.gmail.com", port = 465, user.name = "[jchen6912@gmail.com](mailto:jchen6912@gmail.com)", passwd = "xxxxxxxx", ssl = TRUE),
          encoding = "utf-8",
          authenticate = TRUE,
          send = TRUE)
}

FROM ubuntu:16.04

FROM ubuntu

LABEL maintainer="Hamel Husain <youremail>"

ENV LANG=C.UTF-8 LC_ALL=C.UTF-8

RUN apt-get update --fix-missing && apt-get install -y wget bzip2    
    build-essential \
    ca-certificates \
    git-core \

...

VOLUME /ds

WORKDIR /ds

CMD [“./run_jupyter.sh”]

*ADD run_jupyter.sh /ds/run_jupyter.sh*

*CMD [“./run_jupyter.sh”]*

*CMD ["/bin/bash"]*

***CMD [“./run_jupyter.sh”]***

***docker commit <container_name> new_image_name:tag_name(optional)***

***docker commit container_1 hamelsmu/tutorial:v2***

***docker ps -a -f status=running***

***docker images***

***docker push hamelsmu/tutorial:v2***