China Data

您如何管理组织中的大量数据？

手动分析它们并不真正有效，并且掌握最重要的事实并揭示见解并不总是那么容易。聚类分析可以帮助您减少手动输入并揭示数据的隐藏价值。

聚类分析是广泛的机器学习技术之一，它可以揭示大型数据集中的隐藏结构并对具有相似特征的数据元素进行分组。

在本文中，我们将解释集群的工作原理并为您提供一些用例。

让我们从基本概念开始
您不必将苹果标记为苹果就能看出它与橙子的不同。通过聚类，我们尝试识别相似对象组，而无需人类标记这些对象。这有很多优点，但也提出了一些有趣的问题。

例如，我们看到苹果和橙子是不同的。然而，如果我们将它们与土豆进行比较，我们可能会得出结论，苹果和橙子非常相似，因为它们都是水果。

聚类的需求来自于可用数据集的大小。

如果我想比较十种水果，我可以相对容易地比较它们。另一方面，如果我想分析维基百科大小的数据集，我将需要执行 31 万亿次比较。即使单次比较只需要一微秒，运行比较仍然需要近 12 天。因此，将这些集合分成更容易处理的更小的部分是有用的。我们可以使用聚类以合理的方式分割数据集，而无需人类查看它。

一种强大的聚类方法是将数据分类为一般组，然后在这些组中创建更小、更具体的组。这使得机器学习者能够从数据中提取总体概述和更详细的结构。这就是层次聚类，是深入了解大型数据集的强大工具。

分组类型
不同类型的数据有不同类型的最有效的聚类算法。一些数据包 阿根廷电报数据 含自然子组。其他数据可能呈正态分布，因此有利于这种分布的算法效果更好。

对于大数据，记住某些算法对于某些数据分布更有效也很重要。如果您想根据猫的尾巴长度对猫进行分组，那么为连续数据设计的算法是最有效的，因为长度可以是特定范围内的任何值。如果你想对星星进行分组，另一种算法可能会更有效。

在分组方面，文本有其自身的特殊性。

有数百万个不同的关键字（每个专有名词都可以被视为一个关键字），但每个文档仅包含其中的几个。因此，找到两个具有相似性的文档并不容易。这在设计有效的机器学习时带来了一些问题。

有两种方法可以解决这个问题。我们可以利用语言学知识更好地理解数据集，也可以创建计算复杂度较低的算法来对特定文本文档进行聚类。