China Data

对于Target.com 的产品页面，我使用了Quick JavaScript Switcher扩展来禁用所有 JavaScript 生成的元素。我特别关注了“更多考虑”和“类似商品”轮播，以及它们在启用和禁用 JavaScript 时的外观。

如下所示，禁用 JavaScript 会改变产品轮播对用户的外观。但从机器人的角度来看，有什么变化吗？


为了找出答案，请通过分析缓存版本来检查页面的 HTML 版本对于机器人来说是什么样的。

为了检查上面Target.com 页 柬埔寨电邮清单 的缓存版本，我输入了“cache: 这是所分析页面的 URL 地址。此外，我还查看了该页面的纯文本版本。


滚动时，如果您在这里看到它们，则意味着机器人也不难找到它们。

但是，请记住，您在缓存中看到的确切产品的链接可能与页面上的实时版本不同。轮播中的产品轮换是正常的，因此您不必担心特定链接的差异。

但 Target.com 究竟有何不同？他们利用了动态渲染。他们提供初始 HTML 和轮播中的产品链接，因为静态 HTML 机器人可以处理这些链接。

但是，您必须记住，动态渲染会增加一层额外的复杂性，对于大型网站来说，这可能会很快失控。我最近写了一篇关于动态渲染的文章，如果您正在考虑这个解决方案，那么这篇文章是必读之作。

此外，爬虫可以访问产品轮播并不能保证这些产品会被编入索引。但是，这将极大地帮助它们浏览网站结构并了解页面之间的依赖关系。

3. 在 robots.txt 中阻止重要的 JavaScript 文件
错误地在 robots.txt 中阻止抓取工具使用 JavaScript 可能会导致严重的索引问题。如果Google 无法访问和处理您的重要资源，它又该如何索引您的内容呢？

有罪：Jdl-brakes.com
如果没有适当的网站抓取，就不可能全面评估一个网站。但查看其 robots.txt 文件已经可以让您识别出任何被阻止的关键内容。