Google 表示其网络爬虫 Googlebot 的执行和索引范围,现在将扩大到覆盖 JavaScript 中的部分内容。如果不将一些基本规则纳入考虑的话,这一改变将对搜索结果产生一些负面影响。
在 Google Webmaster Central 博客上的一篇文章里,开发者 Erik Hendriks 和 Michael Xu,以及 Webmaster 趋势分析师 Kazushi Nagayama 忠告 Web 开发者:在 Google 对 Web 页面进行索引的过程中,对 JavaScript 内容的处理方式上出现的一些变化,将对搜索结果造成负面影响。该文章还给出了一些用来避免这种情况发生的建议。
三位作者表示,当启用 JavaScript 的时候,“在过去几个月里,Google 的索引系统对大量 Web 页面的渲染处理的做法,更贴近普通用户的浏览器”。这不同于 Google 传统上对页面进行索引的方式,也即是“只查看我们从 HTTP 响应体中的未经加工的文本内容,而并没有真正对其进行解释,从而获得普通浏览器运行 JavaScript 后看到的结果。”
他们写道,有些时候 JavaScript 渲染并不能得到预期的结果,“这可能会对网站的搜索结果带来负面影响”。为了避免这种情况的发生,对于潜在的问题以及围绕这些问题的可能的方案,他们给出了以下建议:
如果站点禁止访问 JavaScript 或 CSS 文件,那么 Google 索引系统将无法按照普通用户的方式来查看它。推荐的做法是在 robots.txt 中开放对 JavaScript 和 CSS 文件的访问。这与移动站点的关系尤为密切,因为 JavaScript 和 CSS 文件将允许 Google 算法了解该页面是针对移动端优化的。
- Web 服务器还应该能够处理针对资源的爬虫请求量,否则渲染结果或许会受到影响。
- 过于复杂或晦涩的 JavaScript 代码,同样会妨碍页面渲染的完整度与准确性。
- 有时候,JavaScript 被用来从页面移除而不是添加内容,这会使得 Google 索引引擎无法访问被移除的内容。
- 最后,Hendriks、Xu 和 Nagayama 建议,让 Web 页面优雅降级将永远是个良好的策略。这将使目前尚不支持执行 JavaScript 的搜索引擎能够访问其内容。
Google 正在开发一件工具——预计在近期发布——用来帮助网管们更好地理解 Googlebot 如何渲染 JavaScript 和 CSS 内容。
查看英文原文: Google Is Now Indexing JavaScript and CSS Content: Pitfalls to Avoid
评论