SEO必读文章 – URL标准化及301重定向跳转

2010年10月23日 4 comments

大部分时间一直用WP做站，没怎么考虑URL标准化这个问题。前两天换了个程序尝试一个新站，google收录后发现有带www的有不带的，才想起来url标准化这个问题。

在这里很无耻的粘贴份我觉得必读的文章，也当是给我的博客补充点内容。文章最末谈了下用php来实现301重定向跳转的办法，因为想到绝大部分站长都还是使用虚拟主机。而且在搜索过程中发现网上很多相关文章关于代码部分都不是很完善，所以也补充了下一并发了上来。

（译者按： Matt Cutts, 谷歌反网络作弊组的带头人, 于2006年1月4日在他的个人博客上发表了”SEO advice: url canonicalization“一文。尽管已快两年了，Google也为网站管理员提供了站长工具，我们发现对很多站长来说该文仍是一篇很好的SEO文章。）

在我开始收集关于Bigdaddy数据中心的反馈之前，我想简略地谈一谈有关标准化、“www相对于非 www”、重新定向、重复URLs、302“劫持”等问题的看法，这样我们的讨论才有共同的基础。

问：什么是一个标准化URL？为什么要用这么一个奇怪的字眼？
答：很抱歉，这是一个奇怪的词汇；这是谷歌内部对它的称呼。标准化是一个在若干选项中选取最佳URL的过程，这里通常是指主页。例如，多数人会将下列URL看作相同性质的：

* www.example.com
* example.com/
* www.example.com/index.html
* example.com/home.asp

但是从技术角度看，这些 URL都是互不相同的。对于上述URLs，Web服务器会返回完全不同的内容。当谷歌“标准化”特定的URL时，我们试图从一整套同类URL中选出看起来最具代表性的一个。

问：那么我如何能确保谷歌能挑选出我所想要的URL？
答：挑选出你想要的URL，并且在此后一直使用这个 URL访问特定网站，这是很有帮助的。例如，不要让同一个输入的链接一半指向http://example.com/而另一半则指向http: //www.example.com/ 。相反，挑选一个你喜欢的URL，并且在你的内部链接中总是使用这个格式。
（译者注：现在你可以使用站长工具来通过“控制台 > 工具 > 设置首选域名”）。

问：除此之外，我还能做什么？
答：比如，如果你希望你的默认URL为 http://www.example.com/。那么，你可以设置你的web服务器，这样如果有人请求http://example.com/，它就会产生一个301的（永久性）重新定向，链接到http://www.example.com/。这样可以帮助谷歌了解到你希望将哪个URL作为自己的标准。如果您的网站常有变更（例如动态内容和博客等），那么加入一个301重新定向可能更便于搜索引擎的定位和捕获。

问：如果我希望去掉 domain.com，但希望保留www.domain.com，我是否应该使用URL清除工具来删除这个域名？
答：不要，绝对不要这样做。对于任何一个www域名，或非www 域名，一旦删除其结果可能导致该域名在未来六个月内无法恢复。绝对不要这样做。如果你本想使用URL清除工具删除www域名或者非www域名，但实际上却删除了你所有的域名，请发送一个重新收录请求，并声明你用URL清除工具不小心删除了整个域名，现在要求重新收录。

问：我注意到，你自己并没有使用301重新定向将你的站点从非www版本转向www版本，为何没有这样做？
答：实际上我是故意这样做的。我几个月之前就注意到了这一点，但决定不自行调整，或者请求谷歌员工帮我搞定它。我或许最终会加入一个301，但至少到目前为止，它还是一个有帮助的实验案例。

问：那么在讨论“www与非www”时，你也认为这是一种标准化的类型吗?还有没有别的方法能实现URL的标准化？
答：确实还有很多方法，但是多数人不会也无需注意到这些。搜索引擎能够自动完成诸如保留或者删除末尾的斜杠、将URL从大写格式转换为小写格式，或者将session ID从BBS或其他软件上删除等任务（即使你省略了session ID，许多BBS依然能够正常运行）。

问：让我们谈谈”inurl:”操作符。为何每个人都认为如果inurl:mydomain.com显示出某些并非来自mydomain.com的结果，那么他一定是被人劫持了？
答：早先，如果你看到someresult.com/search2.php?url=mydomain.com，有时候其中会包含来自mydomain的内容。如果someresult.com url是一个指向mydomain.com的302重新定向，而我们决定显示一个来自someresult.com的结果，就会产生这种情况。从那以后，我们已经改变了我们的启发方式，大大降低了302重新定向源URL的显示几率。我们逐渐采纳了一个用于处理重新定向的框架，它几乎总是显示目的地URL。雅虎通常采用显示目的地URL的方式来处理302重新定向，而我们正处于逐步过渡到一套类似启发方式的过程中。请注意，雅虎保留了在重新定向的过程中处理所出现的例外的权力，而谷歌也会这样做。根据我们的分析，我们将在302重新定向过程中显示URL源的总概率不到0.5％（基本上，当我们有足够的理由相信URL源正确无误时才会显示）。

问：那么，补充材料又如何呢？补充材料是否会招致谷歌的惩罚？
答：不会。
（译者注：补充材料已成为历史。请阅读补充材料转为主流一文）。

问：在补充性结果中有我的一些网页，但这些网页已经很老旧了。我该怎么办？
答：如果换了我，就不会在这方面花太多的精力。如果网页已经删除，我会确保有一个301重新定向，指向新网页的位置。如果的确彻底消失了，我会确保服务器返回一个关于这些网页的 404错误信息。此后，我不会再花费任何精力。当谷歌最终重新抓取那些网页时，就会发现其中的变化。但是由于我们自己爬取补充性结果的时间间隔要长一些，所以你可能在一段时间内看不到更新。

目前我能想到的只有这些。很快，我会更详细地谈论一些关于302和inurl:的范例，帮助大家更具体地理解这个问题。