4.11.1 产生复制内容的原因
下面这些原因可能造成复制内容：
●前面讨论的网址规范化问题会产生复制内容。
●代理商和零售商从产品生产商那里转载产品信息。这倒没什么不对，一般生产商也都同意，没有版权问题。但是绝大部分代理商、零售商、批发商都是直接copy，而不做任何改动，大家用的都是一模一样的产品说明，所以这些电子商务网站上充斥着大量复制内容。
●打印版本。很多网站除了正常供浏览的页面外，还提供更适于打印的页面版本，如果没有用适当方式禁止抓取，这些打印版本网页就会变成复制内容。
●网站结构造成的各种页面版本。如产品列表按价格、评论、上架时间等排序页面，博客的分类存档、时间存档等。
●网页内容由RSS生成。有很多网站，尤其是新闻类网站，用其他网站的RSS feed生成网站内容，这些内容在原始出处和其他类似网站上都已经出现过很多次了。
●使用Session ID。搜索引擎蜘蛛在不同时间访问网页的时候，被给予了不同的Session ID，实际上网页内容是一样的。由于Session ID参数不同，就被当成了不同的网页。
●网页实质内容太少。每个网页上都不可避免地有通用部分，比如导航条、版权声明、广告等。如果网页的正文部分太短，内容数量还抵不上通用部分，就有可能被认为是复制内容页面。
●转载及抄袭。有时是其他人抄袭了你的网站内容，有时是善意的转载，有时是作者自己在不同网站发布文章，这些都会造成复制内容。
●镜像网站。镜像网站曾经很流行，当一个网站太忙太慢的时候，用户可以通过替代镜像来看内容或下载，这也有造成复制内容的风险。
●产品或服务类型之间的区别比较小。比如有的网站把自己的服务按地区进行分类，但实际上提供给每个地区的产品或服务都是一样的。这些按地区分类的页面只是把地名改了改，其他服务内容说明全都一样。
●URL任意加字符还是返回200状态码。有的网站由于技术原因，用户在URL后加上任意字符或参数，服务器还能正常返回200状态码，并返回没加上任意字符时一样的重复内容页面。
检查页面是否有复制版本相对简单。拿出页面正文中的一句话，加上双引号，在搜索引擎中搜索一下，从结果中就能看到是否有多个页面包含这句话。一般来说，随机挑选的一个句子，完整出现在另一篇无关文章中的可能性很低。
举一个比较极端却很清楚的例子。我为了试验搜索引擎是否使用关键词标签，曾经在一篇博客帖子中提到“伍疗踢瓜sdfghj”这么一个字符串。在我发这个帖子之前，搜索引擎没有这个字符串的任何结果。现在搜索一下，可以清楚看到有不少因为转载或抄袭形成的复制内容，如图4-11所示。
图4-11 转载、抄袭造成的复制内容
在Google搜索得到的结果就更多了，将近1000个页面。令人无奈的是，绝大部分转载没有按版权声明链接到原出处，更有很多直接连作者都给改了。