America Data Set

现在，在这种情况下，该页面可以被抓取。但是，一旦 Google 访问到该页面，它就会知道它是 noindex 的，并且随着时间的推移，抓取次数会大大减少，因为抓取 noindex 页面的意义不大。所以，我们找到了一个折衷方案。

显然，这无法实现。这是 noindex 机制。它不会将 PageRank 向外移动。PageRank 仍然会传递到该页面，但由于页面头部有 nofollow 标签，所以不会向外传递 PageRank。这不是一个好的解决方案。为了减少抓取预算，我们不得不做出一些妥协。

无索引，关注。
很多人觉得，好吧，解决方案是使用 noindex follow，因为它是两者中最好的。所以，你在其中一个页面的 head 部分添加一个 noindex follow 标签，这样一来，每个人都是赢家，因为我们仍然获得相同的抓取优势。我们仍 哈萨克斯坦 电报电话列表 然不会索引这个新的重复页面，我们不希望它被索引，但 PageRank 解决方案已经解决了。

几年前，谷歌就公开表示：“哦，我们自己没意识到这一点，但实际上，随着我们抓取这个页面的时间越来越少，我们最终会看不到这个链接，到时候它就不算数了。” 他们的意思是，它仍然无法传递PageRank，最终会被视为noindex和nofollow。所以，我们只能得到一个略微妥协的解决方案。

典范
现在，真正最好的网站可以成为规范网站了。有了规范标签，随着时间的推移，网站的爬虫数量会减少一些，规范化版本很棒。它仍然不会被索引，规范化版本很棒，而且仍然可以通过PageRank测试。

看起来很棒，很多方面都很完美。但这只有在页面足够接近重复页面，Google 愿意将其视为重复页面并尊重规范规则的情况下才有效。如果 Google 不愿意将其视为重复页面，你就得重新使用 noindex 了。或者，如果你认为这个 URL 根本没有存在的理由，我不知道这种顺序错误的组合是怎么发生的，但这似乎完全没意义。