America Data Set

一只拿着美元钞票的蜘蛛的图画。
那么，抓取预算究竟是什么呢？抓取预算指的是 Google 愿意花费在抓取特定网站的时间。尽管 Google 看似无所不能，但它的资源有限，而网络世界浩瀚无垠。因此，他们必须以某种方式确定优先级，并分配一定量的时间或资源来抓取特定网站。

现在，他们根据网站在用户中的受欢迎程度和内容的新鲜度来确定优先顺序（或者他们声称这样做是出于优先考虑），因为 Google 机器人渴望新的、从未见过的 URL。

在本视频中，我们实际上不会讨论如何增加抓取预算。我们将重点介绍如何充分利用您现有的抓取预算，这通常很容易实现。

抓取预算问题的原因
那么爬行预算问题实际上是如何发生的呢？

方面
现在我认为网站上可能导致抓取预算问题的主要问题类型是第一个方面。

想象一下，在一个电商网站上，我们有一个笔记 韩国 电报电话列表 本电脑页面。我们或许可以按尺寸进行过滤。你有一个 15 英寸的屏幕和 16GB 的内存。配置可能有很多种，导致 URL 数量巨大，而实际上我们只有一个页面或一个类别——笔记本电脑页面。

同样，它们也可以重新配置，创建其他 URL，执行相同的操作，但需要单独抓取。同样，它们也可以进行不同的配置。例如，可能会出现分页等等。这样，您就可以创建一个包含大量 URL 的分类页面。

搜索结果页面。
经常出现的一些其他问题是，来自内部站点搜索的搜索结果页面通常会生成许多不同的 URL，尤其是分页的页面。