img-semblog
如您所见，有四个选项。
网站：使用此选项，我们将像 GoogleBot 一样抓取网站（通过广度算法），浏览您的链接（从您的主页开始）。如果您只想从家里跟踪网站最容易访问的页面，那么这是一个不错的选择。
网站上的站点地图：如果您选择此选项，我们将仅抓取在 robots.txt 文件的站点地图中找到的网址。
输入站点地图 URL：这与现场站点地图类似，但在这种情况下，您可以输入自己的站点地图 URL 并使审核更加具体。
文件 URL：您可以在此处准确指定要审核的页面。您为计算机上的 .csv 或 .txt 文件，然后准备将它们直接上传到 Semrush。
如果您不需要概述，这是一个不错的选择。例如，如果您对特定页面进行了特定更改，并且您只想分析其性能。它将帮助您节省跟踪预算，并且您将获得您想要查看的信息。
第 2 步：跟踪器设置
接下来，您必须决定要抓取您网站的机器人类型。有四种可能的组合，具体取决于 加拿大 whatsapp 数据 您选择 SemrushBot 或 GoogleBot 的移动版还是桌面版。
img-semblog
接下来，选择延迟设置。在页面之间的最短延迟、Honor robots.txt 或每 2 秒 1 个 URL 之间进行选择。
如果您希望机器人以通常的速度爬行，请选择“最小延迟”。对于 SemrushBot 来说，这意味着它会在开始抓取下一页之前留下大约一秒钟的时间。
当您的网站上有 robots.txt 文件并且需要特定的抓取延迟时，“尊重 robots.txt”是理想选择。
如果您担心我们的抓取工具会拖慢您的网站速度，或者您没有抓取策略，则您应该选择“每 2 秒 1 个 URL”。这意味着审核时间会更长，但不会恶化审核期间的用户体验。
第 3 步：允许/拒绝 URL
您可以在此处自定义审核，决定您希望我们跟踪哪些子文件夹以及不跟踪哪些子文件夹。