网站首页

如果您的电子商务网站上有许多网址参数产品过滤网页，每个网站都有规范到根未经过滤的商品详情页面，这会浪费抓取预算吗？如果是这样，你会做什么呢？

 

Frederic：在这种特定情况下，告诉爬虫专注于规范（没有查询参数）的最有效方法是将这些查询参数添加到Bing网站站长工具中的忽略URL参数列表中。执行此操作后，Bing爬虫将基本上将具有和不具有这些查询参数的URL视为等效，并且将其抓取重点放在没有的URL上。您仍可能会在带有查询参数的URL上看到一些有限的爬网量，以便进行验证。

 

您还应该在站点地图中包含所有规范，并确保它不包含任何带有过滤器查询参数的重复URL。通过完成所有这些操作，您将极大地减轻对爬网预算的影响，即拥有这些不同的网址变体。