【瑞谷外贸独立站指南】robot.txt & sitemap网站地图设置

浏览数量： 4 作者：本站编辑发布时间： 2022-09-15 来源：本站

robots.txt是什么？

robots.txt 文件即robots协议，是一种存放于网站根目录下的ASCII编码的文本文件，用于规定搜索引擎抓取工具可以访问您网站上的哪些网址，不应该访问哪些网址。此文件可以避免你的网站收到过多请求，帮助你节省带宽和服务器资源。

robots.txt如何设置？

一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。

robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。

前端页面大部路径都是允许Allow搜索引擎抓取的，后台页面路径则不能被抓取。

请参考： https://www.buy4outdoors.com/robots.txt

robots.txt设置

sitemap网站地图是什么？

站点地图是一个文件，是网站所有前端页面链接的一个总和，可以帮助搜索引擎发现我们站点上的 URL上的页面。你可以在其中提供有关你站点、视频和其他文件以及它们之间的关系的信息。Google 等搜索引擎会读取此文件以更有效地抓取您的网站。sitemap会告诉 Google 你认为哪些页面和文件在你的站点中很重要，并且还提供有关这些文件的有价值的信息。

为什么需要站点地图？

网站内容页面多时，Google爬行蜘蛛可能会忽略掉一些我们网站的网页或未能及时抓取到我们网站最近更新的网页，就需要站点地图的帮助。

网站页面不能自然地相互引用时，可以在站点地图中列出，以再次提醒google爬行蜘蛛，让其不会漏掉抓取某些页面。

网站是新站点时，反向链接数量很少。Google等网络抓取工具都是从一个页面到另一个页面的爬行方式来抓取页面与内容，当我们网站是个新站并且没有其他网页链接到我们的页面时，google的爬行蜘蛛就会很有可能发现不了我们的网站，这时就需要站点地图帮助搜索引擎发现我们独立站的页面。

我们网站包含大量视频图片、新闻文章等素材时，站点地图可以帮助谷歌查找和了解我们网站，在搜索结果中显示这些内容。