网站robots协议对于网站SEO优化来说,是非常重要的(详细介绍可阅读: 网站robots协议对SEO优化的影响 ),如果robots协议中错将某个重要栏目设为了禁止搜索引擎访问,那么我们的整体优化速度就会受到影响。那么,我们应该如何撰写一个正确且不影响SEO优化的robots协议呢?
robots协议示例:
User-agent: * 【必须在Disallow前】
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
sitemap: http://****(网址)/sitemap.html
从上面的示例中我们可以发现,一个简单的robots协议,一般只有三个指令:“sitemap:”;“User-agent:”;“Disallow:”。
其中“sitemap:”指令,是将网站sitemap地图的地址告诉搜索引擎蜘蛛,方便其阅读和抓取,而User-agent: * ,则代表本网站允许所有搜索引擎访问,最后的“Disallow:”,是我们表明非展示页面的指令,在这里我们就可以设置不想让搜索引擎读取的内容,如果网站的所有内容都不想被搜索引擎读取,我们可以将robots协议写为:
User-agent: *
Disallow: /
sitemap: http://****(网址)/sitemap.html
当然,这只是最基础的应用,如果想要更详细的robots协议编写教学,可以在网上搜索更多教程。