如何正确编写robots.txt文件

robots.txt是网站seo优化中起着很重要的作用，robots.txt是搜索引擎访问网站时需要查看的个文件，搜索引擎蜘蛛来到一个站点，首先要检查站点根目录下是否存在robots.txt，如果有，就会按照该文件中的内容确定访问范围，如果该文件不存在就会随意抓取，可能会抓到到重复路径或错误页面。下面我就和大家说说 rotbots.txt写法 ，希望对大家有所帮助。
robots.txt写法举例：
1、阻止全部搜索引擎访问网站的任何部门，也便是是阻止全部引擎收录你的网站。
User-agent: *
Disallow: /
2、容许全部的搜索引擎访问你的网站的任何部门，这是通常的用法。
User-agent: *
Disallow:
大概
User-agent: *
Allow: /
3、要是你网站的某个目录不想被搜索引擎收录，写法如下：
User-agent: *
Disallow: /目录名称1/
Disallow: /目录名称2/
Disallow: /目录名称3/
过细：不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势，每个目录要单独另起一行特别阐明。
4、仅仅容许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot
User-agent: baiduspider
Allow:
User-agent: googlebot
Allow:
5、仅克制某一搜索引擎访问你的网站。 Google是googlebot 百度是baiduspider
User-agent: baiduspider
Disallow: /
User-agent: googlebot
Disallow: /
6、阻止搜索引擎访问网站中全部的动态页面（动态页面便是URL中任何带有“？”的页面）
User-agent: *
Disallow: /*?*
7、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。
User-agent: *
Allow: .后缀形式（如.html、.htm、.php等等）$
Disallow: /
8、容许搜索引擎访问特定目录中的网页
User-agent: *
Allow: /目录1/目录2（容许访问目录2中的网页）
Allow: /目录3/目录4（容许访问目录4中的网页）
Allow: /目录5/目录6（容许访问目录6中的网页）
Disallow: /目录1/
Disallow: /目录3/
Disallow: /目录5/
9、限定搜索引擎访问某一特定文件后缀形式的网页。
User-agent: *
Disallow: /*.后缀形式（如.html、.htm、.php等等）
10、阻止搜索擎访问网站特定某一文件格式的文件（注意不是网页）
User-agent: *
Disallow: /*.（文件格局：如gif、jpg等等）$
以上是一些常用的格式。具体的写法还要以各个网站需求而定。
写robots.txt还要注意以下一些问题：
1、robots.txt文件因此纯文本格式存在的txt文件。
2、robots.txt必须放置在网站的根目录中。上层的robots.txt文件必须这样被访问
3、写robots.txt时要严格根据以上大小写形式誊写
4、通常你的网站比较简单，那么以上的格式足够你利用的了。要是比较庞大，必要访问这里而又不必要访问那边，阻止这个文件又要容许那个文件，容许访问访问带有“?”标记的特定网页等等，那么你必要联合以上格式详细研究切合于你网站的robots.txt文件写法。
5、robots.txt通常在某个分目录中还可以存在，但是要是与目录中的robots.txt有不同，则以目录中robots.txt为准。
6、仅当您的网站包括不希望被搜索引擎收录的内容时，才要利用robots.txt文件。要是您希望搜索引擎收录网站上全部内容，请勿创建 robots.txt文件，不要创建一个内容为空的robots.txt文件。这一点通常被人们马虎，实际上创建空的robots.txt文件对搜刮引擎非常不友好。
7、要是你不想自己动手写robots.txt文件，那么请Google帮你写。登录Google平台，有生成robots.txt文件的。
8、User-agent: *
Disallow: /
这种格式不但仅是阻止抓取页面，更主要的是你的网站被收录了，然后又把robots.txt文件修改成以上格局，那么你的网站将在搜索引擎中被删除，整个地删除。
9、元标志对一样平常的网站来说可有可无，不过你还是得认识：
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞（不容许抓取该页面，不容许跟着该页面上的链连续续抓取）
＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞（容许抓取该页面，容许跟着该页面上的链连续续抓取）
＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞（容许抓取该页面，不容许跟着该页面上的链连续续抓取）
＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞（不容许抓取该页面，容许跟着该页面上的链连续续抓取）

文章整理: 大连网站建设 http://ww.dld***