SEO关键字常用术语〈二〉
1.Robot
Robor，机器人代码，指搜索引擎中负责撷取资讯的代码，又称Spider，即蜘蛛代码。
2.Robots.txt
1)什么是Robots.txt
Robots.txt是一个纯文字档案，它的作用就是限制搜索引擎对网站中某些网页的进行造访。当搜索引擎的蜘蛛代码造访一个网站时，首先会检查这个网站的根目录是否存在“robots.txt”档案，如果存在，那么就按照这个档案制定的规则撷取网页，否则沿着网页中的连结进行撷取。
2)Robots.txt语法
“robots.txt”档案中包含一条或多条记录，每条记录都是透过空行进行分隔﹝注释标记为“#”﹞，以User-agent开始，后面加上Allow或是Disallow。如：
User-agent:*
Disallow:/Admin/
a.User-agent
这个值用于描述搜索引擎蜘蛛代码﹝robot﹞的名子，在“robots.txt”档案中，如果有多条User-agent记录，那么说明有多个robot会受到这个规则限制。在“robots.txt”档案里，至上有一条User-agent记录，如果这个值为“*”，那么就是表示这个规则对于所有蜘蛛代码都是有效的，但在“robots.txt”档案中，“User-agent:*”只能出现一次。
b.Disallow
这一项用于描述不希望被搜索引擎撷取的网页，任何以Disallow开头的URL或是目录均不会被指定的蜘蛛代码撷取。
如果Disallow记录为空的话，那么说明这个网站的所有网页都是允许搜索引擎撷取的，在“robots.txt”档案中，至少会要有一条Disallow记录。
如果“robots.txt”是一个空档案，那么就是表示所有搜索引擎都可以撷取这个网站中的所有网页。
下面是robots.txt的一些基本用法：
a.禁止所有搜索引擎撷取本网站下的所有网页
User-agent:*
Disallow:/
b.允许所有的搜索引擎撷取本网站下的所有网页
User-agent:*
Disallow:
或是也可以建立一个空“robots.txt”档案
c.禁止所有搜索引擎撷取本网站下的某个网页
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/admin/
d.禁止某个的搜索引擎撷取本网站下的所有网页
User-agent:搜索引擎蜘蛛代码名称
Disallow:/
e.只允许某个的搜索引擎撷取本网站下的所有网页
User-agent:搜索引擎蜘蛛代码名称
Disallow:
3)Robots meta标记
Robots meta标记用于限制搜索引擎对当前网页的撷取，存放在网页的头部当中。例如：
< html>
< head>
< title>.....< /title>
< meta name="robots" content="noindex,nofollow">
< /head>
.....
常见的“content”内容值包括：
noindex 不索引目前网页；
nofollow 不跟踪目前网页中所有的连结撷取；
noarchine 在搜索结果中不保存目前网页的快取；
nosnippet 在搜索结果中不采用目前网页的头部描述资讯，而且不保存目前网页的快取；
noodp 搜索结果中不使用ODP中的资讯。
