首页 > 新闻 > 网站建设 > 企业网站建设标签代码的使用方法

企业网站建设标签代码的使用方法

index、noindex、follow、nofollow的使用；

爬虫是目前最常见的网络程序，曾经有过统计，说是目前的网络流量有一半以上是爬虫使用的。虽然爬虫程序随处可见，但是并不代表这种做法就是合理合法的。
在抓取网页时，我们要让自己的爬虫遵守Robot.txt协议。一般网站有两种方式声明不想被爬虫爬取按：第一种是在站点的根目录下增加一个纯文本文件，例如http://www.aaa.com/robots.txt。第二种是直接在页面中使用robots的meta标签。
接下来，详细介绍一下robots的meta标签。标签有四类：index、noindex、follow、nofollow。使用时以逗号分隔。

index指令：表示Robot可以索引本页;
follow指令：表示Robot可以跟踪本页链接;
noindex指令：表示拒绝Robot索引本页，但可跟踪该页上的链接;
nofollow指令：表示拒绝Robot跟踪本页链接，但可索引本页。

根据以上的命令，我们就有了一下的四种组合：

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">：可以抓取本页，而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">：不许抓取本页，但是可以顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">：可以抓取本页，但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">：不许抓取本页，也不许顺着本页抓取索引别的链接。

这里需要注意的是，不要把两个对立的反义词写到一起，例如

<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">

还有一点，禁止搜索引擎建立快照。

<meta name="robots" content="noarchive">

以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写

<meta name="Googlebot" content="noarchive">
这样的标记是禁止搜索引擎为你的网站建立快照。

Meta标签的使用；

meta标签的组成

meta标签共有两个属性，它们分别是http-equiv属性和name属性，不同的属性又有不同的参数值，这些不同的参数值就实现了不同的网页功能。

1、name属性

name属性主要用于描述网页，与之对应的属性值为content，content中的内容主要是便于搜索引擎机器人查找信息和分类信息用的。

meat标签的name属性语法格式是：＜meta name="参数" content="具体的参数值"＞。

其中name属性主要有以下几种参数：

A、Keywords(关键字)

说明：keywords用来告诉搜索引擎你网页的关键字是什么。

举例：＜meta name ="keywords" content="science, education,culture,politics,ecnomics，relationships, entertaiment, human"＞

B、description(网站内容描述)

说明：description用来告诉搜索引擎你的网站主要内容。

举例：＜meta name="description" content="This page is about the meaning of science, education,culture."＞

C、robots(机器人向导)

说明：robots用来告诉搜索机器人哪些页面需要索引，哪些页面不需要索引。

content的参数有all,none,index,noindex,follow,nofollow。默认是all。

举例：＜meta name="robots" content="none"＞

D、author(作者)

说明：标注网页的作者

举例：＜meta name="author" content="zys666,zys666@21cn.com"＞

2、http-equiv属性

http-equiv顾名思义，相当于http的文件头作用，它可以向浏览器传回一些有用的信息，以帮助正确和精确地显示网页内容，与之对应的属性值为content，content中的内容其实就是各个参数的变量值。

meat标签的http-equiv属性语法格式是：＜meta http-equiv="参数" content="参数变量值"＞；其中http-equiv属性主要有以下几种参数：

A、Expires(期限)

说明：可以用于设定网页的到期时间。一旦网页过期，必须到服务器上重新传输。

用法：＜meta http-equiv="expires" content="Fri, 12 Jan 2001 18:18:18 GMT"＞

注意：必须使用GMT的时间格式。

B、Pragma(cache模式)

说明：禁止浏览器从本地计算机的缓存中访问页面内容。

用法：＜meta http-equiv="Pragma" content="no-cache"＞

注意：这样设定，访问者将无法脱机浏览。

C、Refresh(刷新)

说明：自动刷新并指向新页面。

用法：＜meta http-equiv="Refresh" content="2；URL=http://www.chinayancheng.net"＞

注意：其中的2是指停留2秒钟后自动刷新到URL网址。

D、Set-Cookie(cookie设定)

说明：如果网页过期，那么存盘的cookie将被删除。

用法：＜meta http-equiv="Set-Cookie" content="cookievalue=xxx; expires=Friday, 12-Jan-2001 18:18:18 GMT； path=/"＞

注意：必须使用GMT的时间格式。

E、Window-target(显示窗口的设定)

说明：强制页面在当前窗口以独立页面显示。

用法：＜meta http-equiv="Window-target" content="_top"＞

注意：用来防止别人在框架里调用自己的页面。

F、content-Type(显示字符集的设定)

说明：设定页面使用的字符集。

用法：＜meta http-equiv="content-Type" content="text/html; charset=gb2312"＞

meta标签的功能

上面我们介绍了meta标签的一些基本组成，接着我们再来一起看看meta标签的常见功能：

１、帮助主页被各大搜索引擎登录

meta标签的一个很重要的功能就是设置关键字，来帮助你的主页被各大搜索引擎登录，提高网站的访问量。在这个功能中，最重要的就是对Keywords和description的设置。因为按照搜索引擎的工作原理,搜索引擎首先派出机器人自动检索页面中的keywords和decription，并将其加入到自己的数据库，然后再根据关键词的密度将网站排序。因此，我们必须设置好关键字，来提高页面的搜索点击率。下面我们来举一个例子供大家参考：

＜meta name="keywords" content="政治,经济, 科技,文化, 卫生, 情感，心灵，娱乐，生活，社会，企业，交通"＞
＜meta name="description" content="政治,经济, 科技,文化, 卫生, 情感，心灵，娱乐，生活，社会，企业，交通"＞

设置好这些关键字后，搜索引擎将会自动把这些关键字添加到数据库中，并根据这些关键字的密度来进行合适的排序。

　　２、定义页面的使用语言

　　这是meta标签最常见的功能,在制作网页时,我们在纯HTML代码下都会看到它,它起的作用是定义你网页的语言,当浏览者访问你的网页时,浏览器会自动识别并设置网页中的语言,如果你网页设置的是GB码,而浏览者没有安装GB码,这时网页只会呈现浏览者所设置的浏览器默认语言。同样的,如果该网页是英语,那么charset=en。下面就是一个具有代表性的例子：

　　＜meta http-equiv=″content－Type″ content=″text/html; charset=gb2312″〉

该代码就表示将网页的语言设置成国标码。

　　３、自动刷新并指向新的页面

　　如果你想使您的网页在无人控制的情况下，能自动在指定的时间内去访问指定的网页，就可以使用meta标签的自动刷新网页的功能。下面我们来看一段代码：

　　〈meta http-equiv=″refresh″ content=″２; URL=http://www.yeah.net″〉

　　这段代码可以使当前某一个网页在２秒后自动转到http://www.yeah.net页面中去,这就是meta的刷新作用,在content中,２代表设置的时间（单位为秒）,而URL就是在指定的时间后自动连接的网页地址。

　　４、实现网页转换时的动画效果

　　使用meta标签，我们还可以在进入网页或者离开网页的一刹那实现动画效果，我们只要在页面的html代码中的＜head＞＜/head＞标签之间添加如下代码就可以了：

＜meta http-equiv="Page-Enter" content="revealTrans(duration=５.０, transition=２０)"＞
＜meta http-equiv="Page-Exit" content="revealTrans(duration=５.０, transition=２０)"＞

一旦上述代码被加到一个网页中后，我们再进出页面时就会看到一些特殊效果，这个功能其实与FrontPage2000中的Format/Page Transition一样，但我们要注意的是所加网页不能是一个Frame页;

　　５、网页定级评价

　　IE4.0以上版本的浏览器可以防止浏览一些受限制的网站,而之所以浏览器会自动识别某些网站是否受限制,就是因为在网站meta标签中已经设置好了该网站的级别,而该级别的评定是由美国RSAC,即娱乐委员会的评级机构评定的,如果你需要评价自己的网站,可以连接到网站http://www.rsac.org/,按要求提交表格,那么RSAC会提供一段meta代码给你,复制到自己网页里就可以了。下面就是一段代码的样例：

〈meta http-equiv=″PICS－Label″
content=′(PICS－1.1 ″http://www.rsac.org/ratingsv01.html″
l gen true comment ″RSACi North America Server″
for ″http://www.rsac.org″
on ″2001.08.16T08:15－0500″
r (n 0 s 0 v 0 l 0))′〉

　　６、控制页面缓冲

　　meta标签可以设置网页到期的时间,也就是说,当你在Internet Explorer 浏览器中设置浏览网页时首先查看本地缓冲里的页面,那么当浏览某一网页,而本地缓冲又有时,那么浏览器会自动浏览缓冲区里的页面,直到meta中设置的时间到期,这时候,浏览器才会去取得新页面。例如下面这段代码就表示网页的到期时间是2001年1月12日18时18分18秒。

　　〈meta http-equiv=″expires″ content=″Friday, 12-Jan-2001 18:18:18 GMT″〉

　　７、控制网页显示的窗口

　　我们还可以使用meta标签来控制网页显示的窗口，只要在网页中加入下面的代码就可以了：＜metahttp-equiv="window-target" content="_top"＞，这段代码可以防止网页被别人作为一个Frame调用

robots.txt作用及其使用

robots.txt就是一份网站和搜索引擎双方签订的规则协议书，是搜索引擎中访问网站的时候要查看的第一个文件。首先爬行来检查该站点根目录下是否存在robots.txt。如果存在，蜘蛛就按照协议上规定爬行抓取；没有robots.txt，蜘蛛会随着链接爬行进行抓取。

理解User-agent和Disallow的定义：

User-agent：该项用于描述搜索引擎蜘蛛的名字；Disallow：该项用于描述不希望被抓取和索引的一个URL，这个URL可以是一条完整的路径

下面是一些robots.txt基本的用法：
1、禁止所有搜索引擎访问网站的任何部分：
User-agent: *
Disallow: /

2、允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件robots.txt

3、禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private目录）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

4、禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /

5、只允许某个搜索引擎的访问（下例中的WebCrawler）
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /