为Movable Type网站建立robots.txt文件
写于2008-10-14 @ 分类:Movable Type,搜索引擎优化 |评论(0)
Movable Type不仅是一个快捷而方便的BLOG系统,而且也是一个可以通过灵活的标签定制模板页面的强大的CMS系统。特别是MT4的出现,官方更是直接把他定义为 a powerful content management system。Movable Type可以说是我见到过的最利于网站搜索引擎优化的程序之一。
Movable Type是一个基于CGI的程序,无论是从MT3还是到MT4,MT默认安装文件中都没有定制robots.txt.安装Movable Type的朋友都知道他的两个目录一个是cgi-bin目录,它是用来存放MT的主要程序文件,一个是mt-static目录,他存放一些静态文件,譬如CSS,JS,themes等。基于安全和SEO的要求,这两个目录有必要对SE的spider进行屏蔽,这里就要求使用到robots.txt文件。
关于robots.txt文件的作用和使用方法,可以百度官方提供"禁止搜索引擎收录的方法",上面有详细的说明。
以下是我的网站robots.txt文件的相关内容:
- User-agent: *
- Disallow: /cgi-bin/
- Disallow: /mt-static/
当然你也可以根据自己的实际情况来定制。


发表评论