先说说什么是Robots.txt

Robots.txt文件的作用是指导网络上各大搜索引擎来如何对你的网站建立索引的，告诉搜索引擎的蜘蛛孩儿们自己的网站的哪些部分可以访问，哪些不能访问（也就是搜索引擎收录），当然也可以通过robots.txt文件很“灵活”地指定哪些客户端（如IE，FireFox, Safari等）可以访问自己的网站，而且我们也可以在robots.txt文件中指明我们的站点地图。你看就只是一个这么简单的文本文件，robots.txt却有着如此之大的权力来决定蜘蛛孩儿们的生杀大权（当然google的蜘蛛们有些狡猾，你们懂的，不解释），因此我们一定要物尽其用，无所不用其极来优化我们的网站。

ROBOTS.TXT与WordPress

我们使用WordPress来建立自己的博客，当然是要搜索引擎来对我们的博客文章以及页面建立索引并收录它们，但是WordPress的核心文件和目录却不是我们想要搜索引擎进行收录的。同样我们也不希望网站文章的trackback和feed被包含在搜索引擎的搜索结果中。下面是一个标准的用于WordPress的Robots.txt文件模板：

上面这个版本是一个适合于WordPress网站的版本，并且你可以在这个版本基础上进行一些修改来达到优化自己的SEO的目的。至于如何使用这个文件就非常简单了，你只需要拷贝/粘贴上面这个代码并且另存为一个文本文件名为Robots.txt即可。然后将这个文件上传至你的网站根目录例如：www.admin122.com/robots.txt