robots.txt文件是一个简单的文本文件放在您的web服务器告诉搜索引擎蜘蛛访问一个文件,而这个robots.txt却很重要因为它是和搜索引擎打交道的一个文件,告诉搜索引擎哪些可以抓取哪些不可以抓取,一般来说搜索引擎都会遵守。

基本的robots.txt例子

下面是一些常见的robots.txt。


允许完全访问
User-agent: *
Disallow:
阻止所有访问
User-agent: *
Disallow: /
禁止一个文件夹
User-agent: *
Disallow: /folder/
禁止一个文件
User-agent: *
Disallow: /file.html

提示:在做建站之后SEO站内优化要做的第一个就是首先确定有一个robots.txt,但确保您写的robots.txt是正确的,不当的使用robots.txt文件会伤害你的排名robots.txt文件控制搜索引擎蜘蛛如何看待你的网页,这个文件中每个搜索引擎指南都有介绍这个文件,robots.txt是他们互动的机器人,是告诉搜索引擎是如何工作的!

深入了解robots.txt


User-agent: *   这里说明本Robots.txt针对哪一个搜索引擎蜘蛛而言,星号代表针对所有搜索引擎蜘蛛,包括百度、google、yahoo等。
Disallow: /search.html  说明不允许收录 /search.html 这个文件。
Disallow: /index.php?  说明不允许收录以index.php?为前缀的链接如:index.php?122.html、index.php?=12、index.php?/baidu等等
Disallow: /*-*      屏蔽全站url内带有 - 的链接
Disallow: /*?*      屏蔽全站url内带有 ?  的连接
Disallow: /*html?*      屏蔽全站url内带有 html?  的连接

以上关于robots.txt就介绍到此,更多还请观看搜索引擎指南有详细的介绍说明,什么是robots.txt您懂了吗?

瑞课支付