禁止网页被搜索引擎收录和索引

点击:- 发布时间:2020-12-29 15:10:23

第一bai种:robots.txt方法

网站根目录创建 robots.txt 文件,添加如下代码


User-agent: *

Disallow: /

禁止所有搜索引擎访问专网站的所有部属分


User-agent: *

Disallow: /css/

Disallow: /admin/

禁止所有搜索引擎访问css 和admin 目录,将CSS或admin目录修改为你指定的文件目录或文件即可。


第二种:网页代码方法

<head>与</head>之间,加入


<meta name="robots" content="noarchive">

代码,此标记禁止搜索引擎抓取网站并显示网页快照。


注:已经加了禁止代码,但是搜索引擎还可以搜索出来,因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。


相关内容
精彩推荐