通常情況下,網(wǎng)站都是需要讓搜索引擎收錄的,這樣才能更好地增加網(wǎng)站的訪問量,但是也有個別行業(yè)的網(wǎng)站,如安全性要求較高銀行和企業(yè)的內(nèi)部管理系統(tǒng)等他們這種站的安全性和私密性較高,肯定是不希望把數(shù)據(jù)在第三方上顯露,那么如果禁止網(wǎng)站被搜索引擎抓取呢?盛輝科技總結(jié)如下:
   先在站點的根目錄下新建一個robots.txt文本文件。當(dāng)搜索蜘蛛訪問這個站點時，它會先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索蜘蛛就會先讀取這個文件的內(nèi)容:
文件寫法
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: / 這里定義是禁止爬尋站點所有的內(nèi)容
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址
Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片
Sitemap: 網(wǎng)站地圖 告訴爬蟲這個頁面是網(wǎng)站地圖
 
下面列出來的是比較出名的搜索引擎蜘蛛名稱：
Google的蜘蛛： Googlebot
百度的蜘蛛：baiduspider
Yahoo的蜘蛛：Yahoo Slurp
MSN的蜘蛛：Msnbot
Altavista的蜘蛛：Scooter
Lycos的蜘蛛： Lycos_Spider_(T-Rex) 
Alltheweb的蜘蛛： FAST-WebCrawler/ 
INKTOMI的蜘蛛： Slurp
SOGOU的蜘蛛：Sogou web spider/4.0和Sogouinst spider/4.0

按照以上的說明,我們可以給大案一個示例,以Sogou的來說,禁止抓取的robots.txt代碼寫法如下:
User-agent: Sogou web spider/4.0
Disallow: /goods.php 
Disallow: /category.php