HTTPS站點(diǎn)如何做才能讓百度蜘蛛抓取
我們可以根據(jù)user-agent來(lái)判斷spider。然后做301/302定向,百度spider引擎定向到HTTP
非百度SPIDER 定向到HTTPS
目前百度的度各個(gè)產(chǎn)品使用的user-agent:
目前有兩種方法
第一種方法:可以采用.htaccess 301重定向
RewriteEngine On # BEGIN Force SSL RewriteCond %{HTTPS} !on [NC] RewriteCond %{HTTP_USER_AGENT} !( Baiduspider| Baiduspider-image | Baiduspider-video | Baiduspider-news | Baiduspider-favo | Baiduspider-cpro | Baiduspider-ads | Baiduspider) [NC] RewriteRule (.*) https://%{SERVER_NAME}%{REQUEST_URI} [R=301,NC,L] # END Force SSL第二種方法:php的 $_SERVER['HTTP_USER_AGENT']來(lái)進(jìn)行判斷
<?php $tmp = $_SERVER['HTTP_USER_AGENT']; if (strpos($useragent, 'baiduspider') !== false){ return 'baiduspider'; } if (preg_match(“#(baiduspider)#si”, $_SERVER['HTTP_USER_AGENT'])) {?? header(“HTTPS/1.1 301 Moved Permanently”); header(“Location: http://www.XXXXX.com/”); exit;?? }}采用HTTPS的站點(diǎn)都是要求安全性能的站點(diǎn),所以站長(zhǎng)還是采用形式,需要安全的站點(diǎn)采用二級(jí)域名,其余用目錄形式表現(xiàn)。