robots 、http referer

​

robots文件允许了百度、Google、搜狗、搜搜等搜索抓取

HTTP Referer是header的一部分，当浏览器向网站服务器发送请求的时候，一般会带上Referer（访问来源），告诉服务器是从哪个页面链接过来，服务器籍此可获得信息用于处理