1、robotx.txt文件
2、nofollow标签
3、flash
4、图片
5、JavaScript
6、网站游览权限
7、强制使用cookies
8、HTTP返回码
9、服务器
10、域名解析
11、网站程序完善
12、动态URL
13、框架结构
14、session id
1、网站和页面的权重大小依然被作为衡量网站价值的重要标准，高质量老资格的网站被百度评为高权重，这种网站的页面被蜘蛛抓取的机率比较高，所以会有很多内页被收录。
2、页面更新频率会直接影响蜘蛛的光临频率，蜘蛛把每次光临获得的页面数据保存到服务器上，如果下次光临页面发现内容跟储存数据相同，那么会被蜘蛛认为页 面不会经常更新，然后会给网站一个优先级，来决定以后光临的时间和频率。如果网站内容经常更新，每次蜘蛛抓取的内容都不一样，那么蜘蛛会更加频繁的访问这 类页面，页面出现的新连接也自然会被爬取收录。
3、引导链接的建立，无论网站的外部链接或内部链接，想要被蜘蛛抓取，必须有引导链接进入页面，所以内部链接的合理性搭建非常重要，否则蜘蛛无法发现页面的存在。高质量的外部链接导入也是非常重要的，会增加蜘蛛跟踪爬行深度的增加。
4、建立首页的引导链接，蜘蛛访问最频繁的是首页，有内容更新时，一定要在首页体现出来并建立链接，便于蜘蛛最快抓取到，增加抓取机会。
5、原创内容，蜘蛛最厉害的是会对网站新发布内容同服务器收录数据做比对，如果是抄袭或部分修改的非原创伪原创内容，百度是不会收录的，如果经常发布的是非原创内容，那么也会降低蜘蛛的光临频率，严重的直接不收录，甚至0收录。
算法优秀，反应速度迅速，对内容质量把握优秀，中等强度爬虫程序，对服务器负担不大，推广效果好。
对应user-agent：爬虫名称
Googlebot：google网页爬虫
Googlebot-news：google新闻爬虫
Googlebot-image：google图片爬虫
Googlebot-video：google视频爬虫
Googlebot-mobile：google移动爬虫
Mediapartners-google或Mediapartners(googlebot)：google广告爬虫
Adsbot-google：google着陆页质量检测爬虫
算法良好，反应速度迟钝，对内容质量把握一般，高强度爬虫程序，由于算法优化不良问题，对服务器负担较大，本身小问题也挺多，隐私保护恶劣，在百度面前无隐私可言，推广效果好。
对应user-agent：爬虫名称
Baiduspider：百度网页爬虫兼移动爬虫
Baiduspider-image：百度图片爬虫
Baiduspider-video：百度视频爬虫
Baiduspider-news：百度新闻爬虫
Baiduspider-favo：百度搜藏爬虫
Baiduspider-cpro：百度联盟爬虫
Baiduspider-ads：百度商务爬虫
对应user-agent：爬虫名称
360spider或haosouspider：好搜网页爬虫兼移动爬虫
360spider-image：好搜图片爬虫
360spider-video：好搜视频爬虫
算法恶劣，反应速度极其迟钝，不能良好的把握内容质量，高强度爬虫程序，由于算法奇差，会对页面进行大量反复而又无实际意义的扫描，对服务器负担很大，抓取压力大，综合性价比非常低。
对应user-agent：爬虫名称
Sogou spider：搜狗综合爬虫
对应user-agent：爬虫名称
Iaskspider：新浪爱问爬虫
对应user-agent：爬虫名称
YodaoBot：网易有道爬虫
对应user-agent：爬虫名称
ia_archiver：Alexa爬虫
对应user-agent：爬虫名称
Yahoo! Slurp：雅虎爬虫
对应user-agent：爬虫名称
Bingbot：必应爬虫
秀友百科词条内容均由网友提供，仅供参考。如发现词条内容有问题，请联系管理员。