,
搜索引擎蜘蛛，是一个搜索引擎抓取程序。它像蜘蛛放大网似的，大量的抓取互联网上的上的网页、图片、视频、文字等等内容，方便搜索引擎蜘蛛对这些内容进行索引，然后进行收录在后台系统里，用户就可以在搜索栏里输入关键字后出现想要的内容，回应出用户需要的结果。
搜索引擎蜘蛛无时无刻不在互联网上爬行，抓取各种网页，但是互联网上的网页链接有成千上万个，搜索引擎蜘蛛是不可能抓取互联网的所有页面的，那么蜘蛛所要做的就是尽量抓取内容重要且新鲜丰富的网页。那么哪些会被蜘蛛认为是比较重要或者是新鲜丰富的页面呢？
1、网站权重
内容质量高，年龄大的网站被认为权重比较高的网站。这种网站上的页面被抓取的几率很蜘蛛抓取的深度一般都比较高，所要网站上的页面被抓取的会比较多。
2、更新频率
蜘蛛喜欢新鲜的内容，蜘蛛每次爬行都会把页面数据存储起来，如果下次再来的适合如果内容没有更新，那么蜘蛛以后就会减少来抓取的几率。相反，如果网站内容经常更新，蜘蛛每次来爬去都有新的收获，那么蜘蛛肯定会对这个网站有好的看法会经常来抓取并且抓取深度会一步步的增加。
3、网站结构
包括物理结构和逻辑结构，网站结构调整好了，蜘蛛爬去起来比较顺畅，所以会更受蜘蛛的喜爱。
4、导入链接数量与质量
一个网站导入链接多，蜘蛛就会认为这个网站对人们有用。这是搜索引擎的一个类似于人类投票的一个算法。如果有大量的导入链接，那么证明有很多投你这个赞成票，所以蜘蛛会给予很高的权重，抓取更多更深入的页面。
5、与首页点击距离
因为网站的首页有大量的外部链接，内部链接也有大量的锚文本指向首页，并且更新的时候一般都注重首页的更新，所以一般情况下首页的权重都比较高蜘蛛，抓取的频率比较高，所以如果离首页的点击距离短的话就能被蜘蛛第一时间抓取到链接。