济南网站优化公司

济南网站优化公司外包服务咨询方式

seo优化中,蜘蛛抓取到底分几步

浏览:/ 2017-07-28
爬行是什么?
爬行是一个搜索引擎蜘蛛从一个已知的页面中解出一个URL的过程,然后跟踪一个链接来发现一个新页面(即URL的URL)。当然,蜘蛛并不是为了在过去找到新的URL,而是为了找到存储库中的地址的URL地址,这是一个爬行器,它可以从地址库中抓取提取的URL地址。
抓住什么?
抓取是搜索引擎爬行器从地址库抓取的URL,访问URL,并将读取的HTML代码存储到数据库中。爬行器的爬行就像打开页面的浏览器,以及用户的浏览器,并在服务器的原始日志中留下记录。
索引是什么?
索引指的是将一个URL的信息分类到数据库中,这是索引库。当用户搜索时,搜索引擎从索引库中提取URL信息并对其进行排序。英语索引是索引。索引库用于搜索,因此索引的url可以被用户搜索,而未索引的url在搜索结果中是不可见的。
注意“一个URL的信息”是不限于蜘蛛抓取的URL,以及来自其他来源的信息,如外部链接,链接锚,等等。有时候,这个URL的信息在索引库中没有捕获任何东西从这个URL,但搜索引擎知道URL存在,有一些其他信息。
抓取和索引并不是一回事。
它是什么?
我个人认为索引和索引之间没有区别。它只是从用户的角度进行搜索,你可以找到URL,也就是被包含的URL。从搜索引擎的角度看,包含URL,这是索引库中的URL的信息。这个词不包含在英语中,索引被用在同一个词索引中。
noindex的作用是什么?
输入元索引标签页头信息是为了告诉搜索引擎不要索引这个URL,也就是信息用户搜索找到URL,URL不会在搜索结果列表中返回。
Noindex不告诉搜索引擎没有抓取URL,实际上,没有索引来做它的工作,这个URL必须先抓取,看页面或者搜索引擎在HTML代码中没有索引标记?
机器人文件的角色是什么?
机器人文件告诉搜索引擎,某些url不具有抓取功能。注意,这不是为了获取,而不是为了索引。而指数则是相反的。
nofollow的作用是什么?
将nofollow属性添加到链接中,以告诉搜索引擎不要在链接上爬行,就像链接不存在一样。注意,nofollow只是告诉了一个爬行器爬这个链接,没有说不要抓取链接到URL,没有说不要索引链接到URL,nofollow没有禁止抓取,也没有禁止索引。
在这个概念之后,指出一些SEO人员通常不明白的东西:
未捕获的页面可以被索引
换句话说,爬行器无法访问并抓取页面(例如被机器人文件所屏蔽),但是这个页面在索引库中有信息,用户可以在搜索时看到它。

阅读"seo优化中,蜘蛛抓取到底分几步"的人还阅读

上一篇:SEO网站安全很重要:下面解析怎样处理网站安全 如何做?

下一篇:如何让网站优化事半功倍?浅析SEO辅助工具大全 如何做?