本文介绍了搜索引擎的基本架构，详细讲解了网络爬虫的工作原理，包括通用爬虫框架、爬虫类型、抓取策略、网页更新策略以及暗网抓取。此外，还探讨了索引建立的过程，包括倒排索引、单词词典建立和索引更新策略。
这个系列的文章是一只试图通过产品角度出发去理解复杂庞大搜索引擎的汪写出来的，不足之处很多，欢迎广大技术、非技术同学阅读后指正错误，我们一起探讨共同进步。
本篇主要介绍搜索引擎的架构、网络爬虫、及索引建立。
一、搜索引擎基本信息
1.1 什么是搜索引擎
通俗来讲就是从互联网海量信息中捞出用户感兴趣的内容提供给用户。
1.2 发展历程
分类目录的：纯人工收集整理，代表是导航，如yahoo和hao123
—> 文本检索：采用信息检索模型查询关键词与网页文本的相关程度
—> 链接分析：利用网页间的链接关系分析网页重要性，代表技术google的pageRank
—>用户中心：理解用户需求为核心，典型千人千面。
1.3搜索引擎基本架构
该架构主要有三方面的作用：
1、通过爬虫获得互联网上的海量网页信息，存储在本地并建立索引方便查找；
2、用户输入查询query，解析查询意图，并将query分发进行查询；
3、使用query通过各种算法对索引中的文档（网页）排序，返回最符合意图的若干条结果。
本篇主要从第一方面作用来介绍搜索引擎。
扫一扫
665
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
