Solr

  1. 支持添加多种格式的索引,如:HTML、PDF、微软 Office 系列软件格式以及 JSON、XML、CSV 等纯文本格式。
  2. Solr比较成熟、稳定。
  3. 不考虑建索引的同时进行搜索,速度更快。

ElasticSearch

  1. Elasticsearch是分布式的。不需要其他组件,分发是实时的,被叫做”Push replication”。
  2. Elasticsearch 完全支持 Apache Lucene 的接近实时的搜索。
  3. 处理多租户(multitenancy)不需要特殊配置,而Solr则需要更多的高级设置。
  4. Elasticsearch 采用 Gateway 的概念,使得完备份更加简单。
  5. 各节点组成对等的网络结构,某些节点出现故障时会自动分配其他节点代替其进行工作。

对比

  • Solr 利用 Zookeeper 进行分布式管理,而 Elasticsearch 自身带有分布式协调管理功能;

  • Solr 支持更多格式的数据,而 Elasticsearch 仅支持json文件格式;

  • Solr 官方提供的功能更多,而 Elasticsearch 本身更注重于核心功能,高级功能多有第三方插件提供;

  • Solr 在传统的搜索应用中表现好于 Elasticsearch,但在处理实时搜索应用时效率明显低于 Elasticsearch。

    Solr 查询快,但更新索引时慢(即插入删除慢),eg:电商等查询多的应用;

    ES建立索引快(即查询慢),即实时性查询快,eg:facebook新浪等搜索。

solr/es的特点:

  1. 源自搜索引擎,侧重搜索与全文检索。
  2. 数据规模从几百万到几千万不等,数据量过亿的集群特别少。 Ps:有可能存在个别系统数据量过亿,但这并不是普遍现象(就像oracle的表里的数据规模有可能超过hive里一样,但需要小型机)。

solr/es的索引:

  1. 一级跳跃表是完全load在内存中的,除了需要消耗很多内存,首次打开索引的加载速度会特别慢,在solr\es中的索引是一直处于打开状态的,不会频繁的打开与关闭;这种模式会制约一台机器的索引数量与索引规模,通常一台机器固定负责某个业务的索引。
  2. 排序和统计(sum,max,min),是通过遍历倒排表,将某一列的全部值都load到内存里,然后基于内存数据进行统计即使一次查询只会用到其中的一条记录,也会将整列的全部值都load到内存里,台浪费资源,首次查询的性能太差。数据规模受物理内存限制很大,索引规模上千万后OOM是常事。
  3. 索引存储在本地硬盘,出现异常后,因为数据要恢复,copy的时间要太久。
  4. 支持master/slave模式,但是跟传统mysql数据库一样,集群规模并没有特别大的。
  5. 这种模式处理集群规模受限外,每次扩容的数据迁移将是一件非常痛苦的事情,数据迁移时间太久。
  6. 倒排检索即使某个词语存在数据倾斜,因数据量比较小,也可以将全部的doclist都读取过来(比如说男、女),这个doclist会占用较大的内存进行cache,当然在数据规模较小的情况下占用内存不是特别多,查询命中率很高,会提升检索速度,但是数据规模上来后,这里的内存问题越来越严重。
  7. Merger server只能是一个,制约了查询的节点数量;数据不能进行动态分区,数据规模上来后单个索引太大。