LinkedIn 已将 IndexTank 开源,这是一种运行在云中的文档索引引擎,它让用户可以自定义编制索引的过程,并对结果进行微调。
IndexTank 是在一年之前发布的,在十月份被LinkedIn 收购,并在最近开放了源代码。IndexTank 是与 Google 自定义搜索类似的云服务,它基于 Amazon Web Services 运行,给网站提供了为其中的内容编制索引的功能,而网站的访问者会在稍后搜索这些内容。IndexTank 声称他们的用户拥有完全的控制权,可以决定对什么编制索引,何时编制索引,以及如何对结果排序。这意味着网站可以在搜索结果的基础之上,对想要优先显示的文档做出改善,而不需要依赖于Google 的搜索算法。
和很多站点不同,IndexTank 不会爬取网页的内容,从而对其建立索引,而是会由站点向索引引擎发送要索引的数据。这样,文档在创建之后就可以索引到,这提供了实时的结果。另外,我们可以免费添加这项服务。
IndexTank 包括三个主要组件:
- 索引引擎——只对简单文本建立索引的引擎。而 PDF、微软文档以及其他文档类型需要在建立索引之前转换为文本格式。
- API ——可以通过 Java、Python、.NET、Ruby 和 PHP 客户端访问的 RESTful 的接口。
- Nebulizer ——一种多租户框架,其中存放不限数量、运行在 IaaS 基础架构上的索引引擎。
IndexTank 加入了 Zoie ,那是一种基于 Apache Lucene 构建的实时搜索引擎,并由 LinkedIn 于 2008 年开源。
IndexTank 声称他们已经在一年间吸引了成千上万的用户,其中最值得关注的就是 Reddit ,但这家公司在被 LinkedIn 收购的时候还没有盈利。
IndexTank 的源代码可以在 GitHub: Index Engine 和 API plus Nebulizer 处下载。
查看英文原文: LinkedIn Open Sources IndexTank, a Customizable Indexing Engine
评论