最佳 NLP 工具、库和服务推荐

在现代文本数据分析中，NLP 工具和 NLP 库是必不可少的。研究人员和企业使用自然语言处理工具从文本数据分析中提取信息。这种分析包括分析客户反馈、自动化支持系统、改进搜索和推荐算法，以及监控社交媒体。

现在，市面上有很多 NLP 工具和服务可用，了解它们的特性是获得良好结果的关键。虽然有些工具非常适合小型项目，但也有些工具更适合从事大数据工作的专家，这完全取决于项目本身。

为帮助大家为自己的项目找到完美的解决方案，我们整理汇编了一份最佳 NLP 工具、库和服务的列表。在本文中，你将可以找到免费的开源库、众包解决方案和专门的注释公司。

免费 NLP 工具

• NTLK：Natural Language Toolkit 是一个用于构建 Python 程序以处理人类语言数据的平台。它包括词法分析、命名实体识别、标记化、词性标注、句法分析和语义推理。它还提供了一些很好的入门资源。但是，由于 NLTK 在处理大数据时会占用大量资源，因此推荐用于简单项目。

• PyTorch-Transformers：该 NLP 库包含了 NLP 的预训练模型。它具有 PyTorch 实现、预训练的模型权重、使用脚本和转换工具，包括 BERT、GPT-2、Transformer-XL 和 RoBERTa。

• TextBlob：TextBlob 构建在 NLTK 的基础上，就像是一个扩展，简化了 NLTK 的许多功能，它为任务提供了一个易于理解的界面，包括情感分析、词性标注和名词短语提取等。TextBlob 是一个推荐给初学者的自然语言处理工具，它也具有可扩展性。

• SpaCy：SpaCy 是一个流畅、快速、高效的开源库，由 Cython 编写。它具有一个简单的 API、预训练的词向量、11 种语言的 23 个统计模型、用于语法和 NER 的内置可视化工具，它的更新时间表也非常一致。

• Stanford CoreNLP：CoreNLP 用于对文本片段进行语言分析。它提供了 7 种语言的支持，可扩展性使其成为一个很好的自然语言处理工具，可用于信息抓取、聊天机器人训练以及文本处理和生成。需要说明的是，它是按照 GNU 通用公共许可证 V3 许可的，因此在构建任何专用软件时，都需要商业许可证。

• Apache OpenNLP：这个由 Java 编写的 NLP 库以其简单性而备受推崇。它包括标记化、句子分割、词性标注、分块、解析和基于感知器的机器学习。然而，Apache 是一个由志愿者开发的项目，因此更新计划是不稳定的。

• AllenNLP：Allen NLP 是一个基于 PyTorch 构建的 Apache 2.0 研究库，是为那些想要快速简单地建立语言分析模型的研究人员提供的。AllenNLP 具有广泛的文本分析选项，它是一个简单的 NLP 工具，也是可扩展的。

• GenSim：GenSim 是一个用于自然语言处理的免费 Python 库，是主题建模和文档相似性比较的推荐选项。此外，它还提供了可扩展的统计语义和语义结构分析。GenSim 具有高水平的处理速度和处理大量文本的能力。

• NLP Architect：NLP Architect 由 Intel AI Lab 开发，是一个开源 Python 库，用于优化 NLP 和探索深度学习拓扑。它旨在使训练和运行模型成为一个简单的过程。

对于业余爱好者、数据研究人员以及有时间在内部执行注释任务的团队来说，上述选项非常适合。但是，如果你的项目时间表比较紧迫且有大数据要处理，那么寻求合格的 NLP 服务的帮助可能会更简单、更高效。

下面我们整理汇总了四个 NLP 服务列表，以帮助你满足数据分析的需求。

在这些 NLP 服务中，你可以找到可定制的时间表、项目管理帮助、访问专业注释器以及质量保证。

NLP 服务

• Lionbridge：作为训练数据和数据注释的领先提供商，Lionbridge 拥有 500000 名众包专业人员，能够使用 300 多种语言进行工作。他们的定制注释平台使得针对各种用例的数据分析变得容易，并且可以轻松满足特殊的项目需求。Lionbridge 是快速、大规模进行高质量数据注释的理想选择。

• Amazon Mechanical Turk：AMT 集群是一种廉价、可扩展的 NLP 解决方案，用于数据收集和数据标记。由于它们并不提供项目管理、质量保证或定制发票，因此对于那些不需要这些因素的项目来说，AMT 是一个很好的服务。

• Figure Eight：Figure Eight 现在是 Appen 的子公司，提供了一个机器学习辅助的数据标注平台，能够处理各种 NLP 服务。Figure Eight 很适合创建独特的项目本体。

• Scale：Scale 提供 NLP 数据注释服务，包括实体注释、OCR 转录、文本分类和情感分析。通过将人工和机器学习的注释实践相结合，它们的分类和内容审核服务是可扩展的。

还是不能确定如何实现文本数据分析解决方案吗？Lionbridge 可以帮助你定义项目目标，然后根据你的特定需求构建和注释定制的数据集。

作者介绍：

Hengtee Lim，是供职于 Lionbridge 营销团队的作家。他是澳大利亚人，现居日本东京。

本文最初发表在 LionBridge 官网，经原作者 Hengtee Lim 授权，InfoQ 中文站翻译并分享。

原文链接：

https://lionbridge.ai/articles/best-nlp-tools-libraries-and-services/