IKAnalyzer和Ansj切词Demo

最新推荐文章于 2024-11-05 10:00:00 发布

最新推荐文章于 2024-11-05 10:00:00 发布 · 267 阅读

标签

#java #数据结构与算法

收录于

Java 同时被 2 个专栏收录

117 篇文章

订阅专栏

Spider

14 篇文章

订阅专栏

本文介绍了两款流行的中文分词工具：IKAnalyzer和Ansj。通过示例代码展示了如何使用这两种工具进行文本分词，并比较了它们在处理中文文本时的特点和差异。

IKAnalyzer

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。切词Demo代码如下：

public static void ikSeg() throws Throwable {
	String content = "Java编程思想(第4版)";
	IKSegmentation ikSeg = new IKSegmentation(new StringReader(content), true);

	Lexeme l = null;
	while ((l = ikSeg.next()) != null) {
		String word = l.getLexemeText();
		int wordType = l.getLexemeType();
		System.out.println(wordType + "->" + word);
	}
}

Ansj：

Ansj中文分词这是一个ictclas的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.切词Demo代码如下：

public static void ansjSeg() throws Throwable {
	String content = "Java编程思想(第4版)";
	Analysis udf = new ToAnalysis(new StringReader(content));
	Term term = null;
	while ((term = udf.next()) != null) {
		TermNature[] termNatures = term.getTermNatures().termNatures;
		String wordType = termNatures[0].nature.natureStr;
		String word = term.getName();
		System.out.println(wordType + "->" + word);

	}

}