Flink基于Alink中文情感分析示例（Java版本）

Alink是基于Flink的机器学习算法平台，欢迎访问Alink的github获取下载链接及更多信息。

alibaba/Alinkgithub.com

情感分析是对带有情感色彩（褒义贬义/正向负向）的主观性文本进行分析，以确定该文本的观点、喜好、情感倾向。本文将针对顾客对酒店的评论数据，进行建模，并通过模型进行预测。演示情感分析中的常用操作，包括分词，文本向量化，及使用朴素贝叶斯(Naive Bayes)方法进行建模、预测。 

使用的酒店评论数据集链接为：raw.githubusercontent.com

每条记录包括评论内容和标记喜好的标签，标签只有2个值：1代表喜欢，0为不喜欢。下图显示了4条数据：

下面我们使用Alink来进行分析、建模。 

首先，我们需要一个Alink的Java工程，配置好相关环境。

最简单的办法是使用Alink的example工程，下载Alink git的代码，并用Jave IDE打开项目

如下图所示，可以看到三个已经写好的示例：ALSExample, GBDTExample, KMeansExample.

我们在com.alibaba.alink package下新建一个Java文件:

package com.alibaba.alink;

public class SentimentHotelSimpleExample {

	public static void main(String[] args) throws Exception {

	}
}

使用CsvSourceBatchOp读取URL数据，代码如下。

设置列名分别为label和review，数据类型分别为整型和字符串类型，由于该CSV数据第一行保存的是列名，需要设置读取数据时忽略第一行。

CsvSourceBatchOp source = new CsvSourceBatchOp()
	.setFilePath("https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets"
		+ "/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv")
	.setSchemaStr("label int, review string")
	.setIgnoreFirstLine(true)
source.firstN(5).print();

最后一行代码是选择5条数据打印显示出来，结果如下：

然后，我们设置Pipeline，将整个处理和模型过程封装在里面，代码如下：

Pipeline pipeline = new Pipeline(
        new Imputer()
            .setSelectedCols("review")
            .setOutputCols("featureText")
            .setStrategy("value")
            .setFillValue("null"),
        new Segment()
            .setSelectedCol("featureText"),
        new StopWordsRemover()
            .setSelectedCol("featureText"),
        new DocCountVectorizer()
            .setFeatureType("TF")
            .setSelectedCol("featureText")
            .setOutputCol("featureVector"),
        new LogisticRegression()
            .setVectorCol("featureVector")
            .setLabelCol("label")
            .setPredictionCol("pred")
    );

解释一下各个算法组件的作用：

•Imputer：对“review”列进行缺失值填充，方式是填充字符串值“null”，结果写到“featureText“列。•Segment：是进行分词操作，即将原句子分解为单词，之间用空格分隔。由于没有输入结果列，分词结果会直接替换调输入列的值。•StopWordsRemover：是将分词结果中的停用词去掉。•DocCountVectorizer：对“featureText“列出现的单词进行统计，并根据计算出的TF值，将句子映射为向量，向量长度为单词个数，并保存在"featureVector"列。•LogisticRegression：是使用LogisticRegression分类模型。分类预测放在“pred” 列。

下面，我们就可以进入模型训练阶段。通过Pipeline的fit()方法，可以得到整个流程的模型（PipelineModel），记作变量model，代码如下：

PipelineModel model = pipeline.fit(source);

使用model可以对批式/流式数据进行预测，都是调用model的transform()方法。

model.transform(source)
	.select(new String[]{"pred","label","review"})
	.firstN(10)
	.print();

运行结果为：

附录完整的Java代码如下：

package com.alibaba.alink;


import com.alibaba.alink.operator.batch.source.CsvSourceBatchOp;
import com.alibaba.alink.pipeline.Pipeline;
import com.alibaba.alink.pipeline.PipelineModel;
import com.alibaba.alink.pipeline.classification.LogisticRegression;
import com.alibaba.alink.pipeline.dataproc.Imputer;
import com.alibaba.alink.pipeline.nlp.DocCountVectorizer;
import com.alibaba.alink.pipeline.nlp.Segment;
import com.alibaba.alink.pipeline.nlp.StopWordsRemover;


public class SentimentHotelSimpleExample {


    public static void main(String[] args) throws Exception {
        CsvSourceBatchOp source = new CsvSourceBatchOp()
            .setFilePath("https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets"
                + "/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv")
            .setSchemaStr("label int, review string")
            .setIgnoreFirstLine(true);


        //source.firstN(5).print();


        Pipeline pipeline = new Pipeline(
            new Imputer()
                .setSelectedCols("review")
                .setOutputCols("featureText")
                .setStrategy("value")
                .setFillValue("null"),
            new Segment()
                .setSelectedCol("featureText"),
            new StopWordsRemover()
                .setSelectedCol("featureText"),
            new DocCountVectorizer()
                .setFeatureType("TF")
                .setSelectedCol("featureText")
                .setOutputCol("featureVector"),
            new LogisticRegression()
                .setVectorCol("featureVector")
                .setLabelCol("label")
                .setPredictionCol("pred")
        );


        PipelineModel model = pipeline.fit(source);


        model.transform(source)
            .select(new String[] {"pred", "label", "review"})
            .firstN(10)
            .print();
    }


}