Flink从Kafka读取数据

 从Kafka读取数据

Flink官方提供了连接工具flink-connector-kafka，直接帮我们实现了一个消费者FlinkKafkaConsumer，它就是用来读取Kafka数据的SourceFunction。

所以想要以Kafka作为数据源获取数据，我们只需要引入Kafka连接器的依赖。Flink官方提供的是一个通用的Kafka连接器，它会自动跟踪最新版本的Kafka客户端。目前最新版本只支持0.10.0版本以上的Kafka。这里我们需要导入的依赖如下。

<dependency>

    <groupId>org.apache.flink</groupId>

    <artifactId>flink-connector-kafka</artifactId>

    <version>${flink.version}</version>

</dependency>

代码如下：

public class SourceKafka {

    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        KafkaSource<String> kafkaSource = KafkaSource.<String>builder()

            .setBootstrapServers("hadoop102:9092")

            .setTopics("topic_1")

            .setGroupId("atguigu")

            .setStartingOffsets(OffsetsInitializer.latest())

            .setValueOnlyDeserializer(new SimpleStringSchema())

            .build();

        DataStreamSource<String> stream = env.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "kafka-source");

        stream.print("Kafka");

        env.execute();

    }

}

5.2.6 从数据生成器读取数据

Flink从1.11开始提供了一个内置的DataGen 连接器，主要是用于生成一些随机数，用于在没有数据源的时候，进行流任务的测试以及性能测试等。1.17提供了新的Source写法，需要导入依赖：

        <dependency>

            <groupId>org.apache.flink</groupId>

            <artifactId>flink-connector-datagen</artifactId>

            <version>${flink.version}</version>

        </dependency>

代码如下：

public class DataGeneratorDemo {

    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        env.setParallelism(1);

        DataGeneratorSource<String> dataGeneratorSource =

                new DataGeneratorSource<>(

                        new GeneratorFunction<Long, String>() {

                            @Override

                            public String map(Long value) throws Exception {

                                return "Number:"+value;

                            }

                        },

                        Long.MAX_VALUE,

                        RateLimiterStrategy.perSecond(10),

                        Types.STRING

                );

        env

                .fromSource(dataGeneratorSource, WatermarkStrategy.noWatermarks(), "datagenerator")

                .print();

        env.execute();

    }

}