Flink 1.17教程：输出算子之输出到文件

左手的ㄟ右手 2023-10-15 18:20 8阅读 0赞

### 输出到文件 ###

Flink专门提供了一个流式文件系统的连接器：FileSink，为批处理和流处理提供了一个统一的Sink，它可以将分区文件写入Flink支持的文件系统。  
FileSink支持行编码（Row-encoded）和批量编码（Bulk-encoded）格式。这两种不同的方式都有各自的构建器（builder），可以直接调用FileSink的静态方法：  
• 行编码： `FileSink.forRowFormat（basePath，rowEncoder）`。  
• 批量编码： `FileSink.forBulkFormat（basePath，bulkWriterFactory）`。  
示例:

public class SinkFile {
        
        public static void main(String[] args) throws Exception {
        
            StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
            // 每个目录中，都有 并行度个数的 文件在写入
            env.setParallelism(2);
    
            // 必须开启checkpoint，否则一直都是 .inprogress
            env.enableCheckpointing(2000, CheckpointingMode.EXACTLY_ONCE);
    
    
            DataGeneratorSource<String> dataGeneratorSource = new DataGeneratorSource<>(
                    new GeneratorFunction<Long, String>() {
        
                        @Override
                        public String map(Long value) throws Exception {
        
                            return "Number:" + value;
                        }
                    },
                    Long.MAX_VALUE,
                    RateLimiterStrategy.perSecond(1000),
                    Types.STRING
            );
    
            DataStreamSource<String> dataGen = env.fromSource(dataGeneratorSource, WatermarkStrategy.noWatermarks(), "data-generator");
    
            // 输出到文件系统
            FileSink<String> fieSink = FileSink
                    // 输出行式存储的文件，指定路径、指定编码
                    .<String>forRowFormat(new Path("f:/tmp"), new SimpleStringEncoder<>("UTF-8"))
                    // 输出文件的一些配置： 文件名的前缀、后缀
                    .withOutputFileConfig(
                            OutputFileConfig.builder()
                                    .withPartPrefix("atguigu-")
                                    .withPartSuffix(".log")
                                    .build()
                    )
                    // 按照目录分桶：如下，就是每个小时一个目录
                    .withBucketAssigner(new DateTimeBucketAssigner<>("yyyy-MM-dd HH", ZoneId.systemDefault()))
                    // 文件滚动策略:  1分钟 或 1m
                    .withRollingPolicy(
                            DefaultRollingPolicy.builder()
                                    .withRolloverInterval(Duration.ofMinutes(1))
                                    .withMaxPartSize(new MemorySize(1024*1024))
                                    .build()
                    )
                    .build();
    
    
            dataGen.sinkTo(fieSink);
    
            env.execute();
        }
    }