ClickHouse高级
Hadoop之HDFS
1、HDFS概述
1.1 HDFS产出背景及定义
- HDFS产生背景:
- 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
- HDFS定义:
- HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。
- HDFS的使用场景:适合一次写入,多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
ClickHouse基础
Flink之TableAPI和SQL
Flink状态编程
Flink多流转换
Flink处理函数
Flink中的时间和窗口
DataStream之API
1、简介
Flink有非常灵活的分层API设计,其中的核心层就是DataStream/DataSet API。由于新版本已经实现了流批一体,DataSet API将被弃用,官方推荐统一使用DataStream API处理流数据和批数据。
DataStream(数据流)本身是Flink中一个用来表示数据集合的类(Class),我们编写的Flink代码其实就是基于这种数据类型的处理,所以这套核心API就以DataStream命名。对于批处理和流处理,我们都可以用这同一套API来实现。
DataStream在用法上有些类似于常规的Java集合,但又有所不同。我们在代码中往往并不关心集合中具体的数据,而只是用API定义出一连串的操作来处理它们;这就叫作数据流的“转换”(transformations)。