Apache Flink是一款流处理框架，当您在设置流程的时候可以将这款软件部署到你的开发环境中使用，让您可以更好设置流程模块，提供流和批处理分析、数据管道和ETL、复杂的后期数据处理、SQL对流和批处理数据等多种功能，您可以将其灵活的部署到自己的软件中，也可以部署到任何扩展架构使用；Apache Flink可以集成到多款软件上开发，让您的软件具有流处理功能，新增对 state TTL 的原生支持，需要的朋友赶快下载吧！
软件功能
*流优先运行时，支持批处理和数据流程序
*优雅流畅的Java和Scala api
*同时支持高吞吐量和低事件延迟的运行时
*基于*Dataflow模型
*支持DataStream API中的事件时间和无序*处理
*灵活的窗口(时间，计数，会话，自定义触发器)跨越不同的时间语义(事件时间，处理时间)
*精确一次处理保证*容错
*流媒体节目的自然背压
*用于图形处理(批处理)、机器学习(批处理)和复杂事件处理(流)的库
*数据集(批处理)API中对迭代程序(BSP)的内置支持
*自定义内存管理，用于在内存中和非核心数据处理算法之间进行高效和健壮的切换
* Apache Hadoop MapReduce和Apache Storm的兼容性层
*与YARN、HDFS、HBase和Apache Hadoop生态系统的其他组件集成
软件特色
一致的检查点:Flink的恢复机制基于应用程序状态的一致检查点。如果出现故障，应用程序将重新启动，并从最新的检查点加载其状态。与可重新设置的流源相结合，这个特性可以保证一次完全的状态一致性。
有效的检查点:如果应用程序保持tb级的状态，那么检查点应用程序的状态可能非常昂贵。Flink可以执行异步和增量检查点，以保持检查点对应用程序的延迟sla的影响非常小。
端到端精确地一次:Flink为特定存储系统提供了事务接收器，可以保证数据只写一次，即使在出现故障的情况下也是如此。
与集群管理器集成:Flink与集群管理器紧密集成，例如Hadoop YARN、Mesos或Kubernetes。当流程失败时，将自动启动一个新流程来接管其工作。
高可用性设置:Flink具有高可用性模式，可以消除所有单点故障。ha模式基于Apache ZooKeeper，这是一种经过实战验证的可靠分布式协调服务
安装方法
通过定期将检查点写入远程持久存储，可以实现容错。下图描述了传统应用程序架构和事件驱动应用程序之间的差异。
下载并启动Flink
Flink可在Linux，Mac OS X和Windows上运行。为了能够运行Flink，唯一的要求是安装一个有效的Java 8.x. Windows用户。
您可以通过发出以下命令来检查Java的正确安装：
java -version
如果你有Java 8，输出将如下所示：
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)
下载并解压缩
1、从下载页面下载二进制文件。您可以选择任何您喜欢的Hadoop / Scala组合。如果您打算只使用本地文件系统，任何Hadoop版本都可以正常工作。
2、转到下载目录。
3、解压缩下载的存档。
$ cd ~/Downloads # Go to download directory
$ tar xzf flink-*.tgz # Unpack the downloaded archive
$ cd flink-1.6.0
启动本地Flink群集
$ ./bin/start-cluster.sh # Start Flink
Apache Flink支持流和批分析应用程序，如下图所示。
使用说明
*注:Maven 3.3。x可以构建Flink，但不能正确地消除某些依赖。Maven 3.0.3正确地创建了库。
要使用Java 8构建单元测试，请使用Java 8u51或更高版本，以防止在使用PowerMock runner.*的单元测试中出现故障
下图描述了周期性ETL作业和连续数据管道之间的差异。
#发展Flink
Flink提交者使用IntelliJ思想来开发Flink代码基。
我们推荐IntelliJ IDEA用于开发包含Scala代码的项目。
IDE的最低要求是:
支持Java和Scala(也是混合项目)
使用Java和Scala支持Maven
分层的api
Flink提供了三个分层的api。每种API都在简洁和表达之间提供了不同的权衡，并针对不同的用例。
IntelliJ IDEA
IntelliJ IDE支持开箱即用的Maven，并为Scala开发提供了一个插件。
* IntelliJ下载:[https://www.jetbrains.com/idea/](https://www.jetbrains.com/idea/)
* IntelliJ Scala插件:[http://plugins.jetbrains.com/plugin/?id=1347](http://plugins.jetbrains.com/plugin/?id=1347)
Flink通过定期和异步检查本地状态到持久存储，保证了在发生故障时的精确一次状态一致性。
由于有界数据集总是可以排序的，所以处理有界流不需要有序的摄取。有界流的处理也称为批处理。
更新日志
新增对 state TTL 的原生支持。此功能允许在 state 到期后进行清理；
继续完善 1.5.0 重构的 Flink 分布式架构，并简化容器设置；
进一步改进 SQL CLI，使得针对大量数据源执行流式处理和批处理查询更容易；
新增 StreamingFileSink ，以及对 ElasticSearch 6.x 的支持；
优化 Timer Deletions 。
∨ 展开