Apache Flink(流處理框架) 160 官方版

 人参与 | 时间:2026-09-04 23:18:56

  Apache Flink是筹备一款流籌備框架,當您在設置流程的框架時候可以將這款軟件部署到你的開發環境中使用 ,讓您可以更好設置流程模塊, 官提供流和批籌備分析、筹备數據管道和ETL 、框架繁雜的 官骷髅头直装3.7後期數據籌備、SQL對流和批籌備數據等多種功能,筹备您可以將其靈活的框架部署到自己的軟件中,也可以部署到任何擴展架構使用;Apache Flink可以集成到多款軟件上開發 , 官讓您的筹备軟件具有流籌備功能 ,新增對 state TTL 的框架原生擁穿著 ,需要的 官摯友趕快下載吧!

軟件功能

  *流優先運行時,筹备擁穿著批籌備和數據流程序

  *優雅流暢的框架Java和Scala api

  *同時擁穿著高吞吐量和低事件延遲的運行時

  *基於*Dataflow模型

  *擁穿著DataStream API中的事件時間和無序*籌備

  *靈活的窗口(時間 ,計數, 官會談,自定義觸發器)跨越不同的時間語義(事件時間,籌備時間)

  *精確一次籌備保證*容錯

  *流媒體節目的自然背壓

  *用於圖形籌備(批籌備)、機器學習(批籌備)和繁雜事件籌備(流)的红石飞行器

  *數據集(批籌備)API中對迭代程序(BSP)的內置擁穿著

  *自定義內存管理,用於在內存中和非核心數據籌備算法之間鋪開高效和強健的切換

  * Apache Hadoop MapReduce和Apache Storm的兼容性層

  *與YARN 、HDFS、HBase和Apache Hadoop生態係統的其他組件集成

軟件特色

  一致的檢查點:Flink的恢複機製基於應用程序狀態的一致檢查點 。如果裸露故障,應用程序將重新打開 ,並從最新的檢查點加載其狀態 。與可重新設置的流源相結合  ,這個特性可以保證一次完全的狀態一致性。

  有效的mc一键开挂(免费)檢查點:如果應用程序保持tb級的狀態 ,那麽檢查點應用程序的狀態可能非常高價 。Flink可以執行異步和增量檢查點 ,以保持檢查點對應用程序的延遲sla的影響非常小。

  端到端精確地一次:Flink為特定存儲係統提供了事務接收器 ,可以保證數據隻寫一次  ,即使在裸露故障的情況下也是如此 。

  與集群管理器集成:Flink與集群管理器緊密集成 ,例如Hadoop YARN、Mesos或Kubernetes。网易mc公益挂直装當流程出局時 ,將自動打開一個新流程來接管其籌備。

  高可用性設置:Flink具有高可用性模式 ,可以消除所有單點故障。ha模式基於Apache ZooKeeper ,這是一種經過實戰驗證的可靠分布式調停服務

安裝計劃

  通過定期將檢查點寫入遠程持久存儲 ,可以實現容錯。下圖描述了傳統應用程序架構和事件驅動應用程序之間的差異 。

  下載並打開Flink

  Flink可在Linux,科技开挂器免费入口Mac OS X和Windows上運行 。為了能夠運行Flink,唯一的要求是安裝一個有效的Java 8.x. Windows用戶  。

  您可以通過發出以下命令來檢查Java的正確安裝:

  java -version

  如果你有Java 8,輸出將如下所示:

  java version "1.8.0_111"

  Java(TM) SE Runtime Environment (build 1.8.0_111-b14)

  Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

  下載並解縮減規模

  1、從下載頁麵下載二進製文件。您可以選擇任何您喜歡的Hadoop / Scala組合 。如果您打算隻使用本地文件係統,任何Hadoop版本都可以正常籌備。

  2 、轉到下載目錄 。

  3 、解縮減規模下載的存檔 。

  $ cd ~/Downloads # Go to download directory

  $ tar xzf flink-*.tgz # Unpack the downloaded archive

  $ cd flink-1.6.0

  打開本地Flink群集

  $ ./bin/start-cluster.sh # Start Flink

  Apache Flink擁穿著流和批分析應用程序 ,如下圖所示 。

使用會談明

  *注:Maven 3.3。x可以構建Flink,但不能正確地消除某些依賴 。Maven 3.0.3正確地創建了庫 。

  要使用Java 8構建單元測試,請使用Java 8u51或更高版本 ,以防止在使用PowerMock runner.*的單元測試中裸露故障

  下圖描述了周期性ETL作業和連續數據管道之間的差異。

  #發展Flink

  Flink提交者使用IntelliJ思想來開發Flink代碼基 。

  我們推薦IntelliJ IDEA用於開發包含Scala代碼的項目 。

  IDE的最低要求是:

  擁穿著Java和Scala(也是混合項目)

  使用Java和Scala擁穿著Maven

  分層的api

  Flink提供了三個分層的api。每種API都在簡潔和表達之間提供了不同的思索 ,並針對不同的用例。

  IntelliJ IDEA

  IntelliJ IDE擁穿著開箱即用的Maven ,並為Scala開發提供了一個插件 。

  * IntelliJ下載:[https://www.jetbrains.com/idea/](https://www.jetbrains.com/idea/)

  * IntelliJ Scala插件:[http://plugins.jetbrains.com/plugin/?id=1347](http://plugins.jetbrains.com/plugin/?id=1347)

  Flink通過定期和異步檢查本地狀態到持久存儲,保證了在裸露故障時的精確一次狀態一致性 。

  由於有界數據集總是可以排序的,所以籌備有界流不需要有序的攝取。有界流的籌備也稱為批籌備  。

更新日誌

  新增對 state TTL 的原生擁穿著。此功能允許在 state 到期後鋪開清理;

  綿延完善 1.5.0 重構的 Flink 分布式架構,並簡化容器設置;

  進一步改進 SQL CLI ,使得針對大量數據源執行流式籌備和批籌備查詢更輕易;

  新增 StreamingFileSink ,以及對 ElasticSearch 6.x 的擁穿著;

  優化 Timer Deletions  。

顶: 9踩: 2363