Blink开源PK Spark3.0,实时流计算技术框架谁能称霸大数据领域?

2019-05-2116:30:31云计算与物联网Comments4,930 views字数 2072阅读模式

2019年伊始,实时流计算技术开始步入普通开发者视线,各大公司都在不遗余力地试用新的流计算框架,实时流计算引擎Spark Streaming、Kafka Streaming、Beam和Flink持续火爆。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

最近Spark社区,来自Databricks、NVIDIA、Google以及阿里巴巴的工程师们正在为Apache Spark 3.0添加原生的GPU调度支持,参考(SPARK-24615和SPARK-24579)该方案将填补了Spark在GPU资源的任务调度方面的空白,极大扩展了Spark在深度学习、信号处理的应用场景。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

与此同时,2019年1月底,阿里巴巴内部版本Blink正式开源!一石激起千层浪,Blink开源的消息立刻刷爆朋友圈,整个大数据计算领域一直以来由Spark独领风骚,瞬间成为两强争霸的时代。那么未来Spark和Blink的发展会碰撞出什么样的火花?谁会成为大数据实时计算领域最亮的那颗星?文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

我们接下来看看Spark和blink各自的优劣和主要区别。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

底层机制文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

Spark的数据模型是弹性分布式数据集 RDD(Resilient Distributed Dattsets),这个内存数据结构使得spark可以通过固定内存做大批量计算。初期的Spark Streaming是通过将数据流转成批(micro-batches),即收集一段时间(time-window)内到达的所有数据,并在其上进行常规批处,所以严格意义上,还不能算作流式处理。但是Spark从版本开始推出基于 Continuous Processing Mode的 Structured Streaming,支持按事件时间处理和端到端的一致性,但是在功能上还有一些缺陷,比如对端到端的exactly-once语义的支持。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

一个典型的Spark DAG示意图文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

Blink开源PK Spark3.0,实时流计算技术框架谁能称霸大数据领域?

Blink是统一的流和批处理框架,基本数据模型是数据流,以及事件(Event)的序列,Blink从设计之初秉持了一个观点:批是流的特例。每一条数据都可以出发计算逻辑,那么Blink的流特性已经在延迟方面占得天然优势。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

一个典型的Blink workflow示意图Blink开源PK Spark3.0,实时流计算技术框架谁能称霸大数据领域?文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

Flink还提供了一个独特的概念叫做有状态的计算,它被用来处理一种情况:数据的处理和之前处理过的数据或者事件有关联。比如,在做聚合操作的时候,一个批次的数据聚合的结果依赖于之前处理过的批次。早期的Spark用户会经常受此类问题所困扰,直到Structured Streaming的出现才得已解决。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

Flink从一开始就引入了state的概念来处理这种问题。为状态计算提供了一个通用的解决方案。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

周边生态文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

在大数据领域,任何一个项目的火爆都被离不开完善的技术栈,Spark和Flink都基于对底层数据和计算调度的高度抽象的内核上开发出了批处理,流处理,结构化数据,图数据,机器学习等不同套件,完成对绝大多数数据分析领域的场景的支持,意图统一数据分析领域。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

Flink和Spark都是由Scla和Java混合编程实现,Spark的核心逻辑由Scala完成,而Flink的主要核心逻辑由Java完成。在对第三方语言的支持上,Spark支持的更为广泛,Spark几乎完美的支持Scala,Java,Python,R语言编程。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

Blink开源PK Spark3.0,实时流计算技术框架谁能称霸大数据领域?
Blink开源PK Spark3.0,实时流计算技术框架谁能称霸大数据领域?

Spark周边生态(图来源于官网)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

与此同时,Flink&Spark官方都支持与存储系统如HDFS,S3的集成,资源管理/调度 Yarn,Mesos,K8s等集成,数据库Hbase,Cassandra,消息系统Amazon,Kinesis,Kafka等。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

Blink开源PK Spark3.0,实时流计算技术框架谁能称霸大数据领域?

Flink周边生态(图来源于官网)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

在最近的Spark+AI峰会上,Databricks公司推出了自己的统一分析平台(Unified Analytics Platform),目标是使户在一个系统里解决尽可能多的数据需求。Flink的目标和Spark一致,包含AI的统一平台也是Flink的发展方向,从技术上来看,Flink是完全有能力支持对机器学习和深度学习的集成,但目前来看,Flink仍有很长的路要走。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

未来趋势文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

2018年是机器学习和深度学习元年,ML在数据处理领域占比越来越重。Spark和Flink在做好实时计算的同时,谁能把握住这次机会就可以在未来的发展中占得先机。另外随着5G的发展,网络传输不再是瓶颈之时,IOT的爆发式发展也将会是实时计算需求爆发之时,届时Flink在流式计算中的天然优势将发挥的淋漓尽致,Blink的开源和阿里巴巴对Blink的加持无疑 又给Flink未来的发展注入一针强心剂。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

总结文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

Spark和Flink发展至今,基本上已经是实时计算领域的事实标准。两者在易用性和生态系统建设上都投入了大量的资源,是现在和未来一段时间内大数据领域最有有力的竞争者。二者的发展是竞争中伴随着互相促进,在与机器学习集成和统一处理平台的建设上双方各有优劣,谁能尽早补齐短板就会在未来的发展中占得优势。对于普通大数据领域的开发者而言,当下也是最好的时代,可以见证两大数据引擎的蓬勃发展,除了学习别无选择,这何尝不是是一种幸运?文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/12756.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/yunda/12756.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定