一套 SQL 搞定数据仓库?Flink有了新尝试 数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务,也是“数据智能”建设的基础环节。迅速获取数据反馈不仅有利于改善产品及用户体验,更有利于公司的科学决策,因此获取数据的实时性尤为重要。目前企... 网站建设# flink# sql# 大数据 2年前340
40亿条/秒!Flink流批一体在阿里双11落地的背后 今年的双11,实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录,数据体量也达到了惊人的每秒7TB,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角,并在稳定性、性能和... 网站建设# flink# 开发# 开发工具 2年前620
关于 Flink Regular Join 与 TTL 的理解 对于流查询,Regular Join 的语法是最灵活的,它允许任何类型的更新(插入、更新、删除)输入表。,Regular Join 包含以下几种(以 L 作为左流中的数据标识,R 作为右流中的数据标识... 网站建设# flink# join# regular 3年前100
初学Tips - 为啥Flink的Java模块需要Scala的版本后缀 “ From 开发者:“ flink关于java和scala开发,总是搞不清maven依赖什么情况,能不能讲下?知道flink是在java上面包裹了一层scala,但是添加maven依赖的时候,总是很... 网站建设# flink# idea# java 3年前140
自适应批作业调度器:为 Flink 批作业自动推导并行度 对大部分用户来说,为 Flink 算子配置合适的并行度并不是一件容易的事。对于批作业,小的并行度会导致作业运行时间长,故障恢复慢,而不必要的大并行度会导致资源浪费,任务部署和数据 shuffle 开销... 网站建设# flink# 并行度# 批作业 3年前270
Flink无法将聚合结果直接写入Kafka怎么办? 【Flink 1.10】- 有一种情况是所有的系统或应用之间的桥梁都是Kafka,而这个时候恰恰是上游需要做Unbound的聚合统计。From @PyFlink 企业用户。,示例代码:,执行这个SQL... 网站建设# flink# kafka# retract 3年前140
高级测试:如何使用Flink对Strom任务的逻辑功能进行复现测试? Flink和Strom都是时下较为流行的数据流平台,考虑以下一种应用场景:已经使用Strom完成了对于某一逻辑功能的开发,如果现在期望使用Flink实现相同的逻辑,那么就需要考虑如何使用Flink来对... 网站建设# flink# strom# 测试 4年前280
Apache Flink 漫谈系列 - 时间 Apache Flink 在进行Streaming计算时为什么需要时间?回答这个问题我们先看看Streaming和Batch的一个明显区别,即 从数据集的角度看,Streaming是一个Unbound... 网站建设# apache# flink# streaming 4年前1460