Hexo搭建个人博客
github为每个账户提供了一个免费的二级域名{username}.github.io,只需要在仓库{username}.github.io.git中编写代码就能自动实现网页的解析。使用Hexo能通过markdown文件实现博客内容的编写与发布,下面是Ubuntu1904下Hexo的搭建过程,其他环 ...
Read more
FlinkSlot详解与JobExecutionGrap优化
Flink SlotFlink 集群是由 JobManager(JM)、TaskManager(TM)、ResourceManager(RM)、dispacher四大组件组成的,每个 JM/TM 都是运行在一个独立的 JVM 进程中。JM相当于 Master,是集群的管理节点,TM相当于 Worke ...
Read more
Flink--状态一致性
状态一致性,就是计算结果正确性的另一种说法,即发生故障并恢复后得到的计算结果和没有发生故障相比的正确性。 1. 状态一致性分类at-most-once最多一次当任务故障时,最简单的做法就是什么都不做,既不恢复丢失的状态,也不重播丢失的数据,at-most-once语义的含义是最多处理一次事件 a ...
Read more
Flink--ProcessFunction API (底层API)
常用流处理API的转换算子无法访问事件的时间戳信息和水位线信息,如MapFunction的map转换算子就无法访问时间戳或者当前事件时间,而这在一些应用场景下又极为重要。基于各种场景的需求,DataStream API提供了一系列的Low-Level转换算子,可以访问时间戳、watermark以及注 ...
Read more
Flink--复杂事件处理(CEP)
1.CEP简介1.1 基本概念复杂事件处理(Complex Event Processing)CEP允许在无休止的时间流中检测事件模式,让我们有机会掌握数据中的重要部分,一个或多个由简单事件构成的时间流通过一定的规则匹配,然后输出满足规则的复杂事件。 1.2 特点 目标从有序的简单事件流中发现一些高 ...
Read more
数仓环境搭建
CentOS 6.8 minimalyum install -y vim tar rsync openssh openssh-clients libaio net-tools #设置IP 主机名 hosts 关闭防火墙service iptables stopchkconfig iptables ...
Read more