消息系统 数据库binlog订阅和消费组件canal快速入门

一、什么是canal

1.定位

Canal是阿里巴巴开源的一款基于mysql数据库binlog增量日志分析提供数据订阅和消费功能的组件

2.原理

Canal原理

  • Canal模拟MySQL Slave协议,将自己伪装成MySQL Slave,将Master发送dump协议
  • Master将binlog同步到Slave(这里是Canal)
  • Canal解析binlog,可以做相关的后续操作,如同步发送到MQ,或同步到其他存储系

消息系统 使用kafka的脚本对kafka进行操作

一张图概括kafka主要脚本的用法:

一张图概括kafka主要脚本的用法

一、主题管理 

主题topic的管理主要通过kafka-topics.sh这个脚本进行操作

1.创建主题

./kafka-topics.sh --create --zookeeper <host:port> --topic <topicName> --partitions <partitionsNum> --replicati

消息系统 kafka集群环境搭建

kafka集群环境搭建

一、Zookeeper集群环境搭建

请参考zookeeper集群搭建

二、kafka集群环境搭建

1.集群环境说明
ID IP 端口
1 192.168.0.200 9092
2 192.168.0.201 9092
3 192.168.0.202 9092

注:以上3台服务器都是CentOS 7.x系统

2.在各节点上下载并安装kafka
  1. wget http://mirro

消息系统 流处理平台kafka的介绍

注:本kafka系列文章是以2.x版本为例

kafka介绍知识框架

一、kafka的概念和基本功能

1.什么是kafka

kafka是一个分布式的流处理平台,处理和管理数据流向的平台(消息队列只是其中一个功能)。它是由LinkedIn公司通过Scala语言开发,并捐献给Apache基金会的一个开源软件。

2.kafka的基本功能:
  • 消息系统:有发布订阅功能的消息队列,此功能与ActiveMQ、RibbitMQ、Rocket

消息系统 RocketMQ安装和启动管理

这里以RocketMQ4.3.0为例,另外这里以rocketmq单机版来做说明(集群版只是在配置上有所改变,在安装上并无差别)

一、安装RocketMQ

1.安装要求
  • 系统要求:64位操作系统(推荐使用Linux和MacOS)
  • 编程环境:JDK1.8+
  • 包管理工具:Maven
2.源码安装

(1)下载源码并解压

  1. wget http://mirror.bit.edu.cn/apache/rocketmq/4