乐天堂fun88 - 轻松学习从此开始!    

乐天堂fun88

Java1234官方群25:
Java1234官方群25:838462530
        

SpringBoot打造企业级进销存

Java1234 VIP课程

领取微信扫码登录Java实现视频教程

Java1234至尊VIP(特价活动)
当前位置: 主页 > Java文档 > 大数据云计算 >

kafka学习 PDF 下载


分享到:
时间:2020-08-18 10:16来源:http://www.51qzml.com 作者:小锋  
kafka学习 PDF 下载
失效链接处理
kafka学习 PDF 下载


本站整理下载:
链接: 
提取码:dk23
 
相关截图:
 
主要内容:

1、Kafka简介
Kafka是一个开源的分布式消息引擎/消息中间件,同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息,同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等)
Kafka最核心的最成熟的还是他的消息引擎,所以Kafka大部分应用场景还是用来作为消息队列削峰平谷。另外,Kafka也是目前性能最好的消息中间件。
2、Kafka架构
 
在Kafka集群(Cluster)中,一个Kafka节点就是一个Broker,消息由Topic来承载,可以存储在1个或多个Partition中。发布消息的应用为Producer、消费消息的应用为Consumer,多个Consumer可以促成Consumer Group共同消费一个Topic中的消息。
概念/对象 简单说明
Broker Kafka节点
Topic 主题,用来承载消息
Partition 分区,用于主题分片存储
Producer 生产者,向主题发布消息的应用
Consumer 消费者,从主题订阅消息的应用
Consumer Group 消费者组,由多个消费者组成
3、准备工作
Kafka服务器
准备3台CentOS服务器,并配置好静态IP、主机名
Kakfa集群需要依赖ZooKeeper存储Broker、Topic等信息,这里我们部署三台ZK
192.168.218.101 Kafka节点1  zk
192.168.218.102 Kafka节点2  zk
192.168.218.103 Kafka节点3  zk
 
安装部署好kafka之后,查看kafka_2.11-1.1.0/config/server.properties,配置以下内容
 
设置broker.id这里是用于投票选举,每个节点的数字不一样
 
设置kafka日志存放目录
 
设置监听端口
 
以上设置除了broker.id 监听端口ip需要修改,其余不用修改。
附:kafka常用配置
 
4 启动kafka
/bin/kafka-server-start.sh config/server.properties &
在k8s集群中启动kafka的pod,启动三台,broker-0/broker-1/broker-2
1、kafka服务启动:./kafka-server-start.sh   ../config/server.properties
-daemon表示静默方式启动
 
2、查看有哪些主题: ./kafka-topics.sh --list –zookeeper chen-1:2181,chen-2:2181,chen-3:2181
3、创建topic:./kafka-topics.sh --create --zookeeper chen-1:2181,chen-2:2181,chen-3:2181 --replication-factor 1 --partitions 1 --topic chen
 
4、查看topic的详细信息:./kafka-topics.sh –zookeeper chen-1:2181,chen-2:2181,chen-3:2181  -describe -topic chen
 
5、kafka生产者客户端命令:./kafka-console-producer.sh --broker-list chen-1:9092 --topic chen 生产者端可以产生数据供消费者消费
 
 
6、kafka消费者客户端命令:./kafka-console-consumer.sh  --bootstrap-server chen-2:9092 
--topic chen
 
./kafka-console-consumer.sh  --bootstrap-server chen-3:9092 --from-beginning --topic chen
--from-beginning参数可以从头开始消费数据
 
 
此时进入zookeeper客户端,可看到在zk中已经存储了和kafka相关的数据
 
 
__consumer_offsets表示记录消费的偏移量
 
 
7、删除topic:./kafka-topics.sh --zookeeper zk服务IP:2181 --delete --topic WordCount(注:不能真正删除topic只是把这个topic标记为删除(marked for deletion),要彻底把topic删除必须把kafka中与当前topic相关的数据目录和zookeeper中与当前topic相关的路径一并删除。)
 
5 消费者组(Consumer Group)
  消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic,每个消费者组都可以拿到相同的全部数据。
设置consumer.properties文件

 

------分隔线----------------------------
锋哥公众号


锋哥微信


关注公众号
【Java资料站】
回复 666
获取 
66套java
从菜鸡到大神
项目实战课程