当前位置:IT教程网 > 免费教程 > Kafka源码解析与实战

众商网络 发表于 2018-12-20
  • 资源详情
  • 下载记录
  • 资源评价

资源名称:Kafka源码解析与实战 


内容简介:

本书从LinkedIn(领英)公司内部大数据架构讲起,引申出消息队列Kafka,接着讲解Kafka的基本架构,然后着重分析Kafka内部的各模块实现细节。从诞生背景至架构组成,再到内部实现细节,由浅入深,循序渐进。本书不仅讲解Kafka内部的实现原理,而且还详细描述Kafka外部的维护工具,对外的客户端编程原理以及和第三方集成的方式。本书在讲解Kafka的过程中穿插了大量的图片,图文并茂,生动形象,使读者能更加深入地熟悉Kafka。


作者简介:

王亮 架构师,曾在华为担任虚拟化技术工程师,后加入大华公司任分布式数据库系统架构师,研究兴趣为分布式存储、分布式数据库、消息系统等。


资源目录:

前言

第1章 Kafka简介 1

1.1 Kafka诞生的背景 1

1.2 Kafka在LinkedIn内部的应用 3

1.3 Kafka的主要设计目标 4

1.4 为什么使用消息系统 4

1.5 本章小结 5

第2章 Kafka的架构 6

2.1 Kafka的基本组成 6

2.2 Kafka的拓扑结构 8

2.3 Kafka内部的通信协议 9

2.4 本章小结 12

第3章 Broker概述 13

3.1 Broker的启动 13

3.2 Broker内部的模块组成 15

3.3 本章小结 18

第4章 Broker的基本模块 19

4.1 SocketServer 19

4.2 KafkaRequestHandlerPool 25

4.3 KafkaApis 27

4.3.1 LogManager 27

4.3.2 ReplicaManager 37

4.3.3 OffsetManager 47

4.3.4 KafkaScheduler 51

4.3.5 KafkaApis 52

4.4 KafkaHealthcheck 81

4.5 TopicConfigManager 83

4.6 本章小结 85

第5章 Broker的控制管理模块 86

5.1 KafkaController的选举策略 86

5.2 KafkaController的初始化 91

5.2.1 Leader状态下KafkaController的初始化 91

5.2.2 Standby状态下KafkaController的初始化 94

5.3 Topic的分区状态转换机制 95

5.3.1 分区状态的分类 95

5.3.2 分区状态的转换 96

5.3.3 PartitionStateMachine模块的启动 102

5.4 Topic分区的领导者副本选举策略 103

5.4.1 NoOpLeaderSelector 104

5.4.2 Off?linePartitionLeaderSelector 104

5.4.3 ReassignedPartitionLeader-Selector 106

5.4.4 PreferredReplicaPartition-LeaderSelector 107

5.4.5 ControlledShutdownLeader-Selector 108

5.5 Topic分区的副本状态转换机制 109

5.5.1 副本状态的分类 110

5.5.2 副本状态的转换 111

5.5.3 ReplicaStateMachine模块的启动 117

5.6 KafkaController内部的监听器 118

5.6.1 TopicChangeListener 119

5.6.2 AddPartitionsListener 121

5.6.3 PartitionsReassignedListener 122

5.6.4 ReassignedPartitionsIsr-ChangeListener 128

5.6.5 PreferredReplicaElection-Listener 130

5.6.6 BrokerChangeListener 132

5.6.7 DeleteTopicsListener 135

5.7 Kafka集群的负载均衡流程 136

5.8 Kafka集群的Topic删除流程 140

5.9 KafkaController的通信模块 146

5.10 本章小结 150

第6章 Topic的管理工具 151

6.1 kafka-topics.sh 151

6.1.1 createTopic 153

6.1.2 alterTopic 156

6.1.3 listTopics 160

6.1.4 describeTopic 161

6.1.5 deleteTopic 163

6.2 kafka-reassign-partitions.sh 164

6.2.1 generateAssignment 166

6.2.2 executeAssignment 167

6.2.3 verifyAssignment 170

6.3 kafka-preferred-replica-election.sh 172

6.4 本章小结 175

第7章 生产者 176

7.1 设计原则 176

7.2 示例代码 176

7.3 模块组成 180

7.3.1 ProducerSendThread 180

7.3.2 ProducerPool 182

7.3.3 DefaultEventHandler 184

7.4 发送模式 189

7.4.1 同步模式 189

7.4.2 异步模式 189

7.5 本章小结 192

第8章 消费者 193

8.1 简单消费者 193

8.1.1 设计原则 193

8.1.2 消费者流程 194

8.1.3 示例代码 195

8.1.4 原理解析 200

8.2 高级消费者 202

8.2.1 设计原则 202

8.2.2 消费者流程 203

8.2.3 示例代码 204

8.2.4 原理解析 205

8.3 本章小结 227

第9章 Kafka的典型应用 228

9.1 Kafka和Storm的集成 228

9.1.1 Storm简介 228

9.1.2 示例代码 230

9.2 Kafka和ELK的集成 235

9.2.1 ELK简介 235

9.2.2 配置流程 236

9.3 Kafka和Hadoop的集成 237

9.3.1 Hadoop简介 237

9.3.2 示例代码 239

9.4 Kafka和Spark的集成 242

9.4.1 Spark简介 242

9.4.2 示例代码 245

9.5 本章小结 247

第10章 Kafka的综合实例 248

10.1 安防大数据的主要应用 248

10.2 Kafka在安防整体解决方案中的角色 249

10.3 典型业务 250

10.3.1 车辆人脸图片数据的入库 251

10.3.2 视频数据的入库 252

10.3.3 数据延时的监控 254

10.3.4 数据质量的监控 256

10.3.5 布控统计 258

10.3.6 容灾备份 259

10.4 本章小结 260


资源截图:

1.png

共有 条评论

    众商网络

    QQ:289757464

    保证金:300元

    进入ta的店铺
    店主微信
           声明:90%的欺诈、纠纷均由线下交易导致
                                  请勿线下交易!

    售价: 0 金币 [金币充值]

    分类:云计算

    类型:文档

    售价:免费

    更新:2018-12-20

    会员:众商网络

    关注IT教程网微信公众号

    关键词:

    相关资源

    买家必看
    链接失效怎么办?
    如何下载本站收费资源?
    如何下载本站免费资源?
    如何充值金币?
    充值相关
    充值流程介绍
    充值到账时间
    本站充值可以开发票吗?
    充值金币有什么优惠?
    常见问题
    什么是金币?如何获得?
    重复下载资源扣金币吗?
    我的账号和密码丢失怎么办?
    我能把本站资源分享到互联网上吗?
    更多资源请访问:itjiaocheng.com
    QQ交流群338166118

    售后处理售后处理

    VIP咨询VIP咨询

    下载咨询下载咨询

    开店咨询开店咨询

    机构入驻机构入驻

    侵权投诉侵权投诉

    广告合作广告合作