1.kafka设计动机
kafka的设计初衷是使kafka能够成为统一,实时处理大规模数据的平台,为了达到这个目标,kafka必须支持以下几个应用场景.
(1)具有高吞吐量来支持诸如实时的日志集这样的大规模事件流.
(2)能够很好的处理大量积压的数据,以便能够周期性的加载离线数据进行处理.
(3)能够低延迟的处理传统消息应用场景
(4)能够支持分区,分布式,实时的处理消息,同时具有容错保障机制
满足以上功能的kafka与传统的消息系统相比更像是一个数据库日志系统,了解了kafka的设计动机之后,我们看看kafka发展至今已具有哪些特性
2.kafka的特性
(1)消息持久化
kafka高度依赖于文件系统来存储和缓存消息.说到文件系统,大家普遍认为磁盘读写慢,依赖于文件系统进行存储和缓存消息势必会在性能上大打折扣,其实文件系统存储快慢一定程度上也取决于我们对磁盘的用法.据kafka官方网站介绍:6块7200R SATA RAID5阵列的磁盘线性写的速度为600MB/S,而随机写的速度为100KB/S,线性写的速度是随机写的6000多倍,由此看来磁盘的快慢取决于我们是如何去应用磁盘,加之现代的操作系统提供了预读(read-ahead)和延迟写(write-behind)技术,使得磁盘的写速度并不是大家想象的那么慢.同时,由于kafka是基于JVM(Java Virtual Machine)的,而Java的对象内存消耗非常高,且随着Java对象的增加JVM的垃圾回收也越来越频繁和繁琐,这些都加大了内存的消耗,鉴于以上因素,使用文件系统和依赖于页缓存(page cache)的存储比维护一个内存的存储或是应用其他结构来存储消息更有优势,因此kafka选择以文件来存储数据.
消息系统数据持久化一般采用为每个消费者队列提供一个B树或其他通用的随机访问数据结构来维护消息的元数据,B树操作的时间复杂度为O(LOGN),O(LOGN)的时间复杂度可以看成是一个常量时间,而且B树可以支持各种各样的事务性和非事务性语义消息的传递.尽管B树具有这些优点,但这并不适合磁盘操作.目前的磁盘寻道时间一般在10MS以内,对一块磁盘来说,在同一时刻只能有一个磁头来读写磁盘,这样在并发IO能力上就有问题.同时,对树结构性能的观察结果表明:其性能会随着数据的增长而线性下降.鉴于消息系统本身的作用考虑,数据的持久化队列可以建立在简单的对文件进行谁加的实现方案上.因为是顺序追加,所以kafka在设计上是采用时间复杂度O(1)的磁盘结构,他提供了常量时间的性能,即使是存储海量的信息(TB级)也如此.性能和数据的大小关系也不大,同时kafka将数据持久化到磁盘上,kafka提供了相关配置让用户自己决定消息要保存多久,这样为消费者提供了更灵活的处理方式,因此kafka能够在没有性能损失的情况下提供一般消息系统不具备的特性.
正是由于kafka将消息进行持久化,是的kafka在机器重启后,已存储的消息可继续恢复使用,同时kafka能够很好的支持在线或离线处理,与其他存储及流处理框架集成.
(2)高吞吐量
高吞吐量是kafka设计的主要目标,kafka将数据写到磁盘,充分利用磁盘的顺序读写.同时,kafka在数据写入及数据同步采用零拷贝技术(zero-copy),采用senfFile()函数调用,sendFile()函数是在两个文件描述符之间直接传递数据,完全在内核中操作,从而避免了内核缓冲区与用户缓冲区之间的数据拷贝,操作效率极高.kafka还支持数据压缩及批量发送,同时kafka将每个注意划分为多个分区,这一系列的优化及实现方法使得kafka具有很高的吞吐量,经大多数公司对kafka应用的验证,kafka支持每秒数百万级的消息.
(3)扩展性
kafka要支持对大规模数据的处理,就必须能够对集群进行扩展,分布式必须是其特性之一,这样就可以将多台廉价的PC服务器搭建成一个大规模的消息系统.kafka依赖zookeeper来对集群进行协调管理,这样是的kafka更加容易进行水平扩展,生产者,消费者和代理都为分布式,可配置多个.同时在机器扩展时无需将整个集群停机,集群能够自动感知,重新进行负载均衡及数据复制
(4)多客户端支持
kafka核心模块用scala语言开发,但kafka支持不同语言开发生产者和消费者客户端应用程序.0.8.2之后的版本增加了java版本的客户端实现,0.10之后的版本已废弃scala语言实现的producer及consumer,默认使用java版本的客户端.kafka提供了多种开发语言的接入,如java,scala,C,C++,python,go,erlang,ruby,node.js等,同时,kafka支持多种连接器(connector)的接入,也提供了connector API供开发者调用,kafka与当前主流的大数据框架能很好的集成,如flume,hadoop,HBase,Hive,Spark,Storm等
(5)kafka streams
kafka在0.10之后版本中引入kafka Strams,kafka streams是一个用java语言实现的用于流处理jar文件
(6)安全机制
当前版本的kafka支持以下几种安全措施:
通过SSL和SASL(kerberos),SASL/PLAIN验证机制支持生产者,消费者与代理连接时的身份认证
支持代理与zookeeper连接身份验证
通信时数据加密
客户端读写权限认证
kafka支持与外部其他认证授权服务的集成
(7)数据备份
kafka可以为每个主题指定副本数,对数据进行持久化备份,这可以在一定程度上防止数据丢失,提高可用性
(8)轻量级
kafka的代理是无状态的,即代理不记录消息是否被消费,消费偏移量的管理交由消费者自己或组协调器来维护,同时集群本身几乎不需要生产者和消费者的状态信息,这就使得kafka非常轻量级,同时生产者和消费者客户端实现也非常轻量级
(9)消息压缩
kafka支持GZIP,snappy,LZ4这三种压缩方式,通常把多条消息放一起组成MessageSet,然后再把MessageSet放到一条信息里面去,从而提高压缩比率进而提高吞吐量
3.kafka的应用场景
消息系统或是说消息队列中间件是当前处理大数据一个非常重要的组件,用来解决应用解耦,异步通信,流量控制等问题,从而构建一个高效,灵活,消息同步和异步传输处理,存储转发,可伸缩和最终一致性的稳定系统.当前比较流行的消息中间件有kafka,rocktMQ,RabbitMQ,ZeroMQ,ActiveMQ,MetaMQ,redis等,这些消息中间件在性能及功能上各有所长,如何选择一个消息中间件取决于我们的业务场景,以下这些场景中,kafka是一个不错的选择:
(1)消息系统
kafka作为一款优秀的消息系统,具有高吞吐量,内置的分区,备份冗余分布式等特点,为大规模消息处理提供了一种很好的解决方案
(2)应用监控
利用kafka采集应用程序和服务器健康相关的指标,如CPU占用率,IO,内存,连接数,TPS,QPS等,然后将指标信息进行处理,从而构建一个具有监控仪表盘,曲线图等可视化监控系统,例如,很多公司采用KAFKA和ELK(ElasticSearch Logstash和Kibana)整合构建应用服务监控系统
(3)网站用户行为追踪
为了更好的了解用户行为,操作习惯,改善用户体验,进而对产品升级改进,将用户操作轨迹,内容等信息发送到kafka集群上,通过hadoop.spark或storm等进行数据分析处理,生成相应的统计报告,为推荐系统对象建模提供数据源,进而为每个用户进行个性化推荐
(4)流处理
需要将已收集的流数据提供给其他流式计算框架进行处理,用kafka收集流数据是一个不错的选择,而且当前版本的kafka提供了kafka streams支持对流数据的处理
(5)持久化日志
kafka可以为外部系统提供一种持久性日志的分布式系统,日志可以在多个节点间进行备份,kafka为故障节点数据恢复提供了一种重新同步的机制,同时kafka很方便与HDFS和FLUME进行整合,这就方便将kafka采集的数据持久化到其他外部系统