比较Hadoop、Spark和Kafka大数据框架
大约十年前，大数据开始流行。随着存储成本不断下降，很多企业开始存储他们获取或生成的大部分数据，以便他们可以挖掘这些数据，以获得关键的业务洞察力。 企业分析所有这些数据的需求推动着各种大数据框架的开发，这些框架能够筛选大量数据，从Hadoop开始
Kafka运维你是真的懂数据迁移吗？
kafka运维】副本扩缩容、数据迁移、副本重分配、副本跨路径迁移脚本参数参数 描述 例子 –zookeeper 连接zk –zookeeper localhost:2181, localhost:2182 –topics-to-move-json-file 指定json文件,文件内容为topic配置 –topics-to-move-json-file config/
Kafka 2.8.0推出，与ZooKeeper正式分手！
这次升级包括了很多重要的改动，其中最引人瞩目的就是kafka通过自我管理的仲裁来替代ZooKeeper，通俗的说，Kafka将不再需要ZooKeeper，正式分手! 其实早在19年，就有人在社区中提出要移除Kafka对Zookeeper依赖的想法，当时被视为几乎不可能，但随着众人齐
成为 Kafka 高手的诀窍：生产者深度实践总结
Client 指的是将会写入消息的多个不同的客户端，这里的客户端是一个抽象化的概念，只要和 kafka server建立了连接，将会写入消息到 kafka 中，无论是否在同一个服务器或者一个进程中，我们都把它称为一个 client。 Broker 指的是加入到了集群里面的服务器
Kafka之消费与激情
副标题#e# 首先，我们来看看消费。Kafka提供了非常简单的消费API，使用者只需初始化Kafka的Broker Server地址，然后实例化KafkaConsumer类即可拿到Topic中的数据。一个简单的Kafka消费实例代码如下所示： publicclassJConsumerSubscribeextendsThread{ publ
介绍Kafka可视化Web界面管理工具：CMAK
kafka-manager管理工具简介 它最早由雅虎开源，功能非常齐全，展示的数据非常丰富。同时用户能够在界面上执行一些简单的集群管理操作。 不过雅虎已经将其更名为CMAK(Cluster Manager for Apache Kafka)。 CMAK支持的功能 管理多个集群 轻松检查集群状态(主
Kafka如何选取优质合理的分区数
我们经常会面临这样的问题，在确定某个topic下应该设置多少分区数，有时并不知道应该如何设置，如何评估等。或者别人问你当前kafka集群中，具体的业务topic中分区数是多少，是如何知道需要多少分区或怎么选择比较适合的分区数。 1.结合业务场景和非业务条
Kafka架构和高可用机制分析，阿里腾讯都在用
在一套kafka架构中有多个Producer，多个Broker,多个Consumer，每个Producer可以对应多个Topic，每个Consumer只能对应一个ConsumerGroup。 整个Kafka架构对应一个ZK集群，通过ZK管理集群配置，选举Leader，以及在consumer group发生变化时进行rebalance。
带你涨姿势的了解一下Kafka Consumer
之前我们介绍过了 Kafka 整体架构，Kafka 生产者，Kafka 生产的消息最终流向哪里呢？当然是需要消费了，要不只产生一系列数据没有任何作用啊，如果把 Kafka 比作餐厅的话，那么生产者就是厨师的角色，消费者就是客人，只有厨师的话，那么炒出来的菜没有人
Kafka 基础知识详解你不是知道的事
Kafka 起初是由 Linkedin 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper协调的分布式消息系统，现己被捐献给 Apache 基金会 。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性
