分类：Kafka

2020
09-29

Spring boot集成Kafka消息中间件代码实例

一．创建Springboot项目，添加如下依赖<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><!--https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka-->... 继续阅读 >

2020
09-27

Java实现Kafka生产者消费者代码实例

Kafka的结构与RabbitMQ类似，消息生产者向Kafka服务器发送消息，Kafka接收消息后，再投递给消费者。生产者的消费会被发送到Topic中，Topic中保存着各类数据，每一条数据都使用键、值进行保存。每一个Topic中都包含一个或多个物理分区（Partition），分区维护着消息的内容和索引，它们有可能被保存在不同服务器。新建一个Maven项目，pom.xml加入依赖：<dependency><groupId>org.apache.kafka</groupId><artifactId... 继续阅读 >

2020
09-23

Spring Boot集群管理工具KafkaAdminClient使用方法解析

原理介绍在Kafka官网中这么描述AdminClient：TheAdminClientAPIsupportsmanagingandinspectingtopics,brokers,acls,andotherKafkaobjects.具体的KafkaAdminClient包含了一下几种功能（以Kafka1.0.0版本为准）：创建Topic：createTopics(Collection<NewTopic>newTopics)删除Topic：deleteTopics(Collection<String>topics)罗列所有Topic：listTopics()查询Topic：describeTopics(Collection<String>topicN... 继续阅读 >

2018
06-14

IM系统的MQ消息中间件选型：Kafka还是RabbitMQ？

1、前言在IM这种讲究高并发、高消息吞吐的互联网场景下，MQ消息中间件是个很重要的基础设施，它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色，当然MQ消息中间件的作用远不止于此，它的价值不仅仅存在于技术上，更重要的是改变了以往同步处理消息的思路（比如进行IM消息历史存储时，传统的信息系统作法可能是收到一条消息就马上同步存入数据库，这种作法在小并发量的情况下可以很好的工作，但互联... 继续阅读 >

2017
07-28

9个最佳的大数据处理编程语言

大数据的浪潮仍在继续。它渗透到了几乎所有的行业，信息像洪水一样地席卷企业，使得软件越发庞然大物，比如Excel看上去就变得越来越笨拙。数据处理不再无足轻重，并且对精密分析和强大又实时处理的需要变得前所未有的巨大。那么，在巨大的数据集中进行筛选的最好工具是什么?通过和数据骇客的交流，我们知道了他们用于硬核数据分析最喜欢的语言和工具包。R语言在这些语言名单中，如果R语言排第二，那就没其他能排第... 继续阅读 >