Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。

VIP内容

Kafka是什么?它是如何运作的?在这本全面的电子书,你将得到Apache Kafka®的全面介绍,分发,出版-订阅队列处理实时数据feed。了解Kafka是如何工作的,内部架构,它的用途,以及如何充分利用Kafka流处理技术。

作者Neha Narkhede、Gwen Shapira和Todd Palino向您展示了如何部署生产Kafka集群;保护、调优和监视它们;使用Kafka编写鲁棒的应用程序;并构建流处理应用程序,以帮助您利用实时数据的强大功能。

  • 了解Apache Kafka如何与其他发布/订阅消息队列进行比较
  • Kafka如何融入大数据生态系统
  • 深入内部架构和设计(Kafka生产者、消费者、主题、代理、日志等等)
  • 学习开发使用Kafka的应用程序的最佳实践
  • 了解在生产监控、调优和维护任务中部署Kafka的最佳方式
  • 学习如何保护Kafka集群
  • 学习最重要的指标
  • Kafka的原因吗?获得详细的好处和流处理用例
  • 构建实时数据管道:注意事项和使用Kafka连接
  • 带示例和用例的Kafka流指南
成为VIP会员查看完整内容
0
12

最新论文

Data-driven solutions for the investment industry require event-based backend systems to process high-volume financial data feeds with low latency, high throughput, and guaranteed delivery modes. At vwd we process an average of 18 billion incoming event notifications from 500+ data sources for 30 million symbols per day and peak rates of 1+ million notifications per second using custom-built platforms that keep audit logs of every event. We currently assess modern open source event-processing platforms such as Kafka, NATS, Redis, Flink or Storm for the use in our ticker plant to reduce the maintenance effort for cross-cutting concerns and leverage hybrid deployment models. For comparability and repeatability we benchmark candidates with a standardized workload we derived from our real data feeds. We have enhanced an existing light-weight open source benchmarking tool in its processing, logging, and reporting capabilities to cope with our workloads. The resulting tool wrench can simulate workloads or replay snapshots in volume and dynamics like those we process in our ticker plant. We provide the tool as open source. As part of ongoing work we contribute details on (a) our workload and requirements for benchmarking candidate platforms for financial feed processing; (b) the current state of the tool wrench.

0
0
下载
预览
父主题
Top