企业官网建设流程全解析

Kafka 基础概念

Kafka 是什么？
分布式流处理平台，专为高吞吐量、低延迟的实时数据流设计。核心功能包括发布-订阅消息系统、持久化存储和流式处理。

核心组件

• Topic：消息的逻辑分类，类似数据库表。
• Partition：Topic 的物理分片，支持并行处理和分布式存储。
• Broker：集群中的单个节点，负责存储和转发消息。
• Producer：向 Topic 发布消息的客户端。
• Consumer：从 Topic 订阅消息的客户端。
• Consumer Group：一组协同消费同一 Topic 的 Consumer，确保每条消息仅被组内一个 Consumer 处理。

消息存储机制

消息以 Partition 为单位持久化到磁盘，每个 Partition 由多个 Segment 文件组成（含.log和.index文件）。消息顺序追加，索引文件加速检索。

应用场景

何时选择 Kafka？

• 需要高吞吐（如日志收集、实时指标分析）。
• 要求水平扩展（如分布式系统间的数据管道）。
• 对比 RabbitMQ：Kafka 适合大数据量、低延迟；RabbitMQ 适合复杂路由和协议支持。

实时数据处理示例
电商用户行为追踪：Producer 发送点击/购买事件到 Kafka，Flink 消费数据并实时计算推荐结果。

消息可靠性

防丢失策略

• 生产者：设置acks=all确保 Leader 和 ISR 副本写入；启用重试。
• Broker：配置replication.factor≥2；调整min.insync.replicas。
• 消费者：手动提交偏移量（enable.auto.commit=false）。

生产者失败处理
自动重试（通过retries和retry.backoff.ms参数控制），需注意消息幂等性。

性能优化

提高吞吐量

• 增加 Partition 数量提升并行度。
• 生产者：批量发送（batch.size）、压缩消息（compression.type）。
• 消费者：调整fetch.min.bytes减少拉取次数。

磁盘 I/O 优化

• 使用 SSD 或 RAID 提升磁盘性能。
• 分散 Broker 日志目录到不同磁盘（log.dirs）。
• 调整刷盘策略（如log.flush.interval.messages）。

集群管理

监控与维护

• 工具：JMX + Prometheus + Grafana 监控吞吐、延迟、磁盘使用率。
• 维护：定期清理过期日志（log.retention.hours）、平衡 Partition 分布。

Broker 故障处理

• Leader 副本自动选举（从 ISR 中选择）。
• 确保unclean.leader.election.enable=false避免数据不一致。

高级特性

幂等性与事务

• 幂等性：防止生产者重复消息（enable.idempotence=true）。
• 事务：跨 Topic/Partition 的原子写入（需配置transactional.id）。

分区分配策略

• RangeAssignor：按分区范围分配，易导致负载不均。
• RoundRobin：轮询分配，均衡但重平衡开销大。
• StickyAssignor：减少重平衡时的分区迁移。

Kafka Connect vs. Kafka Streams

• Connect：数据导入/导出工具（如数据库到 Kafka）。
• Streams：客户端流处理库（如实时聚合、过滤）。

面试问题示例

1. Kafka 如何保证消息顺序性？
2. 解释 ISR 机制及其在故障恢复中的作用。
3. 如何设计 Kafka 集群以实现高可用？
4. 消费者重复消费的可能原因及解决方案。
5. 对比 Kafka 与其他消息队列的优缺点。