消息队列的核心作用
消息队列在分布式系统中承担着解耦、异步削峰和流量控制的关键角色。选择合适的消息中间件直接影响系统的稳定性、性能和运维复杂度。
Kafka
Kafka是最流行的高吞吐量分布式消息系统，由LinkedIn开发后捐献给Apache基金会。
核心特性
- 高吞吐量：单机可达百万级消息/秒
- 持久化存储：消息写入磁盘，支持回溯消费
- 分区机制：通过分区实现水平扩展
- 消息顺序：单个分区内保证消息顺序
- Exactly-Once语义：支持精确一次处理
适用场景
- 日志收集和聚合
- 流式数据处理（配合Flink/Spark）
- 事件驱动架构
- 用户行为追踪
- 指标监控数据采集
局限
- 功能相对简单（没有延迟队列、死信队列等）
- 运维门槛较高
- 消息粒度较粗（不支持路由匹配）
RabbitMQ
RabbitMQ是基于AMQP协议的传统消息队列，以功能丰富和易用性著称。
核心特性
- 灵活的路由：支持Direct、Topic、Fanout和Headers四种交换机
- 丰富的队列特性：延迟队列、死信队列、优先级队列
- 可靠投递：Publisher Confirm、消息持久化、ACK机制
- 管理界面：自带友好的Web管理界面
- 多协议支持：AMQP、MQTT、STOMP
适用场景
- 业务系统的异步任务处理
- 微服务间的RPC通信
- 需要复杂路由规则的场景
- 对可靠性要求高的金融交易
局限
- 吞吐量有限（约数万级/秒）
- 消息堆积时性能下降明显
- 水平扩展能力有限
Apache Pulsar
Pulsar是新兴的云原生消息流平台，采用存算分离架构。
核心特性
- 存算分离：计算层和存储层独立扩展
- 多租户：原生支持多租户隔离
- 分层存储：冷数据自动卸载到S3等廉价存储
- 地域复制：跨机房数据复制
- 统一模型：同时支持队列和流两种模式
适用场景
- 云原生环境
- 多租户SaaS平台
- 需要长期数据保留的场景
- 跨地域部署的全球化应用
局限
- 社区生态不如Kafka成熟
- 中文资料较少
对比总结
| 维度 | Kafka | RabbitMQ | Pulsar |
|---|---|---|---|
| 吞吐量 | 极高(百万/秒) | 中(万/秒) | 高(十万/秒) |
| 延迟 | 中(ms级) | 低(us级) | 低(ms级) |
| 消息可靠性 | 高 | 极高 | 高 |
| 路由灵活性 | 低 | 高 | 中 |
| 运维复杂度 | 高 | 低 | 中 |
| 云原生支持 | 一般 | 一般 | 优秀 |
选型建议
- 大数据/流处理 → Kafka
- 业务系统/微服务 → RabbitMQ
- 云原生/多租户 → Pulsar
- IoT/移动端 → RabbitMQ（MQTT支持）
- 需要长时回溯 → Kafka或Pulsar
根据具体场景的技术需求来选型，而不是盲目追随热门技术。