LLunati
← 返回文章列表← Back to blog

C++ 热路径优化手记:内存池、无锁队列与 cache line

#C++#性能优化#无锁编程

每秒 200 万次消息分发场景下,用内存池 + SPSC 环形队列 + cache-line 对齐把 P99 抖动打掉。先 profile,再动刀。

场景

消息分发内核,单线程每秒处理 200 万条消息,perf 显示 37% 时间耗在 malloc/free 和 cache miss 上。

1. 内存池:消除热路径分配

消息对象大小固定(128B),用对象池复用:

struct alignas(64) MsgPool {
  std::array<Msg*, 1024> free_list;
  std::atomic<size_t> top{0};

  Msg* acquire() {
    auto t = top.load(std::memory_order_relaxed);
    if (t == 0) return nullptr;
    if (top.compare_exchange_weak(t, t - 1, std::memory_order_acquire))
      return free_list[t - 1];
    return nullptr; // CAS 失败走慢路径,交给 fallback
  }
};

要点:池耗尽时优雅降级回系统分配,绝不因池化引入阻塞。

2. SPSC 无锁环形队列

生产者/消费者各占一线程,SPSC 是无锁队列里最简单、最不易写错的形态:

  • 写指针只归生产者,读指针只归消费者,天然免锁
  • std::atomic<size_t> 配 memory_order_release/acquire 成对
  • 批量提交:攒够 16 条一次推进指针,摊薄 fence 开销

3. Cache line 对齐

perf stat 显示大量 mem_load_retired.l1_miss——生产者写 head 时把消费者读的 tail 一起冲掉了(伪共享)。给两者各加 alignas(64):

struct alignas(64) AtomicU64 { std::atomic<uint64_t> v; };
alignas(64) std::atomic<uint64_t> head;
alignas(64) std::atomic<uint64_t> tail;

结果(perf 前后对比)

指标前后
吞吐1.4M msg/s2.3M msg/s
P99 延迟82µs19µs
malloc 占比37%0%

原则

Premature optimization is the root of all evil——所以每一次修改前先抓火焰图,修改后必须复测。没有数据背书的优化不算优化,算重写。

0 条评论0 comments

评论 Comments

加载中…Loading…