前言任何线上 C 后端服务都离不开日志系统。 直接使用printf、std::cout、同步写文件在高并发场景存在严重性能问题写磁盘是慢速 IO大量业务线程争抢文件句柄会造成服务吞吐量暴跌、线程阻塞。前面实现的 WebServer 服务器目前没有日志模块异常、访问请求、错误无法留存。 手写一套工业风格异步日志库采用双缓冲设计业务线程只写内存队列独立后台线程负责磁盘刷盘支持日志分级、时间戳、按大小 / 时间滚动切割日志文件最后无缝接入 WebServer 项目。前置知识多线程互斥锁、条件变量、文件 IO、C11 可变参数模板。1. 同步日志与异步日志对比方案实现方式优点缺点适用场景同步日志业务线程直接 fwrite 写磁盘实现简单逻辑直观磁盘 IO 阻塞业务线程高并发性能差调试、低流量小程序异步日志业务线程写入内存队列专门日志线程落盘业务线程不阻塞吞吐高多线程队列代码复杂度上升后端高并发服务核心痛点磁盘 IO 速度远低于 CPU绝对不能让业务线程等待磁盘。2. 核心设计思路双缓冲队列双缓冲Double‑Buffer是异步日志经典方案muduo 日志库也是该思路。 两块缓冲区生产缓冲区业务线程往这块缓冲区写日志消息消费缓冲区日志后台线程读取这块缓冲区执行磁盘 fwrite 落盘。工作流程业务线程不断向生产缓冲区追加日志当生产缓冲区写满或者达到定时刷新阈值交换两块缓冲区指针日志线程拿到旧的生产缓冲区现在变为消费缓冲区写文件业务线程继续向刚交换完成的空缓冲区继续写入互不阻塞。优势减少锁竞争避免每条日志都触发条件变量唤醒批量刷盘极大降低系统调用次数。3. 日志功能需求定义日志分级TRACE、DEBUG、INFO、WARN、ERROR、FATAL可运行时设置日志级别低于级别直接丢弃。每条日志携带时间戳、日志级别、线程 id、文件名、行号、日志内容。双缓冲队列异步输出业务线程不阻塞磁盘 IO。日志滚动按文件大小切割、按时间按天切割日志文件。线程安全多业务线程并发调用日志接口。Fatal 级别输出日志后直接终止程序。支持控制台输出 文件输出双输出模式。4. 完整代码实现log_buffer.h 日志缓冲区#pragma once #include vector #include string #include cstddef //单块缓冲区固定内存大小 constexpr size_t BUFFER_SIZE 4 * 1024 * 1024; //4MB class LogBuffer { public: LogBuffer() { m_data.resize(BUFFER_SIZE); } //写入日志字符串 void append(const char* data, size_t len) { if (writableBytes() len) { return; //缓冲区已满丢弃日志 } memcpy(m_data[m_cur], data, len); m_cur len; } size_t writableBytes() const { return BUFFER_SIZE - m_cur; } const char* data() const { return m_data.data(); } size_t size() const { return m_cur; } //重置写指针缓冲区内存不释放复用内存 void reset() { m_cur 0; } private: std::vectorchar m_data; size_t m_cur{0}; };async_logger.h 异步日志核心#pragma once #include log_buffer.h #include mutex #include condition_variable #include thread #include vector #include fstream #include string #include cstdarg #include ctime #include sys/syscall.h #include unistd.h //日志级别 enum LogLevel { LOG_TRACE, LOG_DEBUG, LOG_INFO, LOG_WARN, LOG_ERROR, LOG_FATAL }; class AsyncLogger { public: static AsyncLogger getInstance(); //设置输出文件前缀 void setLogFilePrefix(const std::string prefix); //设置最低输出级别 void setLogLevel(LogLevel level); //开启控制台打印 void enableConsole(bool enable); //可变参数写日志对外接口 void log(LogLevel level, const char* file, int line, const char* fmt, ...); //启动日志后台线程 void start(); //停止日志线程等待剩余日志落盘 void stop(); private: AsyncLogger(); ~AsyncLogger(); AsyncLogger(const AsyncLogger) delete; AsyncLogger operator(const AsyncLogger) delete; //日志线程主循环 void threadLoop(); //生成日志文件名支持按时间、按大小滚动 std::string generateFileName(); //检查是否需要滚动文件 bool checkRollFile(); //把缓冲区内容写入磁盘文件 void flushBufferToFile(LogBuffer* buf); private: std::string m_file_prefix; LogLevel m_min_level; bool m_console_enable{true}; std::atomicbool m_running{false}; std::thread m_log_thread; std::mutex m_mtx; std::condition_variable m_cv; //双缓冲生产、消费 LogBuffer* m_produce_buf; LogBuffer* m_consume_buf; //文件相关 std::ofstream m_ofs; size_t m_cur_file_size{0}; const size_t MAX_FILE_SIZE 128 * 1024 *1024; //单文件最大128MB time_t m_last_roll_time{0}; }; //宏对外简化调用 #define LOG_TRACE(fmt, ...) AsyncLogger::getInstance().log(LOG_TRACE, __FILE__, __LINE__, fmt, ##__VA_ARGS__) #define LOG_DEBUG(fmt, ...) AsyncLogger::getInstance().log(LOG_DEBUG, __FILE__, __LINE__, fmt, ##__VA_ARGS__) #define LOG_INFO(fmt, ...) AsyncLogger::getInstance().log(LOG_INFO, __FILE__, __LINE__, fmt, ##__VA_ARGS__) #define LOG_WARN(fmt, ...) AsyncLogger::getInstance().log(LOG_WARN, __FILE__, __LINE__, fmt, ##__VA_ARGS__) #define LOG_ERROR(fmt, ...) AsyncLogger::getInstance().log(LOG_ERROR, __FILE__, __LINE__, fmt, ##__VA_ARGS__) #define LOG_FATAL(fmt, ...) AsyncLogger::getInstance().log(LOG_FATAL, __FILE__, __LINE__, fmt, ##__VA_ARGS__)async_logger.cpp 实现#include async_logger.h #include cstring AsyncLogger AsyncLogger::getInstance() { static AsyncLogger ins; return ins; } AsyncLogger::AsyncLogger() { m_produce_buf new LogBuffer(); m_consume_buf new LogBuffer(); m_min_level LOG_DEBUG; } AsyncLogger::~AsyncLogger() { stop(); delete m_produce_buf; delete m_consume_buf; } void AsyncLogger::setLogFilePrefix(const std::string prefix) { m_file_prefix prefix; } void AsyncLogger::setLogLevel(LogLevel level) { m_min_level level; } void AsyncLogger::enableConsole(bool enable) { m_console_enable enable; } void AsyncLogger::start() { m_running true; m_log_thread std::thread(AsyncLogger::threadLoop, this); } void AsyncLogger::stop() { if (!m_running) return; m_running false; m_cv.notify_one(); if(m_log_thread.joinable()) { m_log_thread.join(); } if(m_ofs.is_open()) { m_ofs.flush(); m_ofs.close(); } } std::string AsyncLogger::generateFileName() { time_t now time(nullptr); struct tm tm_buf{}; localtime_r(now, tm_buf); char tmp[128]; snprintf(tmp, sizeof tmp, %s_%04d%02d%02d.log, m_file_prefix.c_str(), tm_buf.tm_year1900, tm_buf.tm_mon1, tm_buf.tm_mday); return std::string(tmp); } bool AsyncLogger::checkRollFile() { time_t now time(nullptr); //超过大小 或者跨天触发滚动 if(m_cur_file_size MAX_FILE_SIZE || (now - m_last_roll_time) 24*3600) { return true; } return false; } void AsyncLogger::flushBufferToFile(LogBuffer* buf) { if(buf-size() 0) return; if(!m_ofs.is_open() || checkRollFile()) { if(m_ofs.is_open()) { m_ofs.close(); } std::string name generateFileName(); m_ofs.open(name, std::ios::app); m_cur_file_size 0; m_last_roll_time time(nullptr); } m_ofs.write(buf-data(), buf-size()); m_ofs.flush(); m_cur_file_size buf-size(); } void AsyncLogger::log(LogLevel level, const char* file, int line, const char* fmt, ...) { if(level m_min_level) { return; } const char* level_str[] {TRACE,DEBUG,INFO,WARN,ERROR,FATAL}; //获取线程id pid_t tid syscall(SYS_gettid); time_t now time(nullptr); struct tm tm_now{}; localtime_r(now, tm_now); char log_head[256]; int head_len snprintf(log_head, sizeof log_head, %04d-%02d-%02d %02d:%02d:%02d [%s] tid:%d %s:%d , tm_now.tm_year1900, tm_now.tm_mon1, tm_now.tm_mday, tm_now.tm_hour, tm_now.tm_min, tm_now.tm_sec, level_str[level], tid, file, line); char log_body[1024]; va_list ap; va_start(ap, fmt); vsnprintf(log_body, sizeof log_body, fmt, ap); va_end(ap); std::string full_log std::string(log_head, head_len) log_body \n; if(m_console_enable) { fwrite(full_log.c_str(), 1, full_log.size(), stdout); } //写入生产缓冲区 std::lock_guardstd::mutex lock(m_mtx); m_produce_buf-append(full_log.c_str(), full_log.size()); m_cv.notify_one(); if(level LOG_FATAL) { m_running false; m_cv.notify_one(); ::abort(); } } void AsyncLogger::threadLoop() { while(m_running) { std::unique_lockstd::mutex lock(m_mtx); //等待缓冲区有数据 或者 退出信号等待最多3秒定时刷新 m_cv.wait_for(lock, std::chrono::seconds(3), [this](){ return m_produce_buf-size() 0 || !m_running; }); //交换生产、消费缓冲区 std::swap(m_produce_buf, m_consume_buf); lock.unlock(); //消费缓冲区写磁盘 flushBufferToFile(m_consume_buf); m_consume_buf-reset(); } //退出时把剩余生产缓冲区数据落盘 std::lock_guardstd::mutex lock(m_mtx); flushBufferToFile(m_produce_buf); m_produce_buf-reset(); }5. 使用示例 接入 WebServermain 中初始化日志#include async_logger.h int main() { //日志初始化 AsyncLogger logger AsyncLogger::getInstance(); logger.setLogFilePrefix(webserver); logger.setLogLevel(LOG_INFO); logger.enableConsole(true); logger.start(); LOG_INFO(WebServer 服务启动端口 %d, 8080); //.....原有webserver业务逻辑 LOG_WARN(收到异常连接); LOG_ERROR(解析http报文失败); //服务退出前停止日志线程保证剩余日志刷盘 logger.stop(); return 0; }在 TcpConnection、http 解析、acceptor 各个业务位置直接调用LOG_INFO / LOG_ERROR打印日志业务线程不会阻塞磁盘 IO。6.CMake 集成将async_logger.cpp log_buffer.cpp编译进 utils_lib 静态库其他模块直接 include 头文件调用宏。add_library(utils_lib STATIC objectpool.cpp async_logger.cpp log_buffer.cpp ) target_include_directories(utils_lib PUBLIC ${CMAKE_CURRENT_SOURCE_DIR})7. 现存缺陷与优化方向当前单条日志长度限制 1024大日志会截断 优化动态字符串支持变长日志。日志文件删除逻辑缺失日志文件会无限堆积占磁盘 优化增加日志文件清理只保留 N 天日志。消息格式化在业务线程执行 优化把格式化放到日志线程进一步降低业务线程开销。没有日志压缩 优化旧日志自动 gzip 压缩。没有日志异步落盘 fdatasync 优化使用 O_DSYNC/fdatasync 控制刷盘策略平衡性能与数据安全。8. 踩坑汇总程序崩溃最后几条日志丢失原因异步日志消息还在内存队列进程直接退出日志线程没来得及刷盘。 解决程序退出必须调用logger.stop()等待日志线程完成落盘。双缓冲交换时一定要加锁交换指针本身是临界区。Fatal 级别调用 abort ()abort 不会触发对象析构Fatal 前尽量把日志刷出。不要在日志回调内部再打日志造成递归死锁。localtime 非线程安全代码中使用localtime_r线程安全版本。9. 面试高频题Q1异步日志双缓冲原理是什么两块缓冲区业务写生产缓冲区写满或者超时交换指针日志线程处理消费缓冲区磁盘写入业务线程继续写交换后的空缓冲区减少锁竞争批量 IO。Q2为什么不用无锁队列无锁队列实现复杂双缓冲在高并发下已经足够优秀muduo 也是双缓冲方案工程优先简单可靠。Q3程序 crash部分日志丢失是什么原因如何解决日志还停留在内存缓冲区未刷入磁盘。正常退出调用 stop 等待落盘异常崩溃无法干预关键业务点可以同步刷盘。Q4日志滚动的两种策略按文件大小切割按时间按天切割。Q5日志级别有什么意义线上环境一般开哪个级别TRACE/DEBUG 开发调试INFO 正常业务WARN 警告ERROR 错误FATAL 致命崩溃。线上一般 INFO 及以上关闭 DEBUG/TRACE 减少日志量。小结完成高性能异步日志组件理解同步日志性能缺陷掌握双缓冲异步日志核心原理实现日志分级、时间戳、线程号、文件名行号实现按大小、按时间日志滚动完成 WebServer 项目无缝接入掌握日志丢失、线程安全等工程坑点与面试考点。