python Flask logging日志报错“另一个程序正在使用此文件,进程无法访问”

python Flask logging日志报错”另一个程序正在使用此文件,进程无法访问”


import os
import datetime
import decimal
import logging
from logging.handlers import TimedRotatingFileHandler
import redis
import json
from flask import Flask, request, make_response, current_app, g
from flask import render_template
from flask import jsonify
from flask import send_from_directory
from flask_sqlalchemy import SQLAlchemy
import flask.json
from config import sql_db_config

BASE_DIR = os.path.dirname(os.path.abspath(__file__))
LOG_PATH = os.path.join(BASE_DIR, 'logs')
app = Flask(__name__)

logging.basicConfig(level=logging.INFO)

file_log_handler = TimedRotatingFileHandler(filename=os.path.join(LOG_PATH, 'info.log'),
                                            when='midnight', backupCount=31, interval=1, encoding='utf-8')

formatter = logging.Formatter('[%(levelname)s %(filename)s:%(lineno)d]: %(message)s')

file_log_handler.setFormatter(formatter)

logging.getLogger().addHandler(file_log_handler)
app.logger.addHandler(file_log_handler)

当在Flask中使用RotatingFileHandler或TimeRotatingFileHandler的时候,即备份日志文件的时候,出现这种情况,是由于多进程情况下,对同一个日志文件一边重命名一边写入发生了冲突

最初使用普通的logging,后来遇到了将日志分片的需求,用到TimedRotatingFileHandler,将日志按时间分片,再后面使用到了多进程,发现正在使用的TimedRotatingFileHandler并不是进程安全的,日志的准确性无法保证,所以改用进程安全的concurrent-log-handler。

  • 日志轮转:根据时间或者文件大小控制日志的文件个数,不用我们手动管理
  • python中logging模块内置的有几个支持日志轮转的handler , 常用的有TimedRotatingFileHandler根据时间轮转; RotatingFileHandler根据文件大小轮转
  • 但是内置的这些handler是多线程安全的,而不支持多进程(可以修改源码加锁保证进程安全)
  • 多进程的时候可以使用concurrent-log-handler(需要自行安装)按照文件大小轮转, concurrent-log-handler不能将日志根据时间分片

pip install concurrent-log-handler
根据文件大小轮转

根据时间片轮转请参考:
https://blog.csdn.net/craftsman2020/article/details/113745255

附录:
详细请参考:https://github.com/Preston-Landers/concurrent-log-handler

其他相关文章:
python-Logging之进程安全的ConcurrentLogHandler

https://www.cnblogs.com/restran/p/4743840.html

https://www.restran.net/2015/08/19/python-concurrent-logging/

http://www.itboth.com/d/EjqYZv/python-logging

https://blog.csdn.net/qq_25730711/article/details/53393190?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control

https://blog.csdn.net/wkb342814892/article/details/80281182

python:多进程日志轮转ConcurrentLogHandler
https://blog.csdn.net/qq_41864652/article/details/81317908

点关注

Original: https://blog.csdn.net/craftsman2020/article/details/112978404
Author: craftsman2020
Title: python Flask logging日志报错“另一个程序正在使用此文件,进程无法访问”

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/748609/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球