【.Net】文件併發(日誌處理)--隊列--Redis+Log4Net

時間 2019-12-13

標籤 .Net 文件併發日誌處理隊列 redis+log4net redis log 欄目 Redis 简体版

原文原文鏈接

多線程操做同一個文件時會出現併發問題。解決的一個辦法就是給文件加鎖(lock),可是這樣的話，一個線程操做文件時，其它的都得等待，這樣的話性能很是差。另一個解決方案，就是先將數據放在隊列中，而後開啓一個線程，負責從隊列中取出數據，再寫到文件中。html

下面咱們講解一個實際項目中應用的案例，關於日誌的處理.這裏是使用ASP.NET MVC項目做爲Demo。redis

方式一：使用隊列

思路：把全部產生的日誌信息存放到一個隊列裏面，而後經過新建一個線程，不斷的從這個隊列裏面讀取異常信息，而後往日誌裏面寫。也就是所謂的生產者、消費者模式。數據庫

1、新建一個類MyErrorAttribute,多線程

using System.Web.Mvc;
    public class MyErrorAttribute : HandleErrorAttribute
    {
        public static Queue<Exception> ExceptionQueue = new Queue<Exception>();
        public override void OnException(ExceptionContext filterContext)
        {
            ExceptionQueue.Enqueue(filterContext.Exception);
            filterContext.HttpContext.Response.Redirect("~/Error.html");
            base.OnException(filterContext);
        }
}

2、在FilterConfig類中進行以下修改：併發

 public class FilterConfig
    {
        public static void RegisterGlobalFilters(GlobalFilterCollection filters)
        {
            //filters.Add(new HandleErrorAttribute());

            filters.Add(new MyErrorAttribute());
        }
 }

3 、在 Gobal.asax.cs 中的 Application_Start 事件裏添加以下代碼：

 string filePath = Server.MapPath("~/Logs/");
            ThreadPool.QueueUserWorkItem(o => { 
            while(true)
            {
                if (MyErrorAttribute.ExceptionQueue.Count > 0)
                {
                    Exception ex = MyErrorAttribute.ExceptionQueue.Dequeue();
                    if (ex != null)
                    {
                        string fileName = filePath + DateTime.Now.ToString("yyyy-MM-dd") + ".txt";
                        File.AppendAllText(fileName, ex.Message);
                    }
                    else
                    {
                        Thread.Sleep(50);
                    }
                }
                else
                {
                    Thread.Sleep(50);
                }
            }
            });

方式二：使用Redis與Log4Net完成分佈式日誌記錄

Log4Net是用來記錄日誌的，能夠將程序運行過程當中的信息輸出到一些地方（文件、數據庫、EventLog等），日誌就是程序的黑匣子，能夠經過app

日誌查看系統的運行過程，從而發現系統的問題。日誌的做用：將運行過程的步驟、成功失敗記錄下來，將關鍵性的數據記錄下來分析系統問題所在。分佈式

對於網站來說，不能把異常信息顯示給用戶，異常信息只能記錄到日誌，出了問題把日誌文件發給開發人員，就能知道問題所在。ide

配置Log4Net環境性能

(1)新建一個WebApplication網站

(2)添加對log4net.dll的引用（bin\net\2.0\release 不能引用debug版本）(把相應的dll文件拷貝到項目中的lib文件夾下。)

(3)在Web.Config （或App.Config）添加配置

(4)初始化：在程序最開始加入log4net.Config.XmlConfigurator.Configure()

在要打印日誌的地方LogManager.GetLogger(typeof(Program)).Debug(「信息」); 。經過LogManager.GetLogger傳遞要記錄的日誌類類名得到這個類的ILog（這樣在日誌文件中就能看到這條日誌是哪一個類輸出的了），而後調用Debug方法輸出消息。由於一個類內部不止一個地方要打印日誌，因此通常把ILog聲明爲一個static字段。

Private static ILog logger=LogManager.GetLogger(typeof(Test))

輸出錯誤信息用ILog.Error方法，第二個參數能夠傳遞Exception對象。log.Error("***錯誤"+ex)，log.Error("***錯誤",ex)

Appender：能夠將日誌輸出到不一樣的地方，不一樣的輸出目標對應不一樣的Appender：RollingFileAppender（滾動文件）、AdoNetAppender（數據庫）、SmtpAppender （郵件）等。

level（級別）：標識這條日誌信息的重要級別None>Fatal>ERROR>WARN>DEBUG>INFO>ALL，設定一個

Level，那麼低於這個Level的日誌是不會被寫到Appender中的.

Log4Net還能夠設定多個Appender，能夠實現同時將日誌記錄到文件、數據、發送郵件等；能夠設定不一樣的Appender的不一樣的Level，能夠實現普通級別都記錄到文件，Error以上級別發送郵件；能夠實現對不一樣的類設定不一樣的Appender；還能夠自定義Appender，這樣能夠本身實現將Error信息發短信等.

示例：

一、配置Log4Net，在Web.config中添加以下配置：

<configSections>
    <!-- For more information on Entity Framework configuration, visit http://go.microsoft.com/fwlink/?LinkID=237468 -->
    <section name="entityFramework" type="System.Data.Entity.Internal.ConfigFile.EntityFrameworkSection, EntityFramework, Version=5.0.0.0, 
Culture=neutral, PublicKeyToken=b77a5c561934e089" requirePermission="false" />
    <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net"/>
  </configSections>
  <log4net>
    <!-- OFF, FATAL, ERROR, WARN, INFO, DEBUG, ALL -->
    <!-- Set root logger level to ERROR and its appenders -->
    <root>
      <level value="ALL"/>
      <appender-ref ref="SysAppender"/>
    </root>
    <!-- Print only messages of level DEBUG or above in the packages -->
    <logger name="WebLogger">
      <level value="DEBUG"/>
    </logger>
    <appender name="SysAppender" type="log4net.Appender.RollingFileAppender,log4net" >
      <param name="File" value="App_Data/" />
      <param name="AppendToFile" value="true" />
      <param name="RollingStyle" value="Date" />
      <param name="DatePattern" value=""Logs_"yyyyMMdd".txt"" />
      <param name="StaticLogFileName" value="false" />
      <layout type="log4net.Layout.PatternLayout,log4net">
        <param name="ConversionPattern" value="%d [%t] %-5p %c - %m%n" />
        <param name="Header" value="----------------------header--------------------------" />
        <param name="Footer" value="----------------------footer--------------------------" />
      </layout>
    </appender>
    <appender name="consoleApp" type="log4net.Appender.ConsoleAppender,log4net">
      <layout type="log4net.Layout.PatternLayout,log4net">
        <param name="ConversionPattern" value="%d [%t] %-5p %c - %m%n" />
      </layout>
    </appender>
  </log4net>

二、添加ServiceStack.dll、ServiceStack.Interfaces.dll、ServiceStack.ServiceInterface.dll、log4net.dll的引用，而後新建一個類MyErrorAttribute,

using System.Web.Mvc;
using ServiceStack.Redis;
 public static IRedisClientsManager clientsManager = new PooledRedisClientManager(new string[] { "127.0.0.1:6379"});
        public static IRedisClient redisClient = clientsManager.GetClient();

        public override void OnException(ExceptionContext filterContext)
        {
            redisClient.EnqueueItemOnList("errorMsg", filterContext.Exception.ToString());
            filterContext.HttpContext.Response.Redirect("~/Error.html");
            base.OnException(filterContext);
        }

3、在FilterConfig類中進行以下修改：

public class FilterConfig
    {
        public static void RegisterGlobalFilters(GlobalFilterCollection filters)
        {
            //filters.Add(new HandleErrorAttribute());

            //filters.Add(new MyErrorAttribute());
            filters.Add(new MyExceptionAttribute());
        }
}

4、在Gobal.asax.cs中的Application_Start事件裏添加以下代碼：

log4net.Config.XmlConfigurator.Configure(); //獲取Log4Net配置信息
            ThreadPool.QueueUserWorkItem(o =>
            {
                while (true)
                {
                    if (MyExceptionAttribute.redisClient.GetListCount("errorMsg") > 0)
                    {
                        string msg = MyExceptionAttribute.redisClient.DequeueItemFromList("errorMsg");
                        if (!string.IsNullOrEmpty(msg))
                        {
                            ILog logger=LogManager.GetLogger("testError");
                            logger.Error(msg); //將異常信息寫入Log4Net中
                        }
                        else
                        {
                            Thread.Sleep(50);
                        }
                    }
                    else
                    {
                        Thread.Sleep(50);
                    }
                }
            });