这篇文章给大家分享的是有关Dictionary实现日志数据批量插入的方法的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
成都创新互联主要从事网站制作、
做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务林州,10年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575
背景
最近再做一个需求，就是对站点的一些事件进行埋点，说白了就是记录用户的访问行为。那么这些数据怎么保存呢，人家点一下保存一下？显然不合适，肯定是需要批量保存，提高效率。
问题窥探
首先，我想到的是Dictionary，对于C#中的Dictionary类相信大家都不陌生，这是一个Collection(集合)类型，可以通过Key/Value(键值对的形式来存放数据；该类较大的优点就是它查找元素的时间复杂度接近O(1)，实际项目中常被用来做一些数据的本地缓存，提升整体效率。Dictionary是非线程安全的类型，可以实现先添加到内存当中，在批量保存进去数据库。
主要代码实现
1、定义一个Dictionary。
private readonly Dictionary> _storage = new Dictionary>(StringComparer.OrdinalIgnoreCase);
2、添加元素，操作的时候需要对其进行线程安全处理，最简单的方式就是加锁(lock)。
public bool SaveObject(string path, T value) where T : class {
if (String.IsNullOrWhiteSpace(path))
throw new ArgumentNullException("path");
lock (_lock) {
_storage[path] = Tuple.Create(new ObjectInfo {
Created = DateTime.Now,
Modified = DateTime.Now,
Path = path
}, (object)value);
if (_storage.Count > MaxObjects)
_storage.Remove(_storage.OrderByDescending(kvp => kvp.Value.Item1.Created).First().Key);
}
return true;
}
3、定义一个队列，定时消费日志。
public DefaultEventQueue(ExceptionlessConfiguration config, IExceptionlessLog log, ISubmissionClient client, IObjectStorage objectStorage, IJsonSerializer serializer, TimeSpan? processQueueInterval, TimeSpan? queueStartDelay) {
_log = log;
_config = config;
_client = client;
_storage = objectStorage;
_serializer = serializer;
if (processQueueInterval.HasValue)
_processQueueInterval = processQueueInterval.Value;
_queueTimer = new Timer(OnProcessQueue, null, queueStartDelay ?? TimeSpan.FromSeconds(2), _processQueueInterval);
}这里删除的时候也需要lock 操作。
public bool DeleteObject(string path) {
if (String.IsNullOrWhiteSpace(path))
throw new ArgumentNullException("path");
lock (_lock) {
if (!_storage.ContainsKey(path))
return false;
_storage.Remove(path);
}
return true;
}public IEnumerable GetObjectList(string searchPattern = null, int? limit = null, DateTime? maxCreatedDate = null) {
if (searchPattern == null)
searchPattern = "*";
if (!maxCreatedDate.HasValue)
maxCreatedDate = DateTime.MaxValue;
var regex = new Regex("^" + Regex.Escape(searchPattern).Replace("\\*", ".*?") + "$");
lock (_lock)
return _storage.Keys.Where(k => regex.IsMatch(k)).Select(k => _storage[k].Item1).Where(f => f.Created <= maxCreatedDate).Take(limit ?? Int32.MaxValue).ToList();
}
总结
1、利用Dictionary。多线程添加数据到内存；
2、达到一定量的时候，批量保存数据。
3、使用lock ，保证Dictionary操作安全。
感谢各位的阅读！关于“Dictionary实现日志数据批量插入的方法”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
分享文章：Dictionary实现日志数据批量插入的方法-创新互联
文章起源：
http://cdxtjz.cn/article/poehp.html
