189 8069 5689

聊聊Python数据处理全家桶（Memcached篇）

本文转载自微信公众号「星安果」，作者AirPython 。转载本文请联系星安果公众号。

成都创新互联公司是专业的禅城网站建设公司，禅城接单;提供网站建设、网站设计,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行禅城网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

 1. 前言

本篇文章继续继续另外一种比较常用的数据存储方式：Memcached

Memcached：一款高性能分布式内存对象缓存系统，通过 内存缓存，以减少数据库的读取，从而分担数据库的压力，进而提高网站的加载速度

Memcached，实际上是一套简洁的键值对存储系统，可以存储各种类型的数据，包含：字符串、对象、图像、文件、视频等

由于 Memcached 的数据存储在内存中，因此重启服务或系统之后，数据会全部丢失;另外，当 Memcached 使用容量达到指定值时，会基于 LRU 算法，自动删除掉不使用的缓存

Memcached 协议简洁而强大，开发方便快捷，兼容大部分的开发语言;本篇文章就聊聊 Python 操作 Memcached 正确的姿势

2. 准备

我们以在云服务器 Centos 7.8 安装 Memcached-Server 为例

首先，在云服务器上安装 Memcached

 
 
 
    
  
  
  
  1. # 使用yum安装memcached
    2. 
  
  
  
  2. yum install memcached
    3.

通过 whereis 命令，查询出 Memcached 安装的目录

 
 
 
    
  
  
  
  1. # 使用whereis命令查询memcached安装目录
    2. 
  
  
  
  2. # /usr/bin/memcached
    3. 
  
  
  
  3. [root@VM-16-11-centos ~]# whereis memcached
    4. 
  
  
  
  4. memcached: /usr/bin/memcached /usr/share/man/man1/memcached.1.gz
    5.

然后，通过命令行及参数启动 Memcached 服务

 
 
 
    
  
  
  
  1. # 运行memcached服务
    2. 
  
  
  
  2. # -p：端口号
    3. 
  
  
  
  3. # -m：分类的内存
    4. 
  
  
  
  4. # -d：守护进程，后台运行
    5. 
  
  
  
  5. # -u：运行memcached的用户
    6. 
  
  
  
  6. # -l：设置哪些ip可以连接到服务，0.0.0.0：容许外网ip访问
    7. 
  
  
  
  7. /usr/bin/memcached -p 11211 -m 64m -d -u root -l 0.0.0.0
    8.

常见的启动参数包含：

  • -d：通过守护进程，在后台运行
  • -m：分配的最大内存，默认大小为 64 M
  • -u：运行 Memcached 的用户
  • -l：设置可以访问 Memecache 服务的 ip 地址，默认只能通过本机访问;如果想外网进行访问，需要设置为：0.0.0.0
  • -p：设置 Memcached 监听的端口号，默认为 111211
  • -c：最大运行的并发连接数，默认为 1024

接着，开启防火墙端口

需要注意的是，如果是云服务器，需要在安全组中开放相应端口号

 
 
 
    
  
  
  
  1. # 开启端口号
    2. 
  
  
  
  2. firewall-cmd --add-port=11211/tcp --permanent
    3. 
  
  
  
  3. 
  
  
  
  4. # 重启立即生效
    5. 
  
  
  
  5. firewall-cmd --reload
    6.

完成以上操作，我们有两种方式操作数据

分别是：

1、通过 telnet 连接 Memecached 服务，使用命令行去操作

 
 
 
    
  
  
  
  1. # 连接
    2. 
  
  
  
  2. telnet IP地址 11211
    3.

2、通过编程语言，包含：Python、Java、Php，去操作 Memcached 数据

以 Python 为例，需要安装 python-memcached 依赖

 
 
 
    
  
  
  
  1. # 安装依赖
    2. 
  
  
  
  2. pip3 install python-memcached
    3.

3. 实战

在操作 Memcache 中的数据之前，我们需要导入 memcache，使用 Client() 方法指定要操作的 Memecache 服务，构建一个数据连接对象

 
 
 
    
  
  
  
  1. def __init__(self):
    2. 
  
  
  
  2.     # 连接memcached服务，可以包含多个服务ip
    3. 
  
  
  
  3.     self.mc = memcache.Client(['ip:11211'], debug=True)
    4.

接下来我们以新增、查询、更新、追加、删除、为例，讲讲 Python 操作这些数据的方法

1、新增操作

新增操作对应的方法是：add(key,value,timeout)

其中，参数 timeout 表示数据保留的时间，超时会自动被清除掉

需要注意的是，如果准备插入键值对中的 key 在原数据集中不存在，则会新增一条记录到数据集中;否则，会添加失败，并警告提示

 
 
 
    
  
  
  
  1. def __add(self):
    2. 
  
  
  
  2.     """
    3. 
  
  
  
  3.     添加记录
    4. 
  
  
  
  4.     :return:
    5. 
  
  
  
  5.     """
    6. 
  
  
  
  6.     # 添加一条数据，如果已经存在，会添加失败，并提出异常
    7. 
  
  
  
  7.     # time：保存时间，超时会被清除，单位为秒，默认是保存永久
    8. 
  
  
  
  8.     # 注意：如果添加的key已经存在，会警告：MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'
    9. 
  
  
  
  9.     self.mc.add("name", "xag", time=60 * 5)
    10. 
  
  
  
  10.     self.mc.add("age", 23)
    11.

2、查询操作

Memcached 查询操作分为：

  • 通过 Key 去查询单条记录
  • 通过多个 Key 组成的列表去查询多条记录

其中，单条记录查询对应的方法是：get(key)

 
 
 
    
  
  
  
  1. def __query_one(self, key):
    2. 
  
  
  
  2.     """
    3. 
  
  
  
  3.     查询单条记录
    4. 
  
  
  
  4.     :return:
    5. 
  
  
  
  5.     """
    6. 
  
  
  
  6.     result = self.mc.get(key)
    7. 
  
  
  
  7.     print('单条记录查询,key:', key, ",value:", result)
    8.

多条记录的查询，对应的方法是：get_multi(keys)

 
 
 
    
  
  
  
  1. def __query_many(self, keys):
    2. 
  
  
  
  2.     """
    3. 
  
  
  
  3.     查询多条记录
    4. 
  
  
  
  4.     :param keys: 键值列表
    5. 
  
  
  
  5.     :return:
    6. 
  
  
  
  6.     """
    7. 
  
  
  
  7.     values = self.mc.get_multi(keys)
    8. 
  
  
  
  8. 
  
  
  
  9.     # dict，键值对
    10. 
  
  
  
  10.     print(type(values))
    11. 
  
  
  
  11.     print('多条记录查询:', values)
    12.

3、更新操作

更新操作包含三种方法，分别是：

  • 更新一条记录，如果键不存在，则更新失败

对应方法是：replace(key,value)

  • 更新一条记录，如果键不存在，则新增一条记录

对应方法是：set(key,value)

  • 更新多条记录，如果其中有不存在的键，则将对应的键值对新增到数据集中

对应方法：set_multi({key1:value1...})

具体实例代码如下：

 
 
 
    
  
  
  
  1. def __update_default(self):
    2. 
  
  
  
  2.     """
    3. 
  
  
  
  3.     更新数据，包含：replace、set、set_multi
    4. 
  
  
  
  4.     :return:
    5. 
  
  
  
  5.     """
    6. 
  
  
  
  6.     # 1、使用replace更新一条记录
    7. 
  
  
  
  7.     # self.mc.replace("name","xag1")
    8. 
  
  
  
  8.     # self.__query_one("name")
    9. 
  
  
  
  9. 
  
  
  
  10.     # 2、使用set更新记录，如果key不存在，则添加一条记录
    11. 
  
  
  
  11.     # set = replace + add
    12. 
  
  
  
  12.     # self.mc.set("name", "xag2")
    13. 
  
  
  
  13.     # self.__query_one("name")
    14. 
  
  
  
  14. 
  
  
  
  15.     # 3、使用set_multi更新多条记录，如果其中有不存在的key，则新建一个键值对
    16. 
  
  
  
  16.     self.mc.set_multi({"name": "xag3", "age": 28})
    17. 
  
  
  
  17.     self.__query_many(["name", "age"])
    18.

4、追加操作

追加操作相当于修改某一个键的值，在头部或者尾部追加数据

其中：

  • append(str)：在尾部追加一段数据
  • prepend(str)：在头部新增一段数据

实践代码如下：

 
 
 
    
  
  
  
  1. def __update_append(self):
    2. 
  
  
  
  2.     """
    3. 
  
  
  
  3.     追加更新，包含：append、prepend
    4. 
  
  
  
  4.     :return:
    5. 
  
  
  
  5.     """
    6. 
  
  
  
  6. 
  
  
  
  7.     # 1、append
    8. 
  
  
  
  8.     # value尾部追加内容
    9. 
  
  
  
  9.     self.mc.append("name","我是新增的内容")
    10. 
  
  
  
  10.     self.__query_one("name")
    11. 
  
  
  
  11. 
  
  
  
  12.     # 2、prepend
    13. 
  
  
  
  13.     # 头部新增内容
    14. 
  
  
  
  14.     self.mc.prepend("name","头部新增的内容")
    15. 
  
  
  
  15.     self.__query_one("name")
    16.

5、删除操作

和查询操作类似，删除操作同样支持单个键值对的删除和多个键值对的删除

  • delete(key)：删除某一个键值对
  • delete_multi(keys)：删除列表中所有的 Key 对应的所有键值对

对应的操作代码如下：

 
 
 
    
  
  
  
  1. def __delete(self):
    2. 
  
  
  
  2.     """
    3. 
  
  
  
  3.     删除数据，包含：delete、delete_multi
    4. 
  
  
  
  4.     :return:delete_multi
    5. 
  
  
  
  5.     """
    6. 
  
  
  
  6.     # 1、delete
    7. 
  
  
  
  7.     # 删除单条键值对
    8. 
  
  
  
  8.     # self.mc.delete("age")
    9. 
  
  
  
  9.     # self.__query_one("age")
    10. 
  
  
  
  10. 
  
  
  
  11.     # 2、delete_multi
    12. 
  
  
  
  12.     # 删除多条记录
    13. 
  
  
  
  13.     keys = ["name","age"]
    14. 
  
  
  
  14.     self.mc.delete_multi(keys)
    15. 
  
  
  
  15.     self.__query_many(keys)
    16.

4.最后

本篇文章通过 Python，实现了对 Memcached 数据的常规操作，更多复杂的操作可以点击阅读原文去查看


网页名称：聊聊Python数据处理全家桶（Memcached篇）
URL链接：http://cdxtjz.cn/article/cdseeip.html

其他资讯