189 8069 5689
面是中文的情况（比如‘丽江'），url的地址编码却是'%E4%B8%BD%E6%B1%9F'，因此需 要做一个转换。这里我们就用到了模块urllib。
目前创新互联已为上千的企业提供了网站建设、域名、网站空间、绵阳服务器托管、企业网站设计、旅顺口网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。
?
1
2
3
4
5
6
7
8
import urllib
data = '丽江'
print data
丽江
data
'\xe4\xb8\xbd\xe6\xb1\x9f'
最近在抓取一些js代码产生的动态数据，需要模拟js请求获得所需用的数据，遇到对url进行编码和解码的问题，就把遇到的问题总结一下，有总结才有进步，才能使学到的知识更加清晰。对url进行编码和解码，python提供了很方便的接口进行调用。
url中的query带有特殊字符（不是url的保留字）时需要进行编码。当url中带有汉字时，需要特殊的处理才能正确编码，以下都只针对这种情形，当然也适用于纯英文字符的url。
(1) url编码：
import urllib
url = 'wd=哈哈' #如果此网站编码是gbk的话，需要进行解码，从gbk解码成unicode，再从Unicode编码编码为utf-8格式。
url = url.decode('gbk', 'replace')
print urllib.quote(url.encode('utf-8', 'replace'))
结果: 3a%2f%2ftest.com%2fs%3fwd%3d%e5%93%88%e5%93%88
(2) url解码:
import urllib
encoded_url = est.com%2fs%3fwd%3d%e5%93%88%e5%93%88'
print urllib.unquote(encoded_url).decode('utf-8', 'replace').encode('gbk', 'replace') #反过来
函数调用的参数以及结果都是utf-8编码的，所以在对url编码时，需要将参数串的编码从原始编码转换成utf-8，
对url解码时，需要将解码结果从utf-8转换成原始编码格式。
依据网站采用的编码不同，或是gbk或是utf-8，赋赋予不同的编码，进行不同的url转码。GBK格式，一个中文字符转为%xx%xx，共两组；utf-8格式，一个中文字符转为%xx%xx%xx，共三组。
import sys,urllib
s = '杭州'
urllib.quote(s.decode(sys.stdin.encoding).encode('gbk'))
%BA%BC%D6%DD
urllib.quote(s.decode(sys.stdin.encoding).encode('utf8'))
'%E6%9D%AD%E5%B7%9E'
[python] view plain copy
a = "墨西哥女孩被拐4年接客4万次 生的孩子成为人质-搜狐新闻"
print urllib.quote(urllib.quote(a))
进行两次编码转换后，会变为：%25E5%25A2%25A8%25E8%25A5%25BF%25E5%2593%25A5%25E5%25A5%25B3%25E5%25AD%25A9%25E8%25A2%25AB%25E6%258B%25904%25E5%25B9.................................................................................这样的形式。
同样需要两次解码后才能得到中文。
最近用python写了个小爬虫自动下点东西，但是url 是含中文的，而且中文似乎是 gbk 编码然后转成 url的。举个例子吧，我如果有个unicode字符串“历史上那些牛人们.pdf”，那么我转换成url之后是，
t="%20%E5%8E%86%E5%8F%B2%E4%B8%8A%E9%82%A3%E4%BA%9B%E7%89%9B%E4%BA%BA%E4%BB%AC.pdf"，
但是对方网站给的是 s="%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF"
print urllib.unquote("%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF").decode('gbk').encode('utf-8')
历史上那些牛人们.PDF
Python中函数参数的传递是通过“赋值”来传递的,函数参数的接收传递有四种形式：
1. F(arg1,arg2,...)
2. F(arg2=,arg3=...)
3. F(*arg1)
4. F(**arg1)
第1
种方式是最“传统”的方式：一个函数可以定义不限个数参数，参数(形式参数)放在跟在函数名后面的小括号中，各个参数之间以逗号隔开。用这种方式定义的函数在调用的时候也必须在函数名后的小括号中提供相等个数的值(实际参数)，不能多也不能少，而且顺序还必须相同。也就是说形参和实参的个数必须一致，而且想给形参1的值必须是实参中的第一位，形参与实参之间是一一对应的关系，即“形参1=实参1
形参2=实参2...”。很明显这是一种非常不灵活的形式。比如："def addOn(x,y): return x +
y"，这里定义的函数addOn，可以用addOn(1,2)的形式调用，意味着形参x将取值1,主将取值2。addOn(1,2,3)和addOn
(1)都是错误的形式。
第2种方式比第1种方式好一点，在定义的时候已经给各个形参定义了默认值。因此，在调用这种函数时，如果没有给对应的形式参数传递实参，那么这个形参就将使用默认值。比如：“def
addOn(x=3,y=5): return x +
y”，那么addOn(6,5)的调用形式表示形参x取值6，y取值5。此外，addOn(7)这个形式也是可以的，表示形参x取值7，y取默认值5。这时候会出现一个问题，如果想让x取默认值，用实参给y赋值怎么办?前面两种调用形式明显就不行了，这时就要用到Python中函数调用方法的另一大绝招
──关健字赋值法。可以用addOn(y=6)，这时表示x取默认值3，而y取值6。这种方式通过指定形式参数可以实现可以对形式参数进行“精确攻击”，一个副带的功能是可以不必遵守形式参数的前后顺序，比如：addOn(y=4,x=6)，这也是可以的。这种通过形式参数进行定点赋值的方式对于用第1种方式定义的函数也是适用的。
上面两种方式定义的形式参数的个数都是固定的，比如定义函数的时候如果定义了5个形参，那么在调用的时候最多也只能给它传递5个实参。但是在实际编程中并不能总是确定一个函数会有多少个参数。第3种方式就是用来应对这种情况的。它以一个*加上形参名的方式表示，这个函数实际参数是不一定的，可以是零个，也可以是N个。不管是多少个，在函数内部都被存放在以形参名为标识符的tuple中。比如：
对这个函数的调用addOn() addOn(2) addOn(3,4,5,6)等等都是可以的。
与第3种方式类似，形参名前面加了两个*表示，参数在函数内部将被存放在以形式名为标识符的dictionary中。这时候调用函数必须采用key1=value1、key2=value2...的形式。比如：
1. def addOn(**arg):
2. sum = 0
3. if len(arg) == 0: return 0
4. else:
5. for x in arg.itervalues():
6. sum += x
7. return sum
那么对这个函数的调用可以用addOn()或诸如addOn(x=4,y=5,k=6)等的方式调用。
上面说了四种函数形式定义的方式以及他们的调用方式，是分开说的，其实这四种方式可以组合在一起形成复杂多样的形参定义形式。在定义或调用这种函数时，要遵循以下规则：
1. arg=必须在arg后
2. *arg必须在arg=后
3. **arg必须在*arg后
在函数调用过程中，形参赋值的过程是这样的：
首先按顺序把“arg”这种形式的实参给对应的形参
第二，把“arg=”这种形式的实参赋值给形式
第三，把多出来的“arg”这种形式的实参组成一个tuple给带一个星号的形参
第四，把多出来的“key=value”这种形式的实参转为一个dictionary给带两个星号的形参。
听起来好复杂，实际是是很简单的。很直观，来看例子：
1. def test(x,y=5,*a,**b):
2. print x,y,a,b
就这么一个简单函数，来看看下面对这个函数调用会产生什么结果：
test(1) === 1 5 () {}
test(1,2) === 1 2 () {}
test(1,2,3) === 1 2 (3,) {}
test(1,2,3,4) === 1 2 (3,4)
test(x=1) === 1 5 () {}
test(x=1,y=1) === 1 1 () {}
test(x=1,y=1,a=1) === 1 1 () {'a':1}
test(x=1,y=1,a=1,b=1) === 1 1 () {'a':1,'b':1}
test(1,y=1) === 1 1 () {}
test(1,2,y=1) === 出错，说y给赋了多个值
test(1,2,3,4,a=1) === 1 2 (3,4) {'a':1}
test(1,2,3,4,k=1,t=2,o=3) === 1 2 (3,4) {'k':1,'t':2,'o':3}
1、python处理字符串非常简单，获取url最后一个/之后的字符串，使用字符串函数rindex得到最后一个/位置，然后再对url字符串进行切片就可以得到url最后一个/后的字符串
2、代码：
url = ''
ri = url.rindex('/')
ss = url[ri + 1:]
print(ss)
3、输出果：
1242758094522051179.html
4、函数说明：
rindex(...)
S.rindex(sub[, start[, end]]) - int
从字符串右则查找指字符串，sub要查找了内容，start起始位置，end结束位置，函数返回位置。
5、字符串切片说明：
str[start:end]
获取字符串以start开始位置end位置之前的字符结束的字符，如果start为空为从字符串起始开始，如果end为空则到字符串末尾。以示例中代码为例url[ri + 1:]就是取url中ri+1位置到url结尾的子字符串。