一、Python的高级特性

Python中许多功能的实现都有许多方法。在python中并不是代码越多越好，而是越少越好。代码不是越复杂越好，而是越简单越好。基于这一思想，python中设计了许多非常有用的高级特性。

1.1 列表生成式

（1）简单列表生成式

例如要生成前10个数的平方[1x1, 2x2, 3x3, ..., 10x10]，使用常规办法需要借助循环。

1
2
3

L = []
for x in range(1, 11):
	L.append(x * x)

这种方式太过繁琐，而列表生成式可以使用一行语句代替上面的循环

1
2
3

[x * x for x in range(1,11)]

# [1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

写列表生成式时，把要生成的元素x*x放到前面，后面跟for循环，就可以把list创建出来。

（2）两层循环与多变量循环

列表生成式支持多重循环，例如

1
2
3

[m + n for m in 'ABC' for n in 'XYZ']

# ['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']

三层以上的循环就很少用到了。

由于for循环支持两个甚至多个变量，因此列表生成式也支持同样的功能

1
2
3
4

d = {'x': 'A', 'y': 'B', 'z': 'C' }
[k + '=' + v for k, v in d.items()]

# ['y=B', 'x=A', 'z=C']

（3）列表生成式的if用法

for循环加if用法

1
2
3

[x for x in range(1, 11) if x % 2 == 0]

# [2, 4, 6, 8, 10]

跟在for后面的if是一个筛选条件。

（4）列表生成式的if…else用法

for循环加if…else用法

1
2
3

[x if x % 2 == 0 else -x for x in range(1, 11)]

# [-1, 2, -3, 4, -5, 6, -7, 8, -9, 10]

for前面的部分是一个表达式，它必须根据for循环得到的x计算出一个结果，作为列表的一个元素。

上述for前面的表达式x if x % 2 == 0 else -x才能根据x计算出确定的结果。如果只用if不加else，则考察表达式：x if x % 2 == 0，它无法根据x计算出结果，因此程序会报错。

综上，在一个列表生成式中，for前面的if ... else是表达式，而for后面的if是过滤条件，不能带else。

1.2 生成器

由于内存的限制，列表的容量是有限的，如果我们需要创建一个包含100万个元素的列表，但每次仅需要访问前几个元素，这样不仅占用了很大的存储空间，其它绝大多数元素占用的空间都白白浪费了。

如果元素列表可以按照某种算法推算出来，就可以在循环过程中不断推算列表元素，这样就不必一次创建完成的list，从而节省大量的空间，这种一边循环一边计算的机制，称为生成器generator。

（1）创建生成器

创建generator最简单的方法，把一个列表生成式的[]改成()，就创建了一个generator：

1
2
3

g = (x * x for x in range(10))

# <generator object <genexpr> at 0x1022ef630>

调用生成器generator的元素，可以通过for循环：

1
2
3

g = (x * x for x in range(10))
for n in g:
	print(n)

（2）使用yield创建生成器

如果一个函数定义中包含yield关键字，那么这个函数就不再是一个普通函数，而是一个generator函数。

1
2
3
4
5
6
7

def odd():
    print('step 1')
    yield 1
    print('step 2')
    yield(3)
    print('step 3')
    yield(5)

可以通过next()函数获得generator的下一个返回值，直到计算到最后一个元素，没有更多的元素时，抛出StopIteration的错误。

generator函数和普通函数的执行流程不一样。普通函数是顺序执行，遇到return语句或者最后一行函数语句就返回。而变成generator的函数，在每次调用next()的时候执行，遇到yield语句返回，再次执行时从上次返回的yield语句处继续执行。

调用该generator函数时，首先要生成一个generator对象，然后用next()函数不断获得下一个返回值：

1
2
3
4
5
6
7
8
9
10
11
12
13
14

>>> o = odd()
>>> next(o)
step 1
1
>>> next(o)
step 2
3
>>> next(o)
step 3
5
>>> next(o)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

把函数改成generator函数后，我们基本上从来不会用next()来获取下一个返回值，而是直接使用for循环来迭代。

1
2

for n in odd():
	print(n)

二、函数式编程

2.1 高阶函数

（1）变量指向函数

函数本身也可以赋值给变量，即：变量可以指向函数。

1
2
3

>>> f = abs
>>> f(-10)
10

说明变量f现在已经指向了abs函数本身。直接调用abs()函数和调用变量f()完全相同。

（2）函数名也是变量

函数名其实就是指向函数的变量！对于abs()这个函数，完全可以把函数名abs看成变量，它指向一个可以计算绝对值的函数！

1
2
3
4
5

>>> abs = 10
>>> abs(-10)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'int' object is not callable

把abs指向10后，就无法通过abs(-10)调用该函数了！因为abs这个变量已经不指向求绝对值函数而是指向一个整数10！（当然实际代码不可能这么写）

（3）传入函数

一个函数就可以接收另一个函数作为参数，这种函数就称之为高阶函数。

1
2

def add(x, y, f):
    return f(x) + f(y)

当我们调用add(-5, 6, abs)时，参数x，y和f分别接收-5，6和abs，实现绝对值加法计算。

（4）map/reduce

map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。

举例说明，比如我们有一个函数f(x)=x2，要把这个函数作用在一个list [1, 2, 3, 4, 5, 6, 7, 8, 9]上，就可以用map()实现如下：

1
2
3
4
5
6

>>> def f(x):
...     return x * x
...
>>> r = map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> list(r)
[1, 4, 9, 16, 25, 36, 49, 64, 81]

reduce()函数接收两个参数，一个是函数，一个是Iterable。
reduce把一个函数作用在一个序列[x1, x2, x3, ...]上，这个函数必须接收两个参数，reduce把结果继续和序列的下一个元素做累积计算，其效果就是：

1

reduce(f, [x1, x2, x3, x4]) = f(f(f(x1, x2), x3), x4)

例如把序列[1, 3, 5, 7, 9]变换成整数13579：

1
2
3
4
5
6

>>> from functools import reduce
>>> def fn(x, y):
...     return x * 10 + y
...
>>> reduce(fn, [1, 3, 5, 7, 9])
13579

（5）filter

Python内建的filter()函数用于过滤序列。

filter()接收一个函数和一个序列，把传入的函数依次作用于每个元素，然后根据返回值是True还是False决定保留还是丢弃该元素。

例如，在一个list中，删掉偶数，只保留奇数

1
2
3
4
5

def is_odd(n):
    return n % 2 == 1

list(filter(is_odd, [1, 2, 4, 5, 6, 9, 10, 15]))
# 结果: [1, 5, 9, 15]

（6）sorted

排序也是在程序中经常用到的算法。无论使用冒泡排序还是快速排序，排序的核心是比较两个元素的大小。

Python内置的sorted()函数就可以对list进行排序：

1
2

>>> sorted([36, 5, -12, 9, -21])
[-21, -12, 5, 9, 36]

sorted()函数也是一个高阶函数，它还可以接收一个key函数来实现自定义的排序

1
2

>>> sorted([36, 5, -12, 9, -21], key=abs)
[5, 9, -12, -21, 36]

默认情况下，对字符串排序，是按照ASCII的大小比较的

1
2

>>> sorted(['bob', 'about', 'Zoo', 'Credit'])
['Credit', 'Zoo', 'about', 'bob']

若要忽略大小写，按照字母序排序，只要我们能用一个key函数把字符串映射为忽略大小写排序即可

1
2

>>> sorted(['bob', 'about', 'Zoo', 'Credit'], key=str.lower)
['about', 'bob', 'Credit', 'Zoo']

要进行反向排序，不必改动key函数，可以传入第三个参数reverse=True：

1
2

>>> sorted(['bob', 'about', 'Zoo', 'Credit'], key=str.lower, reverse=True)
['Zoo', 'Credit', 'bob', 'about']

2.2 返回函数

（1）函数作为返回值

高阶函数除了可以接受函数作为参数外，还可以把函数作为结果值返回。

例如如果不需要立刻求和，而是在后面的代码中，根据需要再计算怎么办？可以不返回求和的结果，而是返回求和的函数：

1
2
3
4
5
6
7

def lazy_sum(*args):
    def sum():
        ax = 0
        for n in args:
            ax = ax + n
        return ax
    return sum

当我们调用lazy_sum()时，返回的并不是求和结果，而是求和函数：

1
2
3

>>> f = lazy_sum(1, 3, 5, 7, 9)
>>> f
<function lazy_sum.<locals>.sum at 0x101c6ed90>

调用函数f时，才真正计算求和的结果：

1
2

>>> f()
25

（2）闭包

上面例子中内部函数sum可以引用外部函数lazy_sum的参数和局部变量。

闭包就是能够读取其他函数内部变量的函数。

需要注意的问题是，返回的函数并没有立刻执行，而是直到调用了f()才执行。
返回闭包时牢记一点：返回函数不要引用任何循环变量，或者后续会发生变化的变量。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

def count():
    fs = []
    for i in range(1, 4):
        def f():
             return i*i
        fs.append(f)
    return fs

f1, f2, f3 = count()

>>> f1()
9
>>> f2()
9
>>> f3()
9

使用闭包，就是内层函数引用了外层函数的局部变量。如果只是读外层变量的值，我们会发现返回的闭包函数调用一切正常。但是，如果对外层变量赋值，由于Python解释器会把x当作函数fn()的局部变量，它会报错。

1
2
3
4
5
6
7
8
9
10
11

def inc():
    x = 0
    def fn():
        nonlocal x
        x = x + 1
        return x
    return fn

f = inc()
print(f()) # 1
print(f()) # 2

原因是x作为局部变量并没有初始化，直接计算x+1是不行的。但我们其实是想引用inc()函数内部的x，所以需要在fn()函数内部加一个nonlocal x的声明。加上这个声明后，解释器把fn()的x看作外层函数的局部变量，它已经被初始化了，可以正确计算x+1。

2.3 匿名函数

关键字lambda表示匿名函数，冒号前面的x表示函数参数。

匿名函数有个限制，就是只能有一个表达式，不用写return，返回值就是该表达式的结果。

1
2

>>> list(map(lambda x: x * x, [1, 2, 3, 4, 5, 6, 7, 8, 9]))
[1, 4, 9, 16, 25, 36, 49, 64, 81]

匿名函数也是一个函数对象，也可以把匿名函数赋值给一个变量，再利用变量来调用该函数：

1
2
3

>>> f = lambda x: x * x
>>> f(5)
25

也可以把匿名函数作为返回值返回

1
2

def build(x, y):
    return lambda: x * x + y * y

2.4 装饰器

假设我们要增强某个函数的功能，比如，在函数调用前后自动打印日志，但又不希望修改函数的定义，这种在代码运行期间动态增加功能的方式，称之为“装饰器”（Decorator）。

本质上，decorator就是一个返回函数的高阶函数。

1
2
3
4
5

def log(func):
    def wrapper(*args, **kw):
        print('call %s():' % func.__name__)
        return func(*args, **kw)
    return wrapper

观察上面的log，因为它是一个decorator，所以接受一个函数作为参数，并返回一个函数。（其中__name__属性，可以拿到函数的名字）

使用log函数时要借助Python的@语法，把decorator置于函数的定义处

1
2
3

@log
def now():
    print('2022-6-28')

把@log放到now()函数的定义处，相当于执行了语句：

1

now = log(now)

调用now()函数，不仅会运行now()函数本身，还会在运行now()函数前打印一行日志：

1
2
3

>>> now()
call now():
2022-6-28

由于函数有__name__等属性，但经过decorator装饰之后的函数，它们的__name__已经从原来的'now'变成了'wrapper'，所以，需要把原始函数的__name__等属性复制到wrapper()函数中，否则，有些依赖函数签名的代码执行就会出错。

一个完整的decorator的写法如下

1
2
3
4
5
6
7
8

import functools

def log(func):
    @functools.wraps(func)
    def wrapper(*args, **kw):
        print('call %s():' % func.__name__)
        return func(*args, **kw)
    return wrapper

带参数的decorator

1
2
3
4
5
6
7
8
9
10

import functools

def log(text):
    def decorator(func):
        @functools.wraps(func)
        def wrapper(*args, **kw):
            print('%s %s():' % (text, func.__name__))
            return func(*args, **kw)
        return wrapper
    return decorator

2.5 偏函数

Python的functools模块提供了偏函数（Partial function）功能。把一个函数的某些参数给固定住（也就是设置默认值），返回一个新的函数，调用这个新函数会更简单。

例如int()函数提供了额外的base参数，默认值为10。如果传入base参数，就可以做N进制的转换：

1
2
3
4

>>> int('12345', base=8)
5349
>>> int('12345', 16)
74565

functools.partial就是帮助我们创建一个偏函数的，不需要我们自己定义int2()，可以直接使用下面的代码创建一个新的函数int2：

1
2
3
4
5
6

>>> import functools
>>> int2 = functools.partial(int, base=2)
>>> int2('1000000')
64
>>> int2('1010101')
85