- codingsoho.com

Python

17.7 迭代器

迭代器

迭代 iteration

什么是迭代(iteration)？给定一个list、tuple或dict，遍历这个list、tuple或dict称为迭代

Python中，迭代是通过for...in来完成的

dict的存储不是有序的，所以每次结果不同
- 默认dict的迭代的是键(key)
- 可以用for value in dict.values()来迭代值(value)
- 可以用for k,v in dict.items()来同时迭代键和值
字符串可以看作tuple,也可以被迭代
如果要对list实现下标循环迭代，可以用 enumerate把list变成(索引-元素)对
可以进行二维迭代

只要for循环作用于一个可迭代对象，就可以正常迭代

可以用collections模块提供的iterable来判断是否可迭代对象

# 字典
>>> d = {'a' : 1, 'b' : 2, 'c' : 3} 
>>> d
{'a': 1, 'b': 2, 'c': 3}
>>> for key in d:
...     print(key)
...
a
b
c
# 字符串
>>> for ch in 'ABC': 
...     print(ch)
...
A
B
C
>>> for i,value in enumerate(['A', 'B', 'C']):
...     print(i,value)
...
0 A
1 B
2 C
# 列表
>>> for x,y in [(1,1), (2,4), (3,0)]: 
...     print(x,y)
...
1 1
2 4
3 0

迭代器概念

迭代器是访问集合元素的一种方式。
迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。
迭代器只能往前不会后退，不过这也没什么，因为人们很少在迭代途中往后退。

关于迭代器的两个概念：可迭代对象(Iterable objects)和迭代器(Iterators)

可迭代对象(Iterable objects)

Iterable objects 可迭代对象 : Iterable is object that has __iter__ method which returns an iterator

凡事可以直接作用于for循环的对象统称为可迭代对象(iterable Object)
- List、tuple、dict、set、str等
- 列表生成器，包括generator和带yield的自定义generator
可以用isinstance()函数判断一个对象是否是可迭代对象

>>> from collections import Iterable
>>> isinstance([], Iterable)
True
>>> isinstance({}, Iterable)
True
>>> isinstance('abc', Iterable)
True
>>> isinstance(123, Iterable)
False
>>> isinstance([1,2,3], Iterable)
True
>>> isinstance((1,2,3), Iterable)
True
>>> isinstance((x for x in range(10)), Iterable)
True

迭代器(Iterators)

Iterators 迭代器 : Iterator is object that has __next__/next which return next value, in case end of iteration, StopIteration exception should be raise

凡事可以被next()函数调用并不断返回下一个值的对象称为迭代器(iterator)对象
- 列表生成器，包括generator和带yield的自定义generator
可以用isinstance()函数判断一个对象是否迭代器

>>> from collections import Iterator
>>> isinstance([],Iterator)
False
>>> isinstance({},Iterator)
False
>>> isinstance('abc', Iterator)
False
>>> isinstance(100, Iterator)
False
>>> isinstance((x for x in range(10)), Iterator)
True

可以用iter()函数把可迭代对象变成迭代器对象

>>> isinstance(iter([]), Iterator)
True
>>> isinstance(iter('abc'), Iterator)
True

迭代器可以表示一个无限大的元素集，而非迭代器list、dict、str 等不能无限大
迭代器的计算是惰性的，只有在被next()调用时才会计算下一个元素，直到没有元素了才抛出stopiteration错误
- Python的for循环本质上是通过不断调用next()来实现的
- 可以用list(迭代器)函数强制迭代器完成计算结果

>>> filter(lambda x:x%2, [1,2,4,5,6,9,10,15])
<filter object at 0x0000000000DE0518>```
>>> list(filter(lambda x:x%2, [1,2,4,5,6,9,10,15]))
[1, 5, 9, 15]

it = iter([1,2,3,4,5])
while True:
    try:
        x = next(it)
    except StopIteration:
        break

python中的迭代器协议 Iteration protocol

__iter__
__next__ (Python 3)/ next (Python 2)

迭代器的优点

对于原生支持随机访问的数据结构（如tuple、list），迭代器和经典for循环的索引访问相比并无优势，反而丢失了索引值（可以使用内建函数enumerate()找回这个索引值）。但对于无法随机访问的数据结构（比如set）而言，迭代器是唯一的访问元素的方式。

另外，迭代器的一大优点是不要求事先准备好整个迭代过程中所有的元素。迭代器仅仅在迭代到某个元素时才计算该元素，而在这之前或之后，元素可以不存在或者被销毁。这个特点使得它特别适合用于遍历一些巨大的或是无限的集合，比如几个G的文件，或是斐波那契数列等等。

迭代器更大的功劳是提供了一个统一的访问集合的接口，只要定义了__iter__()方法对象，就可以使用迭代器访问。

迭代器有两个基本的方法

next方法：返回迭代器的下一个元素
__iter__方法：返回迭代器对象本身

下面用生成斐波那契数列为例子，说明为何用迭代器

代码1

def fab(max): 
    n, a, b = 0, 0, 1 
    while n < max: 
        print b 
        a, b = b, a + b 
        n = n + 1

直接在函数fab(max)中用print打印会导致函数的可复用性变差，因为fab返回None。其他函数无法获得fab函数返回的数列。

代码2

def fab(max): 
    L = []
    n, a, b = 0, 0, 1 
    while n < max: 
        L.append(b) 
        a, b = b, a + b 
        n = n + 1
    return L

代码2满足了可复用性的需求，但是占用了内存空间，最好不要。

代码3 - 对比

 for i in range(1000): pass
 for i in xrange(1000): pass

前一个返回1000个元素的列表，而后一个在每次迭代中返回一个元素，因此可以使用迭代器来解决复用可占空间的问题

class Fab(object): 
    def __init__(self, max): 
        self.max = max 
        self.n, self.a, self.b = 0, 0, 1                
#                                                       
    def __iter__(self): 
        return self 

    def next(self): 
        if self.n < self.max: 
            r = self.b 
            self.a, self.b = self.b, self.a + self.b 
            self.n = self.n + 1 
            return r 
        raise StopIteration()

执行

>>> for key in Fabs(5):
    print key

Fabs 类通过 next() 不断返回数列的下一个数，内存占用始终为常数　　

使用迭代器

使用内置函数`iter`和`next`访问元素

使用内建的工厂函数iter(iterable)可以获取迭代器对象：

>>> lst = range(5)
>>> it = iter(lst)
>>> it
<listiterator object at 0x01A63110>

使用next()方法可以访问下一个元素：

>>> it.next()
0
>>> it.next()
1
>>> it.next()
2

python处理迭代器越界是抛出StopIteration异常

>>> it.next()
3
>>> it.next
<method-wrapper 'next' of listiterator object at 0x01A63110>
>>> it.next()
4
>>> it.next()

Traceback (most recent call last):
  File "<pyshell#27>", line 1, in <module>
    it.next()
StopIteration

了解了StopIteration，可以使用迭代器进行遍历了

lst = range(5)
it = iter(lst)
try:
    while True:
        val = it.next()
        print val
except StopIteration:
    pass

结果

>>>
0
1
2
3
4

使用`for`遍历迭代对象

(for iter in iterable) always call iter(iterable) to get a iterator and get the values looply.

事实上，因为迭代器如此普遍，python专门为for关键字做了迭代器的语法糖（Syntactic sugar）。在for循环中，Python将自动调用工厂函数iter()获得迭代器，自动调用next()获取元素，还完成了检查StopIteration异常的工作。如下

>>> a = (1, 2, 3, 4)
>>> for key in a:
    print key
1
2
3
4

首先python对关键字in后的对象调用iter函数迭代器，然后调用迭代器的next方法获得元素，直到抛出StopIteration异常。

内置迭代 (列表/元组/集/字典)

Iterates Over List/Tuple/Set/Dictionary

for element in iterable:
    suite
[else:
    suite]

for c in "hello":
    print (c)

for elt in [1,2,3]:
    print (elt)

for elt in (1,2,3):
    print (elt)

d = {'name': 'nobody', 'age':100}
for key in d:
    print ('%s = %s' % (key, d[key]))

定义迭代器

如果一个对象需要被用于for…in循环

实现__iner__方法
实现__next__方法

使对象可以通过序号取值

实现__getitem__方法

使对象支持切片操作

增强__getitem__方法

下面一个例子, 还是前面那个斐波那契数列

# -*- coding: cp936 -*-
class Fabs(object):
    def __init__(self,max=10000):
        self.max = max
        self.n, self.a, self.b = 0, 0, 1  #特别指出：第0项是0，第1项是第一个1.整个数列从1开始
    def __iter__(self):
        return self
    def next(self):
        if self.n < self.max:
            r = self.b
            self.a, self.b = self.b, self.a + self.b
            self.n = self.n + 1
            return r
        raise StopIteration()
    def __next__(self): # python3
        return self.next()
    def __getitem__(self, n)    :
        a,b = 1,1
        for x in range(n):
            a,b=b,a+b
        return a

print Fabs(5)
for key in Fabs(5):
    print key
f=Fabs()
print(f[0])

结果

<__main__.Fabs object at 0x01A63090>
1
1
2
3
5

1

如果要支持切片，修改__getitem__, 增加slice处理

    def __getitem__(self, n):
        if isinstance(n,int):
            a,b = 1,1
            for x in range(n):
                a,b=b,a+b
            return a
        if isinstance(n,slice):
            start = n.start
            stop = n.stop
            if start is None:
                start = 0
            a,b = 1,1
            L = []
            for x in range(start,stop):
                if x>start:
                    L.append(a)
                a,b=b,a+b
            return L

进行index和slice操作

f=Fabs()
print(f[0])

g=Fabs()
g[0:5]

结果如下

1
[1, 2, 3, 5]

参考文档

python迭代器生成器