公众号：pythonislover Python大数据与SQL优化笔记

首先我们要知道Python迭代器与可迭代对象不是一个概念。

迭代器：是访问数据集合内元素的一种方式，一般用来遍历数据，但是他不能像列表一样使用下标来获取数据，也就是说迭代器是不能返回的。

迭代器主要有两个方法next()与iter()，next不断返回下一个元素，知道元素全部返回后出现异常，可以节省内存空间。iter是迭代，可以把一个列表直接转换成迭代器，然后使用next()方法。

list的源码中可以看到，在list类中有iter魔法函数，也就是说只要实现了iter魔法函数，那么这个对象就是可迭代对象但是不是迭代器。看看下面的例子。

from collections.abc import Iterable,Iterator

a = [1,2,3]

print(isinstance(a,Iterator))

print(isinstance(a,Iterable))

结果

False

True

#a这个List是可迭代对象但是不是迭代器。我们下面用

#######################################

#用iter把可迭代对象变成迭代器，用next

list1=[1,2,3,4,5]

list1=iter(list1)

print(isinstance(list1,Iterator))

print(isinstance(list1,Iterable))

print(next(list1))

print(next(list1))

print(next(list1))

结果

True

True

1

2

3

#可以看到现在list1是可迭代对象又是一个迭代器，说明列表list1中有iter方法，该方法返回的是迭代器，这个时候使用next就可以获取list1的下一个值，但是要记住迭代器中的数值只能被获取一次。

迭代器(Iterator)与可迭代对象(Iterable)的区别：

可迭代对象：继承迭代器对象，可以用for循环,(说明实现了iter魔法方法)

迭代器对象：可以用next获取下一个值(说明实现了next方法)，但是每个值只能获取一次，单纯的迭代器没有实现iter魔法函数，所以不能使用for循环

只要可以用作for循环的都是可迭代对象

只要可以用next()函数的都是迭代器对象

列表,字典,字符串是可迭代对象但是不是迭代器对象，如果想变成迭代器对象可以使用iter()进行转换

Python的for循环本质上是使用next()进行不断调用，for循环的是可迭代对象，可迭代对象中有iter魔法函数，可迭代对象继承迭代器对象，迭代器对象中有next魔法函数

一般由可迭代对象变迭代器对象

可迭代对象

可迭代对象每次使用for循环一个数组的时候，本质上会从类中尝试调用iter魔法函数，如果类中有iter魔法函数的话，会优先调用iter魔法函数，当然这里切记iter方法必须要返回一个可以迭代的对象，不然就会报错。

如果没有定义iter魔法函数的话，会创建一个默认的迭代器，该迭代器调用getitem魔法函数，如果你没有定义iter和getitem两个魔法函数的话，该类型就不是可迭代对象，就会报错。

例子：

class s:

def __init__(self,x):

self.x = x

def __iter__(self):

return iter(self.x)

# 这里必须要返回一个可以迭代的对象

# def __getitem__(self, item):

# return self.x[item]

# iter和getitem其中必须要实现一个

a = s('123')

# 这里的a就是可迭代对象

# 这里不能调用next(a)方法，因为没有定义__next__方法

for x in a:

print(x)

结果：

1

2

3

迭代器对象

一开始提起，iter搭配Iterable做可迭代对象，next搭配Iterator做迭代器。next()接受一个迭代器对象，作用是获取迭代器对象的下一个值，迭代器是用来做迭代的，只会在需要的时候产生数据。

和可迭代对象不同，可迭代对象一开始是把所有的列表放在一个变量中，然后用getitem方法不断的返回数值，getitem中的item就是索引值。

但是next方法并没有索引值，所以需要自己维护一个索引值，方便获取下一个变量的位置。

例子：

class s:

def __init__(self,x):

self.x = x

# 获取传入的对象

self.index = 0

# 维护索引值

def __next__(self):

try:

result = self.x[self.index]

# 获取传入对象的值

except IndexError:

# 如果索引值错误

raise StopIteration

# 抛出停止迭代

self.index += 1

# 索引值+1，用来获取传入对象的下一个值

return result

# 返回传入对象的值

a = s([1,2,3])

print(next(a))

print('----------')

for x in a:

# 类中并没有iter或者getitem魔法函数，不能用for循环，会报错

print(x)

结果

1

----------

Traceback (most recent call last):

File "C:/Users/aryin/Desktop/mysite2/迭代器.py", line 23, in

for x in a:

TypeError: 's' object is not iterable

上面一个就是完整的迭代器对象，他是根据自身的索引值来获取传入对象的下一个值，并不是像可迭代对象直接把传入对象读取到内存中，所以对于一些很大的文件读取的时候，可以一行一行的读取内容，而不是把文件的所有内容读取到内存中。

这个类是迭代器对象，那么如何才能让他能够使用for循环呢？那就让他变成可迭代对象，只需要在类中加上iter魔法函数即可。

例子：

class s:

def __init__(self,x):

self.x = x

# 获取传入的对象

self.index = 0

# 维护索引值

def __next__(self):

try:

result = self.x[self.index]

# 获取传入对象的值

except IndexError:

# 如果索引值错误

raise StopIteration

# 抛出停止迭代

self.index += 1

# 索引值+1，用来获取传入对象的下一个值

return result

# 返回传入对象的值

def __iter__(self):

return self

a = s([1,2,3])

print(next(a))

print('----------')

for x in a:

print(x)

结果：

1

----------

2

3

可以看到这个时候运行成功，但是这个对象还是属于迭代器对象，因为在next获取下一个值会报错。

根据上面的代码提示，得到规律：

iter让类变成可迭代对象，next让类变成迭代器(要维护索引值)。

可迭代对象可以用for循环，迭代器可以用next获取下一个值。

迭代器如果想要变成可迭代对象用for循环，就要在迭代器内部加上iter魔法函数

可迭代对象如果想要能用next魔法函数，使用自身类中的iter()方法即可变成迭代器对象

class s:

def __init__(self,x):

self.x = x

self.index = 0

def __next__(self):

try:

result = self.x[self.index]

except IndexError:

raise StopIteration

self.index += 1

return result

class b:

def __init__(self,x):

self.x = x

def __iter__(self):

return s(self.x)

a = b([1,2,3])

for x in a:

print(x)

结果：

1

2

3

这个时候是不能再用next方法了，应为类b是一个可迭代对象，并非迭代器，这个时候不能用next方法，但是可以让类b继承类s，这样就能用next()方法获取下一个值，但是你的类b中要存在索引值，不然会报错，如下代码:

class s:

def __init__(self,x):

self.x = x

# 获取传入的对象

self.index = 0

# 维护索引值

def __next__(self):

try:

result = self.x[self.index]

# 获取传入对象的值

except IndexError:

# 如果索引值错误

raise StopIteration

# 抛出停止迭代

self.index += 1

# 索引值+1，用来获取传入对象的下一个值

return result

# 返回传入对象的值

# def __iter__(self):

# return self

class b(s):

def __init__(self,x):

self.x = x

self.index = 0

def __iter__(self):

return s(self.x)

a = b([1,2,3])

print(next(a))

print(next(a))

结果：

1

2

可以这么做，但是没必要，因为这样违反了设计原则。

迭代器的设计模式

迭代器模式：提供一种方法顺序访问一个聚合对象中的各种元素，而又不暴露该对象的内部表示。

迭代器的设计模式是一种经典的设计模式，根据迭代器的特性(根据索引值读取下一个内容，不一次性读取大量数据到内存)不建议将next和iter都写在一个类中去实现。

新建一个迭代器，用迭代器维护索引值，返回根据索引值获取对象的数值，新建另一个可迭代对象，使用iter方法方便的循环迭代器的返回值。

实例演示

要求：抓取城市的天气信息，并且依次显示。

困惑：如果一次抓取全部的信息在返回，等待时间长，浪费存储空间。

分析：实现一个迭代器对象Weather，使用next()方法每次返回一个城市的气温。再实现一个可迭代对象Weather1，使用iter方法返回一个迭代器对象。

import sys

import requests

from collections import Iterable,Iterator

#reload(sys)

#sys.setdefaultencoding('utf-8')

class weather(Iterator):

# 天气迭代器，继承Iterator，使用next

def __init__(self,citys):

# 构造器 描述哪些城市

self.citys = citys

self.index = 0

# 记录迭代的位置

def getweather(self,city):

data = r.json()['data']['forecast'][0]

#print data

return '%s:%s,%s'%(city,data['low'],data['high'])

def __next__(self):

if self.index == len(self.citys):

# 当全部的城市加载完毕

raise StopIteration

city = self.citys[self.index]

# 迭代出当前城市

self.index +=1

return self.getweather(city)

# 返回出城市的气温信息

class weather1(Iterable):

# 可迭代对象，继承Iterable，使用_iter__

def __init__(self,city):

# 内部维护citys，为了传给Iter

def __iter__(self):

#可迭代接口，返回上面的weather

for x in weather1([u'北京','上海','南京','广州','深圳','长沙']):

print(x)

结果：

北京:低温 0℃,高温 12℃

上海:低温 9℃,高温 20℃

南京:低温 8℃,高温 16℃

广州:低温 20℃,高温 28℃

深圳:低温 21℃,高温 27℃

长沙:低温 11℃,高温 25℃