Несогласованное поведение генераторов питона

Question

Следующий код python производит [(0, 0), (0, 7) ... (0, 693)] вместо ожидаемого списка кортежей, объединяющего все кратные 3 и кратные 7:

multiples_of_3 = (i*3 for i in range(100)) 
multiples_of_7 = (i*7 for i in range(100)) 
list((i,j) for i in multiples_of_3 for j in multiples_of_7) 

Этот код исправляет проблему:

list((i,j) for i in (i*3 for i in range(100)) for j in (i*7 for i in range(100))) 

Вопросы:

1. объект генератор, кажется, играет роль итератора я вместо предоставления объекта итератора каждый раз, когда должен быть указан список сгенерированный. Более поздняя стратегия, по-видимому, принимается объектами запроса .Net LINQ. Есть ли элегантный способ обойти это?
2. Как работает вторая часть кода? Должен ли я понять, что итератор генератора не сбрасывается после прохождения через все кратные 7?
3. Вам не кажется, что это поведение противоречит интуитивному, если не противоречивому?

Answer 1

Как вы обнаружили объект, созданный выражением генератора итератор (точнее генератор итератора), предназначенный для потребления только один раз. Если вам нужен сбрасываемый генератор, просто создать реальный генератор и использовать его в петлях:

def multiples_of_3():    # generator 
    for i in range(100): 
     yield i * 3 
def multiples_of_7():    # generator 
    for i in range(100): 
     yield i * 7 
list((i,j) for i in multiples_of_3() for j in multiples_of_7()) 

Ваш второй код работает, потому что список выражений внутреннего цикла ((i*7 ...)) вычисляется на каждом проходе внешнего контура , Это приводит к созданию нового генератора-итератора каждый раз, что дает вам поведение, которое вы хотите, но за счет ясности кода.

Чтобы понять, что происходит, помните, что нет «перезагрузки» итератора, когда цикл for выполняет итерацию по нему. (Это функция, например сброс сломается итерация большой итератора в части, и это было бы невозможно для генераторов). Например:

multiples_of_2 = iter(xrange(0, 100, 2)) # iterator 
for i in multiples_of_2: 
    print i 
# prints nothing because the iterator is spent 
for i in multiples_of_2: 
    print i 

... в отличие от этого:

multiples_of_2 = xrange(0, 100, 2)  # iterable sequence, converted to iterator 
for i in multiples_of_2: 
    print i 
# prints again because a new iterator gets created 
for i in multiples_of_2: 
    print i 

Генерирующее выражение эквивалентно вызываемому генератору и поэтому может быть только повторено за один раз.

Answer 2

Объект-генератор is итератор, и поэтому одноразовый. Это не итерируемый, который может производить любое количество независимых итераторов. Такое поведение не является чем-то, что вы можете изменить с помощью коммутатора где-то, поэтому любая работа вокруг сводится к использованию либо итерации (например, списка), а не генератора или многократного создания генераторов.

Второй фрагмент последнего. Это по определению эквивалентно петлях

for i in (i*3 for i in range(100)): 
    for j in (i*7 for i in range(100)): 
     ... 

Надеюсь, это не удивительно, что здесь, выражение последнего генератора вычисляется заново на каждой итерации внешнего цикла.

Answer 3

Реальная проблема, как я узнал о одного против нескольких итерируемымих пропусков и того факта, что в настоящее время отсутствует стандартный механизм, чтобы определить, является ли итератор одного или несколько прохода: См Single- vs. Multi-pass iterability

Answer 4

Если вы хотите, чтобы преобразовать выражение генератора для многопроходного повтора, тогда это можно сделать довольно обычным способом. Например:

class MultiPass(object): 
    def __init__(self, initfunc): 
     self.initfunc = initfunc 
    def __iter__(self): 
     return self.initfunc() 

multiples_of_3 = MultiPass(lambda: (i*3 for i in range(20))) 
multiples_of_7 = MultiPass(lambda: (i*7 for i in range(20))) 
print list((i,j) for i in multiples_of_3 for j in multiples_of_7) 

С точки зрения определения вещи, это такое же количество работы, набрав:

def multiples_of_3(): 
    return (i*3 for i in range(20)) 

, но с точки зрения пользователя, они пишут multiples_of_3, а не multiples_of_3(), что означает, что объект multiples_of_3 является полиморфным с любым другим итерируемым, например tuple или list.

Необходимо ввести lambda: немного неэлегантно, правда. Я не думаю, что было бы вредно вводить «итерируемые понимания» на язык, чтобы дать вам то, что вы хотите, сохраняя при этом обратную совместимость. Но есть только так много символов пунктуации, и я сомневаюсь, что это будет считаться заслуживающим внимания.