Python, cPickle, травление лямбда-функции

Question

я должен мариновать массив объектов, как это:

import cPickle as pickle 
from numpy import sin, cos, array 
tmp = lambda x: sin(x)+cos(x) 
test = array([[tmp,tmp],[tmp,tmp]],dtype=object) 
pickle.dump(test, open('test.lambda','w')) 

и это дает следующее сообщение об ошибке:

TypeError: can't pickle function objects 

Есть ли способ обойти это?

Answer 1

Встроенный модуль рассола не может сериализовать несколько видов объектов python (включая функции лямбда, вложенные функции и функции, определенные в командной строке).

В комплект поставки picloud входит более прочный раскройщик, который может разводить лямбда-функции.

from pickle import dumps 
f = lambda x: x * 5 
dumps(f) # error 
from cloud.serialization.cloudpickle import dumps 
dumps(f) # works 

PiCloud-сериализованные объекты могут быть десериализовать используя обычный рассол/cPickle load и loads функции.

Dill также обеспечивает аналогичную функциональность

>>> import dill   
>>> f = lambda x: x * 5 
>>> dill.dumps(f) 
'\x80\x02cdill.dill\n_create_function\nq\x00(cdill.dill\n_unmarshal\nq\x01Uec\x01\x00\x00\x00\x01\x00\x00\x00\x02\x00\x00\x00C\x00\x00\x00s\x08\x00\x00\x00|\x00\x00d\x01\x00\x14S(\x02\x00\x00\x00Ni\x05\x00\x00\x00(\x00\x00\x00\x00(\x01\x00\x00\x00t\x01\x00\x00\x00x(\x00\x00\x00\x00(\x00\x00\x00\x00s\x07\x00\x00\x00<stdin>t\x08\x00\x00\x00<lambda>\x01\x00\x00\x00s\x00\x00\x00\x00q\x02\x85q\x03Rq\x04c__builtin__\n__main__\nU\x08<lambda>q\x05NN}q\x06tq\x07Rq\x08.' 

Answer 2

Вы должны будете использовать фактическую функцию вместо того, чтобы, один, который ввоз (не вложен в другой функции):

import cPickle as pickle 
from numpy import sin, cos, array 
def tmp(x): 
    return sin(x)+cos(x) 
test = array([[tmp,tmp],[tmp,tmp]],dtype=object) 
pickle.dump(test, open('test.lambda','w')) 

Объект функции все еще может быть получен выражением lambda, но только если вы затем дать Результирующий объект функции такое же имя: только

tmp = lambda x: sin(x)+cos(x) 
tmp.__name__ = 'tmp' 
test = array([[tmp, tmp], [tmp, tmp]], dtype=object) 

, потому что pickle хранит модуль и имя объекта-функции; в приведенном выше примере tmp.__module__ и tmp.__name__ теперь вернитесь назад в том месте, где тот же самый объект может быть найден снова при рассыпании.

Answer 3

Там есть другое решение: определить вам функции как строки, рассол/ун-рассол затем использовать Eval, например:

import cPickle as pickle 
from numpy import sin, cos, array 
tmp = "lambda x: sin(x)+cos(x)" 
test = array([[tmp,tmp],[tmp,tmp]],dtype=object) 
pickle.dump(test, open('test.lambda','w')) 
mytmp = array([[eval(x) for x in l] for l in pickle.load(open('test.lambda','r'))]) 
print mytmp 
# yields : [[<function <lambda> at 0x00000000033D4DD8> 
#   <function <lambda> at 0x00000000033D4E48>] 
#   [<function <lambda> at 0x00000000033D4EB8> 
#   <function <lambda> at 0x00000000033D4F28>]] 

Это может быть более удобным для других решений, потому что маринованное представление было бы полностью автономным без использования внешних зависимостей.