Расового условие создания папки в Python

Question

У меня есть модуль кэширования urllib2, что время от времени происходит сбой из-за следующий код:

if not os.path.exists(self.cache_location): 
    os.mkdir(self.cache_location) 

Проблема, к тому времени, вторая строка выполняется, папка может существует, и будет ошибка:

 File ".../cache.py", line 103, in __init__ 
    os.mkdir(self.cache_location) 
OSError: [Errno 17] File exists: '/tmp/examplecachedir/'

Это происходит потому, что сценарий одновременно запущен несколько раз, на стороннем коде у меня нет никакого контроля над.

Кода (прежде, чем я попытался исправить ошибку) можно найти here, on github

Я не могу использовать tempfile.mkstemp, как он решает состояние гонки, используя случайное имя каталога (tempfile.py source here), который бы победить цель кеша.

Я не хочу, чтобы просто сбросить ошибку, как та же ошибка возникает Errno 17 ошибка, если имя папки существует в виде файла (другая ошибка), например:

$ touch blah 
$ python 
>>> import os 
>>> os.mkdir("blah") 
Traceback (most recent call last): 
    File "", line 1, in 
OSError: [Errno 17] File exists: 'blah' 
>>>

я не могу используя threading.RLock, поскольку код вызывается из нескольких процессов.

Итак, я пытался писать простой файл на основе блокировки (that version can be found here), но есть проблема: он создает файл блокировки на один уровень вверх, так /tmp/example.lock для /tmp/example/, который ломает, если вы используете /tmp/ в качестве директории кэша (как он пытается сделать /tmp.lock).

Короче говоря, мне нужно кэшировать urllib2 ответы на диск. Для этого мне нужно получить доступ к известному каталогу (создав его, если требуется), безопасным способом многопроцессорности. Он должен работать на OS X, Linux и Windows.

Мысли? Единственное альтернативное решение, о котором я могу думать, - это переписать модуль кеша с использованием хранилища SQLite3, а не файлов.

Answer 1

код я закончил с был:

import os 
import errno 

folder_location = "/tmp/example_dir" 

try: 
    os.mkdir(folder_location) 
except OSError, e: 
    if e.errno == errno.EEXIST and os.path.isdir(folder_location): 
     # File exists, and it's a directory, 
     # another process beat us to creating this dir, that's OK. 
     pass 
    else: 
     # Our target dir exists as a file, or different error, 
     # reraise the error! 
     raise 

Answer 2

Не могли бы вы поймать исключение, а затем проверить, существует ли файл в качестве каталога или нет?

Answer 3

Вместо

if not os.path.exists(self.cache_location): 
    os.mkdir(self.cache_location) 

вы могли бы сделать

try: 
    os.makedirs(self.cache_location) 
except OSError: 
    pass 

Как бы вы в конечном итоге с той же функциональностью .

_{ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Я не знаю, как это может быть Pythonic.}

---

Использование SQLite3, может быть немного излишним, но хотел бы добавить много функциональности и гибкости для вашего использования.

Если вам нужно сделать много «выбора», одновременной вставки и фильтрации, отличная идея использовать SQLite3, так как она не добавит слишком много сложностей по сравнению с простыми файлами (можно утверждать, что она устраняет сложность).

---

Перечитывая ваш вопрос (и комментарии), я могу лучше понять вашу проблему.

Возможно, что файл может создать такое же состояние гонки?

Если он достаточно мал, то я хотел бы сделать что-то вроде:

if not os.path.isfile(self.cache_location): 
    try: 
     os.makedirs(self.cache_location) 
    except OSError: 
     pass 

Кроме того, чтение кода, я бы изменить

else: 
    # Our target dir is already a file, or different error, 
    # relay the error! 
    raise OSError(e) 

в

else: 
    # Our target dir is already a file, or different error, 
    # relay the error! 
    raise 

так как это действительно то, что вы хотите, Python ререйзит точно такое же исключение _{(просто nitpicking)}. более

---

Одна вещь, может быть this может быть полезна для вас (Unix-подобных только).

Answer 4

Если у вас есть условия гонки часто ЭСПЦ (проще попросить прощения, чем разрешения) работает лучше, LBYL (раз отмерь)

Error checking strategies