Как сканировать папки для индексирования файлов?

Question

Im работает над скриптом, который собирается найти все * .R3D из определенного дерева папок и проиндексировать их. Я видел много примеров того, как лучше сканировать папки и вложенные папки, но они не кажутся красивыми, и, поскольку я работаю на сервере, я хочу сохранить как можно меньше нагрузки.

Мои вопросы: Я хочу найти наиболее эффективный способ сканирования по папкам и подпапкам для индексации/поиска определенного типа файлов.

Answer 1

os.walk() делает именно это.

Пример из ссылки:

import os 
from os.path import join, getsize 
for root, dirs, files in os.walk('python/Lib/email'): 
    print root, "consumes", 
    print sum(getsize(join(root, name)) for name in files), 
    print "bytes in", len(files), "non-directory files" 
    if 'CVS' in dirs: 
     dirs.remove('CVS') # don't visit CVS directories 

Answer 2

Вы можете использовать вспомогательную функцию, которая оборачивает os.walk, как это:

import os 

def filesByPattern(directory, matchFunc): 
    for path,dirs,files in os.walk(directory): 
    for f in filter(matchFunc, path): 
     yield os.path.join(path, f) 

certainFolder = '.' 
allR3DFiles = filesByPattern(certainFolder, lambda fn: fn.endswith('.R3D')) 

Answer 3

Улучшение на @ phihag пример М.:

def all_files(directory): 
    for path, dirs, files in os.walk(directory): 
     for f in files: 
      yield os.path.join(path, f) 

r3d_files = [f for f in all_files(your_directory) 
       if f.endswith('.R3D')]