Django-хранилища, не обнаруживающие измененные статические файлы

Question

Я использую django-хранилища и amazon s3 для своих статических файлов. После документации я эти настройки в моем settings.py

STATIC_URL = 'https://mybucket.s3.amazonaws.com/' 

ADMIN_MEDIA_PREFIX = 'https://mybucket.s3.amazonaws.com/admin/' 

INSTALLED_APPS += (
    'storages', 
) 

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage' 
AWS_ACCESS_KEY_ID = 'mybucket_key_id' 
AWS_SECRET_ACCESS_KEY = 'mybucket_access_key' 
AWS_STORAGE_BUCKET_NAME = 'mybucket' 
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage' 

И первый раз, когда я пытался собрать статическое все правильно работал, и мои статические файлы были загружены на мое s3 ведро.

Однако, после внесения изменений в мои статические файлы и выполняющиеся python manage.py collectstatic это выводится, несмотря на то, что статические файлы были изменены

-----> Collecting static files 
    0 static files copied, 81 unmodified. 

Однако, если переименовать измененный файл статического, измененный статический файл правильно скопирован в мой ведро s3.

Почему нет django-хранилищ, загружающих измененные статические файлы? Есть проблема конфигурации или проблема глубже?

Answer 1

collectstatic пропускает файлы, если «целевой» файл «моложе», чем исходный файл. Кажется, память Amazon S3 возвращает неверную дату для файла.

вы можете исследовать [код] [1] и отлаживать ответы сервера. Возможно, есть проблема с часовым поясом.

Или вы могли бы просто передать --clear аргумент collectstatic так, что все файлы будут удалены на S3 до сбора

Answer 2

https://github.com/antonagestam/collectfast

От readme.txt: команды управления Выборочная сравнивает сумму MD5 и ETag из S3, и если эти два являются одинаковыми копиями файлов пропусков. Это заставляет запускать статический MUCH быстрее , если вы используете git как систему управления версиями, которая обновляет временные метки.

Answer 3

Этот вопрос немного старый, но в случае, если он поможет кому-то в будущем, я решил, что поделюсь своим опытом. Следуя советам, изложенным в других темах, я подтвердил, что для меня это было вызвано разницей в часовом поясе. Мое время django не было неправильным, но было установлено значение EST, а S3 - GMT. При тестировании я вернулся в django-хранилища 1.1.5, которые, похоже, стали работать коллективно. Частично из-за личных предпочтений я не желал: откатывать три версии django-хранилищ и терять любые возможные исправления ошибок или b) изменять часовые пояса для компонентов моего проекта, что в основном сводится к функции удобства (хотя важно один).

Я написал короткий сценарий, чтобы выполнить ту же работу, что и collectstatic без вышеупомянутых изменений. Это потребует небольшой модификации для вашего приложения, но должно работать в стандартных случаях, если оно размещено на уровне приложения, а «static_dirs» заменяется именами приложений вашего проекта. Он запускается через терминал с именем «python whatever_you_call_it.py -e environment_name» (установите это в свое ведро aws).

import sys, os, subprocess 
import boto3 
import botocore 
from boto3.session import Session 
import argparse 
import os.path, time 
from datetime import datetime, timedelta 
import pytz 

utc = pytz.UTC 
DEV_BUCKET_NAME = 'dev-homfield-media-root' 
PROD_BUCKET_NAME = 'homfield-media-root' 
static_dirs = ['accounts', 'messaging', 'payments', 'search', 'sitewide'] 

def main(): 
    try: 
     parser = argparse.ArgumentParser(description='Homfield Collectstatic. Our version of collectstatic to fix django-storages bug.\n') 
     parser.add_argument('-e', '--environment', type=str, required=True, help='Name of environment (dev/prod)') 
     args = parser.parse_args() 
     vargs = vars(args) 
     if vargs['environment'] == 'dev': 
      selected_bucket = DEV_BUCKET_NAME 
      print "\nAre you sure? You're about to push to the DEV bucket. (Y/n)" 
     elif vargs['environment'] == 'prod': 
      selected_bucket = PROD_BUCKET_NAME 
      print "Are you sure? You're about to push to the PROD bucket. (Y/n)" 
     else: 
      raise ValueError 

     acceptable = ['Y', 'y', 'N', 'n'] 
     confirmation = raw_input().strip() 
     while confirmation not in acceptable: 
      print "That's an invalid response. (Y/n)" 
      confirmation = raw_input().strip() 

     if confirmation == 'Y' or confirmation == 'y': 
      run(selected_bucket) 
     else: 
      print "Collectstatic aborted." 
    except Exception as e: 
     print type(e) 
     print "An error occured. S3 staticfiles may not have been updated." 


def run(bucket_name): 

    #open session with S3 
    session = Session(aws_access_key_id='{aws_access_key_id}', 
     aws_secret_access_key='{aws_secret_access_key}', 
     region_name='us-east-1') 
    s3 = session.resource('s3') 
    bucket = s3.Bucket(bucket_name) 

    # loop through static directories 
    for directory in static_dirs: 
     rootDir = './' + directory + "/static" 
     print('Checking directory: %s' % rootDir) 

     #loop through subdirectories 
     for dirName, subdirList, fileList in os.walk(rootDir): 
      #loop through all files in subdirectory 
      for fname in fileList: 
       try: 
        if fname == '.DS_Store': 
         continue 

        # find and qualify file last modified time 
        full_path = dirName + "/" + fname 
        last_mod_string = time.ctime(os.path.getmtime(full_path)) 
        file_last_mod = datetime.strptime(last_mod_string, "%a %b %d %H:%M:%S %Y") + timedelta(hours=5) 
        file_last_mod = utc.localize(file_last_mod) 

        # truncate path for S3 loop and find object, delete and update if it has been updates 
        s3_path = full_path[full_path.find('static'):] 
        found = False 
        for key in bucket.objects.all(): 
         if key.key == s3_path: 
          found = True 
          last_mode_date = key.last_modified 
          if last_mode_date < file_last_mod: 
           key.delete() 
           s3.Object(bucket_name, s3_path).put(Body=open(full_path, 'r'), ContentType=get_mime_type(full_path)) 
           print "\tUpdated : " + full_path 
        if not found: 
         # if file not found in S3 it is new, send it up 
         print "\tFound a new file. Uploading : " + full_path 
         s3.Object(bucket_name, s3_path).put(Body=open(full_path, 'r'), ContentType=get_mime_type(full_path)) 
       except: 
        print "ALERT: Big time problems with: " + full_path + ". I'm bowin' out dawg, this shitz on u." 


def get_mime_type(full_path): 
    try: 
     last_index = full_path.rfind('.') 
     if last_index < 0: 
      return 'application/octet-stream' 
     extension = full_path[last_index:] 
     return { 
      '.js' : 'application/javascript', 
      '.css' : 'text/css', 
      '.txt' : 'text/plain', 
      '.png' : 'image/png', 
      '.jpg' : 'image/jpeg', 
      '.jpeg' : 'image/jpeg', 
      '.eot' : 'application/vnd.ms-fontobject', 
      '.svg' : 'image/svg+xml', 
      '.ttf' : 'application/octet-stream', 
      '.woff' : 'application/x-font-woff', 
      '.woff2' : 'application/octet-stream' 
     }[extension] 
    except: 
     'ALERT: Couldn\'t match mime type for '+ full_path + '. Sending to S3 as application/octet-stream.' 

if __name__ == '__main__': 
    main() 

Answer 4

Создать файл установки только для collectstatic синхронизации с этой конфигурацией:

TIME_ZONE = 'UTC' 

Run collectstatic с определенными параметрами с этой линией:

python manage.py collectstatic --settings=settings.collectstatic