Android параллельные (одновременные) изображения скачать

Question

Ребята, помогите пожалуйста, это важно.

Мне нужно загрузить около 2000 изображений менее чем за 5 минут. Поэтому я решил сделать параллельную загрузку изображений.

Если кто-то может предложить мне лучший способ сделать параллельные загрузки или сказал мне, где я ошибаюсь, я бы очень признателен.

В ошибке журнала числа завершенных задач всегда различны ...

Помогите пожалуйста.

Я использую Async задачи Исполнитель Артема Зиннатуллин

public class AsyncTaskExecutor { 

private static final int CORE_POOL_SIZE; 
private static final int MAXIMUM_POOL_SIZE; 
private static final int KEEP_ALIVE; 
private static final TimeUnit TIME_UNIT; 

private static final BlockingQueue<Runnable> concurrentPoolWorkQueue; 
private static final ThreadFactory concurrentThreadFactory; 
    private static final ThreadPoolExecutor concurrentExecutor; 

private AsyncTaskExecutor() {} 

static { 
CORE_POOL_SIZE = 5; 
MAXIMUM_POOL_SIZE = 128; 
KEEP_ALIVE = 1; 
TIME_UNIT = TimeUnit.SECONDS; 

concurrentPoolWorkQueue = new LinkedBlockingQueue<Runnable>(10); 
concurrentThreadFactory = new AsyncTaskThreadFactory(); 
concurrentExecutor = new ThreadPoolExecutor(CORE_POOL_SIZE,MAXIMUM_POOL_SIZE, KEEP_ALIVE, TIME_UNIT, concurrentPoolWorkQueue, concurrentThreadFactory); 
} 
/** 
* Concurrently executes AsyncTask on any Android version 
* @param task to execute 
* @param params for task 
* @return executing AsyncTask 
*/ 
@SuppressLint("NewApi") 
public static <Params, Progress, Result> AsyncTask<Params, Progress, Result> 
executeConcurrently(AsyncTask<Params, Progress, Result> task, 
Params... params) { 
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.HONEYCOMB) { 
task.executeOnExecutor(concurrentExecutor, params); 
} else { 
task.execute(params); 
} 
return task; 
} 

    /** 
* Thread factory for AsyncTaskExecutor 
* @author Artem Zinnatullin 
* 
*/ 
private static class AsyncTaskThreadFactory implements ThreadFactory { 
private final AtomicInteger count; 

{ 
count = new AtomicInteger(1); 
} 

@Override 
public Thread newThread(Runnable r) { 
return new Thread(r, "AsyncTask #" + count.getAndIncrement()); 
} 
} 

}

Затем я использую цикл, чтобы загрузить все мои изображения.

for (PhotoToDBHelper photoToDBHelper : notDownloaded) { 
      try { 
       photoToDBHelper.download(m_context); 
      } catch (Exception e) { 
       // TODO: handle exception 
      } 

     } 

где метод загрузки выглядеть следующим образом:

public void download(Context context) throws Exception { 
    HttpClient httpClient = new DefaultHttpClient(); 
    HttpGet httpGet = new HttpGet(new URL(getPhotosUrl() + m_fileName).toString()); 
    HttpResponse response = httpClient.execute(httpGet); 
    HttpEntity entity = response.getEntity(); 

    InputStream inputStream = entity.getContent(); 
    filePath = Environment.getExternalStorageDirectory().toString() + getFoldeRelativePath() + m_fileName; 

    Utils.createFileOnExternalStorage(getFoldeRelativePath(), filePath); 
    FileOutputStream fos = new FileOutputStream(filePath, false); 

    byte[] buffer = new byte[20000]; 
    int byteRead = 0; 

    while ((byteRead = inputStream.read(buffer)) != -1) { 
     fos.write(buffer, 0, byteRead); 
    } 
    fos.close(); 
} 

И когда начать мое приложение для Android я получаю эту ошибку

02-25 01:08:30.133: E/AndroidRuntime(32357): FATAL EXCEPTION: main 
02-25 01:08:30.133: E/AndroidRuntime(32357): java.lang.RuntimeException: Unable to start activity ComponentInfo{"package".TabHostActivity}: java.util.concurrent.RejectedExecutionException: Task android.os.AsyncTask$3@2c0809b0 rejected from java.util.concurrent.ThreadPoolExecutor@2be18f48[Running, pool size = 128, active threads = 1, queued tasks = 10, completed tasks = 27] 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:1967) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:1992) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.app.ActivityThread.access$600(ActivityThread.java:127) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.app.ActivityThread$H.handleMessage(ActivityThread.java:1158) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.os.Handler.dispatchMessage(Handler.java:99) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.os.Looper.loop(Looper.java:137) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.app.ActivityThread.main(ActivityThread.java:4441) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at java.lang.reflect.Method.invokeNative(Native Method) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at java.lang.reflect.Method.invoke(Method.java:511) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:784) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:551) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at dalvik.system.NativeStart.main(Native Method) 
02-25 01:08:30.133: E/AndroidRuntime(32357): Caused by: java.util.concurrent.RejectedExecutionException: Task android.os.AsyncTask$3@2c0809b0 rejected from java.util.concurrent.ThreadPoolExecutor@2be18f48[Running, pool size = 128, active threads = 1, queued tasks = 10, completed tasks = 1032] 
02-25 01:08:30.133: E/AndroidRuntime(32357): at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:1967) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:782) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1303) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.os.AsyncTask.executeOnExecutor(AsyncTask.java:564) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at "package".data.AsyncTaskExecutor.executeConcurrently(AsyncTaskExecutor.java:58) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at "package".TabHostActivity.checkUpdateState(TabHostActivity.java:130) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at "package".TabHostActivity.onCreate(TabHostActivity.java:88) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.app.Activity.performCreate(Activity.java:4465) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1049) 
02-25 01:08:30.133: E/AndroidRuntime(32357): at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:1931) 
02-25 01:08:30.133: E/AndroidRuntime(32357): ... 11 more 

Answer 1

Есть несколько проблем, которые необходимо решить:

1. 2000 изображений в 5 минут - около 7 изображений в секунду. В зависимости от размера изображения, пропускной способности сети, скорости процессора и скорости хранения и т. Д. ... это может оказаться невозможным с любым кодом или количеством параллелизма. Математика для пропускной способности: 7 * N байт в секунду, где N - средний размер изображения. Если есть большие изображения, это может быть мертвой точкой.
2. Исключение указывает, что пул потоков достиг максимального количества задач в очереди (10). Это можно настроить на основе реализации потока-пула-менеджера. В целом, попытка одновременного запуска потоков 2000, например, скорее всего усугубит это условие. Рекомендуйте задачи массового обслуживания (которые используют потоки) в группах, контролируя их завершение, а затем запуская больше, все в небольших группах, например, по пять (5) за раз.
3. Если есть какой-либо серверный элемент управления, рассмотрите возможность использования модели спрайтов, в которой несколько изображений хранятся в одном изображении (файле/ресурсе), разбитых на их относительные координаты x/y внутри изображения. Это позволит свести к минимуму количество HTTP или других сетевых запросов с 2000 до 1 (возможно), что значительно улучшит производительность.