2015-06-17 2 views
0

Я пытаюсь увидеть, как быстро я могу сделать что-то вроде:Последовательный файл ввод-вывод из разных потоков завершаться FileSystemException

  1. написать небольшой файл
  2. переименовать его
  3. удалить его

Это в основном выглядит:

import java.io.IOException; 
import java.nio.file.Files; 
import java.nio.file.Path; 
import java.nio.file.Paths; 


public class QuickIO { 

    public static void main(String[] args) throws IOException { 
    Path fileToWriteTo = Paths.get("C:\\Temp\\somefile.txt"); 
    Path fileToMoveTo = Paths.get("C:\\Temp\\someotherfile.txt"); 
    Files.write(fileToWriteTo, "sometext".getBytes()); 
    Files.move(fileToWriteTo, fileToMoveTo); 
    Files.delete(fileToMoveTo); 
    } 

} 

Вышеуказанные работы абсолютно прекрасные. Я бы хотел сделать то же самое с большим количеством файлов, чтобы получить соответствующие цифры; каждая операция должна выполняться другой нитью (которая напоминает мою конечную архитектуру). Они будут связываться через блокирующие очереди (следовательно, каждая операция в файле будет выполняться, если на нее не будет работать другой поток). Я бегу это на окнах 7 и он терпит неудачу с следующий:

10:21:39.756 [Thread-1] WARN FileMover - IOException 
java.nio.file.FileSystemException: C:\Temp\file_0.in -> C:\Temp\file_0.in\file_0.out: The process cannot access the file because it is being used by another process. 

    at sun.nio.fs.WindowsException.translateToIOException(WindowsException.java:86) ~[na:1.7.0_67] 
    at sun.nio.fs.WindowsException.rethrowAsIOException(WindowsException.java:97) ~[na:1.7.0_67] 
    at sun.nio.fs.WindowsFileCopy.move(WindowsFileCopy.java:387) ~[na:1.7.0_67] 
    at sun.nio.fs.WindowsFileSystemProvider.move(WindowsFileSystemProvider.java:287) ~[na:1.7.0_67] 
    at java.nio.file.Files.move(Files.java:1347) ~[na:1.7.0_67] 
    at FileMover.run(FileMover.java:40) ~[classes/:na] 
    at java.lang.Thread.run(Thread.java:745) [na:1.7.0_67] 

Так в основном операция записи работает отлично, руки над объектом Путь к FileMover, который пытается переместить файл, но это не удается, как файл «используется» другим процессом. Ничто другое не использует этот файл, поскольку он только что был создан, и процесс, который его создал, закрыл файл, как это предусмотрено Files.write().

Любая идея, почему файловая система видит, что файл все еще используется, когда он не должен? И как его решить? :)

Вот весь код, который (вызов с "Java App C: \ Temp 1" только для одного файла и это не удается)

App.java

import java.nio.file.Files; 
import java.nio.file.Path; 
import java.nio.file.Paths; 
import java.util.concurrent.BlockingQueue; 
import java.util.concurrent.LinkedBlockingQueue; 

public class App { 

    public static void main(String[] args) { 
    if(args.length != 2) { 
     System.exit(1); 
    } 
    Path workDir = Paths.get(args[0]); 
    int numFilesToWrite = Integer.parseInt(args[1]); 

    if(!Files.isDirectory(workDir)) { 
     System.exit(1); 
    } 

    if(numFilesToWrite < 1) { 
     System.exit(1); 
    } 

    BlockingQueue<Path> fromFileWriterToFileMover = new LinkedBlockingQueue<Path>(); 
    BlockingQueue<Path> fromFileMoverToFileRemover = new LinkedBlockingQueue<Path>(); 

    Thread writer = new Thread(new FileWriter(workDir, fromFileWriterToFileMover, numFilesToWrite)); 
    Thread mover = new Thread(new FileMover(fromFileWriterToFileMover, fromFileMoverToFileRemover)); 
    Thread remover = new Thread(new FileRemover(fromFileMoverToFileRemover)); 

    remover.start(); 
    mover.start(); 
    writer.start(); 

    } 

} 

FileWrite. Java

import java.io.IOException; 
import java.nio.file.Files; 
import java.nio.file.Path; 
import java.nio.file.Paths; 
import java.util.concurrent.BlockingQueue; 

import org.slf4j.Logger; 
import org.slf4j.LoggerFactory; 

public class FileWriter implements Runnable { 
    private static final Logger log = LoggerFactory.getLogger(FileWriter.class); 

    Path workDirectory; 
    BlockingQueue<Path> toFileMover; 
    int numFiles; 

    public FileWriter(
     Path workDirectory, 
     BlockingQueue<Path> toFileMover, 
     int numFiles) { 
    this.workDirectory = workDirectory; 
    this.toFileMover = toFileMover; 
    this.numFiles = numFiles; 
    } 

    public void run() { 
    RandomString rs = new RandomString(2345); 
    long msSpentWritingFiles = 0L; 

    for(int i = 0 ; i < numFiles ; i++) { 
     try { 
     Path file = workDirectory.resolve(Paths.get("file_" + i + ".in")); 

     byte [] bytes = rs.nextString().getBytes(); 
     long beforeWrite = System.currentTimeMillis(); 
     Files.write(file, bytes); 
     long afterWrite = System.currentTimeMillis(); 
     msSpentWritingFiles = msSpentWritingFiles + (afterWrite - beforeWrite); 

     toFileMover.put(file); 
     } catch (IOException e) { 
     log.warn("IO Exception", e); 
     } 
     catch (InterruptedException e) { 
     log.warn("InterruptedException", e); 
     } 
    } 

    Path endPath = Paths.get("/THEEND"); 
    try { 
     toFileMover.put(endPath); 
    } catch (InterruptedException e) { 
     log.warn("InterruptedException", e); 
    } 

    log.info("Time spent writing files: " + msSpentWritingFiles + "ms"); 
    } 

} 

FileMover.java

import java.io.IOException; 
import java.nio.file.Files; 
import java.nio.file.Path; 
import java.util.concurrent.BlockingQueue; 

import org.slf4j.Logger; 
import org.slf4j.LoggerFactory; 

public class FileMover implements Runnable { 
    private static final Logger log = LoggerFactory.getLogger(FileMover.class); 

    BlockingQueue<Path> fromFileWriter; 
    BlockingQueue<Path> toFileRemover; 

    public FileMover(
     BlockingQueue<Path> fromFileWriter, 
     BlockingQueue<Path> toFileRemover) { 
    this.fromFileWriter = fromFileWriter; 
    this.toFileRemover = toFileRemover; 
    } 

    @Override 
    public void run() { 
    boolean carryOn = true; 
    long msSpentMovingFiles = 0L; 

    while(carryOn) { 
     try { 
     Path origin = fromFileWriter.take(); 

     if("THEEND".equals(origin.getFileName().toString())){ 
      carryOn = false; 
      toFileRemover.put(origin); 
     } else { 

      Path destination = origin.resolve(origin.getFileName().toString().replace(".in", ".out")); 
      long beforeMove = System.currentTimeMillis(); 
      Files.move(origin, destination); 
      long afterMove = System.currentTimeMillis(); 

      msSpentMovingFiles = msSpentMovingFiles + (afterMove - beforeMove); 

      toFileRemover.put(destination); 
     } 

     } catch (InterruptedException e) { 
     log.warn("InterruptedException", e); 
     } catch (IOException e) { 
     log.warn("IOException", e); 
     } 

    } 
    log.info("Time spent moving files: " + msSpentMovingFiles + "ms"); 
    } 
} 

FileRemover.java

import java.io.IOException; 
import java.nio.file.Files; 
import java.nio.file.Path; 
import java.util.concurrent.BlockingQueue; 

import org.slf4j.Logger; 
import org.slf4j.LoggerFactory; 

public class FileRemover implements Runnable { 
private static final Logger log = LoggerFactory.getLogger(FileRemover.class); 

    BlockingQueue<Path> fromFileMover; 

    public FileRemover(BlockingQueue<Path> fromFileMover) { 
    this.fromFileMover = fromFileMover; 
    } 

    @Override 
    public void run() { 
    boolean carryOn = true; 
    long msSpentDeletingFiles = 0L; 

    while(carryOn) { 
     try { 
     Path fileToDelete = fromFileMover.take(); 

     if("THEEND".equals(fileToDelete.getFileName().toString())){ 
      carryOn = false; 
     } else { 


      long beforeDelete = System.currentTimeMillis(); 
      Files.delete(fileToDelete); 
      long afterDelete = System.currentTimeMillis(); 

      msSpentDeletingFiles = msSpentDeletingFiles + (afterDelete - beforeDelete); 

     } 
     } catch (InterruptedException e) { 
     log.warn("InterruptedException", e); 
     } catch (IOException e) { 
     log.warn("IOException", e); 
     } 

    } 
    log.info("Time spent deleting files: " + msSpentDeletingFiles + "ms"); 
    } 

} 

RandomString.java

import java.util.Random; 

public class RandomString { 

    private static final char[] symbols; 

    static { 
    StringBuilder tmp = new StringBuilder(); 
    for (char ch = '0'; ch <= '9'; ++ch) 
     tmp.append(ch); 
    for (char ch = 'a'; ch <= 'z'; ++ch) 
     tmp.append(ch); 
    symbols = tmp.toString().toCharArray(); 
    } 

    private final Random random = new Random(); 

    private final char[] buf; 

    public RandomString(int length) { 
    if (length < 1) 
     throw new IllegalArgumentException("length < 1: " + length); 
    buf = new char[length]; 
    } 

    public String nextString() { 
    for (int idx = 0; idx < buf.length; ++idx) 
     buf[idx] = symbols[random.nextInt(symbols.length)]; 
    return new String(buf); 
    } 
} 

pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
    <modelVersion>4.0.0</modelVersion> 
    <groupId>com.company</groupId> 
    <artifactId>small-file-writer</artifactId> 
    <version>0.0.1-SNAPSHOT</version> 

    <properties> 
    <java.version>1.7</java.version> 
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> 
    <logback.version>1.1.2</logback.version> 
    <slf4j.version>1.7.10</slf4j.version> 
    </properties> 

    <dependencies> 
     <dependency> 
     <groupId>org.slf4j</groupId> 
     <artifactId>jcl-over-slf4j</artifactId> 
     <version>${slf4j.version}</version> 
    </dependency> 
    <dependency> 
     <groupId>org.slf4j</groupId> 
     <artifactId>jul-to-slf4j</artifactId> 
     <version>${slf4j.version}</version> 
    </dependency> 
    <dependency> 
     <groupId>ch.qos.logback</groupId> 
     <artifactId>logback-classic</artifactId> 
     <version>${logback.version}</version> 
    </dependency> 
    </dependencies> 

    <build> 
    <plugins> 
     <plugin> 
     <groupId>org.apache.maven.plugins</groupId> 
     <artifactId>maven-compiler-plugin</artifactId> 
     <configuration> 
      <source>${java.version}</source> 
      <target>${java.version}</target> 
      <encoding>UTF-8</encoding> 
     </configuration> 
     </plugin> 
    </plugins> 
    </build> 
</project> 
+0

В своем BlockingQueue вы помещаете объекты пути, а не объекты файлов. Путь не файл!Подумайте о пути, как указатель на файл, поэтому, пока путь добавлен в очередь, файл в фоновом режиме может быть совсем не готов. Попробуйте сделать это с помощью BlockingQueue с файлом. Перед добавлением убедитесь, что файл полностью написан или перемещен. Это может быть обходным путем для Пути. – NwDev

+0

Файл также не является файлом! :) Файл - это «Абстрактное представление файлов и путей каталогов». Путь - это просто более новая, более эффективная версия файла. Каждая из операций с файлами гарантирует, что основной файл будет закрыт перед возвратом. Только после завершения операции Путь передается в следующий поток через очередь, поэтому операции над одним файлом являются последовательными. – XSen

+0

Вы правы, но объект пути не будет замечен **, когда ** произойдет закрытие/завершение. То же самое в файловом объекте. Вы и ГК ответственны за это. Может быть, что-то еще с Threading, как вызов соединения, чтобы подождать окончания потоков? – NwDev

ответ

1

Вы просто были некоторые опечатка в вашем FileMover метод выполнения:

Path destination = origin.resolve(origin.getFileName().toString().replace(".in", ".out")); 

Адресат будет как C: \ Temp \ file_0.in \ file_0.out это не будет работать, потому что это файл, а не каталог :-)

Заменить это что-то вроде этого:

String now = origin.toString().replace(".in", ".out"); 
Path destination = Paths.get(now); 
+0

Спасибо за ваше упорство в изучении; это действительно решает проблему !!! – XSen

+0

Добро пожаловать! Мое настойчивость, возможно, происходит от выпивки хорошего Ислея время от времени :-) – NwDev

Смежные вопросы