Я пытаюсь увидеть, как быстро я могу сделать что-то вроде:Последовательный файл ввод-вывод из разных потоков завершаться FileSystemException
- написать небольшой файл
- переименовать его
- удалить его
Это в основном выглядит:
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
public class QuickIO {
public static void main(String[] args) throws IOException {
Path fileToWriteTo = Paths.get("C:\\Temp\\somefile.txt");
Path fileToMoveTo = Paths.get("C:\\Temp\\someotherfile.txt");
Files.write(fileToWriteTo, "sometext".getBytes());
Files.move(fileToWriteTo, fileToMoveTo);
Files.delete(fileToMoveTo);
}
}
Вышеуказанные работы абсолютно прекрасные. Я бы хотел сделать то же самое с большим количеством файлов, чтобы получить соответствующие цифры; каждая операция должна выполняться другой нитью (которая напоминает мою конечную архитектуру). Они будут связываться через блокирующие очереди (следовательно, каждая операция в файле будет выполняться, если на нее не будет работать другой поток). Я бегу это на окнах 7 и он терпит неудачу с следующий:
10:21:39.756 [Thread-1] WARN FileMover - IOException
java.nio.file.FileSystemException: C:\Temp\file_0.in -> C:\Temp\file_0.in\file_0.out: The process cannot access the file because it is being used by another process.
at sun.nio.fs.WindowsException.translateToIOException(WindowsException.java:86) ~[na:1.7.0_67]
at sun.nio.fs.WindowsException.rethrowAsIOException(WindowsException.java:97) ~[na:1.7.0_67]
at sun.nio.fs.WindowsFileCopy.move(WindowsFileCopy.java:387) ~[na:1.7.0_67]
at sun.nio.fs.WindowsFileSystemProvider.move(WindowsFileSystemProvider.java:287) ~[na:1.7.0_67]
at java.nio.file.Files.move(Files.java:1347) ~[na:1.7.0_67]
at FileMover.run(FileMover.java:40) ~[classes/:na]
at java.lang.Thread.run(Thread.java:745) [na:1.7.0_67]
Так в основном операция записи работает отлично, руки над объектом Путь к FileMover, который пытается переместить файл, но это не удается, как файл «используется» другим процессом. Ничто другое не использует этот файл, поскольку он только что был создан, и процесс, который его создал, закрыл файл, как это предусмотрено Files.write().
Любая идея, почему файловая система видит, что файл все еще используется, когда он не должен? И как его решить? :)
Вот весь код, который (вызов с "Java App C: \ Temp 1" только для одного файла и это не удается)
App.java
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.LinkedBlockingQueue;
public class App {
public static void main(String[] args) {
if(args.length != 2) {
System.exit(1);
}
Path workDir = Paths.get(args[0]);
int numFilesToWrite = Integer.parseInt(args[1]);
if(!Files.isDirectory(workDir)) {
System.exit(1);
}
if(numFilesToWrite < 1) {
System.exit(1);
}
BlockingQueue<Path> fromFileWriterToFileMover = new LinkedBlockingQueue<Path>();
BlockingQueue<Path> fromFileMoverToFileRemover = new LinkedBlockingQueue<Path>();
Thread writer = new Thread(new FileWriter(workDir, fromFileWriterToFileMover, numFilesToWrite));
Thread mover = new Thread(new FileMover(fromFileWriterToFileMover, fromFileMoverToFileRemover));
Thread remover = new Thread(new FileRemover(fromFileMoverToFileRemover));
remover.start();
mover.start();
writer.start();
}
}
FileWrite. Java
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.concurrent.BlockingQueue;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
public class FileWriter implements Runnable {
private static final Logger log = LoggerFactory.getLogger(FileWriter.class);
Path workDirectory;
BlockingQueue<Path> toFileMover;
int numFiles;
public FileWriter(
Path workDirectory,
BlockingQueue<Path> toFileMover,
int numFiles) {
this.workDirectory = workDirectory;
this.toFileMover = toFileMover;
this.numFiles = numFiles;
}
public void run() {
RandomString rs = new RandomString(2345);
long msSpentWritingFiles = 0L;
for(int i = 0 ; i < numFiles ; i++) {
try {
Path file = workDirectory.resolve(Paths.get("file_" + i + ".in"));
byte [] bytes = rs.nextString().getBytes();
long beforeWrite = System.currentTimeMillis();
Files.write(file, bytes);
long afterWrite = System.currentTimeMillis();
msSpentWritingFiles = msSpentWritingFiles + (afterWrite - beforeWrite);
toFileMover.put(file);
} catch (IOException e) {
log.warn("IO Exception", e);
}
catch (InterruptedException e) {
log.warn("InterruptedException", e);
}
}
Path endPath = Paths.get("/THEEND");
try {
toFileMover.put(endPath);
} catch (InterruptedException e) {
log.warn("InterruptedException", e);
}
log.info("Time spent writing files: " + msSpentWritingFiles + "ms");
}
}
FileMover.java
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.concurrent.BlockingQueue;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
public class FileMover implements Runnable {
private static final Logger log = LoggerFactory.getLogger(FileMover.class);
BlockingQueue<Path> fromFileWriter;
BlockingQueue<Path> toFileRemover;
public FileMover(
BlockingQueue<Path> fromFileWriter,
BlockingQueue<Path> toFileRemover) {
this.fromFileWriter = fromFileWriter;
this.toFileRemover = toFileRemover;
}
@Override
public void run() {
boolean carryOn = true;
long msSpentMovingFiles = 0L;
while(carryOn) {
try {
Path origin = fromFileWriter.take();
if("THEEND".equals(origin.getFileName().toString())){
carryOn = false;
toFileRemover.put(origin);
} else {
Path destination = origin.resolve(origin.getFileName().toString().replace(".in", ".out"));
long beforeMove = System.currentTimeMillis();
Files.move(origin, destination);
long afterMove = System.currentTimeMillis();
msSpentMovingFiles = msSpentMovingFiles + (afterMove - beforeMove);
toFileRemover.put(destination);
}
} catch (InterruptedException e) {
log.warn("InterruptedException", e);
} catch (IOException e) {
log.warn("IOException", e);
}
}
log.info("Time spent moving files: " + msSpentMovingFiles + "ms");
}
}
FileRemover.java
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.concurrent.BlockingQueue;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
public class FileRemover implements Runnable {
private static final Logger log = LoggerFactory.getLogger(FileRemover.class);
BlockingQueue<Path> fromFileMover;
public FileRemover(BlockingQueue<Path> fromFileMover) {
this.fromFileMover = fromFileMover;
}
@Override
public void run() {
boolean carryOn = true;
long msSpentDeletingFiles = 0L;
while(carryOn) {
try {
Path fileToDelete = fromFileMover.take();
if("THEEND".equals(fileToDelete.getFileName().toString())){
carryOn = false;
} else {
long beforeDelete = System.currentTimeMillis();
Files.delete(fileToDelete);
long afterDelete = System.currentTimeMillis();
msSpentDeletingFiles = msSpentDeletingFiles + (afterDelete - beforeDelete);
}
} catch (InterruptedException e) {
log.warn("InterruptedException", e);
} catch (IOException e) {
log.warn("IOException", e);
}
}
log.info("Time spent deleting files: " + msSpentDeletingFiles + "ms");
}
}
RandomString.java
import java.util.Random;
public class RandomString {
private static final char[] symbols;
static {
StringBuilder tmp = new StringBuilder();
for (char ch = '0'; ch <= '9'; ++ch)
tmp.append(ch);
for (char ch = 'a'; ch <= 'z'; ++ch)
tmp.append(ch);
symbols = tmp.toString().toCharArray();
}
private final Random random = new Random();
private final char[] buf;
public RandomString(int length) {
if (length < 1)
throw new IllegalArgumentException("length < 1: " + length);
buf = new char[length];
}
public String nextString() {
for (int idx = 0; idx < buf.length; ++idx)
buf[idx] = symbols[random.nextInt(symbols.length)];
return new String(buf);
}
}
pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.company</groupId>
<artifactId>small-file-writer</artifactId>
<version>0.0.1-SNAPSHOT</version>
<properties>
<java.version>1.7</java.version>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<logback.version>1.1.2</logback.version>
<slf4j.version>1.7.10</slf4j.version>
</properties>
<dependencies>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>jcl-over-slf4j</artifactId>
<version>${slf4j.version}</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>jul-to-slf4j</artifactId>
<version>${slf4j.version}</version>
</dependency>
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-classic</artifactId>
<version>${logback.version}</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>${java.version}</source>
<target>${java.version}</target>
<encoding>UTF-8</encoding>
</configuration>
</plugin>
</plugins>
</build>
</project>
В своем BlockingQueue вы помещаете объекты пути, а не объекты файлов. Путь не файл!Подумайте о пути, как указатель на файл, поэтому, пока путь добавлен в очередь, файл в фоновом режиме может быть совсем не готов. Попробуйте сделать это с помощью BlockingQueue с файлом. Перед добавлением убедитесь, что файл полностью написан или перемещен. Это может быть обходным путем для Пути. – NwDev
Файл также не является файлом! :) Файл - это «Абстрактное представление файлов и путей каталогов». Путь - это просто более новая, более эффективная версия файла. Каждая из операций с файлами гарантирует, что основной файл будет закрыт перед возвратом. Только после завершения операции Путь передается в следующий поток через очередь, поэтому операции над одним файлом являются последовательными. – XSen
Вы правы, но объект пути не будет замечен **, когда ** произойдет закрытие/завершение. То же самое в файловом объекте. Вы и ГК ответственны за это. Может быть, что-то еще с Threading, как вызов соединения, чтобы подождать окончания потоков? – NwDev