Есть ли способ получить последние измененные времена всех файлов и файлов в hdfs? Я хочу создать страницу, которая отображает информацию, но я не знаю, как перейти к тому, чтобы получить последние версии мод в одном .txt-файле.Hadoop dir/file last modified times
1
A
ответ
1
Смотрите, если это помогает:
public class HdfsDemo {
public static void main(String[] args) throws IOException {
Configuration conf = new Configuration();
conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/core-site.xml"));
conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/hdfs-site.xml"));
FileSystem fs = FileSystem.get(conf);
System.out.println("Enter the directory name : ");
BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
Path path = new Path(br.readLine());
displayDirectoryContents(fs, path);
fs.close();
}
private static void displayDirectoryContents(FileSystem fs, Path rootDir) {
// TODO Auto-generated method stub
try {
FileStatus[] status = fs.listStatus(rootDir);
for (FileStatus file : status) {
if (file.isDir()) {
System.out.println("DIRECTORY : " + file.getPath() + " - Last modification time : " + file.getModificationTime());
displayDirectoryContents(fs, file.getPath());
} else {
System.out.println("FILE : " + file.getPath() + " - Last modification time : " + file.getModificationTime());
}
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
Одна вещь, чтобы заметить, однако, getModificationTime() возвращает время модификации файла в миллисекундах с 1 января 1970 UTC.
1
Вам, вероятно, придется проходить через файлы и каталоги, чтобы получить статус каждого пути - вы можете использовать приведенный ниже код (только образец), но я не уверен, насколько он эффективен, если у вас есть большой набор файлов и каталогов.
Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://<namenod_ip_address:<port>");
conf.set("mapred.job.tracker", "<jobtracker_ip_address>:<port>");
conf.setBoolean("fs.hdfs.impl.disable.cache", true);
FileSystem lfs = FileSystem.get(l_configuration);
fs.getFileStatus(new Path("/your/path")).getModificationTime();
Смежные вопросы
- 1. Изменить ответ «Last-Modified»
- 2. C# File Last Modified time
- 3. Last-Modified в http-заголовке
- 4. (слабый) ETags и Last-Modified
- 5. jQuery $ .getScript last modified date
- 6. Создание Last Modified SQL Trigger
- 7. кэша браузера, Last-Modified заголовок
- 8. Использование Last-Modified и If-Modified-Since в RESTful API
- 9. "last accessed" vs "last modified" file date in java (windows)
- 10. mod_rewrite RewriteCond на основе Last-modified? (.htaccess)
- 11. Symfony2: набор Last-Modified в RedirectResponse
- 12. Скрипт «Row Last Modified» порождает неправильный месяц
- 13. Last-Modified не работает для .htaccess
- 14. Таблица Google Fusion Last Modified Date
- 15. Автоматически добавлять Last-Modified заголовок IIS?
- 16. HTTP Last-Modified «не работают, как ожидают
- 17. получить только Last-Modified из заголовка PHP
- 18. htaccess 'Header unset Last-Modified' проблема кэширования
- 19. Как получить Javascript Last-Modified date
- 20. Apache2 mod_perl Last-Modified заголовок игнорируется
- 21. Windows Installer change file last modified date
- 22. bigdata hadoop java codefor wordcount modified
- 23. Last-Modified заголовок и OutputCacheAttribute в ASP.NET MVC 3
- 24. HTTP - Должен ли я использовать Last-Modified как Etag?
- 25. Last Run/Modified Procedure Timestamp/Date in Postgresql
- 26. Клиентский кеширование отменяет пользовательский режим Last-Modified при рендеринге Просмотр
- 27. Header Cache-Control не работает заголовок «Last-Modified»
- 28. «Неверно отформатированная запись заголовков» при установке заголовка Last-Modified
- 29. PARSING HTTP «Last-Modified» строка Дата в PHP
- 30. Apache не отправляет Last-Modified заголовок, даже если явно установлен