Я написал искровое приложение, в котором я хочу сохранить фрейм данных в локальной файловой системе.Spark необходимо записать файл в локальную файловую систему. Затем я использую java.io.FileReader и FileWriter для чтения локального файла, написанного искру, сделайте некоторую модификацию, а затем снова запиши обратно в локальную файловую систему. Поэтому путь к файлу, который мне нужно использовать, является постоянным. напр: файл: ////name.txt, Это будет использоваться как для dataframa.save и Java FileReader и FileWriterSpark: Локальная файловая система как файловая система по умолчанию для искрового приложения
я использовал API, как это:
dataframe.save(/abc/name.txt)
Но искра спасительной этот файл в HDFS. У нас есть какая-либо переменная env, которая должна быть настроена на создание искрового файла save в локальные fs?
Благодаря
это не может быть полным решением. В каком-то другом месте в моем приложении я использую java FileWriter для чтения файла. Исключение происходит в этом месте java.io.FileNotFoundException: файл:/ /name.txt –
Alok
Вы читаете этот файл? или записать файл? Просьба уточнить, а также разместить полный код. – Sumit
Хорошо. В следующем примере: Spark записывает файл в локальную файловую систему. Затем я использую java.io.FileReader и FileWriter для чтения файла, написанного искру, сделайте некоторую модификацию, а затем запишите ее в локальную файловую систему. Поэтому имя, которое я использую для файла, является постоянным. для ex: file: /// /name.txt, будет использоваться как для dataframa.save, так и для java fileReader и fileWriter. –
Alok