Python: прочитать текстовый файл в массиве - неравномерное распределение строк

Question

Мне нужно обработать большой текстовый файл, содержащий информацию о научных публикациях, экспортированных со страницы поиска ScienceDirect. Я хочу хранить данные в массиве массивов, так что каждая бумага представляет собой массив, и все документы хранятся в большем массиве.

Хорошая часть состоит в том, что каждая строка соответствует значению, которое я хочу поместить в массив, и что между документами существует пустая строка. Проблема заключается в том, что каждая бумага имеет различное число линий, связанных с ним, в пределах от 2 до 6. Пример данных будет:

[Authors, title, journal, date] 
[(digital object identifier)] 
[(link to ScienceDirect website)] 
[Abstract: Abstract] 
[It has been shown ...] 

[Authors, title, journal, date] 
[(digital object identifier)] 
[(link to ScienceDirect website)] 
[Abstract: Abstract] 
[It has been shown ...] 
[Keywords] 

[Authors, title, journal, date] 
[(digital object identifier)] 

и так далее. Желательной структурой данных будет ArrayAllPapers [Paper-1, Paper-2, ..., Paper-n], где каждая бумага представляет собой массив Paper-1 [авторская строка, doi-line и т. Д.]

Я могу прочитать файл в python по строкам в виде массива, но затем столкнулся с проблемой разрезания списка на основе элемента списка (в данном случае «\ n»). Я нашел решения этой проблемы для наборов данных с равным интервалом между строками для объектов, большинство из которых написано для списков, но ни одно из них не работает для неравного распределения. Возможно, мне нужно сначала записать в текстовый файл, чтобы заполнить «отсутствующие» строки, чтобы создать равный дистрибутив?

Я все еще учусь работать с Python (некоторый опыт работы с MatLab), поэтому, пожалуйста, извините меня, если есть очевидное решение для этого. Я попытался найти решение, но придумал пустой.

Любая помощь была бы высоко оценена!

Для справки, код, который я использую сейчас, чтобы войти в текстовый файл в массив:

import re, numpy 
with open("test-abstracts-short.txt", "r") as text: 
    array = [] 
    for line in text: 
     array.append(line) 

Answer 1

Поскольку вы хотите пропустить пустые строки, проще всего проверить, нет ли строки.

x = [] 
with open('my_file.txt', 'r') as f: 
    temp_list = [] 
    for line in f: 
     if line.strip(): #line is not blank 
      temp_list.append(line) 
     else: #line is blank, i.e., it contains only newlines and/or whitespace 
      if temp_list: #check if temp_list contains any items 
       x.append(temp_list) 
      temp_list = [] 

Answer 2

Если первые строки являются обязательными, вы можете попытаться разобрать их и для каждой статьи создать структуру, как этот {'author': 'Name', 'digital_object_identifier': 'Value'} и скоро.

Чем вы можете попытаться разобрать наиболее распространенные ключевые слова и добавить их в виде полей. Так что ваша статья woild будет такой: {'author': 'Name', 'digital_object_identifier': 'Value', 'keyword1': 'Value', 'keyword2': 'Value', 'keyword3': 'Value'}.

Чем вы можете добавить все unparsed ключевые слова в определенном поле (для того, чтобы не потерять данные): {'author': 'Name', 'digital_object_identifier': 'Value', 'keyword1': 'Value', 'keyword2': 'Value', 'keyword3': 'Value', 'other_keys': {'key': 'value'}}.

Иными словами, вы можете разделить свой документ на обязательные и необязательные поля.