Удаление дубликатов в файле Json

Question

У меня есть файл Json, который содержит некоторые дубликаты, и я ищу способ их удаления. Два примера в начале моих текстов JSon:

"date": "May 16, 2012 Wednesday", "body": "THE future of one of Scotland's most important listed buildings .... World Monuments Fund. o See a picture gallery of Mavisbank House at scotsman.com/scotland ", "title": "Rescue deal to bring Adam mansion back from brink" 

"date": "May 16, 2012 Wednesday", "body": "The future of one of Scotland's most important listed buildings .... World Monuments Fund.", "title": "Rescue deal to bring Adam mansion back from brink" 

Я вырезать текст в середине из-за расширения этого и ненужности, так как они идеально соответствуют друг другу. Как мы видим, текст соответствует почти 100%, за исключением начала THE против The и в конце (дополнительное предложение: o See a picture gallery of Mavisbank House at scotsman.com/scotland). В этой строке я хотел бы пойти с пути к I) Найти дубликаты и II) удалить один из дубликатов (обратите внимание, что они также могут быть более одного дубликата). Я только начал программировать на Python, и я не уверен, как справиться с этой проблемой. Любая помощь действительно ценится!

вид привет!

Answer 1

Я думаю, было бы лучше, если бы вы сначала конвертировали вашу json String в объект модели.

После этого вы можете просто перебрать элементы и удалить дубликаты (на любой уровень). Вы можете игнорировать случай, сравнивая каждый отдельный элемент.

Кроме того, вы можете просто преобразовать каждый элемент вашего тела/названия в последовательный случай и добавить их в набор для повторной проверки, а также итерацию, как указано в комментариях @ForceBru.

Следующая ссылка укажет вам в соответствующем направлении для преобразования json в объект.

Is there a python json library can convert json to model objects, similar to google-gson?

Надеется, что это помогает.