вычислить общее количество уникальных слов первого столбца списка

Question

У меня есть файл, который состоит из многих персидских предложений. каждая строка содержит предложение, затем «вкладку», затем слово, снова «вкладку», а затем английское слово. Я должен знать только количество уникальных слов предложений (слова после вкладок не должны вычисляться). Для этого я изменил файл на список, поэтому у меня есть список, который содержит много строк, и каждая строка содержит три индекса; предложение, персидское слово, английское слово. Теперь я могу выполнить предложения. Проблема в том, что код, который я написал, возвращает количество уникальных слов каждой строки отдельно. Например, если файл имеет 100 строк, он возвращает 100 номеров, каждый в новой строке. Но я хочу суммировать все числа и иметь только одно число, которое показывает общее количество уникальных слов. Как я могу изменить код?

from hazm import* 

def WordsProbs (file): 
    with open (file, encoding = "utf-8") as f1: 
     normalizer = Normalizer() 
     for line in f1: 
     tmp = line.strip().split("\t") 
     tmp[0] = normalizer.normalize(tmp[0]) 
     corpus.append(tmp) 
    for row in corpus: 
     UniqueWords = len(set(row[0].split())) 
     print (UniqueWords) 

Выборочные данные:

باد بارش برف وزش باد, کولاک یخبندان سطح ветер

Answer 1

Предполагая TMP [0] содержит фразу из каждой строки, отдельные слова в предложении могут быть подсчитаны без создания корпуса.

from hazm import* 

def WordsProbs (file): 
    words = set() 
    with open (file, encoding = "utf-8") as f1: 
     normalizer = Normalizer() 
     for line in f1: 
      tmp = line.strip().split("\t") 
      words.update(set(normalizer.normalize(tmp[0].split()))) 
    print(len(words), "unique words") 

я не могу проверить это, потому что на моей машине, английское слово «ветер» показывает в первом столбце после вырезания и вставки данных образцов.

Answer 2

Там есть простое решение. Как вы сказали, у вас есть список строк. Таким образом, следующий код должен получить, что вы хотите

sample_data = """This is One sentence word1 word2 
This is Second sentence word1 word2""" 
lines = sample_data.split("\n") 
word_list = [] 
for line in lines: 
    line = line.split("\t")[0] 
    word_list.extend(line.split(" ")) 
print len(set(word_list)) 

Answer 3

Вам использовать collections.Counter для того, чтобы подсчитать количество слов, после расщепления:

from collections import Counter 
from itertools import chain 

def WordsProbs (file_name): 
    with open (file_name, encoding = "utf-8") as f1: 
     all_words = chain.from_iterable(word_tokenizer(line.split(None, 1)[0]) for line in f1) 
     return Counter(all_words) 

chain.from_iterable будет ЦЕПЬ расщепленные слова вместе, как интегрированный итератор, так что Counter может создавать встречный объект из всех слов.

Если вы просто хотите, количество всех уникальных слов len(WordsProbs(file_name)) даст вам, что, но другой способ использует набор итератора, который мы создали с cahin.from_iterable:

def WordsProbs (file_name): 
    with open (file_name, encoding = "utf-8") as f1: 
     all_words = chain.from_iterable(word_tokenizer(line.split(None, 1)[0]) for line in f1) 
     return len(set(all_words)) 

И если вы хотите, количество уникальные слова для каждой строки:

def WordsProbs (file_name): 
    with open (file_name, encoding = "utf-8") as f1: 
     each_line_numbers = [len(set(word_tokenizer(line.split(None, 1)[0]))) for line in f1) 
     return each_line_numbers