Векторизация списка в pandas

Question

У меня есть dataframe с названиями компаний. Я хочу рассчитать оценку для каждого имени, исходя из того, насколько распространены слова в названии.

Во-первых, я создаю словарь слов для подсчета слов. Не уверен, если это чистый способ, но следующий Векторизованный подход работает:

words = itertools.chain.from_iterable(map(list, crsp.cname.str.split())) 

Я тогда сосчитать слова:

wordcnts = defaultdict(int) 
for w in words: 
    wordcnts[w] += 1 

Теперь я хотел бы вычислить оценку для каждого названия компании, равного на сумму обратного wordcnts[word] за каждое слово, которое появляется в названии компании.

Сейчас я итерация строк и используя список понимание для вычисления суммы:

score = {} 
for idx, row in crsp.iterrows(): 
    score[idx] = sum([1/wordcnts[w] for w in row.cname.split()]) 

Есть ли способ векторизации этот последний шаг?

Answer 1

Я думаю, что вы можете сделать две вещи, чтобы ускорить вещи:

Заменить wordCnt на pd.DataSeries через:

words = itertools.chain.from_iterable(map(list, crsp.cname.str.split())) 
wordcnts = pd.Series(collections.Counter(words)) 

И использовать pd.DataFrame.apply для быстрой итерации:

score = crsp.cname.apply(lambda x: (1.0/wordcnts[x.split()]).sum())