Даммические переменные, если присутствуют не все категории

Question

У меня есть набор данных, где один из столбцов содержит категориальную переменную. Я хотел бы преобразовать его в несколько фиктивных переменных, и в этом случае я бы обычно использовал get_dummies.

Что происходит, так это то, что get_dummies просматривает данные, доступные в каждом кадре данных, чтобы узнать, сколько их есть, и тем самым создать соответствующее количество фиктивных переменных. Тем не менее, в проблеме, над которой я сейчас работаю, я действительно заранее знаю, что такое возможные категории. Но при просмотре каждого кадра данных в отдельности обязательно появляются не все категории.

Мой вопрос: есть ли способ передать get_dummies (или эквивалентную функцию) имена категорий, так что для категорий, которые не отображаются в данном фрейме данных, это просто создаст столбец 0s?

Что-то, что бы сделать это:

categories = ['a', 'b', 'c'] 

    cat 
1 a 
2 b 
3 a 

Стать это:

cat_a cat_b cat_c 
1 1  0  0 
2 0  1  0 
3 1  0  0 

Answer 1

Использование транспонировать и переиндексации

import pandas as pd 

cats = ['a', 'b', 'c'] 
df = pd.DataFrame({'cat': ['a', 'b', 'a']}) 

dummies = pd.get_dummies(df, prefix='', prefix_sep='') 
dummies = dummies.T.reindex(cats).T.fillna(0) 

print dummies 

    a b c 
0 1.0 0.0 0.0 
1 0.0 1.0 0.0 
2 1.0 0.0 0.0 

Answer 2

Я не думаю, что get_dummies обеспечивает это из коробки, он позволяет только для создания дополнительного column, который выдвигает на первый план NaN значения.

добавить отсутствующий columns себя, вы могли бы использовать pd.concat вдоль axis=0 вертикально «стек» в DataFrames (фиктивные столбцы плюс DataFrameid) и автоматически создавать недостающие столбцы, используйте fillna(0) для замены отсутствующих значений, а затем использовать .groupby('id'), чтобы разделить различные DataFrame снова.

Answer 3

Попробуйте это:

In[1]: import pandas as pd 
     cats = ["a", "b", "c"] 

In[2]: df = pd.DataFrame({"cat": ["a", "b", "a"]}) 

In[3]: pd.concat((pd.get_dummies(df.cat, columns=cats), pd.DataFrame(columns=cats))).fillna(0) 
Out[3]: 
    a b c 
0 1.0 0.0 0 
1 0.0 1.0 0 
2 1.0 0.0 0 

Answer 4

есть способ перейти к get_dummies (или эквивалентной функции) названия категорий, так что, для категорий, которые не отображаются в данном фрейме данных, он просто создал столбец из 0s?

Да, есть! Pandas имеет специальный тип серии только для categorical data. Одним из атрибутов этой серии являются возможные категории, которые учитывает get_dummies. Вот пример:

In [1]: import pandas as pd 

In [2]: cat=pd.Series(list('aba'),index=range(1,4)) 

In [3]: cat=cat.astype('category',categories=list('abc')) 

In [4]: cat 
Out[4]: 
1 a 
2 b 
3 a 
dtype: category 
Categories (3, object): [a, b, c] 

Тогда get_dummies будет делать именно то, что вы хотите!

In [5]: pd.get_dummies(cat) 
Out[5]: 
    a b c 
1 1 0 0 
2 0 1 0 
3 1 0 0 

Есть куча других способов создать категорический Series или DataFrame, это только один я нахожу наиболее удобным. Вы можете прочитать обо всех них в the pandas documentation.

EDIT:

я не следил за точное управление версиями, но был bug в том, как панды не обрабатывает разреженные матрицы, по крайней мере, до версии 0.17.0. Он был скорректирован по версии 0.18.1.

Для версии 0.17.0, если вы попытаетесь сделать это с sparse=True вариант с DataFrame, столбец из нулей отсутствующего фиктивной переменной будет столбец NaN, и он будет преобразован в плотный.

Answer 5

Добавление недостающей категории в тестовом наборе:

# Get missing columns in the training test 
missing_cols = set(train.columns) - set(test.columns) 
# Add a missing column in test set with default value equal to 0 
for c in missing_cols: 
    test[c] = 0 
# Ensure the order of column in the test set is in the same order than in train set 
test = test[train.columns] 

Обратите внимание, что этот код также удалить столбец в результате категории в тестовом наборе данных, но не присутствует в тренировочном наборе