pandas唯一值多列

Question

df = pd.DataFrame({‘Col1’: [‘Bob’, ‘Joe’, ‘Bill’, ‘Mary’, ‘Joe’],
‘Col2’: [‘Joe’, ‘Steve’, ‘Bob’, ‘Bob’, ‘Steve’],
‘Col3’: np.random.random(5)})

返回“ Col1”和“ Col2”的唯一值的最佳方法是什么？

所需的输出是

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

Answer 1

pd.unique 从输入数组或DataFrame列或索引返回唯一值。

此函数的输入必须是一维的，因此将需要合并多列。最简单的方法是选择所需的列，然后在展平的NumPy数组中查看值。整个操作如下所示：

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

请注意，这ravel()是一个返回多维数组视图（如果可能）的数组方法。该参数'K'告诉方法按元素在内存中存储的顺序展平数组（熊猫通常以Fortran连续的顺序]存储基础数组；列在行之前）。这比使用该方法的默认“C”顺序要快得多。

---

另一种方法是选择列并将其传递给np.unique：

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

ravel()由于该方法可以处理多维数组，因此在此无需使用。即使这样，它也可能比pd.unique使用基于排序的算法而不是哈希表来标识唯一值的方法要慢。

对于较大的DataFrame，速度上的差异非常大（尤其是在只有少数唯一值的情况下）：

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop