如何高效地不使用Pandas对大型二维列表进行分组?

如何高效地不使用pandas对大型二维列表进行分组?

如何不借助 pandas 快速分组二维列表

在处理大二维列表时,需要一个高效的分组方法。对于连续且长度不等的数据分组,不使用 pandas 模块,我们可以采取以下策略:

生成器和 itertools 模块

通过使用生成器或 itertools 模块,可以避免使用 append 函数并提高处理大数组的效率:

import itertools

def group_data(data):
    grouped_data = {}
    for key, group in itertools.groupby(data, lambda x: x[0]):
        grouped_data[key] = [item[1] for item in group]

    return [grouped_data[key] for key in grouped_data]

data = [['A', 33], ['A', 0], ['A', 12], ['A', 3], ['B', 3], ['B', 0], ['B', 77], ['C', 1], ['C', 2], ['C', 5], ['C', 0], ['C', 11], ['C', 19]]
print(group_data(data))

解释:

  1. itertools.groupby:使用 itertools.groupby 根据键值(第一列)对数据进行分组。
  2. 列表推导式:使用列表推导式将每个组的数据提取到列表中。

这种方法在处理大数组时,能够有效减少内存占用并提高处理速度,避免使用 append 函数带来的效率问题。

以上就是如何高效地不使用Pandas对大型二维列表进行分组?的详细内容,更多请关注硕下网其它相关文章!