如何高效地不使用Pandas对大型二维列表进行分组?
如何不借助 pandas 快速分组二维列表
在处理大二维列表时,需要一个高效的分组方法。对于连续且长度不等的数据分组,不使用 pandas 模块,我们可以采取以下策略:
生成器和 itertools 模块
通过使用生成器或 itertools 模块,可以避免使用 append 函数并提高处理大数组的效率:
import itertools def group_data(data): grouped_data = {} for key, group in itertools.groupby(data, lambda x: x[0]): grouped_data[key] = [item[1] for item in group] return [grouped_data[key] for key in grouped_data] data = [['A', 33], ['A', 0], ['A', 12], ['A', 3], ['B', 3], ['B', 0], ['B', 77], ['C', 1], ['C', 2], ['C', 5], ['C', 0], ['C', 11], ['C', 19]] print(group_data(data))
解释:
- itertools.groupby:使用 itertools.groupby 根据键值(第一列)对数据进行分组。
- 列表推导式:使用列表推导式将每个组的数据提取到列表中。
这种方法在处理大数组时,能够有效减少内存占用并提高处理速度,避免使用 append 函数带来的效率问题。
以上就是如何高效地不使用Pandas对大型二维列表进行分组?的详细内容,更多请关注硕下网其它相关文章!