在Python中加载大型JSON列表的最佳方法是什么？[重复]

Question

这个问题已经在这里有了答案 ：

将巨大的（95Mb）JSON数组拆分成较小的块？ （4个答案）

5天前关闭。

我可以访问一组文件（每个文件约80-800mb）。不幸的是，每个文件中只有一行。该行仅包含一个JSON对象（列表列表）。加载并将其解析为较小的JSON对象的最佳方法是什么？

Answer 1

已经有一个类似的帖子在这里。这是他们提出的解决方案：

import json
with open('file.json') as infile:
  o = json.load(infile)
  chunkSize = 1000
  for i in xrange(0, len(o), chunkSize):
    with open('file_' + str(i//chunkSize) + '.json', 'w') as outfile:
      json.dump(o[i:i+chunkSize], outfile)