yield_per期间sqlalchemy游标错误

Question

我收到以下错误：

Traceback (most recent call last):
    main()
    for item in session.query(Item).yield_per(10):
    fetch = cursor.fetchmany(self._yield_per)
    self.cursor, self.context)
    l = self.process_rows(self._fetchmany_impl(size))
    row = self._fetchone_impl()
    self.__buffer_rows()
    self.__rowbuffer = collections.deque(self.cursor.fetchmany(size))
sqlalchemy.exc.ProgrammingError: (ProgrammingError) named cursor isn't valid anymore None None

我怀疑调用session.commit（）会干扰.yield_per

sessionmaker_ = sessionmaker(autocommit=False, autoflush=False, bind=engine)
session = scoped_session(sessionmaker_)

def foo(item):
  # DO something to the item 
  session.add(item)
  session.commit()

def main():
  for item in session.query(Item).yield_per(5):
    foo(item)

任何想法？

Answer 1

如果您尚未从DBAPI游标中获取所有行，那么在该游标的连接上调用commit（）通常是个坏主意。在这种情况下，psycopg2（我猜这是您所使用的DBAPI）无法在事务上维护命名游标的状态（当您要使用服务器缓冲的行时，将使用该游标）。

您绝对应该在此处更改的一件事是您提交的频率。理想情况下，直到完成整个操作，您才可以提交任何内容。会话将根据需要自动刷新数据（当然，如果您打开了自动刷新功能，我建议这样做），或者您可以调用flush（）强制它，但这与实际提交事务无关。所有对commit（）的调用都会使操作的效率大大降低，当然，它会妨碍其他结果集的游标。如果只将一个commit（）放在循环的末尾，那么您将立即解决这两个问题。

如果您仍然需要在整个操作完成之前提交，甚至不需要，那么我宁愿分块工作，而不是使用yield_per（），这非常脆弱。http://www.sqlalchemy.org/trac/wiki/UsageRecipes/WindowedRangeQuery上的食谱显示了执行此操作的一种方法。尽管psycopg2给了我们更多的回旋余地，但DBAPI并不适合整体上处理非常大的结果集。