分类导航
MySQLMsSQLOracleSqlitePostgre SQLMariadbMongoDBNoSQLOceanBase

postgresql：偏移限制变得非常慢

Postgre SQL   发布时间：2022-05-20  发布网站：大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了postgresql：偏移限制变得非常慢，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
我有一个表TR_849_11845@p_drop_IDs,有一列,ID和330万条目.我想迭代表,每200个条目做一些事情.我有这个代码： 

liMIT = 200
for offset in xrange(0,drop_count+LIMIT,liMIT):
    print "Making tmp table with IDs %s to %s/%s" % (offset,offset+LIMIT,drop_count)
    query = """drop table IF EXISTS tmp_cur_drop_IDs; create table tmp_cur_drop_IDs AS
    SELECT ID FROM tmp_drop_IDs ORDER BY ID OFFSET %s liMIT %s;""" % (offset,liMIT)
    cursor.execute(query)

这首先运行良好(~0.15s以生成tmp表),但它偶尔会减慢,例如,大约300k门票开始用11-12秒生成这个tmp表,再次大约400k.它基本上似乎不可靠.

我将在其他查询中使用这些ID,因此我认为将它们放在tmp表中的最佳位置.有没有更好的方法来迭代这样的结果？

解决方法

请改用光标.使用OFFSET和liMIT非常昂贵 – 因为pg必须执行查询,处理和跳过OFFSET行. OFFSET就像“跳过行”,这很昂贵.

cursor documentation

游标允许对一个查询进行迭代.

BEGIN
DECLARE C cursOR FOR SELECT * FROM big_table;
FETCH 300 FROM c; -- get 300 rows
FETCH 300 FROM c; -- get 300 rows
...
COMMIT;

可能您可以使用服务器端游标而无需显式使用DECLARE语句,只需在psycoPG中支持(关于服务器端游标的搜索部分).

@H_801_29@

大佬总结

以上是大佬教程为你收集整理的postgresql：偏移限制变得非常慢全部内容，希望文章能够帮你解决postgresql：偏移限制变得非常慢所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。
标签：
猜你在找的Postgre SQL相关文章
其他相关热搜词更多
phpJavaPython程序员load中如何string使用参数jquery开发安装listlinuxiosandroid工具javascriptcap