国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

Python查詢oracle數據庫速度慢的解決方案

瀏覽:40日期:2022-06-22 13:51:08

如下所示:

conn = cx_Oracle.connect(’username/password@ip:port/servername’)cur = conn.cursor()cur.execute(’SELECT * FROM 'db'.'table'’)

cur是一個迭代器,不要用fetchall一次性取完數據

直接 for row in cur 即可取數據

使用:sqlalchemy

MySQL-Python mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname> pymysql mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>] MySQL-Connector mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname> cx_Oracle oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]

create_engine(’oracle+cx_oracle://{a}:{b}@{c}:is2tiay/?service_name={e}’.format(a,b,c,d,e))create_engine(’mysql+pymysql://%(user)s:%(password)s@%(host)s/%(database)s?charset=utf8’ % laoshifu_info) df = pd.read_sql_table(table_name='table_name', con=engine) (the function to_sql is case-sensitive,Found the root cause from DBMS (mysql) autoconvert the table name to lowercase.)df = pd.read_sql_query(sql=sql,con=engine) # 很慢ordf = pd.read_sql('SELECT * FROM db.table ',engine,chunksize=50000)dflist = []for chunk in ordf: dflist.append(chunk)df = pd.concat(dflist)

補充:Python3 Cx_oracle 的一些使用技巧

Cx_oracle的一些使用技巧

工作中的數據庫采用oracle。訪問oracle數據庫一般都采用cx_oracle包來完成,API很清晰,操作效率也比較高,而且oracle官方好像對cx_oracle也非常支持,提供了豐富的文檔。這里討論一些使用技巧,作為記錄,可能對你也有用。

我最近用python寫了一個小工具,這個工具根據客戶端的請求查詢數據庫,并將結果集以json的方式返回。請求的格式如下:

{fields : [ {name : 'project_id', type : 'string'}, {name : 'project_name', type : 'string'}],sql : 'select t.project_id, t.project_name from dp_project t' }

即,客戶端描述自己想要的元數據信息(字段名稱,字段類型),以及SQL語句,服務器端根據此信息查詢數據庫,并將返回組織成客戶端在fields中描述的那樣。

cx_oracle默認從cursor中fetch出來的數據是一個元組,按照SQL中的順序組織,但是我希望返回的是一個字典結構,這個可以通過設置cursor的rowfactory屬性來實現,定義一個rowfactory的回調函數:

def makedict(self, cursor):cols = [d[0] for d in cursor.description] def createrow(*args): return dict(zip(cols, args)) return createrow

這個函數返回一個函數:createrow。可能有點繞口,仔細想想就清晰了。cursor中帶有足夠的信息來生成這個字典,如cursor的description的值為:

[ (’PROJECT_ID’, <;type ’cx_Oracle.STRING’>, 40, 40, 0, 0, 0), (’PROJECT_NAME’, <;type ’cx_Oracle.STRING’>, 50, 50, 0, 0, 1) ]

我們需要的是cursor.description的第一列,zip函數將cols和默認的那個元組合成為一個新的元組,再用dict轉換為一個新的字典對象返回。

然后將這個返回函數的函數注冊給cursor的rowfactory即可:

cursor.rowfactory = self.makedict(cursor)

這樣,我們使用cursor.fetchall/fetchone的時候,取出來的就成為一個字典對象,很方便將其序列化為json格式返回。

另一個技巧是關于將查詢到的結果中,字符串類型的字段轉換為unicode,數值類型的不做處理:

def outtypehandler(self, cursor, name, dtype, size, p, s):if dtype in (oracle.STRING, oracle.FIXED_CHAR): return cursor.var(unicode, size, cursor.arraysize)

將connection對象的outputtypehandler注冊為此函數即可:

connection = oracle.connect(self.constr) connection.outputtypehandler = self.outtypehandler

通用查詢的這個小工具還在開發中,等完成了再整理一下。

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持好吧啦網。如有錯誤或未考慮完全的地方,望不吝賜教。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 国产成人综合一区精品 | 免费观看日本特色做爰视频在线 | 亚洲国产欧美在线不卡中文 | 美国一级片免费看 | 国产在线拍揄自揄视精品不卡 | 99视频九九精品视频在线观看 | 国产精品亚洲成在人线 | 久久狠狠色狠狠色综合 | 欧美做暖小视频xo免费 | 亚洲精品国产国语 | 国产美女又黄又爽又色视频免费 | 草草影院国产第一页 | 色熟| 国产精品麻豆一区二区三区v视界 | 男人天堂成人 | 国产偷国产偷亚洲高清在线 | 99精品视频在线这里只有 | 精品国产区一区二区三区在线观看 | 91在线 | 亚洲 | 美国毛片免费看 | 九九在线精品 | 成人午夜免费视频毛片 | 怡红院老首页主页入口 | 伊人色综合久久成人 | 特黄的欧美毛片 | 一级特级欧美a毛片免费 | xxxwww欧美| 成年人视频在线免费 | 亚洲波多野结衣日韩在线 | 国产午夜精品不卡视频 | 8050网午夜一级毛片免费不卡 | 美女视频很黄很a免费国产 美女视频黄.免费网址 | 天堂免费在线视频 | 香蕉网影院在线观看免费 | 亚洲国产精品乱码在线观看97 | 日韩在线视频中文字幕 | 福利一二三区 | 久久三级国产 | 亚洲欧洲日产国产 最新 | 亚洲国产一区在线二区三区 | 天天看片日本 |