Skip to main content

Command Palette

Search for a command to run...

SQLAlchemy lazy loading 設定整理

Python ORM model

Published

Python 最常見的 ORM package - SQLAlchemy 使用了 relationship 將多個 Model 關聯起來。在使用上會發現有一個 lazy 的參數

lazy 這個設定主要是設定,其關聯的 Model 要使用何種方式來載入,以下為其值:

  • True & select:當要 access 該屬性時,會使用 SELECT 條件來去取得資料。適用於 many-to-one 的關聯
  • False & joined:當要 access 該屬性時,會使用 JOINLEFT OUTER JOIN 條件來去取得資料。至於是否使用 "outer" 則取決於 relationship.innerjoin 參數。適合用於使用 parent 時會頻繁用到相關聯的 model 的情況,屬於 "eager loading"(立即載入) 的範疇。
  • None & noload:任何時候都不載入。只為了支援 "write-only" 屬性
  • immediate:當 parent 在載入時也一併使用 SELECT 將資料載入。適用於 many-to-one 的關聯
  • subquery:屬於 "eager loading"(立即載入) 的範疇,與 joined 的使用情境相似。會使用一個額外的 SQL,使用 subquery 後再將結果用 JOIN 結合。當 "many" 方資料較大時,建議使用,資料較小就是使用 joined。缺點是,當查詢數量超過 500 則建議使用 selectin 更適合。

      >> user = session.query(User).first()
    
      SELECT user_address.id      AS user_address_id,
             user_address.address AS user_address_address,
             user_address.user_id AS user_address_user_id,
             anon_1.user_id       AS anon_1_user_id
      FROM   (SELECT user.id AS user_id
              FROM   user
              LIMIT  ? offset ?) AS anon_1
             JOIN user_address
               ON anon_1.user_id = user_address.user_id
      ORDER  BY anon_1.user_id
    
  • selectin:屬於 "eager loading"(立即載入) 的範疇,適合用於使用 parent 時會頻繁用到相關聯的 model 的情況。使用一個或多個額外的 SQL,並使用 JOIN 到即時的 parent 物件。其中 primary key 是使用了 IN 來篩選。類似於 subquery,但他會更簡單、可快取且高效的 SQL。
  • raise:不允許 lazy loading。如果其 value 不能透過 eager loading,將會報錯 InvalidRequestError
  • raise_on_sql
  • dynamic:在訪問屬性的時候,並不會載入,而是回傳一個 query。需要額外去執行相對應的方法才可以得到資料。適用於資料量大的時候,因為還能對其做 filter()

結論

從資料量大到小的排序的話:

dynamic > selectin > subquery > joined > select > immediate

如果加上使用的頻繁高到低排序: (會將 eager loading 放到前面)

selectin > subquery > joined > immediate > select > dynamic

Reference

  • https://www.ixyread.com/read/ID16054970758y5g/OEBPS-Text-Section0123.html?wd=SQL%20Server#3on9
  • https://blog.csdn.net/u012324798/article/details/103940527
  • https://blog.csdn.net/weixin_36179862/article/details/112300373
  • https://docs.sqlalchemy.org/en/14/orm/relationship_api.html#sqlalchemy.orm.relationship
  • https://myapollo.com.tw/zh-tw/sqlalchemy-relationship-lazy-loading

More from this blog

如何開始入門軟體工程領域 - 名詞解釋(長期更新)

現在應該開始有很多人想要踏入軟體工程的領域,但在進入這個領域之前,覺得先了解一些名詞,可以在入門時更有方向也更知道要用什麼關鍵字去找尋有用的資訊。這篇文章就是想要幫助想要入門的人理解一些軟體工程裡的專有名詞。 作業系統 這一區塊主要解釋跟作業系統層面相關的名詞 英文中文解釋 Operation system 簡稱 OS | 作業系統 | 就是電腦的作業系統,是三大作業系統分別是:Linux、Windows、macOS | | Linux | | 自由和開放原始碼的 UNI...

May 10, 2023

我的 MacBook Pro (Apple Silicon) 設定

現在開始因為 ChatGPT 的出現,各種 AI 助手的功能都跑出來了。想想自己用了許久的環境設定也應該要來重新審視和建立新的開發環境了,僅此紀錄我個人的環境配置步驟和設定。 環境前置步驟 還原 MacBook Pro 至全新環境 macOS(全部資料刪除) 設定好初始設定後,登入 Apple ID 進入 App Store 確定 macOS 版本和預設 APP 都更新到最新 macOS 版本 到系統設定調整所有設定至個人習慣的設定 三指拖移 觸控板手勢開啟 防火牆開啟 輸入法設定...

Apr 25, 2023

ChatGPT 下的發展預想

從 ChatGPT 問世到現在,有許許多多的文章和討論出來。先從最早的 Google 要完蛋了,到後來的工作要被取代了,工程師失業了。 我就比較沒有想要馬上出來評論一下,我喜歡讓子彈飛一會兒。跟討論一下我自己比較在意的討論點。 Google 為什麼慢了? 結論:因為他需要更小心 很多人說 Google 怎麼被微軟搶先了一步。剛開始 Bing 說要加上 AI 的時候大家都在說 Google 怎麼慢了。我就馬上跑去看 OpenAI 的網站,靠北呀啊就 Azure 贊助的。那當然在正式上線 ChatG...

Mar 23, 2023

不工程的攻城獅

223 posts

I am not a programmer because I am not good at programming. But I do programming. Love to learn new things. An animal lover and a dancer. My oshi is 潤羽るしあ.