文章詳情頁
python - mongodb去重
瀏覽：114日期：2022-10-14 09:36:55
問題描述
1.功能里需要根據有一個字段來判斷是否重復,比如叫做ownnerId,凡是存在的就丟棄.于是我用到了distinct這個方法,但是這段時間隨著數據量逐漸增大,出現了一個問題:
OperationFailure: distinct too big, 16mb cap
這是命令行里邊的錯誤,說distinct返回的結果太大了,超過了16M.請問各位高手能否貢獻一些方法.
需求:每次通過檢查數據庫中ownnerId這個字段是否出現了,其中數據庫是一直在更新的,而且這個不存在的ownnerId在一會處理后就會存到數據庫中去,所以要求每次判斷都要重新檢查一遍數據庫中這個ownner字段.因此對速度的要求也比較高.各位大神瞅瞅,求給個意見.
問題解答
回答1：如果我理解的對的話，是否考慮過Unique Indexes。
供參考。
Love MongoDB！ Have fun！
相關文章：
1. android - NavigationView 的側滑菜單中如何保存新增項（通過程序添加）2. tp5 不同控制器中的變量調用問題3. 微信小程序可以用gulp,webpack嗎？4. mysql服務無法啟動1067錯誤，誰知道正確的解決方法？5. ueditor上傳服務器提示后端配置項沒有正常加載，求助！！！！！6. python - 為什么正常輸出中文沒有亂碼，zip函數之后出現中文編程unicode編碼的問題，我是遍歷輸出的啊。7. 老師 我是一個沒有學過php語言的準畢業生 我希望您能幫我一下8. 這段代碼既不提示錯誤也看不到結果，請老師明示錯在哪里，謝謝！9. php7.3.4中怎么開啟pdo驅動10. 提示語法錯誤語法錯誤: unexpected ’abstract’ (T_ABSTRACT)
排行榜
網公網安備