文章詳情頁
python - mongodb去重
瀏覽：173日期：2022-10-14 09:36:55
問題描述
1.功能里需要根據(jù)有一個字段來判斷是否重復,比如叫做ownnerId,凡是存在的就丟棄.于是我用到了distinct這個方法,但是這段時間隨著數(shù)據(jù)量逐漸增大,出現(xiàn)了一個問題:
OperationFailure: distinct too big, 16mb cap
這是命令行里邊的錯誤,說distinct返回的結(jié)果太大了,超過了16M.請問各位高手能否貢獻一些方法.
需求:每次通過檢查數(shù)據(jù)庫中ownnerId這個字段是否出現(xiàn)了,其中數(shù)據(jù)庫是一直在更新的,而且這個不存在的ownnerId在一會處理后就會存到數(shù)據(jù)庫中去,所以要求每次判斷都要重新檢查一遍數(shù)據(jù)庫中這個ownner字段.因此對速度的要求也比較高.各位大神瞅瞅,求給個意見.
問題解答
回答1：如果我理解的對的話，是否考慮過Unique Indexes。
供參考。
Love MongoDB！ Have fun！
相關(guān)文章：
1. angular.js - 各位大神們，你們混合開發(fā)，web方式中更推薦用什么框架呀？ react？vue？angular？謝謝～2. angular.js - angularjs的自定義過濾器如何給文字加顏色？3. angular.js使用$resource服務把數(shù)據(jù)存入mongodb的問題。4. docker-machine添加一個已有的docker主機問題5. javascript - IOS微信audio標簽不能通過touchend播放6. PHP類中的$this7. 老師百度網(wǎng)盤分享一下WampServer的包啊,我們下載幾kb要下載一天的.8. html5 - vuex 為什么需要action,我發(fā)現(xiàn)進行異步操作回調(diào)中直接操作mutation也沒有報錯9. java-ee - nginx做前端服務器，tomcat+apache做后端，那么war部署在哪里？10. 前端 - 集思廣益，如何用CSS實現(xiàn)數(shù)字上面有一個點
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備