文章詳情頁
python - mongodb去重
瀏覽:142日期:2022-10-14 09:36:55
問題描述
1.功能里需要根據(jù)有一個(gè)字段來判斷是否重復(fù),比如叫做ownnerId,凡是存在的就丟棄.于是我用到了distinct這個(gè)方法,但是這段時(shí)間隨著數(shù)據(jù)量逐漸增大,出現(xiàn)了一個(gè)問題:
OperationFailure: distinct too big, 16mb cap
這是命令行里邊的錯誤,說distinct返回的結(jié)果太大了,超過了16M.請問各位高手能否貢獻(xiàn)一些方法.
需求:每次通過檢查數(shù)據(jù)庫中ownnerId這個(gè)字段是否出現(xiàn)了,其中數(shù)據(jù)庫是一直在更新的,而且這個(gè)不存在的ownnerId在一會處理后就會存到數(shù)據(jù)庫中去,所以要求每次判斷都要重新檢查一遍數(shù)據(jù)庫中這個(gè)ownner字段.因此對速度的要求也比較高.各位大神瞅瞅,求給個(gè)意見.
問題解答
回答1:如果我理解的對的話,是否考慮過Unique Indexes。
供參考。
Love MongoDB! Have fun!
相關(guān)文章:
1. docker api 開發(fā)的端口怎么獲取?2. javascript - iframe 為什么加載網(wǎng)頁的時(shí)候滾動條這樣顯示?3. docker容器呢SSH為什么連不通呢?4. docker網(wǎng)絡(luò)端口映射,沒有方便點(diǎn)的操作方法么?5. debian - docker依賴的aufs-tools源碼哪里可以找到啊?6. nignx - docker內(nèi)nginx 80端口被占用7. python - from ..xxxx import xxxx到底是什么意思呢?8. 關(guān)docker hub上有些鏡像的tag被標(biāo)記““This image has vulnerabilities””9. javascript - 移動端,當(dāng)出現(xiàn)遮罩層的時(shí)候,遮罩層里有div是超出高度scroll的,怎么避免滑動div的時(shí)候,body跟隨滑動?10. 新手 - Python 爬蟲 問題 求助
排行榜

熱門標(biāo)簽