問題描述

今天下午和同事發生因為判斷數據是否在數據庫中已存在產生分歧.簡易代碼如下:

//觀點一,先取出數據庫中已存在ID存入內存,再進行判斷 //數據太多情況,內存爆炸 DateTable dt = ExcuteSQL(’SELECT ID FROM TABLE’);//List為數據集,已經去重 foreach(var item in List){//觀點二,在for循環中根據ID查詢是否已存在//for循環執行數據庫?沒這么干過DateTable dt = ExcuteSQL(string.format(’SELECT ID FROM TABLE WHERE ID = {0}’,item.ID));//判斷是否在dt中存在...bool ISContain...//不存在 if(!ISContain){ //加入事物SQL列表 SQLList.Add(’INSERT INTO ........’); } }//執行事物 ....

問題解答

其實第一個你要拿實際數據量來估算，如果ID是Long類型，數據量100W，也才只有 8byte * 100W = 7.629 megabytes。

第二個肯定要不得，在循環中對每個ID去查詢。

推薦方法二，但這樣做查詢會比較快：

SELECT id FROM table WHERE id IN (?, ?, ?, ...)

注意，不同的數據庫對參數是有限制的，?最好不要超過1千個。如果你需要判斷1萬個id，就用10次這樣的查詢。

利用 @auntyellow 同學所說的方法應該比較好，批量查詢。當ID比較多時，考慮是否可以按其它的批量方式去查？比如一次拿一段時間的所有id，把方法一稍加改進來實現。感覺不管是方法一還是方法二都走了極端，所以好的解決方法應該是中合兩者的結果。

https://www.zhihu.com/questio...

建議是使用先把id從數據庫中取出來，然后在內存中比較的方法，這樣可以減少數據庫的訪問。

可不可以分段 取到內存里 這樣能減輕內存占用