文章詳情頁(yè)
java - hadoop數(shù)據(jù)查找
瀏覽：131日期：2024-02-06 11:45:32
問(wèn)題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個(gè)string對(duì)應(yīng)的那一行，每條數(shù)據(jù)都不重復(fù)，請(qǐng)問(wèn)怎么可以快速的找到呢？我寫(xiě)了簡(jiǎn)單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結(jié)果慢的要死，一直動(dòng)不都不懂，請(qǐng)問(wèn)有快點(diǎn)的辦法嗎？最好是可以一次性找出集合中所有的
問(wèn)題解答
回答1：這個(gè)寫(xiě)MR吧，如果你想省事就把數(shù)據(jù)導(dǎo)入到hive中，用sql 來(lái)解決
標(biāo)簽：
java
相關(guān)文章：
1. 人工智能 - python 機(jī)器學(xué)習(xí) 醫(yī)療數(shù)據(jù) 怎么學(xué)2. python - oslo_config3. 請(qǐng)教一個(gè)mysql去重取最新記錄4. python - 請(qǐng)問(wèn)這兩個(gè)地方是為什么呢？5. Python處理Dict生成json6. 急急急！！！求大神解答網(wǎng)站評(píng)論問(wèn)題，有大神幫幫小弟嗎7. javascript - 按鈕鏈接到另一個(gè)網(wǎng)址 怎么通過(guò)百度統(tǒng)計(jì)計(jì)算按鈕的點(diǎn)擊數(shù)量8. python2.7 - python 正則前瞻 后瞻 無(wú)法匹配到正確的內(nèi)容9. 大家都用什么工具管理mysql數(shù)據(jù)庫(kù)？10. mysql - Sql union 操作
排行榜
熱門(mén)標(biāo)簽
網(wǎng)公網(wǎng)安備