文章詳情頁
java - hadoop數據查找
瀏覽：158日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應的那一行，每條數據都不重復，請問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個寫MR吧，如果你想省事就把數據導入到hive中，用sql 來解決
標簽：
java
相關文章：
1. css3 - sublime text2 的less2css插件怎么使用2. javascript - 微信公眾號網頁使用redux如何管理用戶刷新？3. css3 - 求clearfix使用方法4. html5 - z-index在瀏覽器調試有效 手機測試無效5. javascript - 微信小程序 如何實現這種左滑動出現刪除的辦法？有相關api嗎？6. css - 不用position：absolute怎么實現類似的功能7. angular.js使用$resource服務把數據存入mongodb的問題。8. 關于docker下的nginx壓力測試9. docker-machine添加一個已有的docker主機問題10. angular.js - angularjs的自定義過濾器如何給文字加顏色？
排行榜
網公網安備