文章詳情頁
java - hadoop數(shù)據(jù)查找
瀏覽：136日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個(gè)string對(duì)應(yīng)的那一行，每條數(shù)據(jù)都不重復(fù)，請(qǐng)問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結(jié)果慢的要死，一直動(dòng)不都不懂，請(qǐng)問有快點(diǎn)的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個(gè)寫MR吧，如果你想省事就把數(shù)據(jù)導(dǎo)入到hive中，用sql 來解決
標(biāo)簽：
java
相關(guān)文章：
1. Python從URL中提取域名2. php傳對(duì)應(yīng)的id值為什么傳不了啊有木有大神會(huì)的看我下方截圖3. python - scrapy url去重4. python - Flask寫的注冊(cè)頁面，當(dāng)注冊(cè)時(shí)，如果填寫數(shù)據(jù)庫里有的相同數(shù)據(jù)，就報(bào)錯(cuò)5. 關(guān)于mysql聯(lián)合查詢一對(duì)多的顯示結(jié)果問題6. 實(shí)現(xiàn)bing搜索工具urlAPI提交7. 數(shù)據(jù)庫 - Mysql的存儲(chǔ)過程真的是個(gè)坑！求助下面的存儲(chǔ)過程哪里錯(cuò)啦，實(shí)在是找不到哪里的問題了。8. python - oslo_config9. MySQL主鍵沖突時(shí)的更新操作和替換操作在功能上有什么差別(如圖)10. 小白學(xué)python的問題 關(guān)于%d和%s的區(qū)別
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備