亚洲一区二区三区播放,久久久精品成人免费观看软件

Map/Reduce菠菜平臺維護工作原理，菠菜網站服務器最優(yōu)惠？？

2018年08月10日

Map/Reduce菠菜平臺維護工作原理

一切都是從最上方的user program開始的，user program鏈接了MapReduce庫，實現(xiàn)了最基本的Map函數和Reduce函數。圖中執(zhí)行的順序都用數字標記了。

　　1.MapReduce庫先把user program的輸入文件劃分為M份（M為用戶定義），每一份通常有16MB到64MB，如圖左方所示分成了split0~4；然后使用fork將用戶進程拷貝到集群內其它機器上。

　　2.user program的副本中有一個稱為master，其余稱為worker，master是負責調度的，為空閑worker分配作業(yè)（Map作業(yè)或者Reduce作業(yè)），worker的數量也是可以由用戶指定的。

　　★如有服務器租用可咨詢宇眾臨風，QQ：2850293179 Tel：15999932452 訂購網址：www.yelaoxs.com

3.被分配了Map作業(yè)的worker，開始讀取對應分片的輸入數據，Map作業(yè)數量是由M決定的，和split一一對應；Map作業(yè)從輸入數據中抽取出鍵值對，每一個鍵值對都作為參數傳遞給map函數，map函數產生的中間鍵值對被緩存在內存中。

　　4.緩存的中間鍵值對會被定期寫入本地磁盤，而且被分為R個區(qū)，R的大小是由用戶定義的，將來每個區(qū)會對應一個Reduce作業(yè)；這些中間鍵值對的位置會被通報給master，master負責將信息轉發(fā)給Reduce worker。

　　5.master通知分配了Reduce作業(yè)的worker它負責的分區(qū)在什么位置（肯定不止一個地方，每個Map作業(yè)產生的中間鍵值對都可能映射到所有R個不同分區(qū)），當Reduce worker把所有它負責的中間鍵值對都讀過來后，先對它們進行排序，使得相同鍵的鍵值對聚集在一起。因為不同的鍵可能會映射到同一個分區(qū)也就是同一個Reduce作業(yè)（誰讓分區(qū)少呢），所以排序是必須的。

　　6.reduce worker遍歷排序后的中間鍵值對，對于每個唯一的鍵，都將鍵與關聯(lián)的值傳遞給reduce函數，reduce函數產生的輸出會添加到這個分區(qū)的輸出文件中。