計(jì)算機(jī)集群技術(shù)探析

時(shí)間：2024-07-10 12:40:11 碩士畢業(yè)論文我要投稿

相關(guān)推薦

　　【摘要】集群系統(tǒng)成為構(gòu)建高性能計(jì)算系統(tǒng)的主流方式，由于具有低成本、高性能和良好的可擴(kuò)展性，集群系統(tǒng)已經(jīng)日益成為構(gòu)建高性能計(jì)算系統(tǒng)的主要方式，計(jì)算機(jī)集群技術(shù)進(jìn)行了探討分析。

　　【關(guān)鍵詞】計(jì)算機(jī);集群;集群技術(shù)

　　計(jì)算機(jī)軟硬件及算法的改進(jìn)及提高，對高性能計(jì)算技術(shù)提出了更高的要求。集群技術(shù)是處理器技術(shù)和網(wǎng)絡(luò)技術(shù)不斷提高的產(chǎn)物，是一組獨(dú)立的計(jì)算機(jī)的集合體，使節(jié)點(diǎn)間通過高性能的互連網(wǎng)絡(luò)連接。

　　一、集群定義

　　隨著計(jì)算機(jī)技術(shù)的發(fā)展和越來越廣泛的應(yīng)用，越來越多的依賴于計(jì)算機(jī)技術(shù)的應(yīng)用系統(tǒng)走進(jìn)了我們的工作和生活。在給我們帶來方便和效率的同時(shí)，也使得各行各業(yè)對于計(jì)算機(jī)技術(shù)的依賴程度越來越高。盡管隨著計(jì)算機(jī)技術(shù)以目新月異的速度發(fā)展，單臺服務(wù)器的性能和可靠性越來越好，但還是有許多現(xiàn)實(shí)的要求是單臺服務(wù)器難以達(dá)到的。往往需要將多臺服務(wù)器組織起來進(jìn)行協(xié)同工作來模擬一臺功能更強(qiáng)大的系統(tǒng)，這種技術(shù)稱為集群技術(shù)。所謂集群，就是共同為客戶機(jī)提供網(wǎng)絡(luò)資源的一組服務(wù)器系統(tǒng)，其中的每一臺提供服務(wù)的計(jì)算機(jī)，稱之為節(jié)點(diǎn)。當(dāng)一個(gè)節(jié)點(diǎn)不可用或者不能處理客戶的請求時(shí)，該請求將會(huì)轉(zhuǎn)到另外的可用節(jié)點(diǎn)來處理，這些對于客戶端來說，它根本不必關(guān)心這此要使用的資源的具體位置，集群系統(tǒng)會(huì)自動(dòng)完成。

　　集群中節(jié)點(diǎn)可以以不同的方式來運(yùn)行，這要看它們是如何設(shè)置。在一個(gè)理想的兩個(gè)節(jié)點(diǎn)的集群中，兩個(gè)服務(wù)器都同時(shí)處于活動(dòng)狀態(tài)，也就是在兩個(gè)節(jié)點(diǎn)上同時(shí)運(yùn)行應(yīng)用程序，當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，運(yùn)行在出故障的節(jié)點(diǎn)上的應(yīng)用程序就會(huì)轉(zhuǎn)移到另外的沒有出現(xiàn)故障的服務(wù)器上，這樣一來，由于兩個(gè)節(jié)點(diǎn)的工作現(xiàn)在由一個(gè)服務(wù)器來承擔(dān)，自然會(huì)影響服務(wù)器的性能。

　　針對這種情況的解決方案是，在正常操作時(shí)，另一個(gè)節(jié)點(diǎn)處于備用狀態(tài)，只有當(dāng)恬動(dòng)的節(jié)點(diǎn)出現(xiàn)故障時(shí)該備用節(jié)點(diǎn)才會(huì)接管工作，這并不是一個(gè)很經(jīng)濟(jì)的方案，你不得不買兩個(gè)服務(wù)器來做一個(gè)服務(wù)器的工作。雖然當(dāng)出現(xiàn)故障時(shí)不會(huì)對性能產(chǎn)生任何影響，但是在正常運(yùn)行時(shí)的性能價(jià)格比并不太好。

　　二、集群網(wǎng)絡(luò)服務(wù)器發(fā)展現(xiàn)狀

　　由同構(gòu)或異構(gòu)的計(jì)算機(jī)連接起來協(xié)同完成特定的任務(wù)，應(yīng)用程序或用戶可以透明訪問的、均衡負(fù)載的雙機(jī)或多機(jī)系統(tǒng)就是集群系統(tǒng)。集群系統(tǒng)在可靠性、高性能、可擴(kuò)展性、負(fù)載均衡及性價(jià)比方面具有獨(dú)特的優(yōu)勢，因而是目前構(gòu)建高性能網(wǎng)絡(luò)服務(wù)器的主要發(fā)展方向。我們稱集群網(wǎng)絡(luò)服務(wù)器系統(tǒng)中實(shí)際進(jìn)行任務(wù)處理的機(jī)器為執(zhí)行服務(wù)器。用集群系統(tǒng)來提供高性能網(wǎng)絡(luò)信息服務(wù)的難點(diǎn)主要在于：透明性，性能，高可用性，可管理性。

　　圍繞這些問題，主要從如下幾個(gè)方面展開了研究：

　　(1)體系結(jié)構(gòu)。

　　如以IBM的TCP Router(3)，LVS (LinuxVirtual Server)(4)的IPV S為代表的單負(fù)載均衡部件的體系結(jié)構(gòu);以Boston大學(xué)的DPR(Distributed Packet Rewriting)(5)為代表的多負(fù)載均衡部件的體系結(jié)構(gòu)及其擴(kuò)展：以VAnessa(vA Network Enhanced Scalable Server Architecture)(6)為代表的全球地理分布的體系結(jié)構(gòu)。

　　(2)調(diào)度機(jī)制。

　　這是影響到集群服務(wù)器系統(tǒng)關(guān)鍵性能的重要技術(shù)，也是目前研究工作的重點(diǎn)�，F(xiàn)有的調(diào)度機(jī)制都以負(fù)載均衡為基礎(chǔ)，按照控制粒度由粗到細(xì)的順序有如下幾種：基于RR—DNS的調(diào)度，如NCSA group和DEC WRL group采用過的解決方案，這是客戶機(jī)一級的粗粒度調(diào)度方案。其好處是實(shí)現(xiàn)簡單，主要問題是負(fù)載容易傾斜，服務(wù)器非完全透明，可用性與可維護(hù)性差;基于負(fù)載均衡器的調(diào)度，通過專門的負(fù)載均衡器將用戶請求分派給執(zhí)行服務(wù)器。

　　根據(jù)控制粒度又可分為：基于第四層負(fù)載平衡的解決方法，如CiSCO的Local Director Berke1ey NOW project的MagicRouter，IBM 的TCP Router 和Interactjve NetworkDi spatcher，LV S的IPVS，這是單次連接一級的中粒度調(diào)度方案;基于內(nèi)容的負(fù)載平衡解決方法(又稱為第七層調(diào)度或基于應(yīng)用層的調(diào)度)，調(diào)度考慮服務(wù)器的負(fù)載，還考慮服務(wù)的內(nèi)容，如Zeus負(fù)載調(diào)度器、pWeb，Reverse—Proxy和SWEB以及Res—onate、A1teon等提供的第四層交換產(chǎn)品，這是單次請求一級的細(xì)粒度調(diào)度方案。

　　以上各種調(diào)度機(jī)制實(shí)現(xiàn)了不同粒度的負(fù)載平衡，并結(jié)合使用了不同的報(bào)文分發(fā)技術(shù)，各有特點(diǎn)，適合不同的應(yīng)用場合�；赗R—DNS的調(diào)度由于其實(shí)施的簡單性和經(jīng)濟(jì)性，在目前的因特網(wǎng)站點(diǎn)中使用較多�；谪�(fù)載均衡器的產(chǎn)品性能較高，如基于第四層負(fù)載平衡調(diào)度的LVS(軟件)前端節(jié)點(diǎn)可達(dá)到每秒l5萬個(gè)報(bào)文的處理速率，吞吐率約為每秒2萬5千個(gè)連接.Nortel Networks的Alteon 180系列的Web交換機(jī)(基于TCP層及應(yīng)用層信息進(jìn)行負(fù)載平衡)可達(dá)到每秒33萬6千個(gè)連接的吞吐率，但這類系統(tǒng)多為昂貴的商業(yè)產(chǎn)品。

　　(3)動(dòng)態(tài)重構(gòu)、故障定位及恢復(fù)。

　　目前集群系統(tǒng)普遍采用的是心跳檢測機(jī)制，通過不斷探測目標(biāo)系統(tǒng)的健康情況，對故障節(jié)點(diǎn)實(shí)施屏蔽、替換，并且在故障系統(tǒng)恢復(fù)后自動(dòng)將其加入集群系統(tǒng)，整個(gè)切入切出過程的時(shí)間在秒的量級，從而實(shí)現(xiàn)了集群的動(dòng)態(tài)維護(hù)。

　　(4)通訊機(jī)制。

　　一種典型方案以當(dāng)前可普遍獲取的快速以一太網(wǎng)網(wǎng)卡和集線器/交換機(jī)及運(yùn)行其上的TCP/IP協(xié)議作為集群節(jié)點(diǎn)的互聯(lián)機(jī)構(gòu);另一種典型方案使用專為集群設(shè)計(jì)的互聯(lián)硬件，如Myricom的Myrinet，Giganet的cLAN、IEEE 1596標(biāo)準(zhǔn)可伸縮一致接口(SCI)及VMIC的(MC C Memory Channe1)，通過專門的硬件及通訊協(xié)議獲得很高的性能。目前集群的高速通訊設(shè)施在軟硬件方面正趨向于標(biāo)準(zhǔn)化，如由Compaq，Intel，Microsoft發(fā)起的VIA (Virtual Interface VI Architec—ture)。

　　(5)I/0機(jī)制。

　　除了各個(gè)節(jié)點(diǎn)擁有各自獨(dú)立的I/o資源外，一種常見的方案是集群各個(gè)節(jié)點(diǎn)共享外部存儲設(shè)備，如RAID，支持多個(gè)節(jié)點(diǎn)的同時(shí)訪問，增大了帶寬，提高了集群系統(tǒng)的可用性及可擴(kuò)展性。目前，由Compaq，Del1，HP，IBM，Intel，Mi—crosoft及Sun等大公司針對集群系統(tǒng)在可靠性、可用性、可擴(kuò)展性、高性能方面對i/o系統(tǒng)提出的要求提出了InfiniBandTMArchitecture這種基于通道和交換網(wǎng)絡(luò)的新一代I/0技術(shù)。目前在研究使用通用工作站、微機(jī)等一般設(shè)備構(gòu)建高性價(jià)比集群網(wǎng)絡(luò)服務(wù)器時(shí)，考慮較多的是前三個(gè)方面，特別是圍繞調(diào)度機(jī)制的研究提高集群負(fù)載調(diào)度器的吞吐率，對如何從集群的整體考慮，維持整個(gè)系統(tǒng)的高吞吐率，如何為上層應(yīng)用提供Oos控制這種非常有價(jià)值的高級特性支持研究較少。

　　總的來看，集群是構(gòu)建高性能網(wǎng)絡(luò)服務(wù)器的趨勢，今后的集群系統(tǒng)，將繼續(xù)向著高可用，可擴(kuò)展，高性能的方向發(fā)展，一個(gè)重要方向是集群中的各個(gè)節(jié)點(diǎn)共享內(nèi)存、硬盤、CPU和I/o等重要的子系統(tǒng)，從而形成單一系統(tǒng)映像(SSI)，也將更加注意上層應(yīng)用對QoS控制等高級應(yīng)用特性的具體需求。目前因特網(wǎng)上的許多著名站點(diǎn)都不同程度地采用了集群技術(shù)。國外IBM，Cisco，Compaq，Berkeley等公司和大學(xué)在集群服務(wù)器方面做了大量研究工作，并已形成產(chǎn)品;國內(nèi)中科院、清華大學(xué)、網(wǎng)絡(luò)集群有限公司、浪潮公司等單位在集群服務(wù)器領(lǐng)域也正進(jìn)行著相關(guān)的研究和產(chǎn)品化的工作。

　　目前市場上絕大部分性能較高的集群產(chǎn)品都是外國產(chǎn)品，價(jià)格非常昂貴，如IBM的NetDispatche：依賴于其SP/2服務(wù)器系統(tǒng)，兩者的捆綁銷售價(jià)達(dá)上百萬美元�，F(xiàn)有多數(shù)研究普遍強(qiáng)調(diào)系統(tǒng)的高可伸縮性、高可用性等基本性能特性，對QoS控制等高級功能特性的研究還有許多工作要做。研制自主知識產(chǎn)權(quán)，具有一定通用性，滿足高吞吐率、高可伸縮性、高可用性等基本性能需求，并提供QoS控制等高級功能支持的集群產(chǎn)品，符合網(wǎng)絡(luò)信息服務(wù)的發(fā)展趨勢，具有重大的意義。

　　三、實(shí)現(xiàn)技術(shù)

　　1.高可用性集群技術(shù)。

　　高可用性集群，英文原文為HighAvailabi11ity Cluster(8)簡稱HA Cluster是指以減少服務(wù)中斷(宕機(jī))時(shí)間為目的的服務(wù)器集群技術(shù)。隨著全球經(jīng)濟(jì)的增長，世界各地各種各樣的組織對IT系統(tǒng)的依賴都在不斷增加，電子貿(mào)易使得商務(wù)一周七天24小時(shí)不間斷的進(jìn)行成為了可能。新的強(qiáng)大的應(yīng)用程序使得商業(yè)和社會(huì)機(jī)構(gòu)對日常操作的計(jì)算機(jī)化要求達(dá)到了空前的程度，趨勢非常明顯，我們無時(shí)無刻不依賴于穩(wěn)定的計(jì)算機(jī)系統(tǒng)。這種需求極速的增加，使得對系統(tǒng)可用性的要求變得非常重要，許多公司和組織的業(yè)務(wù)在很大程度上都依賴于計(jì)算機(jī)系統(tǒng)，任何的宕機(jī)都會(huì)造成嚴(yán)重的損失。

　　2.高性能計(jì)算集群技術(shù)。

　　高性能計(jì)算集群，關(guān)文原文為m gh Performance Computing Cluster(9)簡稱HPC C luster是指以提高科學(xué)計(jì)算能力為目的計(jì)算機(jī)集群技術(shù)。HPC Clus—ter提一種并行計(jì)算(Paral1el Processing)集群的實(shí)現(xiàn)方法。

　　并行計(jì)算是指將一個(gè)應(yīng)用程序分劑成多塊可以并行執(zhí)行的部分并指定到多個(gè)處理器上執(zhí)行的方法。目前的很多計(jì)算機(jī)系統(tǒng)可以支持SMP(對稱多處理器)架構(gòu)并通過進(jìn)程調(diào)度機(jī)制進(jìn)行并行處理，但是SMP技術(shù)的可擴(kuò)展性是十分有限的，比如在目前的Intel架構(gòu)上最多只可以擴(kuò)展到8顆CPU。為了滿足那“計(jì)算能力饑渴”的科學(xué)計(jì)算任務(wù)，并行計(jì)算集群的方法被引入到計(jì)算機(jī)界。

　　3.高可擴(kuò)展性集群技術(shù)。

　　高可擴(kuò)展性集群技術(shù)就是帶均衡策略(算法)的服務(wù)器群集。負(fù)載均衡群集在多節(jié)點(diǎn)之間按照一定的策略(算法)分發(fā)網(wǎng)絡(luò)或計(jì)算處理負(fù)載，負(fù)載均衡建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，它提供了一種廉價(jià)有效的方法來擴(kuò)展服務(wù)器帶寬，增加吞吐量，提高數(shù)據(jù)處理能力，又可以避免單點(diǎn)故障。在提高信息系統(tǒng)可靠性方面，目前常見的方式是采用雙機(jī)冗余結(jié)構(gòu)。但與多機(jī)冗余結(jié)構(gòu)相比，因其冗余節(jié)點(diǎn)數(shù)少于后者而使其可靠性和系統(tǒng)重構(gòu)能力明顯不如后者，并且雙機(jī)系統(tǒng)結(jié)構(gòu)的特點(diǎn)在計(jì)算資源方面制約著大規(guī)模數(shù)據(jù)處理，或者在容錯(cuò)方面不能實(shí)現(xiàn)全節(jié)點(diǎn)間的對等冗余。具有高性能計(jì)算、高可用性、高可擴(kuò)展性優(yōu)勢的集群服務(wù)器系統(tǒng)，可滿足醫(yī)院信息網(wǎng)絡(luò)系統(tǒng)的信息處理需求，現(xiàn)已逐步在系統(tǒng)信息處理中得到應(yīng)用。

　　參考文獻(xiàn)

　　[1]鄭緯民.集群系統(tǒng)的現(xiàn)狀與挑戰(zhàn)[J]計(jì)算機(jī)教育.2004(6)

　　[2]胡章平.集群系統(tǒng)與分布式計(jì)算[J].電腦知識與技術(shù).2006(5)

　　[3]李艷華.集群計(jì)算機(jī)技術(shù)應(yīng)用[J]湖北財(cái)經(jīng)高等�？茖W(xué)校學(xué)報(bào).2007(2)

　　[4]賀喜玲.動(dòng)態(tài)自適應(yīng)集群系統(tǒng)[J].現(xiàn)代企業(yè)教育.2008(22)

　　[5]李敏，張宜生，李德群.用于并行計(jì)算的Pc集群系統(tǒng)構(gòu)建[J].計(jì)算機(jī)應(yīng)用研究.2009(3)

　　[6]安立奎，錢偉懿，韓麗艷.集群系統(tǒng)中基于MPI的關(guān)聯(lián)規(guī)則快速挖掘算法[J].三峽大學(xué)學(xué)報(bào)(自然科學(xué)版).2010(1)

【計(jì)算機(jī)集群技術(shù)探析】相關(guān)文章：

計(jì)算機(jī)網(wǎng)絡(luò)管理技術(shù)探析09-27

探析計(jì)算機(jī)網(wǎng)絡(luò)的防御技術(shù)08-28

現(xiàn)代計(jì)算機(jī)網(wǎng)格技術(shù)應(yīng)用問題探析04-24

探析計(jì)算機(jī)中云計(jì)算技術(shù)的應(yīng)用06-15