| 北京時間9月20日消息，據國外媒體報道，谷歌將GPS天線和高精度的原子鐘裝到了它的服務器中，并通過Spanner系統創造性地讓全球多個數據中心和數百萬臺服務器之間保持信息同步。
谷歌的神奇魔棒
三年前，有人問一位名為維杰-吉爾（Vijay Gill）谷歌高級工程師，如果給他一根魔棒，他會用它來做什么。
當時，吉爾正幫助谷歌運行其網絡帝國背后的龐大數據中心網絡。在美國舊金山商業區的一次會議上，他談論了全球業務所面臨的獨特挑戰。負責監管Facebook數據中心的喬納森-黑爾格（Jonathan Heilger）坐在離吉爾幾個席位的地方。正是他問了吉爾這個問題：如果他有一個魔棒，他會給谷歌的數據中心增添一些什么東西。
吉爾在回答前略微猶豫了一下。在回答的時候，他似乎顯得有些含糊其辭。但是，他的意思似乎是他會用這根魔棒來打造一個單獨的系統，自動而迅速地處理所有谷歌數據中心的信息。接著，他暗示谷歌已經建立了一個這樣的系統。“你如何在全球范圍內管理這個系統，并進行優化呢？”他說，“這就是最有趣的部分?！?/P>
這聽起來是一個非常棘手的問題。但是，在大約四個月后，谷歌又透露了另一條消息。在蒙大拿山區的一次研討會上，谷歌最舉足輕重的工程師之一杰夫-迪恩（Jeff Dean）透露，該網絡巨頭正在研制一種名為Spanner的東西，并形容它是“跨越我們所有數據中心的存儲和計算系統”。他表示，該計劃的目的是同時處理全球“數百乃至數千個”數據中心的1000萬臺服務器中的數據。
該項目的覆蓋范圍令人難以想象。但是，迪恩并未透露相關詳情。而且，目前尚不清楚，谷歌是否正在其現有的數據中心使用這個平臺。
Spanner項目
本周，據科技博客GigaOm和ZDnet報道，谷歌已發表了一篇研究論文，詳細闡述了Spanner的情況。谷歌聲稱，這是首個能在全球數據中心網絡快速存儲和檢索信息的數據庫，而且，它還能夠保持信息的“一致性”，即任何用戶在任何時候均能夠看到同樣的信息。多年來，它一直推動著該公司廣告系統和其他各種網絡服務的發展。
Spanner借用了谷歌為其數據中心打造的其他大規模軟件平臺的技術，但是，從本質上來說，它是全新的東西。Spanner接入到了裝有超精確原子鐘或GPS天線（類似于智能手機上的那種）的服務器網絡上，并利用這些計時器在這樣龐大的網絡上精確地同步發行數據。你沒有聽錯，谷歌將GPS天線和精確的原子鐘裝到了它的服務器中。
“這是很了不起的事情，而且確實具有創造性?！睌祿鎯綛asho的首席架構師安迪-格羅斯（Andy Gross）說。該公司開發的開源數據庫Riak已運行在數千臺服務器上，但是仍然沒有Spanner的覆蓋面廣?！皞鹘y的智慧認為，在全球范圍內像這樣的時間同步是不現實的。”
Spanner項目聽起來就像是一項不同尋常的事業，當然，它也要處理日常工作中遇到的一般問題。很少有公司像谷歌這樣被迫如此迅速地處理如此多的數據。但是，谷歌大規模數據中心的技術總會流向技術領域中的其他公司。最典型的例子就是廣泛使用的大數據平臺Hadoop，它就模擬了谷歌的技術。而且，這種發展趨勢可能會持續下去。
“如果你希望知道未來大規模、高性能的數據處理架構是什么樣子的，我建議你讀一讀谷歌剛剛發表的研究論文。”Hadoop開源軟件整體方案供應商Cloudera 公司的CEO邁克-奧爾遜（Mike Olson）最近在硅谷的一次活動中說。據Cloudera公司的產品副總裁查爾斯-澤德勒維斯基（Charles Zedlewski）稱，該公司（在招聘谷歌前工程師后）已聽說了Spanner，它最終可能會將該論文中的思想轉變成它的軟件。
Facebook正在打造類似于Spanner的系統，其目的也是同時處理多個數據中心的信息。我們通過與Facebook交流獲悉，該公司的這個系統名為Prism，與谷歌的Spanner完全不同。但是，它表明其他公司現在正在想法處理谷歌在過去幾年中遇到的問題。
這篇有關Spanner的論文有很多人署名，但其中有兩位非常杰出：杰夫-迪恩和桑杰-格瑪沃特（Sanjay Ghemawat）。在從昔日電腦巨頭DEC研究部門跳槽到谷歌后，迪恩和格瑪沃特幫助谷歌設計了三個大規模軟件平臺，它們對于其他互聯網公司產生了較大的影響。MapReduce和Google File System最終導致了Hadoop的誕生，而BigTable幫助孕育出了一系列適合于存儲和檢索大量信息的NoSQL數據庫。
Spanner利用了BigTable的技術，但是它走得更遠。BigTable常用于在單個數據中心的數千臺服務器上存儲信息，而Spanner則更進一步，在數百萬個服務器和多個數據中心存儲信息。
這個平臺最具創意的部分就是谷歌所謂的TrueTime API。API是應用程序編程接口的意思，但在這里，它是指其服務器接入的中央數據傳送專線。基本上，TrueTime就使用GPS天線和原子鐘來維持谷歌整個網絡的運行。GPS天線利用了全球定位系統（Global Position System），該系統利用一系列太空衛星來跟蹤時間和地理位置，而原子鐘則利用單個原子屬性來保持準確的時間。
用計時器保證服務器網絡同步
谷歌拒絕討論Spanner?！斑@篇論文已說得很清楚了。”該公司發言人說。但是，她指出了該論文中突出強調API重要性的部分。“我們的設計中有一個方面非常突出?！边@篇論文寫道，“Spanner功能組的關鍵就是TrueTime?！?/P>
要理解TrueTime，你就必須弄清楚現有數據庫的局限性。現在有很多數據庫是專門用于在數千臺服務器上存儲數據的。其中大多數借鑒了谷歌的BigTable數據庫或亞馬遜的類似存儲系統Dynamo。它們運行良好，但是卻無法同時處理多個數據中心的信息——至少不能夠讓多個數據中心的信息始終保持一致。
據Basho公司的首席架構師安迪-格羅斯稱，問題的關鍵在于服務器必須不斷地交流，以確保它們能夠正確存儲和檢索數據。Basho公司的Riak數據庫是在亞馬遜Dynamo的基礎上開發出來的。如果你在多個地理位置的數據中心來運行它，你就可能會讓系統崩潰?！澳惚仨毑粩嗟亟涣鳎源_定所有交易的秩序是正確的?！备窳_斯說，“潛在的制約因素通常是建立快速數據庫的成本高得令人望而卻步?！?/P>
大數據公司10gen的首席執行官麥克斯-希雷森（Max Schireson）從不同的角度進行了解釋。該公司的 MongoDB數據庫效法了BigTable。希雷森稱，假設你用一種網絡服務在兩個銀行賬戶之間轉賬，其中一個銀行賬戶在歐洲，另一個在亞洲。如果你在歐洲，這種轉賬過程似乎能夠完成。但是，對于在亞洲的某個人來說，它可能完成不了，因為存在通信延遲的問題。
他繼續說，可能還存在這樣的情況：一個觀察者在同一時間看到兩個銀行賬戶都有這筆錢。簡而言之，該服務可能無法總像廣告標榜的那樣完美，因為每個人看到的數據并不相同。在這個例子中，數據是不一致的。
如果再看看數以百萬計的人使用的服務，你可以看出這個問題有多大?！叭绻写罅康娜嗽L問分布于世界各地的大量的系統，由于它們相互之間的通信延遲時間較長，因此你就很難保持所有的事情同步?！彼f，“如果你增加那些影響因素，同步就會變得更加困難?！?/P>
借助于TrueTime，Spanner成功解決了這個問題，它采用的方法令所有人感到意外。谷歌不是著眼于改善服務器之間的通信，而是在其服務器網絡上到處安裝時鐘。它將GPS天線或原子鐘安裝到各種不同的服務器上，與TrueTime API協同工作。最終，這些計時器保證了整個服務器網絡同步運行。
谷歌做法值得借鑒
“（除了谷歌外）當前有許多研究專注于機器之間的復雜的協調協議……但是，谷歌卻采用了完全不同的方法?！备窳_斯說，“通過使用高精度的時鐘和一個對時間非常靈敏的API，Spanner可讓服務器節點不必經過復雜的通信就能夠變得協調一致?！?/P>
簡而言之，TrueTime API利用了這些重要的計時器，而網絡上的服務器則利用了這些API。然后，TrueTime告訴服務器當前有多少“不確定性”，然后，它們就會相應地調整其讀數。
普通服務器利用公共原子鐘來保持準確的時間。但是，格羅斯認為這一方法還不夠準確。谷歌更進一步，直接在自己的服務器上安裝了原子鐘和GPS天線。
最初，該系統是用來幫助整個谷歌帝國投放廣告，但是后來，它已經擴展到谷歌其他形形色色的服務當中。該系統還幫助谷歌在其整個網絡中復制和轉移數據，從而幫助該公司的數據中心進行維修和升級，甚至安全渡過眾多的網絡危機。三年前，當吉爾第一次提到Spanner的時候，他說，由于溫度過高，谷歌自動將大量數據從需要暫時關閉的設備中轉移出了。
問題的關鍵是，除非你在服務器中添加硬件，否則你無法使用Spanner。在這篇論文中，谷歌聲稱原子鐘的成本并不高，而且10gen公司的總裁麥克斯-希雷森表示，其他企業也安裝了類似的設備。但是，Basho公司的格羅斯和Cloudera公司的澤德勒維斯基均認為，它的成本仍然太高，不適合推廣使用。
格羅斯稱，對于像Basho這樣的公司來說，建立依賴于這種設備的系統并沒有意義。而就Cloudera公司而言，澤德勒維斯基也說過類似的話。即便他們看到了Spanner的未來。
就像許多其他NoSQL公司一樣，Basho公司的目標就是服務于大型網絡公司和其他需要處理大規模網絡數據的公司。而格羅斯聲稱Spanner背后的基本理念可以幫助該公司做到這一點。
他說：“谷歌往往走在開源技術的前沿。不是每個人都能夠買得起原子鐘，但是我們可以從中學習他們所用到的方法。只要看一看谷歌的做法，你就能從中受益匪淺?！? |
浙公網安備 33038102330897號