給我們的股東:
隨機森林,樸素的貝葉斯估計,RESTful服務,八卦協議,最終一致性,數據切分,反熵,拜占庭法定人數,擦除編碼,向量時鐘(Random forests, naïve Bayesian estimators, RESTful services, gossip protocols, eventual consistency, data sharding, anti-entropy, Byzantine quorum, erasure coding, vector clock)……走進一些Amazon會議,你可能會暫時認為你偶然進入了一個計算機科學講座。
看看目前關於軟件體系結構的教科書,你會發現一些我們不在亞馬遜應用的模式。我們使用高性能事務系統、複雜渲染和對象緩存、工作流和排隊系統、商業智能和數據分析、機器學習和模式識別、神經網絡和概率決策以及多種其他技術。雖然我們的許多系統都是基於計算機科學研究的最新成果,但這常常是不夠的:我們的架構師和工程師必須把研究推進到還沒有學術人員走的方向。我們面臨的許多問題沒有教科書上的解決辦法,所以我們很高興地發明了新的方法。
我們的技術幾乎完全以服務的形式實現:封裝其操作數據的邏輯位,並提供強化接口作為訪問其功能的唯一方式。這種方法可以減少影響,並允許服務按照自己的進度發展,而不會影響整個系統的其他組件。面向服務的體系結構(或SOA)是Amazontechnologies的基礎構建抽象。由於有一個深思熟慮且有遠見的工程師和架構師團隊,這種方法早在SOA成為業界流行語之前就應用於亞馬遜。我們的電子商務平台由數百種軟件服務組成,這些服務協同工作,提供從推薦到訂單履行到庫存跟蹤的各種功能。例如,要為訪問Amazon.com的客戶構建產品詳細信息頁面,我們的軟件會調用200到300個服務,為該客戶提供高度個性化的體驗
狀態管理是任何需要增長到非常大的系統的核心。許多年前,亞馬遜的要求達到了許多系統無法再通過任何商業解決方案提供服務的程度:我們的關鍵數據服務存儲了數PB的數據並處理數百萬的請求。為了滿足這些苛刻和不尋常的要求,我們開發了幾種替代的,專用的持久性解決方案,包括我們自己的鍵值存儲和單表存儲。為此,我們嚴重依賴分佈式系統和數據庫研究社區的核心原則,並從那裡發明。我們開創的存儲系統展示了極高的可擴展性,同時保持嚴格的控制性能,可用性和成本。為了實現其超大規模屬性,這些系統採用了一種新穎的方法:todata更新管理:通過放寬需要傳播到大量副本的更新的同步要求,這些系統能夠在最惡劣的性能和可用性條件下生存。這些實現基於最終一致性的概念。亞馬遜工程師開發的數據管理技術的進步已成為亞馬遜網絡服務(AWS)提供的雲存儲和數據管理服務下的架構的起點。例如,我們的SimpleStorage服務,Elastic Block Store和SimpleDB都從獨特的Amazon技術中獲取其基本架構。
亞馬遜業務的其他領域也面臨著類似的複雜數據處理和決策問題,例如產品數據提取和分類,需求預測,庫存分配和欺詐檢測。基於規則的系統可以成功使用,但它們很難維護,並且隨著時間的推移會變得脆弱。在許多情況下,先進的機器學習技術提供更準確的分類,並且可以自我修復以適應不斷變化的條件。例如,我們的搜索引擎採用在後台運行的數據挖掘和機器學習算法來構建主題模型,我們應用信息提取算法來識別屬性並從非結構化描述中提取實體,從而允許客戶縮小搜索範圍並快速找到所需產品。我們考慮與搜索相關的大量因素預測客戶興趣的概率並優化結果的排名。產品的多樣性要求我們採用現代回歸技術,如經過訓練的決策樹隨機森林,在排名時靈活地整合數千種產品屬性。所有這些幕後軟件的最終結果?快速,準確的搜索結果,幫助您找到您想要的
如果我們將技術放在某些研發部門的一邊,那麼我們投入技術的所有努力可能並不重要,但我們不採取這種方法。技術為我們的所有團隊,我們的所有流程,決策以及我們每個業務的創新方法注入了動力。它與我們所做的一切深深融合。
一個例子是Whispersync,我們的Kindle服務旨在確保無論您走到哪裡,無論您使用何種設備,您都可以訪問您的閱讀庫以及您的Kindle設備和移動設備上的所有重點,備註和書籤。應用。技術上的挑戰是使這個Kindle用戶成為現實,擁有數以億計的書籍和數百種設備類型,生活在全球100多個國家 - 全天候可靠性。Whispersync的核心是最終一致的複製數據存儲,應用程序定義的衝突解決方案必須並且可以處理數週或更長時間的設備隔離。當然,作為Kindle客戶,我們會隱藏所有這些技術。因此,當您打開Kindle時,它會同步並出現在正確的頁面上。用Arthur C. Clarke的話來說,就像任何先進的技術一樣,它與魔法無法區分
現在,如果一些股東們盡職盡責地閱讀這封信的眼睛是在這一點上釉,我告訴你,在我看來,這些技術並沒有被閒置 - 他們直接導致自由流動。我們生活在一個時代可用帶寬,磁盤空間和處理能力的顯著增加,所有這些都繼續快速便宜。我們團隊中擁有一些世界上最先進的技術專家 - 幫助解決當今可能存在的挑戰。正如我之前多次討論的那樣,我們有一種不可動搖的信念,即股東的長期利益與客戶的利益完全一致。我們也喜歡這樣。發明在我們的DNA中,技術是我們發展和改善我們為客戶提供的體驗的每個方面的基本工具。我們還有很多需要學習的東西,我希望我們能繼續學到很多樂趣。我很自豪能成為這支球隊的一員
和往常一樣,我附上1997年原始信件的副本。我們的方法保持不變,現在仍然是第1天。
隨機森林,樸素的貝葉斯估計,RESTful服務,八卦協議,最終一致性,數據切分,反熵,拜占庭法定人數,擦除編碼,向量時鐘(Random forests, naïve Bayesian estimators, RESTful services, gossip protocols, eventual consistency, data sharding, anti-entropy, Byzantine quorum, erasure coding, vector clock)……走進一些Amazon會議,你可能會暫時認為你偶然進入了一個計算機科學講座。
看看目前關於軟件體系結構的教科書,你會發現一些我們不在亞馬遜應用的模式。我們使用高性能事務系統、複雜渲染和對象緩存、工作流和排隊系統、商業智能和數據分析、機器學習和模式識別、神經網絡和概率決策以及多種其他技術。雖然我們的許多系統都是基於計算機科學研究的最新成果,但這常常是不夠的:我們的架構師和工程師必須把研究推進到還沒有學術人員走的方向。我們面臨的許多問題沒有教科書上的解決辦法,所以我們很高興地發明了新的方法。
我們的技術幾乎完全以服務的形式實現:封裝其操作數據的邏輯位,並提供強化接口作為訪問其功能的唯一方式。這種方法可以減少影響,並允許服務按照自己的進度發展,而不會影響整個系統的其他組件。面向服務的體系結構(或SOA)是Amazontechnologies的基礎構建抽象。由於有一個深思熟慮且有遠見的工程師和架構師團隊,這種方法早在SOA成為業界流行語之前就應用於亞馬遜。我們的電子商務平台由數百種軟件服務組成,這些服務協同工作,提供從推薦到訂單履行到庫存跟蹤的各種功能。例如,要為訪問Amazon.com的客戶構建產品詳細信息頁面,我們的軟件會調用200到300個服務,為該客戶提供高度個性化的體驗
狀態管理是任何需要增長到非常大的系統的核心。許多年前,亞馬遜的要求達到了許多系統無法再通過任何商業解決方案提供服務的程度:我們的關鍵數據服務存儲了數PB的數據並處理數百萬的請求。為了滿足這些苛刻和不尋常的要求,我們開發了幾種替代的,專用的持久性解決方案,包括我們自己的鍵值存儲和單表存儲。為此,我們嚴重依賴分佈式系統和數據庫研究社區的核心原則,並從那裡發明。我們開創的存儲系統展示了極高的可擴展性,同時保持嚴格的控制性能,可用性和成本。為了實現其超大規模屬性,這些系統採用了一種新穎的方法:todata更新管理:通過放寬需要傳播到大量副本的更新的同步要求,這些系統能夠在最惡劣的性能和可用性條件下生存。這些實現基於最終一致性的概念。亞馬遜工程師開發的數據管理技術的進步已成為亞馬遜網絡服務(AWS)提供的雲存儲和數據管理服務下的架構的起點。例如,我們的SimpleStorage服務,Elastic Block Store和SimpleDB都從獨特的Amazon技術中獲取其基本架構。
亞馬遜業務的其他領域也面臨著類似的複雜數據處理和決策問題,例如產品數據提取和分類,需求預測,庫存分配和欺詐檢測。基於規則的系統可以成功使用,但它們很難維護,並且隨著時間的推移會變得脆弱。在許多情況下,先進的機器學習技術提供更準確的分類,並且可以自我修復以適應不斷變化的條件。例如,我們的搜索引擎採用在後台運行的數據挖掘和機器學習算法來構建主題模型,我們應用信息提取算法來識別屬性並從非結構化描述中提取實體,從而允許客戶縮小搜索範圍並快速找到所需產品。我們考慮與搜索相關的大量因素預測客戶興趣的概率並優化結果的排名。產品的多樣性要求我們採用現代回歸技術,如經過訓練的決策樹隨機森林,在排名時靈活地整合數千種產品屬性。所有這些幕後軟件的最終結果?快速,準確的搜索結果,幫助您找到您想要的
如果我們將技術放在某些研發部門的一邊,那麼我們投入技術的所有努力可能並不重要,但我們不採取這種方法。技術為我們的所有團隊,我們的所有流程,決策以及我們每個業務的創新方法注入了動力。它與我們所做的一切深深融合。
一個例子是Whispersync,我們的Kindle服務旨在確保無論您走到哪裡,無論您使用何種設備,您都可以訪問您的閱讀庫以及您的Kindle設備和移動設備上的所有重點,備註和書籤。應用。技術上的挑戰是使這個Kindle用戶成為現實,擁有數以億計的書籍和數百種設備類型,生活在全球100多個國家 - 全天候可靠性。Whispersync的核心是最終一致的複製數據存儲,應用程序定義的衝突解決方案必須並且可以處理數週或更長時間的設備隔離。當然,作為Kindle客戶,我們會隱藏所有這些技術。因此,當您打開Kindle時,它會同步並出現在正確的頁面上。用Arthur C. Clarke的話來說,就像任何先進的技術一樣,它與魔法無法區分
現在,如果一些股東們盡職盡責地閱讀這封信的眼睛是在這一點上釉,我告訴你,在我看來,這些技術並沒有被閒置 - 他們直接導致自由流動。我們生活在一個時代可用帶寬,磁盤空間和處理能力的顯著增加,所有這些都繼續快速便宜。我們團隊中擁有一些世界上最先進的技術專家 - 幫助解決當今可能存在的挑戰。正如我之前多次討論的那樣,我們有一種不可動搖的信念,即股東的長期利益與客戶的利益完全一致。我們也喜歡這樣。發明在我們的DNA中,技術是我們發展和改善我們為客戶提供的體驗的每個方面的基本工具。我們還有很多需要學習的東西,我希望我們能繼續學到很多樂趣。我很自豪能成為這支球隊的一員
和往常一樣,我附上1997年原始信件的副本。我們的方法保持不變,現在仍然是第1天。