AWS
【美國拉斯維加斯現場報導】AWS re:Invent 2023今日(27)在美國拉斯維加斯展開,其公用運算部門(Utility Computing)資深副總裁Peter DeSantis在晚間首場主題演講中,首度揭露旗下三款雲端服務在無伺服器功能方面皆有新的進展,包括Aurora資料庫服務、ElastiCache快取服務與Redshift資料倉儲服務,終於在技術持續精進之下,達到他們心目中真正無伺服器化的里程碑;同時亦如過往發表硬體晶片的慣例,首度揭露錯誤率僅0.1%的新量子晶片。
Amazon Aurora是相容於MySQL與PostgreSQL的雲端資料庫服務,AWS在2018年推出Aurora的首款無伺服器版本,接著在去年2022年推出Aurora Serverless V2第二版,賦予雲端資料庫服務更大的線上擴充能力,不過雖然訴求資料庫用戶可在服務不中斷的情況下擴充資料庫,但仍有一定容量的限制。
Aurora Serverless資料庫服務之所以能實現線上擴充容量,DeSantis表示,主要是仰賴虛擬化技術。AWS開發了一個稱之為Caspian的虛擬層,由Caspian Heat Management System來管理實體主機如何分配虛擬記憶體給資料庫。Aurora所使用的每一臺實體主機配置容量256GB的記憶體,雖然Aurora資料庫開啟服務可以使用256GB記憶體,但實體主機的記憶體並不會因此而被完全占用,Caspian管理軟體會依據每個Aurora資料庫服務運作所需配置適當的實體記憶體容量,因此每臺實體主機皆可承載多個Aurora資料庫服務,如此就可以極大化利用運算資源。
在上述機制下,當一臺實體主機所承載的Aurora運作所需記憶體超過256GB,迫於記憶體物理限制就必須轉移到另一臺主機。DeSantis指出,如此機制尚無法達到無伺服器化可以自動擴充調整的最高境界,因此AWS繼而運用資料庫分區(Sharding)技術,將單一資料庫分配到不同主機,以達到水平擴充的能力。
資料庫分區並不難實現,DeSantis表示,但要達到自動分配的境界,最難突破的關鍵在於資料路由與資料庫分區彈性擴充的設計。為此AWS開發出一個資料請求路由層(Request Routing Layer),它採取輕量化設計,具有快速反應擴充的特性,加諸分區彈性擴充設計,則可達到跨區域執行資料庫切片與重組,並確保資料庫的可靠度。
由於上述兩項技術的創新突破,DeSantis指出,AWS終於能在今年推出真正無伺服器化的Aurora資料庫服務,稱之為Amazon Aurora Limitless Database,意指可不受單一資料庫的容量限制,皆可自動擴充配置而不影響資料庫運作。
除了Aurora Limitless Database,AWS今天也推出快取服務無伺服器版本ElastiCache Serverless。DeSantis表示,這有賴於第三項創新技術突破,也就是減少時鐘誤差範圍(Reducing Clock Error Bounds)。分散式運算系統的資料同步需要仰賴同步計時,他指出主要的三種作法,分別為Wall Clock(現實世界時間)、Logical Clock(邏輯時間)與單一TimeKeeper伺服器,其中Wall Clock方式會因不同時鐘的差異而導致計時同步不可靠。
為了提供準確的同步計時,AWS在2017年推出Amazon Time Sync Service,結合衛星通訊與原子鐘參照,提供與世界協調時間(UTC)誤差僅1毫秒(millisecond)的同步計時。但是,DeSantis指出,時間誤差1毫秒代表著總延遲時間是2毫秒,亦即每秒500次交易的延遲速度,而這對於快取的同步來說太慢了。為此,AWS以Nitro網路加速晶片為基礎設計一個分散式計時網路,並搭配備援電力模組與原子鐘,安裝在一個標準48U機櫃,終於將同步計時誤差由毫秒縮短至微秒(microsecond)等級,其ElastiCache Serverless p50的延遲僅500微秒,並可支援最大5TB記憶體容量。
至於在2021年推出的資料倉儲服務無伺服器版本Redshift Serverless,也有更進一步的精進。DeSantis表示,資料倉儲不只是要應付資料量,也得因應運算任務多樣化的需求。Redshift Serverless是由請求管理(Request Management)系統來判斷實體主機的負荷量,如果有運算需求較大的ETL(Extract, Transform, Load)任務產生,若既有的主機無法承擔,請求管理系統就會將其分配到新的主機,但若既有的主機可以承擔,雖然該ETL任務可以分配到既有主機,但由於運算需求大,完成運算的時間較久,也會因此牽累該主機的其他運算任務,導致時間拖延。
為了解決Redshift Serverless上述問題,AWS在請求管理系統導入機器學習預測功能,DeSantis指出,其實資料分析任務有80%是雷同的,因此先以機器學習建立好這80%任務的模型,將其內建在請求管理系統的快取,加速其快速分析任務類型,同時,有另一個模型用來學習屬於各別企業組織慣用習慣的另外20%任務,讓請求管理層可以在接到任務時分析與預測其類型,據以分配合適的運算資源。而有了這項AI功能後,Amazon Redshift Serverless Next-generation AI-driven scaling and optimizations也提供用戶自行設定機器學習的政策,以在資料分析運算時間與運算成本之間有所取捨。
此外,AWS歷年來皆會利用re:Invent的首日晚間主題演講發表其在硬體晶片的著墨,今年也不例外,DeSantis首度公開發表新的量子晶片,他表示,Aamzon量子運算團隊在量子糾錯有重大的進展,以邏輯量子位元的方式,將位元翻轉(Bit-flip)與相位翻譯(Phase-flip)錯誤分開,DeSantis指出,藉由被動糾錯方法,已可將錯誤率降低100倍,達到0.1%,亦即千分之一的錯誤率,而硬體過熱也預期可減少6倍。不過,他也說,雖然新晶片在量子糾錯方面有重大的進展,但現在尚於量子運算發展非常早期的階段。
Amazon ElastiCache Serverless目前已可提供服務,Amazon Aurora Limitless Database與Amazon Redshift Serverless Next-generation AI-driven scaling and optimizations則提供預覽。
熱門新聞
2024-11-29
2024-12-19
2024-11-20
2024-11-15
2024-11-15