對(duì)于巨頭來(lái)說(shuō)，AI已經(jīng)不再那么神秘，因此，很多有自身需要或者有客戶的大廠都會(huì)從合作走到自研這一步，現(xiàn)在，巨頭亞馬遜也逐漸擺脫對(duì)NVIDIA的依賴(lài)，開(kāi)始了人工智能芯片的自研，且其芯片吞吐量提高達(dá)到30%。

亞馬遜宣布將人工智能處理遷移到自家定制的 AWS Inferentia 芯片。這意味著亞馬遜最大的推理（inferencing）服務(wù)（例如語(yǔ)音助手 Alexa）將交由更快、更專(zhuān)業(yè)的芯片進(jìn)行處理，而非基于 NVIDIA 的多用途 GPU。

亞馬遜已經(jīng)將大約 80% 的 Alexa 語(yǔ)音助手處理遷移到 Elastic Compute Cloud (EC2) Inf1 實(shí)例上處理。和使用傳統(tǒng) GPU 的 G4 實(shí)例相比，Inf1 實(shí)例將吞吐量提高了 30%，成本下降了 45%。亞馬遜認(rèn)為，它們是推斷自然語(yǔ)言和語(yǔ)音處理工作負(fù)載的最佳實(shí)例。

Alexa 的工作方式是這樣的：實(shí)際的智能音箱（或者揚(yáng)聲器）可以不做任何操作，所有任務(wù)都交由 AWS 處理器完成?；蛘吒鼫?zhǔn)確的說(shuō)，一旦 Echo 設(shè)備上的芯片檢測(cè)到喚醒詞，系統(tǒng)就會(huì)啟動(dòng)。。它開(kāi)始實(shí)時(shí)將音頻流傳輸?shù)皆?。在?shù)據(jù)中心的某個(gè)地方，音頻被轉(zhuǎn)換為文本（這是推理的一個(gè)示例）。然后從文本中提取含義（另一個(gè)推理實(shí)例）完成所需要的所有操作，例如獲取當(dāng)天的天氣信息等等。

Alexa 完成您的請(qǐng)求后，她需要將答案?jìng)鬟_(dá)給您。然后，腳本被轉(zhuǎn)換為音頻文件（另一個(gè)推理示例），并發(fā)送到您的Echo設(shè)備?；匾舨シ盼募?，以便于你出行的時(shí)候是否決定帶上雨傘。顯然，推理是工作的重要組成部分。毫不奇怪，亞馬遜投入了數(shù)百萬(wàn)美元來(lái)制造完美的推理芯片。

Inferentia 芯片由四個(gè) NeuronCore 組成。每個(gè)實(shí)現(xiàn)一個(gè)“高性能脈動(dòng)陣列矩陣乘法引擎”。每個(gè)NeuronCore或多或少地由以線性，獨(dú)立方式處理數(shù)據(jù)的大量小型數(shù)據(jù)處理單元（DPU）組成。每個(gè)Inferentia芯片還具有巨大的緩存，從而提高了延遲。