
兩間初創公司正打閒置家用電腦嘅主意,計劃將分散喺民居同小型企業嘅顯示卡同處理器串連起嚟,出租畀人工智能公司做推理運算。總部設喺阿布扎比嘅Far Labs同美國德州奧斯汀嘅Evolving Edge,都形容呢種模式係「AI推理版嘅Uber或者Airbnb」。Far Labs行政總裁沙扎耶夫(Ilman Shazhaev)表示,旗下Far AI平台預計未來幾星期正式推出,並聲稱延遲可以控制喺100毫秒以內;該平台自4月起已同合作夥伴封閉測試。Evolving Edge就已經進入公測階段。
兩間公司都無意同大型數據中心爭做最頂尖嘅前沿模型,而係鎖定細型、以開源為主嘅人工智能模型。技術上,Far Labs用自家研發嘅排程系統將模型切開,分派畀多部機器運算,再由協調器同負載平衡器整合結果;Evolving Edge就採用開源框架Ray分派工作。安全方面,兩間公司都強調推理會喺沙盒環境執行,通訊經過加密,並對GPU、CPU、記憶體、儲存同網絡用量設限,客戶唔會直接接觸到主機。Evolving Edge創辦人費德里科(John Federico)表示,公司已將節點軟件開源,等硬件擁有者可以自行檢視部機到底喺度做緊咩。
不過,呢盤生意到底幫唔幫到硬件擁有者賺錢,目前仍然係個問號。現有同類平台Salad聲稱有超過六萬部每日活躍嘅消費級GPU,向客戶收費由每小時0.02美元(約0.16港元)起,但平台抽佣之後主人實際分到幾多,並無公開數據。科技網站Tom’s Hardware分析指,一張RTX 4090顯示卡長時間滿載耗電350至450瓦,以每度電0.15美元計,全日運作每月電費約40至50美元(約312至390港元),收入低過呢個數就等於貼錢打工。
兩位創辦人都主張,分散式網絡比集中式雲端更能抵禦故障。費德里科以去年10月AWS美國東部區域大規模故障為例,當時連智能床都因為失去雲端連線而卡喺升起狀態;佢話假如網絡有25萬個節點,就算失去100個都「無關痛癢」。然而,分散式AI運算仍然要過信任呢一關。今年6月一份預印本論文指,以「將挖礦轉化為AI運算」作招徠嘅區塊鏈項目Pearl,網絡算力相當於約32萬張RTX 3090級顯示卡、耗電約112兆瓦,實際上只係做緊隨機矩陣運算,並無產生有用嘅AI計算。值得留意嘅係,據公司新聞稿,Far Labs本身係阿布扎比遊戲公司Dizzaract嘅分支,去年12月喺杜拜Binance區塊鏈周期間首度亮相,並發行咗自家代幣。兩間公司雖然強調處理嘅係真實客戶嘅推理工作,但有關成本同延遲嘅說法,都要等平台規模化之後先至驗證得到。