MinIO透過推出AIStor轉向人工智慧

MinIO是世界上最受歡迎的開源S3相容物件儲存系統之一。由於其性能和簡單性的結合，它已被廣泛用於儲存各種應用程式的資料。但隨著生成式人工智慧(GenAI)出現，MinIO公司意識到有機會提供以人工智慧為中心的物件存儲，如今MinIO推出了AIStor。

MinIO創辦人兼執行長AB Periasamy以不願為物件商店(object store)添加功能而聞名。 「我們非常努力地不添加新功能，」他在2017年告訴媒體。 “去年我們刪除了大量程式碼。我們真誠地試圖將其保持在最低限度。”

自從MinIO於2014年11月推出對象商店以來，這種極簡主義的方法對MinIO非常有效。兩年前，該公司報告稱，該計畫每天為超過100萬次讀取提供服務，每年為3.3億次。以這個速度，MinIO現在的下載量將超過15億次，使其成為世界上最受歡迎的開源軟體之一。

但那是在2022年11月ChatGPT橫空出世前，GenAI像火箭一樣起飛。 MinIO首席行銷長Jonathan Symonds表示， GenAI革命大大增強了公司對大數據的需求。

「就儲存在MinIO上的資料而言，我們有多個超過Exabyte的客戶端，它們運行的工作負載類型與過去完全不同，」Symonds說。 「所以，如果你是一個國家實驗室，所有數據都在檔案中，大部分都在磁帶上，你可能會得到Exabyte級數據。但這不是我們在這裡談論的。我們談論的是Exabyte級數據之上的人工智慧和機器學習工作負載。

組織正在MinIO的物件儲存上收集和儲存大量非結構化數據，用於建構和訓練AI模型的特定目的。數據可以是影片、日誌檔案和來自汽車的遙測數據。它可以是用於網路威脅偵測的日誌文件，也可以是用於串流媒體服務的媒體。為了服務這個新興的儲存市場，它在今年稍早推出了DataPod參考架構。

人工智慧用例對MinIO的業務來說變得如此受歡迎和重要，以至於它迫使Periasamy重新評估他天生不願意添加新功能，並將自己和快速精簡的物件儲存打開，以應對功能蔓延和產品膨脹的雙重風險。 MinIO並未繼續將其(非開源)企業物件儲存建置為擅長廣泛用例的橫向產品，而是決定加倍重視人工智慧，並專門圍繞人工智慧儲存和存取資料的新興需求重新設計企業產品。

MinIO新的promptObject API允許用戶查詢非結構化數據，如餐廳收據。

Periasamy說：「企業物件儲存…是一個完整的資料基礎設施堆疊，但它仍然是一個通用的產品。它是一個橫向產品。」「但考慮到我們目前在客戶群和新管道方面的成功率正在建立，越來越多的人都在向人工智慧和規模發展。

曾經感受到100TB左右大數據管理痛苦的組織現在很容易超過100PB，接近1EB門檻的公司數量每天都在增加。這是儲存市場的重大變化，因此有必要創建AIStore，這是MinIO旗艦產品的人工智慧化。

新的AIStor為物件儲存添加了特定於人工智慧的功能，包括新的兼容S3-API的promptObject，它允許用戶與非結構化資料和人工智慧模型的私人儲存庫“對話”，這是Huggingface的一個替代品。 AIStore還增加了支援新興AI資料工作負載的新功能，例如支援S3上的RDMA連接，以及一個使管理更容易的新全域控制台。

新的promptObject API將使使用者能夠使用自然語言提示直接有效地與資料交互，而無需圍繞資料準備、向量資料庫、檢索增強生成(RAG)和其他GenAI工具和技術進行大量開發工作。

例如，假設一位顧客在他們的目標商店裡有一張餐廳菜單的圖片。使用promptObject API，開發人員可以要求映像從選單中提取實體位址，並將其作為輸出傳回。 MinIO工程師Dil Radhakrishnan表示，API還支援提示鏈接，這使得用戶或應用程式能夠同時與多個物件互動。 API目前支援文字、PDF和圖像等非結構化數據，很快也將支援視頻，他補充道。

Perasamy說，這是一種查詢非結構化資料的新方法。

AIStor也為管理員引進了新的GUI控制台。

在上一代，當企業由結構化資料主導時，你會鍵入SQL查詢或類似SQL的東西。在現代世界，大部分企業資料都是非結構化資料。你如何處理這些資料?…你基本上將非結構化資料視為資料庫。 」

支援400Gb和800Gb乙太網路上的高速遠端直接記憶體存取(RDMA)對於幫助解決用於為GPU供電的大規模儲存叢集中出現的網路瓶頸也很重要。

Periasamy說：「RDMA非常重要的原因是，現在將GPU帶到客戶端時，100Gb被認為很慢。」。 “如果你今天要啟動GPU基礎設施，你應該考慮400Gb作為你的起點。”

Periasamy表示，與英偉達、AMD和英特爾合作，確保RoCE(RDMA over Converged Ethernet)版本2標準是一個堅實的、行業中立的接口，這對鼓勵企業採用非常重要。

他說：「我們與英偉達、AMD和英特爾密切合作，以兼容所有三種架構的方式實現這一目標，S3 API仍然是S3 API。」「控制通道是透過HTTP的，但當資料被推送時，無論是從CPU到記憶體還是GPU到記憶體，都是RDMA。 API。

同時，新的AIHub為MinIO客戶提供了一個設施，可以在自己的環境中安全地儲存他們的AI模型。它是Huggingface的替代品，Huggingface是一個非常受歡迎的人工智慧模型儲存庫，但從定義上講，它是對公眾開放的。

這只是MinIO為其企業物件儲存計畫的人工智慧功能的開始。該公司認為，在使客戶能夠儲存和處理人工智慧資料方面將取得重大成長，並渴望將這些功能建置到其產品中以實現這一目標。

Periasamy說：「我們之所以這樣做，是因為我們正在將企業物件儲存演變為AIStor，以縮小其用例範圍。」「不用贏得數百個用例。贏得一個用例，即人工智慧用例，並使其變得更大。