Nemotron-4 340B

Nemotron-4 340B是NVIDIA 發布的一系列開放式模型，專為產生合成資料以訓練大型語言模型(LLMs) 而設計。這些模型經過最佳化，可與NVIDIA NeMo 和NVIDIA TensorRT-LLM 搭配使用，以提高訓練和推理的效率。

Nemotron-4 340B包括基礎、指令和獎勵模型，形成一個產生合成資料的管道，用於訓練和完善LLMs。這些型號在Hugging Face 上提供下載，並很快將在ai.nvidia.com 上提供，作為NVIDIA NIM 微服務的一部分。

需求人群：

Nemotron-4 340B模型適用於需要訓練大型語言模型的開發者和研究人員，特別是在存取大型、多樣化的標記資料集受限的情況下。它為商業應用提供了一種免費、可擴展的方式來產生合成數據，有助於建立強大的LLMs。

使用場景範例：

在醫療保健產業中，使用Nemotron-4 340B產生的合成資料訓練客製化的LLMs，以提高醫療諮詢的準確性和回應品質。

金融業利用Nemotron-4 340B產生的資料訓練風險評估模型，增強對市場動態的預測能力。

零售業透過使用Nemotron-4 340B模型產生的數據，優化客戶服務機器人的對話能力，提升客戶體驗。

產品特色：

產生合成資料以模擬現實世界資料的特性，提高自訂LLMs 的資料品質和效能。

使用Nemotron-4 340B獎勵模型篩選高品質反應，基於五個屬性評分：幫助性、正確性、連貫性、複雜性和冗餘性。

研究人員可以透過自訂Nemotron-4 340B基礎模型和HelpSteer2 資料集來建立自己的指令或獎勵模型。

使用開源NVIDIA NeMo 和NVIDIA TensorRT-LLM 優化指令和獎勵模型的效率，產生合成資料並評分回應。

利用張量並行性，透過TensorRT-LLM 優化所有Nemotron-4 340B模型，實現大規模推理。

Nemotron-4 340B基礎模型經過9 兆個token 的訓練，可以透過NeMo 框架進行定制，以適應特定用例或領域。

透過NeMo Aligner 和Nemotron-4 340B獎勵模型標註的資料集對模型進行對齊，確保輸出安全、準確、上下文適當並與預期目標一致。

使用教學：

從Hugging Face 下載Nemotron-4 340B模型。

根據特定用例或領域的需求，使用NeMo 框架對Nemotron-4 340B基礎模型進行客製化。

利用Nemotron-4 340B指令模型產生模擬現實世界資料特性的合成資料。

使用Nemotron-4 340B獎勵模型對AI 產生的數據進行品質篩選和評分。

透過NeMo Aligner 和標註的資料集對模型進行對齊，確保輸出的安全性和準確性。

將客製化後的模型部署為NVIDIA NIM 微服務，並透過標準應用程式介面在任何地方部署。