Nemotron-CC

什麼是Nemotron-CC ？

Nemotron-CC是一個基於 Common Crawl 的大規模資料集，包含 6.3 兆個代幣。它透過使用分類器整合、合成資料重寫和減少對啟發式過濾器的依賴，將英文 Common Crawl 資料轉換為高品質的預訓練資料集。該資料集包括 4.4 兆個全球去重的原始代幣和 1.9 兆個合成代幣。

誰可以從Nemotron-CC中受益？

主要受眾包括專注於自然語言處理和訓練大型語言模型的人工智慧研究人員和開發人員。 Nemotron-CC提供了強大、廣泛的資料集，有助於訓練更準確、更強大的模型，推動自然語言處理領域的發展。

Nemotron-CC如何使用？

使用Nemotron-CC資料集，在 15T 令牌上訓練的 8B 參數模型在多個任務中優於 Llama 3.1 8B 模型。研究人員還可以使用資料集中的不同品質等級進行有針對性的模型訓練和研究。

主要特點：

提供 6.3 兆代幣，包括原始代幣和合成代幣。

透過各種方法提升資料質量，改善模型訓練結果。

支援高級能力的長期預訓練。

提供多種品質等級和類型的分區，滿足多樣化需求。

提供 JSONL 和 Parquet 格式，以便靈活使用。

Nemotron-CC入門：

1. 造訪Nemotron-CC網站，了解資料集詳細資訊和下載選項。

2. 根據您的研究需求選擇合適的資料分割和格式。

3. 使用下載的資料集預訓練語言模型。

4. 根據模型表現調整預訓練時的訓練參數與策略。

5. 針對特定任務微調並應用預先訓練的模型。