EXAONE-3.5-7.8B-Instruct-GGUF

什麼是Exaone 3.5？

Exaone 3.5是LG AI Research開發的一系列雙語（英語和韓語）教學調整語言模型。這些模型的參數範圍從24億到320億，並支持長篇小說處理高達32,000個令牌。與類似大小的近期模型相比，他們在現實世界應用中表現出了最新的性能和長期的理解，同時在一般領域保持競爭力。

誰可以從Exaone 3.5中受益？

需要在資源約束設備上需要高性能語言模型的研究人員和開發人員，以及使用長上下文信息和多語言文本生成的應用程序開發人員，可以從Exaone 3.5中受益。該模型特別適用於涉及大型數據集和復雜語言任務的方案。

Exaone 3.5有哪些用例？

研究人員可以使用Exaone 3.5來對長文本進行語義理解和分析。

開發人員可以利用Exaone 3.5來構建多語言對話系統。

企業可以使用Exaone 3.5優化其客戶服務自動化流程。

Exaone 3.5的主要特徵是什麼？

為長篇小說處理提供多達32,000個令牌。

展示了現實世界應用和長篇文化理解中的領先績效。

與最近大小相似的模型相比，在一般領域保持競爭性能。

提供多個精度級別的指令調整，包括Q80，Q60，Q5公里，Q4km，IQ4_XS。

與Tensorrt-Llm，Vllm，Sglang，Llama.CPP和Ollama等各種部署框架兼容。

針對小型或資源有限的設備進行了優化。

使用AWQ和多種量化類型提供Exaone 3.5的預量化版本。

您如何使用Exaone 3.5？

1。安裝Llama.cpp。有關特定的安裝說明，請參閱GitHub存儲庫。

2。下載Exaone 3.5的GGUF格式文件。

3。使用HuggingFace-CLI下載指定的Exaone 3.5型號文件。例如：

`

huggingface-cli下載lgai-exaone/ EXAONE-3.5-7.8B-Instruct-GGUF -cinclude“ exaone-3.5-7.8b-instruct-bf16*.gguf” - local-dir。

`

4。運行使用Llama-CLI進行對話推理的模型。例如：

`

Llama-cli -cnv -m ./exaone-3.5-7.8b-instruct-bf16.gguf -p -p“您是LG AI Research的Exaone模型，有益的助手。”

`