deepeval

deepeval提供了不同方面的度量來評估LLM對問題的回答,以確保答案是相關的、一致的、無偏見的、非有毒的。這些可以很好地與CI/CD管道整合在一起,允許機器學習工程師快速評估並檢查他們改進LLM應用程式時,LLM應用程式的性能是否良好。 deepeval提供了一種Python友好的離線評估方法,確保您的管道準備好投入生產。它就像是“針對您的管道的Pytest”,使生產和評估管道的過程與通過所有測試一樣簡單直接。

需求人群：

["評估語言模型應用的不同面向","與CI/CD整合進行自動化測試","快速迭代改進語言模型"]

使用場景範例：

使用簡單的單元測試方式針對ChatGPT回答進行相關性、一致性測試

基於語言鏈的應用,透過deepeval進行自動化測試

使用合成查詢功能快速發現模型的問題

產品特色：

針對答案相關性、事實一致性、有毒性、偏見的測試

查看測試、實作和比較的Web UI

透過合成查詢-答案自動評估

與LangChain等常見框架集成

合成查詢生成

儀表板