ExploreToM是由Facebook Research開發的一個框架,旨在大規模生成多樣化和具有挑戰性的心理理論數據,用於強化大型語言模型(LLMs)的訓練和評估。該框架利用A*搜索算法在自定義的領域特定語言上生成複雜的故事結構和新穎、多樣化且合理的情景,以測試LLMs的極限。
需求人群:
"目標受眾為研究人員、開發者和教育機構,他們可以利用ExploreToM生成的數據來訓練和評估心理理論推理的模型,進而提升人工智能在理解人類心理狀態方面的能力。"
使用場景示例:
研究人員使用ExploreToM生成的數據訓練心理理論推理模型。
教育機構利用該框架創建教學案例,幫助學生理解心理理論。
開發者使用ExploreToM框架來測試和改進他們的聊天機器人或虛擬助手。
產品特色:
生成故事背景:使用story_context_generator.py腳本生成故事背景。
執行A*搜索:通過story_structure_searcher.py腳本執行A*搜索,以產生復雜的故事結構。
填充生成的故事:利用story_structure_infiller.py腳本填充生成的故事。
統計分析:通過compute_statistics.py腳本對生成的數據進行統計分析。
功能測試:運行tests_belief_tracker.py和tests_story_structure_infiller.py進行功能測試。
模型加載:使用VLLM(大型語言模型)加載和運行模型。
使用教程:
1. 安裝必要的Python環境和依賴。
2. 使用story_context_generator.py生成故事背景。
3. 通過story_structure_searcher.py執行A*搜索,生成複雜的故事結構。
4. 利用story_structure_infiller.py填充生成的故事。
5. 運行compute_statistics.py對生成的數據進行統計分析。
6. 通過tests_belief_tracker.py和tests_story_structure_infiller.py進行功能測試。
7. 根據需要加載和使用VLLM模型。