全新VideoRAG 框架： 利用影片內容提升查詢回應的準確性

隨著視訊技術的快速發展，視訊已成為資訊檢索和理解複雜概念的重要工具。影片結合了視覺、時間和上下文數據，提供了超越靜態圖像和文字的多模態表現。如今，隨著影片分享平台的普及和大量教育及資訊影片的湧現，利用影片作為知識來源為解決需要詳細背景、空間理解和流程簡報的查詢提供了前所未有的機會。

然而，現有的檢索增強生成（RAG）系統往往忽略了視訊資料的全部潛力。這些系統通常依賴文字訊息，偶爾使用靜態圖像來支援查詢回應，卻未能捕捉影片所包含的視覺動態和多模態線索，這對於複雜任務至關重要。傳統方法要么在沒有檢索的情況下預定義查詢相關視頻，要么將視頻轉化為文本格式，從而失去重要的視覺上下文和時間動態，限制了提供準確和信息豐富的答案的能力。

為了解決這些問題，來自韓國科學技術院（KaIST）和DeepAuto.ai 的研究團隊提出了一個新穎的框架—VideoRAG。該框架能夠動態檢索與查詢相關的視頻，並將視覺和文字資訊整合到生成過程中。 VideoRAG 利用先進的大型視訊語言模型(LVLMs)實現多模態資料的無縫集成，確保檢索到的視訊與使用者查詢的上下文一致，並保持視訊內容的時間豐富性。

VideoRAG 的工作流程分為兩個主要階段:檢索和產生。在檢索階段，框架透過查詢識別與其視覺和文字特徵相似的影片。

在生成階段，利用自動語音辨識技術為沒有字幕的影片產生輔助文字數據，確保所有影片的回應產生都能有效貢獻資訊。相關的檢索影片進一步輸入生成模組，整合視訊幀、字幕和查詢文字等多模態數據，借助LVLMs 處理，從而產生長篇且豐富、準確、上下文恰當的回應。

VideoRAG 在WikiHowQA 和HowTo100M 等資料集上進行了廣泛實驗，結果顯示其反應品質明顯優於傳統方法。這個新框架不僅提升了檢索增強生成系統的能力，也為未來的多模態檢索系統設定了新的標準。

論文：https://arxiv.org/abs/2501.05874