Open-Sora1.0環境搭建&推理測試

作者: LoRA 時間: 2025年02月27日 1057

Sora，2024年2月15日，OpenAI發布的人工智能文生視頻大模型。支持60秒視頻生成，震蕩了國內國際學術圈、廣告圈、AI教培圈。 Sora最主要有三個優點：第一，“60s超長視頻”，之前文本生成視頻大模型一直無法真正突破AI視頻的4秒連貫性瓶頸，而Sora直接做到了60秒連貫視頻。第二，單視頻既能有多角度鏡頭也能一鏡到底，可以很好地展現場景中的光影關係、各個物體間的物理遮擋、碰撞關係，並且鏡頭絲滑可變。第三，Sora所合成的內容與物理世界規律保持一致，即不會出現違反世界客觀規律的視覺信息。嗯，這段是我抄的，其實還是有些不符合物理世界規律的地方。說明OpenAI也親自下場來卷文生圖的這個領域了，當然我們現在沒辦法直接試用Sora看效果，那麼今天的主角出場，Open-Sora，北京大學與兔展智能聯合發起的Sora復現計劃，旨在聯合開源社區力量完成對Sora的複現。 2024年3月1日正式公開，這也快一個月了，估摸著bug也解的差不多了。 OK，那就讓我們開始吧。

一、環境安裝

1、代碼倉庫

https://github.com/hpcaitech/Open-Sora

cd /datas/work/zzq

mkdir OpenSora & cd OpenSora

git clone https://github.com/hpcaitech/Open-Sora

2、docker內安裝依賴

docker pull pytorch/pytorch:2.2.2-cuda12.1-cudnn8-devel

docker run -it --gpus=all --rm -v /datas/work/zzq/:/workspace pytorch/pytorch:2.2.2-cuda12.1-cudnn8-devel bash

apt-get update && apt-get install libgl1

apt-get install libglib2.0-0

pip3 install torch torchvision -i Simple Index

pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121

pip install packaging ninja -i Simple Index

pip install flash-attn --no-build-isolation -i Simple Index

cd Open-Sora

pip install -v . -i Simple Index

pip install gradio -i Simple Index

git clone https://github.com/NVIDIA/apex

cd apex

pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "- -build-option=--cuda_ext" .

3、模型下載

https://github.com/hpcaitech/Open-Sora?tab=readme-ov-file#model-weights

stabilityai 模型

魔搭社區

t5模型

https://huggingface.co/DeepFloyd/t5-v1_1-xxl/tree/main

根據16X512X512.py文件中的設置，放置預訓練模型

二、測試

1、推理

顯卡不支持，關掉flashattn

torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/16x256x256.py --ckpt-path /workspace/OpenSora/Open-Sora/OpenSora-v1-HQ-16x256x256.pth --prompt-path ./assets/texts/t2v_samples.txt