Go to file
2025-01-11 03:53:23 +08:00
src feat: 更新Python版本和依赖管理,优化训练脚本以支持Flash Attention 2 2025-01-11 03:53:23 +08:00
.gitignore 更新.gitignore以排除rsync.sh,修改TODO列表,重命名evaluate脚本,删除run.sh,添加持续学习的参数类,更新训练和评估脚本以支持新的数据集逻辑 2025-01-01 17:24:32 +08:00
.python-version feat: 更新Python版本和依赖管理,优化训练脚本以支持Flash Attention 2 2025-01-11 03:53:23 +08:00
install.sh feat: 更新Python版本和依赖管理,优化训练脚本以支持Flash Attention 2 2025-01-11 03:53:23 +08:00
LICENSE Initial commit 2024-12-29 14:54:14 +08:00
pyproject.toml feat: 更新Python版本和依赖管理,优化训练脚本以支持Flash Attention 2 2025-01-11 03:53:23 +08:00
README.md 更新README.md以添加项目要求和代码结构,修改requirements.txt以移除不必要的依赖项 2025-01-02 21:50:39 +08:00
uv.lock feat: 更新Python版本和依赖管理,优化训练脚本以支持Flash Attention 2 2025-01-11 03:53:23 +08:00

CL-LMM

Requirements

uv venv --python 3.11.7
uv pip install torch==2.5.1+cu124 torchvision==0.20.1+cu124 torchaudio==2.5.1+cu124 --index-url https://download.pytorch.org/whl/cu124
uv pip install -r requirements.txt

Code Structure

src
├── collatefn_library
├── configs           accelerator configs
├── dataset_library
├── evaluation.py
├── evaluation.sh     evaluation bash(TODO:update)
├── peft_library
├── todo.md
├── train.py
├── train.sh          train bash
└── utils