第一时间捕获有价值的信号
面对国内政策与数据安全需求，本文调研类 ChatGPT 模型私有化部署方案。详细介绍 LLaMA、Alpaca 等开源模型，并探讨 LoRA 等微调技术，为企业内部落地提供参考。
核心内容
ChatGPT虽然强大，但在国内的政策下，真要落地数据安全才是最重要的，Meta AI 发布的 LLaMA 让大家看到在相对较小的模型上使用大规模数据集训练并达到较好性能的曙光，笔者也第一时间使用 Docker 和 Alpaca LoRA 对 LLaMA 7B 大模型进行 Fine-Tune，内部使用达到预期效果。下面将该过程使用到的背景资料进行整理，为想私有化落地的朋友作为参考！
ChatGPT模型
类ChatGPT模型
LLaMA
- Github：LLaMA
- 模型文件：LLaMA-7b-hf
- 论文：LLaMA: Open and Efficient Foundation Language Models
Alpaca
Bloomz(支持中文)
- Github：Bloomz
- 模型文件：Bloomz
- 论文：Crosslingual Generalization through Multitask Finetuning
Belle(支持中文)
- Github：Belle
- 模型文件：
- Belle-7B-2M（基于Alpaca训练）
- Belle-LLAMA-7B-2M（基于LLAMA训练）
- 论文：无
哈工大中文LLaMA(支持中文)
- Github：Chinese-LLaMA-Alpaca
- 模型文件：
- 论文：无
ChatGLM
- Gtihub：ChatGLM-6B
- 模型文件：THUDM/chatglm-6b
- 论文：ChatGLM
其他
训练方法
学习资料
- InstructGPT 论文精读【论文精读·48】
- Anthropic LLM 论文精读【论文精读·51】
- GPT-4论文精读【论文精读·53】
- 一文详解Prompt学习和微调（Prompt Learning & Prompt Tuning）
- BLOOM 训练背后的技术
- PEFT: 在低资源硬件上对十亿规模模型进行参数高效微调