Llama 65B

H2O.ai 公开的研究与报告生成案例，来源为 公开代码库、Hugging Face 公开空间，复核于 2026-06-27T09:42:46Z。 Model Atlas 将它标记为 A 类证据，因为它同时具备具体使用者、具体任务、公开原始证据和可访问产物。

任务：H2O.ai 将 LLaMA 65B 作为 base model，使用 h2oai/openassistant_oasst1_h2ogpt_graded 数据集进行指令微调，发布 h2ogpt-research-oasst1-llama-65b，用于英文指令跟随、问答和聊天机器人场景；模型卡同时链接 h2oGPT GitHub 作为运行自有 chatbot 的代码入口。

公开产物：公开产物是 Hugging Face 上的 h2oai/h2ogpt-research-oasst1-llama-65b 模型仓库，模型卡明确写明这是 65B 参数 instruction-following LLM，列出 base model、微调数据集、训练日志、Transformers 调用示例和运行自有 chatbot 的 h2oGPT GitHub 链接。

模型作用：LLaMA 65B 提供 65B 参数基础语言能力；H2O.ai 在该底座上进行 OASST1/h2oGPT 数据指令微调，把基础模型转化为可用于聊天、问答和指令跟随的 h2oGPT 65B 研究模型。

A 类理由：有具体使用者、具体任务、公开原始证据和可访问产物，可公开核验。

风险边界：非商业许可/Meta LLaMA 1 权重访问限制仍适用；这是公开研究模型与聊天机器人产物，不代表商业客户部署。证据页明确绑定 base model 为 decapoda-research/llama-65b-hf，模型仓库公开可访问。

原始记录：H2O.ai 基于 LLaMA 65B 微调 h2oGPT OASST1 指令聊天模型

BigScience Workshop / Petals project 公开的真实任务执行案例，来源为 公开代码库，复核于 2026-06-27T08:32:44Z。 Model Atlas 将它标记为 A 类证据，因为它同时具备具体使用者、具体任务、公开原始证据和可访问产物。

任务：Petals 把大模型分片运行在志愿者/组织节点组成的分布式 swarm 中，README 明确列出 Prompt-tune Llama-65B for text semantic classification 的示例，并提供连接 Petals HTTP/WebSocket endpoint 的公开聊天 Web app。

公开产物：公开产物包括 Petals 代码库、LLaMA-65B prompt-tuning Colab 示例、chat.petals.dev Web 应用和 public swarm monitor/source；使用者可以通过 Petals API 进行推理、查看 hidden states 或执行微调。

模型作用：LLaMA 65B 作为 Petals 支持的大参数模型之一，承担文本表示、生成和 prompt-tuning 底座；Petals 通过分布式执行降低单机部署 65B 模型的门槛。

A 类理由：有具体使用者、具体任务、公开原始证据和可访问产物，可公开核验。

风险边界：公开聊天 demo 当前可访问但其在线后端模型可能随时间变化；强证据来自 README 中对 Llama-65B prompt-tuning 示例和 Petals 分布式运行机制的明确描述。

原始记录：BigScience Petals 支持分布式运行并 prompt-tune LLaMA 65B

Kuleshov Group / MiniLLM project 公开的代码代理与软件工程案例，来源为 公开代码库、Hugging Face 公开空间，复核于 2026-06-27T08:32:44Z。 Model Atlas 将它标记为 A 类证据，因为它同时具备具体使用者、具体任务、公开原始证据和可访问产物。

任务：MiniLLM 项目提供安装包、命令行工具和预量化模型，用于下载并运行 LLaMA 7B/13B/30B/65B 的 4-bit 权重；README 明确给出 llama-65b-4bit.pt 下载地址和 minillm generate 文本生成流程。

公开产物：公开产物包括 GitHub repo 和 Hugging Face 上的 kuleshov/llama-65b-4bit 模型页；用户可用 MiniLLM 下载 4-bit LLaMA 65B 权重并执行本地文本生成。

模型作用：LLaMA 65B 提供高容量基础语言模型；MiniLLM 的量化和 CLI 封装让 65B 模型能够以 4-bit 形式用于本地生成任务。

A 类理由：有具体使用者、具体任务、公开原始证据和可访问产物，可公开核验。

风险边界：这是模型运行/量化工具链案例，不是垂直行业业务案例；artifact 公开可访问，且 README 直接列出 llama-65b-4bit。

原始记录：Kuleshov Group MiniLLM 发布 LLaMA 65B 4-bit 权重和命令行生成工具

turboderp / ExLlama project 公开的代码代理与软件工程案例，来源为 公开代码库，复核于 2026-06-27T08:32:44Z。 Model Atlas 将它标记为 A 类证据，因为它同时具备具体使用者、具体任务、公开原始证据和可访问产物。

任务：ExLlama 项目构建了面向量化 LLaMA 模型的本地 GPU 推理运行时，并在 README 中列出 Llama 65B 的双 GPU运行配置和吞吐结果，用于在 4090 + 3090 Ti 等消费/工作站 GPU 上运行 65B 模型。

公开产物：公开 repo 给出可运行代码、配置和 Llama 65B 双 GPU结果表，显示 2,048 token 上下文、约 39.8GB/43.4GB VRAM 配置以及约 16-20 token/s 的生成速度。

模型作用：LLaMA 65B 是该运行时验证和支持的目标大模型之一；ExLlama 的价值在于把 65B 底座通过 GPTQ/量化权重部署到本地多 GPU推理场景。

A 类理由：有具体使用者、具体任务、公开原始证据和可访问产物，可公开核验。

风险边界：该案例是开源运行时/部署产物，不是终端业务应用；README 同时包含性能表，但 repo 本身是可访问可运行 artifact，不是单纯 leaderboard。

原始记录：ExLlama 为量化 LLaMA 65B 提供双 GPU 本地推理运行时

University of Washington UW NLP / QLoRA authors 公开的真实任务执行案例，来源为 公开代码库、Hugging Face 公开空间，复核于 2026-06-27T08:32:44Z。 Model Atlas 将它标记为 A 类证据，因为它同时具备具体使用者、具体任务、公开原始证据和可访问产物。

任务：UW NLP 的 QLoRA 项目以 LLaMA 65B 作为底座之一，使用 4-bit quantized pretrained language model 加 LoRA 的方式，在单张 48GB GPU 上微调 65B 参数模型，训练 Guanaco 指令跟随/聊天模型系列。

公开产物：公开产物包括 QLoRA 代码库和 timdettmers/guanaco-65b-merged Hugging Face 模型页面；项目 README 明确描述 Guanaco 作为最佳模型家族，并说明 65B 规模可在 24 小时单 GPU训练完成。

模型作用：LLaMA 65B 提供 65B 参数级别的基础语言能力；QLoRA 在冻结且 4-bit 量化的 LLaMA 65B 上训练 LoRA 适配器，把基础模型转化为可对话的指令模型 Guanaco 65B。

A 类理由：有具体使用者、具体任务、公开原始证据和可访问产物，可公开核验。

风险边界：LLaMA 1 权重许可/访问历史上受限；证据绑定到 65B 参数 LLaMA 和 Guanaco 65B 产物，但部分权重页面可能需要遵守原始 LLaMA 许可。

原始记录：University of Washington 用 LLaMA 65B 通过 QLoRA 训练 Guanaco 65B 指令聊天模型