首頁載入中
LESSON 1 / 21免費試讀
這門課分成三個部分:
作者說明:他以這門課為基礎,與人合著了 LLM Engineer's Handbook ——
一本從設計到部署、走完一個 LLM 應用端到端流程的實作書。這門課會永遠免費。
基礎那一章不是給你按順序讀完的,原文的說法是「你可能不想從這裡開始,而是需要時再回來查」。
比較實際的走法是這樣:
兩條路線不是互斥的,但如果時間有限,先選一條走完,比兩條各讀一半有用。
以下是原作者寫的 Notebook 與文章。這些是跟著做的東西,課文不複製一份進來 ——
連回原始出處,才拿得到會持續更新的版本。
| 工具 | 說明 |
|---|---|
| 🧐 LLM AutoEval | 用 RunPod 自動評估你的 LLM(Colab) |
| 🥱 LazyMergekit | 一鍵用 MergeKit 合併模型(Colab) |
| 🦎 LazyAxolotl | 一鍵在雲端用 Axolotl 微調模型(Colab) |
| ⚡ AutoQuant | 一鍵把模型量化成 GGUF、GPTQ、EXL2、AWQ、HQQ 格式(Colab) |
| 🌳 Model Family Tree | 視覺化合併模型的家族樹(Colab) |
| 🚀 ZeroSpace | 用免費的 ZeroGPU 自動建出一個 Gradio 聊天介面(Colab) |
| ✂️ AutoAbliteration | 用自訂資料集自動對模型做 abliteration(Colab) |
| 🧼 AutoDedup | 用 Rensa 函式庫自動對資料集去重(Colab) |
| 主題 | 說明 |
|---|---|
| 用 Unsloth 微調 Llama 3.1 | 在 Google Colab 上做極省資源的監督式微調(文章、Colab) |
| 用 ORPO 微調 Llama 3 | 單一階段就完成、更便宜也更快的微調(文章、Colab) |
| 用 DPO 微調 Mistral-7b | 用 DPO 提升監督式微調後模型的表現(文章、Colab) |
| 用 QLoRA 微調 Mistral-7b | 在免費版 Colab 上用 TRL 做監督式微調(Colab) |
| 用 Axolotl 微調 CodeLlama | 這套微調工具的端到端指南(文章、Colab) |
| 用 QLoRA 微調 Llama 2 | 在 Colab 上一步步做監督式微調(文章、Colab) |
| 主題 | 說明 |
|---|---|
| 量化入門 | 用 8-bit 量化最佳化大型語言模型(文章、Colab) |
| 用 GPTQ 做 4-bit 量化 | 把開源 LLM 量化到消費級硬體跑得動(文章、Colab) |
| 用 GGUF 與 llama.cpp 量化 | 量化 Llama 2 並把 GGUF 版本上傳到 HF Hub(文章、Colab) |
| ExLlamaV2:跑 LLM 最快的函式庫 | 量化並執行 EXL2 模型(文章、Colab) |
| 主題 | 說明 |
|---|---|
| 用 MergeKit 合併 LLM | 不需要 GPU 也能做出自己的模型(文章、Colab) |
| 用 MergeKit 做 MoE | 把多個專家模型組成一個 frankenMoE(文章、Colab) |
| 用 abliteration 解除模型限制 | 不重新訓練就改變模型行為(文章、Colab) |
| 用知識圖譜強化 ChatGPT | 用知識圖譜補強 ChatGPT 的回答(文章、Colab) |
| LLM 的解碼策略 | 從 beam search 到 nucleus sampling 的文字生成指南(文章、Colab) |
✅ 接下來:如果基礎還不穩,往下走第 2-5 課;已經有基礎的,直接跳到
第 6 課(LLM 架構) 開始科學家路線,或 第 14 課(執行 LLM) 開始工程師路線。
內容來源:本頁譯自 Maxime Labonne 的開源課程
LLM Course,原文連結:https://github.com/mlabonne/llm-courseApache License 2.0, Copyright (c) Maxime Labonne。
本頁為碼力獅社群的中文翻譯與整理(翻譯課文、保留原文的參考資源連結、附上重點整理),
非原作者的官方中文版;內容如與原文有出入,以原文為準。
原課程的 Notebook 與文章請直接使用原始 repo 與作者部落格。