# ollama và llama

### **1. LLaMA là gì?**

**LLaMA** (*Large Language Model Meta AI*) là một dòng mô hình ngôn ngữ lớn (LLM) do **Meta (Facebook)** phát triển. Nó được thiết kế để **hiệu quả hơn GPT-3**, yêu cầu ít tài nguyên hơn để chạy nhưng vẫn có chất lượng cao.

📌 **Các phiên bản chính:**

- **LLaMA 1 (2023):** 7B, 13B, 30B, 65B tham số.
- **LLaMA 2 (2023):** 7B, 13B, 70B tham số, có bản `chat` để đối thoại tốt hơn.
- **LLaMA 3 (sắp ra mắt)**.

📌 **Điểm mạnh:**  
✅ Hiệu quả hơn GPT-3 (**cùng số lượng tham số nhưng thông minh hơn**).  
✅ Có thể chạy trên GPU yếu nếu dùng **quantization (GGUF, GPTQ, etc.)**.  
✅ Miễn phí sử dụng, có thể tải trên **Hugging Face**.

📌 **Cách chạy LLaMA:**

- **Dùng `transformers` (Hugging Face)**<div class="contain-inline-size rounded-md border-[0.5px] border-token-border-medium relative bg-token-sidebar-surface-primary"><div class="sticky top-9"><div class="absolute bottom-0 right-0 flex h-9 items-center pr-2"><div class="flex items-center rounded bg-token-sidebar-surface-primary px-2 font-sans text-xs text-token-text-secondary dark:bg-token-main-surface-secondary">  
    </div></div></div><div class="overflow-y-auto p-4" dir="ltr">`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForCausalLM, AutoTokenizer  model = AutoModelForCausalLM.from_pretrained(<span class="hljs-string">"meta-llama/Llama-2-7b-chat-hf"</span>)  tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">"meta-llama/Llama-2-7b-chat-hf"</span>)  `</div></div>
- **Dùng `llama.cpp` (GGUF, tối ưu cho CPU + GPU)**<div class="contain-inline-size rounded-md border-[0.5px] border-token-border-medium relative bg-token-sidebar-surface-primary"><div class="sticky top-9"><div class="absolute bottom-0 right-0 flex h-9 items-center pr-2"><div class="flex items-center rounded bg-token-sidebar-surface-primary px-2 font-sans text-xs text-token-text-secondary dark:bg-token-main-surface-secondary"></div></div></div><div class="overflow-y-auto p-4" dir="ltr">`./main -m llama-2-7b.Q4_K.gguf --n-gpu-layers 5 -p <span class="hljs-string">"Hello"</span>`</div></div>

---

### **2. Ollama là gì?**

**Ollama** là **một phần mềm giúp chạy LLM dễ dàng trên máy tính** (*local inference engine*). Nó hỗ trợ nhiều mô hình khác nhau (không chỉ LLaMA).

📌 **Điểm mạnh của Ollama:**  
✅ Cài đặt dễ dàng, chỉ cần `ollama run llama2`.  
✅ Hỗ trợ nhiều mô hình (LLaMA, Mistral, Phi-2, CodeLLaMA, v.v.).  
✅ Tự động tối ưu chạy trên **CPU/GPU** mà không cần cấu hình phức tạp.  
✅ Dùng `GGUF`, giúp chạy tốt trên máy yếu.

📌 **Cách cài đặt Ollama:**

- **Linux/macOS:**<div class="contain-inline-size rounded-md border-[0.5px] border-token-border-medium relative bg-token-sidebar-surface-primary"><div class="sticky top-9">  
    </div><div class="overflow-y-auto p-4" dir="ltr">`curl -fsSL https://ollama.com/install.sh | sh`</div><div class="overflow-y-auto p-4" dir="ltr">  
    </div></div>
- **Windows:**
    - Tải [Ollama](https://ollama.com/) và cài đặt.

[![image.png](https://docs.vhterp.com/uploads/images/gallery/2025-03/scaled-1680-/image.png)](https://docs.vhterp.com/uploads/images/gallery/2025-03/image.png)

- <div class="contain-inline-size rounded-md border-[0.5px] border-token-border-medium relative bg-token-sidebar-surface-primary"><div class="overflow-y-auto p-4" dir="ltr">` `</div><div class="overflow-y-auto p-4" dir="ltr">📌 **So sánh Ollama &amp; LLaMA**</div></div>

<div class="overflow-x-auto contain-inline-size" id="bkmrk-%C4%90%E1%BA%B7c-%C4%91i%E1%BB%83m-llama-ollam"><table data-end="2323" data-start="1923"><thead data-end="1964" data-start="1923"><tr data-end="1964" data-start="1923"><th data-end="1938" data-start="1923">**Đặc điểm**</th><th data-end="1950" data-start="1938">**LLaMA**</th><th data-end="1964" data-start="1950">**Ollama**</th></tr></thead><tbody data-end="2323" data-start="2004"><tr data-end="2058" data-start="2004"><td>Là gì?</td><td>Mô hình AI (LLM)</td><td>Phần mềm giúp chạy LLM</td></tr><tr data-end="2104" data-start="2059"><td>Ai phát triển?</td><td>Meta (Facebook)</td><td>Ollama</td></tr><tr data-end="2174" data-start="2105"><td>Chạy thế nào?</td><td>`transformers`, `llama.cpp`</td><td>`ollama run llama2`</td></tr><tr data-end="2245" data-start="2175"><td>Cấu hình?</td><td>Phải tự tải model, tối ưu GPU</td><td>Tự động tối ưu CPU/GPU</td></tr><tr data-end="2323" data-start="2246"><td>Hỗ trợ mô hình khác?</td><td>❌ Chỉ LLaMA</td><td>✅ Hỗ trợ LLaMA, Mistral, Phi-2, v.v.</td></tr></tbody></table>

</div>---

### **👉 Kết luận:**

- **LLaMA** = Mô hình AI do Meta phát triển.
- **Ollama** = Công cụ giúp chạy LLaMA (và nhiều mô hình khác) **dễ dàng hơn**.