O narzędziu
Unsloth to biblioteka do dostrajania modeli językowych, która jest 2 razy szybsza i zużywa 60% mniej pamięci GPU dzięki zoptymalizowanym obliczeniom. Pozwala dostrajać duże modele (Llama 70B, Mistral) na zwykłych kartach graficznych (RTX 3090, 4090). Kompatybilna z bibliotekami Hugging Face Transformers i TRL. Open-source z opcjonalnym planem Pro dla zaawansowanych użytkowników.
📋
Zastosowanie
- •Fine-tuning Llama, Mistral, Gemma na konsumenckich GPU.
- •Szybki fine-tuning z 2x przyspieszeniem.
- •Trenowanie dużych modeli (70B) na kartach z 24GB VRAM.
- •LoRA/QLoRA z custom kernelami.
- •Eksport modeli do GGUF (llama.cpp) i vLLM.
✨
Funkcje dodatkowe
- •Custom CUDA kernels.
- •2x szybszy training.
- •60% mniej VRAM.
- •Kompatybilność z TRL SFTTrainer.
- •Eksport do GGUF, vLLM, ONNX.
- •4-bit i 16-bit training.
- •Gradient checkpointing.
- •Flash Attention.
✓ Zalety
+2x szybszy fine-tuning niż standardowy
+60% mniej pamięci GPU dzięki custom CUDA kernels
+Fine-tuning dużych modeli na konsumenckich GPU
+Kompatybilny z Hugging Face i TRL
✗ Wady
−Wymaga NVIDIA GPU (brak wsparcia AMD)
−Mniejsza społeczność niż TRL/PEFT
−Niektóre optymalizacje tylko w wersji Pro
💰
Cennik
- •Free: open-source, pełne funkcje.
- •Pro: $8/mies.
- •(dodatkowe optymalizacje, priority support).
- •Enterprise: custom.
🔗
API i integracje
- •Python (pip install unsloth).
- •Integracja z TRL, Transformers, PEFT.
- •Hugging Face Hub.
- •Google Colab notebooks.
Szczegóły
CenaDarmowy (open-source) / Pro od $8/mies
KategoriaDostrajanie Modeli
2x szybszy60% mniej pamięciCUDA kernelsKonsumenckie GPULoRAOpen-source