🔍
Search AI
search-ai.pl
Strona główna›Inferencja Lokalna
💻

Inferencja Lokalna

6 narzędzi w kategorii

Narzędzia do uruchamiania modeli AI na własnym komputerze, bez internetu, bez chmury i bez żadnych opłat. Twoje dane nigdy nie opuszczają Twojego urządzenia, co zapewnia pełną prywatność. Wystarczy pobrać model i zacząć korzystać. Porównaj Ollama, LM Studio, llama.cpp, vLLM i inne.

OL

Ollama

Najprostsze lokalne LLM. 1 komenda, biblioteka modeli, OpenAI-compatible API. Mac/Linux/Windows.

Lokalne LLM1 komendaOpenAI-compatiblePrywatnośćMITMac/Linux/Windows
0(0)
LL

llama.cpp

Silnik C/C++ do LLM. Najlepsza wydajność CPU, kwantyzacja 2-8bit GGUF, zero zależności.

C/C++GGUFKwantyzacjaCPU inferenceZero zależnościMIT
0(0)
LM

LM Studio

Desktop GUI do lokalnych LLM. Pobieranie modeli z HF, Vulkan/AMD, local server.

Desktop GUIHugging FaceVulkanAMDLocal serverGGUF
0(0)
VL

vLLM

Production serving, PagedAttention, high-throughput. Continuous batching, Blackwell GPU support.

PagedAttentionHigh-throughputProduction servingContinuous batchingApache 2.0GPU
0(0)
OP

Open WebUI

Web GUI dla Ollama/vLLM. Multi-user, RAG, porównywanie modeli, Docker. Open-source.

Web GUIMulti-userRAGDockerOllamaMIT
0(0)
LL

Llamafile

Jeden plik = model + runtime + UI. Zero instalacji, multi-platform. Mozilla projekt.

Jeden plikZero instalacjiMulti-platformMozillaApache 2.0llama.cpp
0(0)