DeepSeek V3 wydajność na komputerach Mac

DeepSeek V3 – przełom w sztucznej inteligencji

Chiński startup DeepSeek bez większego rozgłosu wprowadził nowy model językowy, który już wywołuje poruszenie w branży AI – nie tylko ze względu na swoje możliwości, ale również sposób wdrożenia. Model o wielkości 641 gigabajtów, nazwany DeepSeek-V3-0324, pojawił się dziś w repozytorium AI Hugging Face praktycznie bez zapowiedzi, kontynuując strategię firmy polegającą na skromnych, ale znaczących premierach.

Przełomowa wydajność na sprzęcie konsumenckim

To, co czyni to wydanie szczególnie godnym uwagi, to licencja MIT – umożliwiająca bezpłatne wykorzystanie komercyjne – oraz wczesne doniesienia o możliwości uruchomienia modelu bezpośrednio na sprzęcie konsumenckim, w szczególności na komputerze Apple Mac Studio z chipem M3 Ultra. „Nowy DeepSeek-V3-0324 w 4-bitowej wersji działa z prędkością ponad 20 tokenów na sekundę na 512GB M3 Ultra z mlx-lm!” – napisał badacz AI Awni Hannun w mediach społecznościowych. Choć cena 9499 dolarów za Mac Studio może wykraczać poza definicję „sprzętu konsumenckiego”, możliwość lokalnego uruchomienia tak masywnego modelu stanowi znaczące odejście od typowych wymagań dotyczących centrów danych dla najnowocześniejszej AI.

Strategia cichej premiery DeepSeek burzy oczekiwania rynku AI

Model o 685 miliardach parametrów pojawił się bez towarzyszącej mu dokumentacji, wpisu na blogu czy działań marketingowych – jedynie z pustym plikiem README i samymi wagami modelu. To podejście ostro kontrastuje z starannie orkiestrowanymi premierami produktów typowymi dla zachodnich firm AI, gdzie miesiące rozgłosu często poprzedzają faktyczne wydania.

Przełomowa architektura DeepSeek V3-0324

DeepSeek-V3-0324 wykorzystuje architekturę mixture-of-experts (MoE), która fundamentalnie przekształca sposób działania dużych modeli językowych. Tradycyjne modele aktywują całą swoją liczbę parametrów dla każdego zadania, ale podejście DeepSeek aktywuje tylko około 37 miliardów z 685 miliardów parametrów podczas konkretnych zadań.

Model wprowadza również dwie przełomowe technologie: Multi-Head Latent Attention (MLA) i Multi-Token Prediction (MTP). MLA zwiększa zdolność modelu do utrzymywania kontekstu w długich fragmentach tekstu, podczas gdy MTP generuje wiele tokenów na krok zamiast standardowego podejścia token po tokenie. Razem te innowacje zwiększają prędkość wyjściową o prawie 80%.

Chińska rewolucja open source w AI rzuca wyzwanie zamkniętemu modelowi Doliny Krzemowej

Strategia wydawnicza DeepSeek pokazuje fundamentalną różnicę w filozofii biznesowej AI między firmami chińskimi a zachodnimi. Podczas gdy amerykańscy liderzy jak OpenAI i Anthropic trzymają swoje modele za paywallem, chińskie firmy AI coraz częściej przyjmują permisywne licencje open source.

Źródło VentureBeat