Mistral 3: ochrona prywatności na pierwszym miejscu

Rozwiązania z otwartymi wagami coraz śmielej konkurują z zamkniętymi, komercyjnymi systemami sztucznej inteligencji. Najnowszym przykładem tego trendu jest prezentacja trzeciej generacji modeli od Mistral AI. Francuska firma zaprezentowała rodzinę Mistral 3, której debiut wpisuje się w realizację koncepcji określanej mianem „rozproszonej inteligencji”.

W praktyce oznacza to odejście od założenia, że najbardziej zaawansowana sztuczna inteligencja musi działać wyłącznie w dużych centrach danych. Dotychczas dostęp do modeli najwyższej klasy zazwyczaj wymagał połączenia z potężną infrastrukturą chmurową. Koncepcja „rozproszonej inteligencji” zakłada inne podejście: algorytmy mają pracować tam, gdzie są aktualnie potrzebne. Dzięki zróżnicowanej skali modeli z rodziny Mistral 3 deweloperzy mogą dobrać narzędzie adekwatne do zadania, od ogromnych systemów realizujących złożone analizy w chmurze po niewielkie, szybkie modele działające lokalnie na komputerze użytkownika, nawet bez dostępu do sieci.

Mistral Large 3 – ciężka artyleria w świecie otwartych modeli

Najbardziej zaawansowanym elementem nowej oferty jest Mistral Large 3, który wykracza poza ramy standardowej aktualizacji. Model wykorzystuje architekturę Sparse Mixture-of-Experts. Całkowita liczba parametrów sięga sześciuset siedemdziesięciu pięciu miliardów, jednak w trakcie generowania pojedynczego tokena aktywnych pozostaje jedynie czterdzieści jeden miliardów. Taka konstrukcja pozwala połączyć ogromne zasoby wiedzy z relatywnie efektywnym wykorzystaniem mocy obliczeniowej.

Trening został przeprowadzony od zera na klastrze składającym się z 3 tys. procesorów graficznych NVIDIA H200. Rezultaty obejmują kilka kluczowych obszarów. Pod względem wydajności model dorównuje najlepszym dostępnym na rynku instrukcyjnie dostrajanym systemom o otwartych wagach. W rankingu LMArena zadebiutował na drugim miejscu w kategorii modeli open source, z pominięciem systemów stricte wnioskujących, oraz na szóstej pozycji w zestawieniu ogólnym. Na uwagę zasługuje także jego wszechstronność, ponieważ poza generowaniem tekstu natywnie analizuje obrazy i zapewnia bardzo dobrą obsługę języków innych niż angielski oraz chiński.

Każdy z modeli w tej linii dostępny jest w trzech odmianach: bazowej, instruktażowej oraz nastawionej na wnioskowanie.

Ministral 3 – kompaktowe modele do pracy lokalnej

Na przeciwległym końcu skali znalazła się seria Ministral 3. Modele te zaprojektowano z myślą o zastosowaniach edge computing, czyli przetwarzaniu danych bezpośrednio na urządzeniu, a nie w zewnętrznej chmurze. W kontekście rosnących obaw dotyczących prywatności danych możliwość uruchamiania zaawansowanej sztucznej inteligencji lokalnie nabiera szczególnego znaczenia. Rodzina Ministral 3 obejmuje trzy konfiguracje, liczące odpowiednio trzy miliardy, osiem miliardów oraz czternaście miliardów parametrów.

Szczególnie interesujące są wersje ukierunkowane na wnioskowanie. W zadaniach wymagających precyzyjnej logiki modele te potrafią poświęcić więcej czasu na analizę przed udzieleniem odpowiedzi.

Dodatkową zaletą serii Ministral jest oszczędność generowanych tokenów. Dzięki optymalizacjom modele często produkują nawet dziesięciokrotnie mniej tokenów niż konkurencyjne rozwiązania, przy zachowaniu porównywalnej jakości merytorycznej. Z perspektywy firm oznacza to wyraźne obniżenie kosztów obliczeniowych.

Współpraca technologiczna z NVIDIA, Red Hat i vLLM

Wprowadzenie rodziny Mistral 3 było również demonstracją zaawansowanej optymalizacji sprzętowej, osiągniętej dzięki ścisłej kooperacji z firmą NVIDIA. Wszystkie modele trenowano na architekturze Hopper, wykorzystując wysoką przepustowość pamięci HBM3e.

Aby otwartość modeli szła w parze z ich realną użytecznością, inżynierowie skupili się na eliminowaniu barier sprzętowych. Udostępnione checkpointy zapisano w nowym formacie NVFP4, przygotowanym z użyciem narzędzia llm-compressor. W środowiskach serwerowych pozwala to uruchamiać Mistral Large 3 nawet na pojedynczym węźle z ośmioma kartami A100 lub H100 przy wykorzystaniu vLLM. Z kolei mniejsze modele zostały zoptymalizowane pod kątem pracy na popularnych kartach RTX, laptopach oraz platformach Jetson. Dzięki czemu możliwe jest wdrażanie zaawansowanej sztucznej inteligencji w robotyce, dronach czy domowych asystentach bez konieczności stałego połączenia z chmurą.

Dostępność i otwarta licencja

Zgodnie z deklarowaną filozofią Mistral AI, zarówno kod, jak i wagi modeli zostały udostępnione na permisywnej licencji Apache 2.0. Taki model dystrybucji ma zachęcić firmy oraz deweloperów do budowania własnych rozwiązań bez ryzyka uzależnienia się od jednego dostawcy.

Modele są już obecne na kluczowych platformach, takich jak Mistral AI Studio, Hugging Face, Amazon Bedrock, Azure Foundry, IBM WatsonX oraz OpenRouter. W najbliższym czasie do tej listy mają dołączyć NVIDIA NIM oraz AWS SageMaker. Organizacje o bardziej specyficznych wymaganiach mogą dodatkowo skorzystać z usług dedykowanego dostrajania modeli na własnych zbiorach danych.