Table of Contents

Do zadań Hermesa z długim kontekstem zacząłbym od Qwen3.5 35B na dwóch kartach RTX 5060 Ti po 16 GB. Testowana trasa zachowała 239 153 tokeny wejściowe przez LiteLLM i przeszła osobne kontrole narzędzi, strumieniowania, obrazu, kolejki żądań oraz anulowania. Qwen3.6 to moja alternatywa na jednej karcie. W systemach z RTX 3060 Ti i RTX 3070 zacząłbym od Qwen3.5 2B lub 4B.

Te wybory wynikają z uruchamiania modeli na ścieżkach inferencji używanych przez agenta. Sprawdziłem zachowanie długiego wejścia, pełne cykle użycia narzędzi, odpowiedzi strumieniowane, pytania o obrazy i zwalnianie modelu. Przetestowałem też tryby i ustawienia pamięci wykorzystywane przez trasy, bo samo załadowanie modelu niewiele mówi o jego przydatności podczas długiego żądania agenta.

Hermes wymaga co najmniej 64 000 tokenów kontekstu do pracy agenta z narzędziami. Za próg kwalifikacji długiego kontekstu przyjąłem 65 536 rzeczywistych tokenów wejściowych. Liczba tokenów wejściowych jest ważniejsza niż kontekst deklarowany przez serwer. ( Dokumentacja dostawców Hermes Agent )

Karty GPU w poszczególnych systemach

Litery systemów oznaczają poniższe zestawy sprzętu i będą używane przy omawianiu wyników.

System GPU używane w tym benchmarku Mój model startowy
A 2 × GeForce RTX 5060 Ti, po 16 GB Qwen3.5 35B na obu kartach albo Qwen3.6 na jednej karcie
B 1 × RTX 2000E Ada, 16GB Qwen3.5 9B, jeśli kilkuminutowe przetwarzanie długiego wejścia pasuje do zadania
C 1 × RTX 2000E Ada, 16GB Gemma 3 4B do testowanej ścieżki długiego wejścia; Qwen3.5 0.8B bez myślenia do ograniczonych zadań przypominania
D 1 × RTX 2000E Ada, 16GB Qwen3.5 9B, Gemma 4 12B-IT lub GPT-OSS 20B do testowanych zadań z większymi modelami
E 9 × GeForce RTX 3060 Ti, po 8 GB Qwen3.5 2B lub 4B
F 8 × GeForce RTX 3060 Ti, po 8 GB Qwen3.5 2B lub 4B
G 3 × GeForce RTX 3070 Qwen3.5 2B lub 4B

Liczba zainstalowanych kart nie oznacza, że każde żądanie używało wszystkich GPU. Testy Qwen3.5 35B i Flash Next korzystały z obu kart w systemie A. Qwen3.6 używał jednej karty. Udana powtórka testu obrazu z Qwen3.5 4B w systemie E korzystała z jednej wybranej karty z puli ośmiu, a dziewiąta karta pozostawała wyłączona z zadań AI.

Podane czasy traktuj jako wyniki łącznej konfiguracji testowanego modelu, runtime’u i systemu. Te przebiegi porównują użyteczne konfiguracje. Nie izolują architektury GPU jako przyczyny różnicy prędkości.

Dwie karty RTX 5060 Ti czynią Qwen3.5 35B moim wyborem do długiego kontekstu

Qwen3.5 35B uzyskał w tych testach największy wynik zachowanego wejścia. Bezpośrednia seria w Ollama zachowała 248 279 tokenów wejściowych przy kontekście runtime’u 262 144 tokenów. Oddzielne strumieniowane żądanie przez bramę zachowało 239 153 tokeny wejściowe, zwróciło znacznik początkowy i zakończyło się normalnie po 31 tokenach wyjściowych w 148,12 s.

Wynik bramy ma znaczenie dla Hermesa, bo żądanie przechodziło przez brokera i LiteLLM. Osobne żądania ukończyły cykl narzędzia, rozpoznały czerwony obraz i zwróciły dwie poprawne odpowiedzi po wysłaniu ich równocześnie. Broker umieścił oba żądania w kolejce. Zamknięcie strumieniowanego żądania zwolniło brokera i wyładowało model w ciągu 60,31 s.

Żądanie Qwen3.5 35B Tokeny wejściowe Tokeny wyjściowe Czas Wynik
Bezpośrednia Ollama, pierwszy etap progresji 69,429 31 38.783 s Dokładny znacznik początkowy
Bezpośrednia Ollama, kontynuacja ze wspólnym prefiksem 124,179 31 28.472 s Dokładny znacznik początkowy
Bezpośrednia Ollama, kontynuacja ze wspólnym prefiksem 182,579 31 38.974 s Dokładny znacznik początkowy
Bezpośrednia Ollama, kontynuacja ze wspólnym prefiksem 248,279 31 54.215 s Dokładny znacznik początkowy
Strumieniowane żądanie brokera 69,427 29 38.872 s Dokładny znacznik początkowy
Strumieniowane żądanie LiteLLM 239,153 31 148.12 s Dokładny znacznik początkowy, clean unload

Kolejne bezpośrednie żądania ponownie wykorzystywały coraz dłuższy wspólny prefiks. Ich czasy opisują kontynuację z ciepłym prefiksem. Wynik 54,215 s nie jest niezależnym, zimnym pomiarem przetwarzania nowego promptu o długości 248K.

W największym bezpośrednim etapie model raportował około 27,3 mld bajtów pamięci zajętej na obu GPU. Szczytowe użycie pamięci na kartach wyniosło 14 964 i 12 386 MiB.

Szczytowe temperatury wyniosły 62 i 63°C. Nie odnotowano błędu OOM ani Xid. W skonfigurowanym kontekście pozostało 13 865 tokenów na kontynuację. Krótka odpowiedź ze znacznikiem zużyła z tego 31 tokenów.

Wybrałbym tę trasę, gdy zachowanie dużego zestawu roboczego jest ważniejsze od najkrótszej pierwszej odpowiedzi. Kontrole narzędzi i obrazu potwierdzają przydatne zachowania agenta, a test długiego wejścia sprawdza jego zachowanie w kontekście. To odrębne zadania.

Qwen3.6 to wariant na jednej karcie

Qwen3.6-35B-A3B UD-Q4_K_XL zachował 131 000 tokenów wejściowych na jednej karcie RTX 5060 Ti. Druga karta pozostawała bezczynna podczas testu. Daje to systemowi przydatną alternatywę, gdy nie chcemy przeznaczać obu kart na jeden model.

Żądanie Qwen3.6 przez bramę Tokeny wejściowe Tokeny wyjściowe Czas Wynik
początkowe długie żądanie 66,007 167.82 s Zachowano znacznik początkowy
dłuższe żądanie 90,000 11 159.92 s Zachowano znacznik początkowy, zero cached input
dłuższe żądanie 119,999 11 250.61 s Zachowano znacznik początkowy, zero cached input
blisko limitu czasu działania 131,000 11 287.09 s Zachowano znacznik początkowy, zero cached input

Żądanie o długości 131 000 tokenów zbliżyło się do limitu runtime’u wynoszącego 131 072 tokeny. Agentowi zostawiłbym więcej miejsca na odpowiedź i kolejne komunikaty narzędzi. Wynik zachowania wejścia blisko limitu stanowi przydatny dowód obsługi danych, ale nie rozsądny domyślny budżet wejściowy.

Użycie narzędzia powiodło się przy wyłączonym trybie myślenia. Domyślny tryb zużył limit próby wynoszący 512 tokenów, zanim wywołał narzędzie. Udany test pilotażowy przeszedł także dla szybkich, strumieniowanych i obrazowych żądań. Początkowy test kontekstu o długości 65 845 tokenów trwał 139,57 s.

Qwen3.8 27B wygrywa porównanie odpowiedzi dla wejścia 66K

Dla tego samego zadania ze znacznikiem o długości 66 007 tokenów w systemie A Qwen3.8 27B zwrócił odpowiedź najszybciej. Zachowałbym tę trasę dla żądań o zbliżonym rozmiarze wejścia, a Qwen3.5 35B dla większego zestawu roboczego.

Trasa systemu A Tokeny wejściowe Czas Wynik
Qwen3.8 27B 66,007 54.64 s Zachowano znacznik początkowy
Qwen3.6-35B-A3B UD-Q4_K_XL 66,007 167.82 s Zachowano znacznik początkowy
Qwen3.8-Flash-Next UD-IQ4_XS 66,007 164.58 s Zachowano znacznik początkowy
Flash Next IQ4 compatibility alias 66,007 213.25 s Znacznik zachowany

Qwen3.8 27B potrzebował około jednej trzeciej czasu porównywalnych żądań Qwen3.6 i Flash Next. Są to obserwacje pełnych żądań w testowanych runtime’ach, a nie porównanie samego sprzętu.

Szybkie odpowiedzi, strumieniowanie i użycie narzędzi także zakończyły się powodzeniem. Tryb bez myślenia odtworzył pełną sekwencję kolorów i cykl narzędzia, a test z myśleniem zwrócił tylko część sekwencji w ramach limitu 512 tokenów.

Flash Next jest mniej atrakcyjnym wyborem domyślnym na tym systemie z powodu presji na pamięć. Pilotaż z 65 847 tokenami przeszedł w 201,41 s przy kontekście runtime’u 98 304. Dwa wcześniejsze profile z kontekstem 131 072 osiągnęły limity pamięci, zanim się uruchomiły.

Późniejsza trasa osiągnęła limit cgroup wynoszący 54 GiB. Do pracy bez nadzoru wybrałbym trasę z większym zapasem pamięci.

Trasa o etykiecie flash-iq2 korzystała z backendu zgodności Flash Next IQ4. Jej nazwa nie wskazuje wyniku IQ2.

RTX 2000E Ada obsługuje długie wejście, ale wybór modelu zmienia czas oczekiwania

Gemma 3 4B to moja preferowana przetestowana trasa długiego wejścia w systemie C. Dwie ścieżki zachowały ponad 84K tokenów wejściowych w około 88 s. Większe modele również przeszły przydatne kontrole zachowania, ale ich żądania trwały kilka minut.

System Model i ścieżka Tokeny wejściowe Czas Wynik
B Qwen3.5 9B, brama 72,265 263 s Oba znaczniki zachowane, późniejsza kontrola wznowienia kopania zaliczona
C Gemma 3 4B, brama 84,044 88.05 s Zachowano znacznik początkowy
C Gemma 3 4B, Aperture 84,045 87.68 s Zachowano znacznik początkowy
C Gemma 4 12B-IT, brama 67,254 263.07 s Zachowano znacznik początkowy
C Gemma 4 12B-IT, Aperture bez strumieniowania 67,255 274.24 s Zachowano znacznik początkowy
C Gemma 4 12B-IT, Aperture ze strumieniowaniem 67,255 282.16 s Zachowano znacznik początkowy
C Qwen3.5 9B, brama 75,648 319.36 s Zachowano znacznik początkowy, model zwolniony z pamięci
C GPT-OSS 20B, brama 84,099 315.83 s Zachowano znacznik początkowy, model zwolniony z pamięci
D Qwen3.5 9B, Aperture 81,051 324.07 s Test zachowania zaliczony na zainstalowanym artefakcie
D Gemma 4 12B-IT, Aperture 72,057 300.67 s Test zachowania zaliczony na zainstalowanym artefakcie
D GPT-OSS 20B, Aperture 72,104 245.94 s Test zachowania zaliczony na zainstalowanym artefakcie

Strumieniowanie nie skróciło długiego wstępnego przetwarzania Gemma 4 w systemie C. Pierwsza treść pojawiła się po 277,49 s, później niż pełna odpowiedź bez strumieniowania, która trwała 274,24 s. Wcześniejsza próba bez strumieniowania przekroczyła limit czasu przed udaną powtórką. Wybrałbym tę trasę do zadań, w których kilkuminutowy początkowy czas przetwarzania jest akceptowalny.

Gemma 3 4B pokazuje też, dlaczego kwalifikację należy ograniczać do każdego testowanego systemu. System D nie odnalazł znacznika początkowego w dwóch próbach przypomnienia przy 65K, w tym w powtórce przy temperaturze zero z 67 252 tokenami wejściowymi. Deterministyczne żądanie zakończyło się normalnie po 62,07 s przy pełnym wykorzystaniu GPU.

Szybkie zakończenie i prawidłowa odpowiedź API nie oznaczały poprawności odpowiedzi. Używałbym udanej trasy z systemu C, a nieudaną trasę systemu D wykluczyłbym z wyboru dla Hermesa.

Tryb myślenia decyduje, czy Qwen3.5 0.8B będzie przydatny

Po wyłączeniu myślenia Qwen3.5 0.8B stał się w systemie C przydatnym kandydatem do wąskich zadań przypominania. Mały model Q8_0 zachował 75 649 tokenów wejściowych przez bramę w 65,92 s. Wynik dotyczy testowanego artefaktu Q8_0 i trasy bez myślenia, a nie starszych konfiguracji z kontekstem 16K pokazanych dalej w tabeli.

Żądanie Qwen3.5 0.8B w systemie C Tokeny wejściowe Tokeny wyjściowe Czas Wynik
Domyślne myślenie, krótka diagnostyka 9,050 3,391 66.56 s Dokładny znacznik początkowy
Myślenie wyłączone, dopasowana diagnostyka 9,055 21 7.65 s Dokładny znacznik początkowy, no reasoning text
Domyślne myślenie, długa próba Limit czasu 600 s Brak ukończonej odpowiedzi
Myślenie wyłączone, natywna Ollama 75,656 22 69.80 s Dokładny znacznik początkowy
Punkt końcowy zgodny z OpenAI bez myślenia 75,646 12 69.09 s Dokładny znacznik początkowy
Broker wymusza tryb bez myślenia 75,647 13 66.83 s Dokładny znacznik początkowy
LiteLLM z systemu A do systemu C 75,649 15 65.92 s Dokładny znacznik początkowy

Czas porównywalnej diagnostyki spadł z 66,56 do 7,65 s, czyli był około 8,7 raza krótszy, a wygenerowany tekst zmniejszył się z 3 391 do 21 tokenów. Dlatego jawnie ustawiałbym tryb rozumowania przy prostych zadaniach ekstrakcji i routingu. Domyślny tryb zużył większość pracy na tekst, którego zadanie nie wymagało.

Krótka próba zgodności z OpenAI nie odnalazła znacznika; powtórka przy temperaturze zero już się powiodła. Udane testy tras używały trybu bez myślenia i naturalnego zakończenia bez limitu wyjścia. Trzy inne bramy przeszły krótkie próby ze znacznikiem w 4,22, 4,37 i 3,85 s. Potwierdzają one routing, a żądanie 75 649 tokenów potwierdza zachowanie długiego wejścia przez bramę.

Przetestowałbym tę trasę do ograniczonego przypominania i ekstrakcji. Do otwartego rozumowania agenta wybrałbym większy model. Odzyskanie jednego syntetycznego znacznika jest węższym zadaniem niż planowanie, programowanie lub koordynowanie kilku narzędzi.

Systemy RTX 3060 Ti i RTX 3070 sprzyjają Qwen3.5 2B i 4B

Qwen3.5 2B i 4B to moje praktyczne modele startowe dla kart 8 GB. Żądania tekstowe z kontekstem w systemach E, F i G przeszły z 65 579 tokenami wejściowymi i trwały od 30,343 do 93,753 s. Testowane trasy 4B przeszły też kontrole narzędzi, strumieniowania i obrazu.

Powtórka testu kontekstu obrazu 4B w systemie E zachowała oba znaczniki i kolejność kolorów na obrazie przy 65 637 tokenach wejściowych w 44,88 s. Przeszły też żądania z kolorami w kolejności normalnej i odwróconej. Powtórka użyła jednej sprawnej karty po tym, jak inna zgłosiła błąd połączenia Xid 79 i system został uruchomiony ponownie.

System Kontekst tekstowy Qwen3.5 2B Kontekst tekstowy Qwen3.5 4B Kontekst obrazu Qwen3.5 4B
E, RTX 3060 Ti pool 65,579 tokens, 30.343 s 65,579 tokens, 53.787 s 65,637 tokens, 44.88 s
F, RTX 3060 Ti pool 65,579 tokens, 61.282 s 65,579 tokens, 93.753 s 65,635 tokens, 84.749 s
G, RTX 3070 pool 65,579 tokens, 76.731 s 65,579 tokens, 90.807 s 65,635 tokens, 87.496 s

Każdy z tych systemów zarejestrował 29 zaliczonych kontroli. Różnice czasów między dwoma systemami RTX 3060 Ti pokazują też, dlaczego wybierałbym testowany profil systemu, zamiast szeregować karty na podstawie czasu tych żądań.

Po oknie inferencji wszystkie siedem systemów wróciło do kopania. Oddzielny test odzyskiwania po zatrzymaniu systemu B przeszedł z nowymi zaakceptowanymi udziałami. Wadliwa karta w systemie E wróciła później do kopania po restarcie i wzmocnieniu łącza PCIe, ale pozostała wykluczona z puli AI. Przywrócenie kopania pod koniec okna testowego to odrębny wynik od automatycznego przekazania po pojedynczym żądaniu inferencji.

Załadowanie modelu nie oznacza jego kwalifikacji

Wykluczyłbym DeepSeek Coder V2 16B z testowanych wariantów Hermesa dla 65K. Próba z pamięcią podręczną f16 zachowała 50 477 tokenów wejściowych, ale test dla celu 65K osiągnął zabezpieczenie VRAM. Alternatywne pamięci Q4 i Q8 załadowały wagi na GPU, a następnie trafiły na limity pamięci hosta lub słabą przepustowość długich promptów.

Profil cache DeepSeek Coder V2 Kontekst runtime’u Zaobserwowany wynik Moja ocena
f16 81,920 odzyskiwanie 50 477 tokenów zakończone powodzeniem, zbyt duże żądanie odrzucone Przydatny wynik dla krótszego kontekstu
f16 73,728 Prefill dla celu 65K zatrzymał się przy użyciu 15 802 MiB GPU Nie kwalifikuje się do 65K
Q4_0 98,304 Długi prefill spadł do 96,72 tokena/s przed kontrolowanym zatrzymaniem Słabe dopasowanie do tego zadania
Q8_0 77,824 Długi prefill spadł do 120,12 tokena/s przed kontrolowanym zatrzymaniem Słabe dopasowanie do tego zadania
Q4_0 / Q8_0, larger profiles 163,840 / 98,304 Zabezpieczenia pamięci hosta zatrzymały próby Dopasowanie pamięci należy oceniać dla całego systemu

Praktyczna lekcja: testuj żądanie, które zamierzasz wysłać. Zajętość GPU, krótka odpowiedź i duży skonfigurowany kontekst nie potwierdzają zachowania długiego wejścia przy użytecznym opóźnieniu.

Granite 4.2 8B i GPT-OSS 20B poprawiły wyniki po dalszych pracach nad trasą w systemie A. Trasa Granite Q6_K zachowała 66 082 tokeny wejściowe w 88,636 s, bez tokenów z pamięci podręcznej. GPT-OSS ukończył cykl narzędzia po poprawce brokera; wywołanie trwało 9,854 s, a dalsze żądanie 9,849 s. Te udane kontrole tras oddzielam od wcześniejszych niekompletnych prób.

Pełne wyniki benchmarku

Tabela zawiera 295 kontroli dla 59 kombinacji modeli i systemów. Macierz wykazuje 273 zaliczone kontrole, jeden nieudany test przypomnienia oraz siedem wyników niekompletnych, niespójnych lub niezgodnych. Czternaście kontroli leży poza zakresem kwalifikacji 65K. Każdy wiersz pokazuje zmierzony wynik.

Moje rekomendacje dotyczą tras i zadań, które przeszły testy. Nieudany lub niekompletny wiersz nie kwalifikuje danego zachowania.

Zaliczone testy krótkiego kontekstu i embeddingów dotyczą własnych zadań. Zaliczenie kontekstu 16K lub 32K nie kwalifikuje trasy do zadania Hermesa z 65 536 tokenami wejściowymi. Nazwy modeli są tutaj etykietami tras. Etykieta flash-iq2 używała backendu zgodności IQ4.

Wiersz kontekstu Qwen3.5 35B dla systemu A odpowiada ostatniemu etapowi serii ze wspólnym prefiksem opisanej wyżej. Czasy narzędzi zapisane ze znakiem plus pokazują osobno wywołanie i dalsze żądanie.

Wiersz współbieżności podaje czasy dwóch żądań umieszczonych w kolejce. Wiersz anulowania pokazuje czas zwolnienia po zamknięciu strumienia przez klienta. Dodatkowe serie kontekstu i porównania tras Qwen3.5 0.8B mają własne tabele powyżej.

System A

Etykieta trasy modelu Test Wynik Tokeny wejściowe Czas żądania
bonsai-2-27b context Zaliczone 65,621 88.746 s
bonsai-2-27b quick Zaliczone 57 6.429 s
bonsai-2-27b stream Zaliczone 9.371 s
bonsai-2-27b tools Zaliczone 10.478 s
deepseek-coder-v2:16b context Niezgodne 50,477
deepseek-coder-v2:16b quick Zaliczone 77 43.239 s
flash-iq2 context Zaliczone 66,007 213.25 s
flash-iq2 quick Zaliczone 56.03 s
flash-iq2 stream Zaliczone 1.35 s
flash-iq2 tools Zaliczone 16.55 s
gemma-4-12b-it context Zaliczone 65,590 51.225 s
gemma-4-12b-it quick Zaliczone 21 5.166 s
gemma-4-12b-it stream Zaliczone 4.653 s
gemma-4-12b-it tools Zaliczone 18.72 s
gemma-4-12b-it vision Zaliczone 115 7.222 s
gemma-4-12b-it vision_context Zaliczone 65,685 56.06 s
gemma-4-12b-it vision_reverse Zaliczone 115 7.467 s
gemma-4-e4b-it context Zaliczone 65,590 21.889 s
gemma-4-e4b-it quick Zaliczone 21 17.919 s
gemma-4-e4b-it stream Zaliczone 4.25 s
gemma-4-e4b-it tools Zaliczone 8.734 s
gpt-oss-20b context Zaliczone 65,637 159.155 s
gpt-oss-20b quick Zaliczone 73 10.548 s
gpt-oss-20b stream Zaliczone 20.594 s
gpt-oss-20b tools Zaliczone 9.854 + 9.849 s
granite-4.2-3b context Zaliczone 65,589 70.968 s
granite-4.2-3b quick Zaliczone 20 4.009 s
granite-4.2-3b stream Zaliczone 5.365 s
granite-4.2-3b tools Zaliczone 6.086 s
granite-4.2-8b context Zaliczone 66,082 88.636 s
granite-4.2-8b quick Zaliczone 20 5.857 s
granite-4.2-8b stream Zaliczone 11.826 s
granite-4.2-8b tools Zaliczone 11.852 s
qwen27b context Zaliczone 66,007 54.64 s
qwen27b quick Zaliczone 57 31.5 s
qwen27b stream Zaliczone 0.92 s
qwen27b tools Zaliczone 4.25 s
qwen3-embedding-0.6b context Zaliczone 32,767 7.736 s
qwen3-embedding-0.6b quick Zaliczone 14 2.125 s
qwen3.5-0.8b context Zaliczone 16,429 10.5 s
qwen3.5-0.8b quick Zaliczone 17 14.316 s
qwen3.5-0.8b stream Zaliczone 2.125 s
qwen3.5-0.8b tools Zaliczone 4.416 s
qwen3.5-2b context Zaliczone 65,581 11.175 s
qwen3.5-2b quick Zaliczone 17 4.519 s
qwen3.5-2b stream Zaliczone 3.736 s
qwen3.5-2b tools Zaliczone 5.046 s
qwen3.5-4b context Zaliczone 65,579 36.451 s
qwen3.5-4b quick Zaliczone 15 19.935 s
qwen3.5-4b stream Zaliczone 17.496 s
qwen3.5-4b tools Zaliczone 7.308 s
qwen3.5-4b vision Zaliczone 70 7.848 s
qwen3.5-4b vision_context Zaliczone 65,635 28.24 s
qwen3.5-4b vision_reverse Zaliczone 70 4.386 s
qwen3.5-9b context Zaliczone 65,581 34.139 s
qwen3.5-9b quick Zaliczone 17 3.88 s
qwen3.5-9b stream Zaliczone 3.378 s
qwen3.5-9b tools Zaliczone 10.204 s
qwen3.5-9b vision Zaliczone 72 4.441 s
qwen3.5-9b vision_context Zaliczone 65,637 33.745 s
qwen3.5-9b vision_reverse Zaliczone 72 3.97 s
qwen3.5:35b-a3b-q4_K_M cancellation Zaliczone 60.31 s
qwen3.5:35b-a3b-q4_K_M concurrency Zaliczone 26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_M context Zaliczone 248,279 54.215 s
qwen3.5:35b-a3b-q4_K_M gateway Zaliczone 239,153 148.12 s
qwen3.5:35b-a3b-q4_K_M quick Zaliczone 79 10.08 s
qwen3.5:35b-a3b-q4_K_M stream Zaliczone 69,429 38.783 s
qwen3.5:35b-a3b-q4_K_M tools Zaliczone 15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_M vision Zaliczone 18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XL context Zaliczone 65,845 139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XL quick Zaliczone 15 3.97 s
Qwen3.6-35B-A3B UD-Q4_K_XL stream Zaliczone 0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XL tools Zaliczone 293 5.48 s
Qwen3.6-35B-A3B UD-Q4_K_XL vision Zaliczone 38 0.59 s
Qwen3.8-Flash-Next UD-IQ4_XS context Zaliczone 65,847 201.41 s
Qwen3.8-Flash-Next UD-IQ4_XS quick Zaliczone 17 54.62 s
Qwen3.8-Flash-Next UD-IQ4_XS stream Zaliczone 1.2 s
Qwen3.8-Flash-Next UD-IQ4_XS tools Zaliczone 22.18 s
Qwen3.8-Flash-Next UD-IQ4_XS vision Zaliczone 3.86 s

System B

Etykieta trasy modelu Test Wynik Tokeny wejściowe Czas żądania
gemma-4-12b-it context Zaliczone 65,590 299.163 s
gemma-4-12b-it quick Zaliczone 21 15.261 s
gemma-4-12b-it stream Zaliczone 148.792 s
gemma-4-12b-it tools Zaliczone 34.124 s
gemma-4-12b-it vision Zaliczone 120 61.455 s
gemma-4-12b-it vision_context Zaliczone 65,690 295.581 s
gemma-4-12b-it vision_reverse Zaliczone 120 32.511 s
gemma3-4b context Zaliczone 65,584 67.382 s
gemma3-4b quick Zaliczone 15 6.329 s
gemma3-4b stream Zaliczone 24.138 s
gemma3-4b vision Zaliczone 306 7.018 s
gemma3-4b vision_context Zaliczone 65,876 70.912 s
gemma3-4b vision_reverse Zaliczone 306 5.762 s
gpt-oss-20b context Zaliczone 65,637 206.767 s
gpt-oss-20b quick Zaliczone 72 16.583 s
gpt-oss-20b stream Zaliczone 32.075 s
gpt-oss-20b tools Zaliczone 28.102 s
nomic-embed-text context Niekompletne 2,048
nomic-embed-text quick Zaliczone 7.117 s
qwen3-14b context Niekompletne 1800.09 s
qwen3-14b quick Zaliczone 15 37.199 s
qwen3-14b stream Zaliczone 35.471 s
qwen3-14b tools Zaliczone 87.554 s
qwen3-8b context Poza zakresem 65K, wykluczone
qwen3-8b quick Poza zakresem 65K, zaliczone 15 21.059 s
qwen3-8b stream Poza zakresem 65K, wykluczone
qwen3-8b tools Poza zakresem 65K, wykluczone
qwen3.5-9b context Zaliczone 65,579 282.796 s
qwen3.5-9b litellm_long_route Zaliczone 72,265 263 s
qwen3.5-9b post_external_stop_mining Zaliczone
qwen3.5-9b quick Zaliczone 15 25.881 s
qwen3.5-9b stream Zaliczone 143.44 s
qwen3.5-9b tools Zaliczone 31.812 s
qwen3.5-9b vision Zaliczone 75 32.015 s
qwen3.5-9b vision_context Zaliczone 65,640 396.288 s
qwen3.5-9b vision_reverse Zaliczone 75 28.626 s

System C

Etykieta trasy modelu Test Wynik Tokeny wejściowe Czas żądania
gemma-4-12b-it aperture_context Zaliczone 67,255 274.24 s
gemma-4-12b-it aperture_short Zaliczone 35 39.32 s
gemma-4-12b-it aperture_stream_context Zaliczone 67,255 282.16 s
gemma-4-12b-it context Zaliczone 65,670 313.661 s
gemma-4-12b-it gateway_context Zaliczone 67,254 263.07 s
gemma-4-12b-it gateway_short Zaliczone 27 20.98 s
gemma-4-12b-it quick Zaliczone 21 16.447 s
gemma-4-12b-it stream Zaliczone 15.175 s
gemma-4-12b-it tools Zaliczone 37.821 s
gemma-4-12b-it vision Zaliczone 120 58.52 s
gemma-4-12b-it vision_context Zaliczone 65,690 308.759 s
gemma-4-12b-it vision_reverse Zaliczone 120 31.25 s
gemma3-4b aperture_context Zaliczone 84,045 87.68 s
gemma3-4b aperture_after_system_d_route_change Zaliczone 24 5.42 s
gemma3-4b aperture_short Zaliczone 22 5.45 s
gemma3-4b aperture_stream Zaliczone 3.72 s
gemma3-4b context Zaliczone 65,664 67.543 s
gemma3-4b gateway_context Zaliczone 84,044 88.05 s
gemma3-4b gateway_short_via_system_a Zaliczone 3.16 s
gemma3-4b gateway_short_via_system_e Zaliczone
gemma3-4b gateway_short_via_system_f Zaliczone 4.15 s
gemma3-4b gateway_short_via_system_g Zaliczone 6.06 s
gemma3-4b quick Zaliczone 15 5.163 s
gemma3-4b stream Zaliczone 24.691 s
gemma3-4b vision Zaliczone 306 7.318 s
gemma3-4b vision_context Zaliczone 65,876 72.476 s
gemma3-4b vision_reverse Zaliczone 306 5.831 s
gpt-oss-20b context Zaliczone 65,716 216.594 s
gpt-oss-20b gateway_context Zaliczone 84,099 315.83 s
gpt-oss-20b gateway_short Niespójne
gpt-oss-20b quick Zaliczone 72 21.603 s
gpt-oss-20b stream Zaliczone 31.957 s
gpt-oss-20b tools Zaliczone 26.096 s
nomic-embed-text context Poza zakresem 65K, niekompletne 2,048
nomic-embed-text quick Poza zakresem 65K, zaliczone 4.178 s
qwen3-14b context Poza zakresem 65K, niekompletne 1800.06 s
qwen3-14b quick Poza zakresem 65K, zaliczone 15 35.809 s
qwen3-14b stream Poza zakresem 65K, zaliczone 35.43 s
qwen3-14b tools Poza zakresem 65K, zaliczone 87.723 s
qwen3-8b context Poza zakresem 65K, wykluczone
qwen3-8b quick Poza zakresem 65K, zaliczone 15 21.293 s
qwen3-8b stream Poza zakresem 65K, niekompletne 900.01 s
qwen3-8b tools Poza zakresem 65K, wykluczone
qwen3.5-9b context Zaliczone 65,662 287.984 s
qwen3.5-9b gateway_context Zaliczone 75,648 319.36 s
qwen3.5-9b gateway_short Zaliczone 21 72.14 s
qwen3.5-9b quick Zaliczone 15 24.635 s
qwen3.5-9b stream Zaliczone 143.157 s
qwen3.5-9b tools Zaliczone 30.395 s
qwen3.5-9b vision Zaliczone 75 27.756 s
qwen3.5-9b vision_context Zaliczone 65,640 398.797 s
qwen3.5-9b vision_reverse Zaliczone 75 28.645 s

System D

Etykieta trasy modelu Test Wynik Tokeny wejściowe Czas żądania
gemma-4-12b-it context Zaliczone 65,590 275.395 s
gemma-4-12b-it exact_digest_aperture_65k Zaliczone 72,057 300.67 s
gemma-4-12b-it exact_digest_broker_short Zaliczone 34 30.74 s
gemma-4-12b-it quick Zaliczone 21 15.05 s
gemma-4-12b-it stream Zaliczone 14.722 s
gemma-4-12b-it tools Zaliczone 33.869 s
gemma-4-12b-it vision Zaliczone 120 56.315 s
gemma-4-12b-it vision_context Zaliczone 65,690 282.174 s
gemma-4-12b-it vision_reverse Zaliczone 120 29.978 s
gemma3-4b context Zaliczone 65,584 63.564 s
gemma3-4b exact_digest_65k_recall Nieudane 67,252 62.07 s
gemma3-4b quick Zaliczone 15 5.151 s
gemma3-4b stream Zaliczone 22.552 s
gemma3-4b vision Zaliczone 306 8.276 s
gemma3-4b vision_context Zaliczone 65,876 67.575 s
gemma3-4b vision_reverse Zaliczone 306 5.651 s
gpt-oss-20b context Zaliczone 65,637 189.07 s
gpt-oss-20b exact_digest_aperture_65k Zaliczone 72,104 245.94 s
gpt-oss-20b exact_digest_broker_short Zaliczone 84 15.96 s
gpt-oss-20b quick Zaliczone 72 15.431 s
gpt-oss-20b stream Zaliczone 31.052 s
gpt-oss-20b tools Zaliczone 23.65 s
nomic-embed-text context Niekompletne 2,048
nomic-embed-text quick Zaliczone 2.798 s
qwen3-14b context Niekompletne 40,939 872.209 s
qwen3-14b quick Zaliczone 15 36.021 s
qwen3-14b stream Zaliczone 33.491 s
qwen3-14b tools Zaliczone 82.471 s
qwen3-8b context Niekompletne 1800.07 s
qwen3-8b quick Zaliczone 15 19.283 s
qwen3-8b stream Zaliczone 19.401 s
qwen3-8b tools Zaliczone 65.054 s
qwen3.5-9b context Zaliczone 65,579 258.048 s
qwen3.5-9b exact_digest_aperture_65k Zaliczone 81,051 324.07 s
qwen3.5-9b exact_digest_broker_short Zaliczone 29 94.48 s
qwen3.5-9b quick Zaliczone 15 27.16 s
qwen3.5-9b stream Zaliczone 28.62 s
qwen3.5-9b tools Zaliczone 28.129 s
qwen3.5-9b vision Zaliczone 75 25.047 s
qwen3.5-9b vision_context Zaliczone 65,640 369.477 s
qwen3.5-9b vision_reverse Zaliczone 75 27.602 s

System E

Etykieta trasy modelu Test Wynik Tokeny wejściowe Czas żądania
gemma-4-e4b-it context Zaliczone 65,590 49.086 s
gemma-4-e4b-it quick Zaliczone 21 23.911 s
gemma-4-e4b-it stream Zaliczone 28.136 s
gemma-4-e4b-it tools Zaliczone 56.756 s
granite-4.0-h-tiny context Zaliczone 65,566
granite-4.0-h-tiny quick Zaliczone 35 10.408 s
granite-4.0-h-tiny stream Zaliczone 27.798 s
granite-4.0-h-tiny tools Zaliczone 43.304 s
granite-4.2-3b context Zaliczone 65,589 1014.03 s
granite-4.2-3b quick Zaliczone 20 14.569 s
granite-4.2-3b stream Zaliczone 6.948 s
granite-4.2-3b tools Zaliczone 56.376 s
qwen3-embedding-0.6b context Zaliczone 32,767 20.387 s
qwen3-embedding-0.6b quick Zaliczone 14 9.592 s
qwen3.5-0.8b context Zaliczone 16,429 9.128 s
qwen3.5-0.8b quick Zaliczone 17 452.417 s
qwen3.5-0.8b stream Zaliczone 11.163 s
qwen3.5-0.8b tools Zaliczone 39.214 s
qwen3.5-2b context Zaliczone 65,579 30.343 s
qwen3.5-2b quick Zaliczone 15 12.509 s
qwen3.5-2b stream Zaliczone 26.165 s
qwen3.5-2b tools Zaliczone 42.056 s
qwen3.5-4b context Zaliczone 65,579 53.787 s
qwen3.5-4b quick Zaliczone 15 26.736 s
qwen3.5-4b stream Zaliczone 26.02 s
qwen3.5-4b tools Zaliczone 57.293 s
qwen3.5-4b vision Zaliczone 72 10.09 s
qwen3.5-4b vision_context Zaliczone 65,637 44.88 s
qwen3.5-4b vision_reverse Zaliczone 72 9.96 s

System F

Etykieta trasy modelu Test Wynik Tokeny wejściowe Czas żądania
gemma-4-e4b-it context Zaliczone 65,590 98.443 s
gemma-4-e4b-it quick Zaliczone 21 27.51 s
gemma-4-e4b-it stream Zaliczone 28.042 s
gemma-4-e4b-it tools Zaliczone 73.891 s
granite-4.0-h-tiny context Zaliczone 65,599 19.692 s
granite-4.0-h-tiny quick Zaliczone 35 43.818 s
granite-4.0-h-tiny stream Zaliczone 27.296 s
granite-4.0-h-tiny tools Zaliczone 75.377 s
granite-4.2-3b context Zaliczone 65,589 145.179 s
granite-4.2-3b quick Zaliczone 20 15.703 s
granite-4.2-3b stream Zaliczone 35.482 s
granite-4.2-3b tools Zaliczone 52.539 s
qwen3-embedding-0.6b context Zaliczone 32,767 20.656 s
qwen3-embedding-0.6b quick Zaliczone 14 8.122 s
qwen3.5-0.8b context Zaliczone 16,429 13.326 s
qwen3.5-0.8b quick Zaliczone 17 445.22 s
qwen3.5-0.8b stream Zaliczone 13.266 s
qwen3.5-0.8b tools Zaliczone 40.825 s
qwen3.5-2b context Zaliczone 65,579 61.282 s
qwen3.5-2b quick Zaliczone 15 16.738 s
qwen3.5-2b stream Zaliczone 25.29 s
qwen3.5-2b tools Zaliczone 47.444 s
qwen3.5-4b context Zaliczone 65,579 93.753 s
qwen3.5-4b quick Zaliczone 15 33.039 s
qwen3.5-4b stream Zaliczone 25.658 s
qwen3.5-4b tools Zaliczone 71.731 s
qwen3.5-4b vision Zaliczone 70 43.053 s
qwen3.5-4b vision_context Zaliczone 65,635 84.749 s
qwen3.5-4b vision_reverse Zaliczone 70 27.518 s

System G

Etykieta trasy modelu Test Wynik Tokeny wejściowe Czas żądania
gemma-4-e4b-it context Zaliczone 65,590 92.696 s
gemma-4-e4b-it quick Zaliczone 21 38.329 s
gemma-4-e4b-it stream Zaliczone 43.549 s
gemma-4-e4b-it tools Zaliczone 66.616 s
granite-4.0-h-tiny context Zaliczone 65,599 69.777 s
granite-4.0-h-tiny quick Zaliczone 35 33.17 s
granite-4.0-h-tiny stream Zaliczone 31.751 s
granite-4.0-h-tiny tools Zaliczone 63.338 s
granite-4.2-3b context Zaliczone 65,589 100.849 s
granite-4.2-3b quick Zaliczone 20 23.355 s
granite-4.2-3b stream Zaliczone 28.75 s
granite-4.2-3b tools Zaliczone 44.226 s
qwen3-embedding-0.6b context Zaliczone 32,767 23.055 s
qwen3-embedding-0.6b quick Zaliczone 14 8.924 s
qwen3.5-0.8b context Zaliczone 16,429 16.74 s
qwen3.5-0.8b quick Zaliczone 17 504.813 s
qwen3.5-0.8b stream Zaliczone 15.095 s
qwen3.5-0.8b tools Zaliczone 36.672 s
qwen3.5-2b context Zaliczone 65,579 76.731 s
qwen3.5-2b quick Zaliczone 15 20.949 s
qwen3.5-2b stream Zaliczone 25.194 s
qwen3.5-2b tools Zaliczone 37.552 s
qwen3.5-4b context Zaliczone 65,579 90.807 s
qwen3.5-4b quick Zaliczone 15 41.84 s
qwen3.5-4b stream Zaliczone 40.812 s
qwen3.5-4b tools Zaliczone 54.999 s
qwen3.5-4b vision Zaliczone 70 29.619 s
qwen3.5-4b vision_context Zaliczone 65,635 87.496 s
qwen3.5-4b vision_reverse Zaliczone 70 26.283 s

Jak sprawdzałem przydatność Hermesa

Użyłem syntetycznego znacznika blisko początku długiego promptu i po tekście wypełniającym poprosiłem o jego zwrot. Odpowiedź musiała zawierać oczekiwaną wartość. Rozmiar żądania określały tokeny wejściowe raportowane przez serwer. Model, który po dużym promptcie odpowiadał poprawnie na inne pytania, nadal oblewał test, jeśli pomylił znacznik początkowy.

Seria Qwen3.5 35B używała numerowanych rekordów wypełniających, temperatury 0 i rosnącej liczby rekordów: 3 800, 6 800, 10 000 i 13 600. Etapy zwróciły 69 429, 124 179, 182 579 i 248 279 tokenów promptu. Model pozostawał załadowany między etapami, co pozwoliło ponownie wykorzystać prefiks. Oddzielne testy Qwen3.6 blisko limitu wykazały zero tokenów z pamięci podręcznej.

Długi prompt dla 0.8B powtarzał river stone lantern orchard circuit velvet compass marble 8 400 razy między początkowym kluczem odpowiedzi a końcowym pytaniem o przypomnienie. Natywna próba używała think:false, num_ctx:131072, stream:false i keep_alive:0. Trasa zgodna z OpenAI używała reasoning_effort:"none". Broker wymuszał tryb bez myślenia, więc klienci bramy nie musieli nadpisywać tej opcji.

Kontrole narzędzi, obrazu i zwalniania zasobów

Testy narzędzi sprawdzały żądanie oraz odpowiedź po otrzymaniu wyniku narzędzia. W prostym teście użyłem add_numbers(7, 11) i oczekiwałem wyniku 18. Test Qwen3.5 35B używał lookup_square i oczekiwał 49. GPT-OSS wykonywał zapytanie o stan magazynu i musiał uwzględnić zwrócony wynik.

Testy obrazu używały pytań o czerwony i niebieski obraz, odwróconej kolejności oraz długich promptów z kolorami i znacznikami początkowym i końcowym. Test Qwen3.5 35B użył czerwonego PNG 256 × 256. Przed powodzeniem żądania broker wymagał poprawki konwersji zawartości obrazu. Długi test obrazu 4B w systemie E wymagał zachowania obu znaczników oraz kolejności kolorów wejściowych.

Podczas długich testów sprawdzałem pamięć GPU, rezydencję modelu, temperatury, presję na pamięć hosta, zdarzenia OOM i błędy GPU. Zabezpieczenie Qwen3.5 35B sprawdzało też zwolnienie modelu po kontrolowanym przerwaniu. Późniejsze testy anulowania przez klienta i żądań w kolejce obejmowały trasę przez brokera. Dwa żądania w kolejce potwierdzają ich obsługę przy testowanym obciążeniu, a nie istnienie dwóch niezależnych, równoczesnych backendów GPU.

Interpretacja wyników wydajności

Czasy żądań obejmują wstępne przetwarzanie długiego wejścia i zwróconą odpowiedź. Nie oznaczają liczby generowanych tokenów na sekundę. Przy strumieniowaniu liczy się czas do pierwszej treści, a serie z pamięcią podręczną prefiksu należy interpretować osobno.

Udane testy większych modeli w systemach A i C korzystały z dedykowanych okien inferencji, podczas których kopanie było wyłączone. Po żądaniu modele zostały wyładowane. Kopanie przywrócono na wszystkich siedmiu systemach pod koniec okna testowego. Wyniki opisują usługę modelu w czasie inferencji, nie jednoczesne kopanie i inferencję.

Profile backendów użyte w testach

Wybierz profil odpowiadający zadaniu, które chcesz odtworzyć. Kwantyzacja, kontekst runtime’u, rodzaj pamięci podręcznej, tryb rozumowania i rozmieszczenie GPU wpływają na wynik.

System i model Testowany profil backendu
A, Qwen3.5 35B-A3B Q4_K_M Ollama 0.34.2, pamięć KV f16, dwie karty RTX 5060 Ti po 16 GB, 64 GiB pamięci hosta i kontekst runtime 262 144 dla dużej progresji. Żądania natywne używały think:false, temperatury 0, strumieniowania i pięciominutowego keep-alive między etapami. Żądania bramy korzystały z brokera i LiteLLM. Bez limitu wyjścia żądania.
A, Qwen3.8 27B llama.cpp na żądanie przez broker i LiteLLM, kontekst runtime 262 144, jedno miejsce inferencji, pamięć podręczna Q4 K/V i obie karty RTX 5060 Ti. Żądanie 66 007 tokenów nie miało limitu wyjścia.
A, Qwen3.6-35B-A3B UD-Q4_K_XL Strata 0.1.48, kontekst 131 072, pamięć KV INT8, jedna wybrana GPU, limit pamięci grupy procesów 55 GiB, limit runtime 30 minut, leniwe ładowanie i wyładowanie po 60 sekundach bezczynności. Długa odpowiedź w pilotażu: 217 tokenów wyjściowych. Odpowiedź bramy blisko limitu: 11 tokenów wyjściowych, bez limitu wyjścia żądania.
A, Qwen3.8-Flash-Next UD-IQ4_XS Strata 0.1.48, kontekst 98 304, pamięć KV Q4, rezydentna pamięć ekspertów 8 GiB i obie karty RTX 5060 Ti. Limit pamięci pilotażu: 52 GiB, późniejszej trasy: 54 GiB. Długa odpowiedź pilotażu: 10 tokenów wyjściowych. Wcześniejsze kombinacje większego kontekstu i pamięci podręcznej zatrzymały się na limitach pamięci.
A, Granite 4.2 8B Wagi GGUF Q6_K, wspólny proces roboczy llama.cpp, kontekst 131 072, pamięć Q4_0 K/V, --n-predict -1. Długie żądanie używało temperatury 0, strumieniowania i nie miało limitu wyjścia.
A, DeepSeek Coder V2 16B Wagi GGUF Q4_0, Ollama 0.34.2, dwie karty RTX 5060 Ti i 64 GiB pamięci hosta. Osobne próby pamięci f16, Q4_0 i Q8_0 używały kontekstów runtime pokazanych w tabeli. Bez limitu wyjścia żądania.
B, C, D, audytowana usługa Ollama Ollama 0.34.2, kontekst 131 072, równoległość 1, jeden załadowany model, kolejka 128, keep-alive 0, Flash Attention, pamięć KV Q4_0.
B, test pilotażowy bramy Qwen3.5 9B Limit czasu trasy LiteLLM: 1 800 sekund, zero ponowień, bez limitu kontekstu ani tokenów wyjściowych. Oba znaczniki zachowano przy 72 265 tokenach wejściowych. Osobna kontrola wznowienia kopania zaliczona.
C, Qwen3.5 0.8B Wagi Q8_0 na jednej RTX 2000E Ada z profilem mocy 30 W. Kontekst runtime 131 072. Natywne think:false, zgodne z OpenAI reasoning_effort:"none", bez limitu wyjścia. Alias brokera przypiął kontekst runtime i wymusił tryb bez myślenia.
C, Gemma 4 12B-IT Profil Ollama na jednej GPU, kontekst runtime 131 072, strumieniowane i niestrumieniowane żądania Aperture bez limitu wyjścia. Bezpośredni przebieg Aperture osiągnął 75°C i 30,64 W przy skonfigurowanym profilu 30 W, a następnie wyładował model.
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20B Dokładne zainstalowane artefakty przetestowane przez Aperture, kontekst runtime 131 072, pełna rezydencja na jednej GPU i naturalne zakończenie bez limitu wyjścia żądania.
E, F, G, procesy obsługi czatu llama.cpp Build 11669, 99 warstw GPU, równoległość 1, Flash Attention, pamięć Q4_0 K/V, --n-predict -1. Kontekst runtime różnił się w zależności od rodziny modelu.

Zapisane profile usług opisują własne konfiguracje runtime’u. Oddzielnie testowany profil Qwen3.5 35B z pamięcią f16 w systemie A nie dziedziczy ustawień cache Q4_0 z mniejszych systemów Ollama.

Odciski modeli w nowych testach zachowania wejścia

Te identyfikatory modeli odróżniają testowane artefakty od innych pobrań lub aliasów o podobnych nazwach.

Artefakt Kwantyzacja Zapisany digest lub SHA-256 pliku
Qwen3.5 35B-A3B Ollama tag Q4_K_M 72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Qwen3.5 0.8B base Ollama tag Q8_0 de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Granite 4.2 8B GGUF file Q6_K 5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Digesty manifestu Ollama i sumy SHA-256 plików wag identyfikują różne obiekty. Dopasuj identyfikator do rodzaju artefaktu w tabeli.

Moje rekomendacje dla Hermesa

Główną trasą wysokiego kontekstu uczyniłbym Qwen3.5 35B na systemie z dwiema kartami RTX 5060 Ti. Wynik zachowania 239 153 tokenów przez bramę, osobne zaliczone testy narzędzia i obrazu oraz potwierdzone zwalnianie żądania przemawiają za nim mocniej niż za modelem reklamującym duże okno kontekstu. Qwen3.8 27B zachowałbym do szybszych odpowiedzi przy 66K, a Qwen3.6 na wypadek, gdy ważna jest praca na jednej karcie.

W systemach RTX 2000E Ada wybrałbym zweryfikowaną trasę Gemma 3 4B z systemu C do zadań długiego wejścia i odpowiedzi. Trasę Qwen3.5 0.8B bez myślenia przetestowałbym przy wąskich zadaniach przypomnienia i ekstrakcji. Większe trasy Gemma, Qwen i GPT-OSS pasują do zadań, w których akceptujemy pierwszą odpowiedź po czterech lub pięciu minutach. Wykluczyłbym nieudaną trasę Gemma 3 z systemu D.

Na kartach RTX 3060 Ti i RTX 3070 z 8 GB zacząłbym od Qwen3.5 2B lub 4B. Wyniki tekstowe 65K i testy obrazu 4B uzasadniają użyteczną konfigurację początkową bez angażowania dwóch kart 16 GB do każdego żądania. Presja pamięci Flash Next oraz niepełne zachowanie DeepSeek Coder V2 przy 65K czynią je gorszymi ustawieniami domyślnymi w testowanych profilach.

Testy wspierają wybór tych modeli i systemów do konkretnych zadań. Zachowanie wejścia, poprawny cykl narzędzia, rozpoznawanie obrazu i prawidłowe zwalnianie zasobów odpowiadają na różne aspekty przydatności Hermesa. Niezawodna konfiguracja musi obsługiwać zachowania używane przez agenta i pozostawiać dość kontekstu na odpowiedź oraz ruch narzędzi.

Źródła i powiązane materiały