KamoCRM

Chạy IBM Granite 4.0 H-Tiny tại vị trí của qwen3:4b, trên 16 lõi

FeatureKlusterServices
Name
lúc 04:36 28 tháng 9, 2026 UTC
Tác giả
Kamo
Cam kết
8f24b41

Chủ sở hữu yêu cầu một mô hình địa phương mà chạy đáng kể tốt hơn trên k3m1 AVX2- only Xons (2026-09-27, đang cai trị SP01-LM-graite4). đá hoa cương4:tiny-h là một Tổng cộng 7B, ~1B hoạt động: nhiều lần qwen3:4b Nhanh chóng và đáp ứng tốc độ trên CPU, công cụ bản địa gọi điện, và không có suy nghĩ vượt qua. - Hậu sao kéo đá hoa cương4:tiny-h; - Vi tính giới hạn 8 -> 16 (LAMA ARG THADS theo nó), yêu cầu 2 -> 4; - OLAMA CONTT LENGT 8192 -> 16384 (các bước đặc vụ chạy 3-5k Bộ nhớ ở lại 8Gi.

Mọi thay đổi

Như những gì anh thấy vận chuyển?

Tất cả những thứ đó đều đến trong không gian làm việc của anh. Bắt đầu với kế hoạch miễn phí và đọc lại trang này trong một tháng.

Bắt đầu tự do mãi mãiXem truy cập