Qwen3 : 4b, 16 코어에 IBM 화강암 4.0 H-Tiny을 실행

Shipped

2026년 9월 28일 오전 4:36 UTC

Author

Kamo

Commit

8f24b41

소유자는 k3m1의 실질적으로 더 나은 실행 로컬 모델에 대해 물었다 AVX2 전용 Xeons (2026-09-27, ruling SP01-LLM-granite4). Granite4:tiny h는 입니다 잡종 Mamba-2/transformer MoE (7B 합계, ~1B 활동): 몇몇 시간 qwen3:4b's CPU, 네이티브 도구 호출 및 생각 패스에 신속하고 응답 속도. - postStart 잡아당기기 화강암4:tiny-h; - CPU 제한 8 -> 16 (LLAMA ARG THREADS는 다음과 같습니다), 요청 2 -> 4; - OLLAMA CONTEXT LENGTH 8192 -> 16384 (시약 단계는 3-5k 토큰을 실행); - OLLAMA FLASH ATTENTION=1. 기억은 8Gi를 유지합니다.