@echo off
echo ==============================================================
echo Testing Qwen 27B with Optimized Build (FA3 + TurboQuant)
echo ==============================================================

SET ROOT_DIR=C:\Users\vatutin_n_a\sch-qwen\
SET BIN_DIR=%ROOT_DIR%llama-cpp-turbo\build_turbo\bin\Release
SET MODEL_PATH=%ROOT_DIR%models\Qwen_Qwen3.6-27B-Q4_K_M.gguf
SET DRAFT_MODEL_PATH=%ROOT_DIR%models\Qwen3.5-0.8B-Q4_K_M.gguf

"%BIN_DIR%\llama-cli.exe" ^
    -m "%MODEL_PATH%" ^
    --model-draft "%DRAFT_MODEL_PATH%" ^
    --spec-draft-n-max 5 ^
    -p "Привет! Расскажи подробно, что такое квантовая запутанность, простыми словами для школьника." ^
    -n 256 ^
    -c 32768 ^
    -t 6 ^
    -td 1 ^
    --flash-attn on ^
    --cache-type-k turbo3 ^
    --cache-type-v turbo4 ^
    --no-display-prompt

echo.
pause
