Spaces:
Running
Running
Commit
·
891b1d1
1
Parent(s):
014494c
musa: fix build warnings (unused variable) (llama/14561)
Browse filesSigned-off-by: Xiaodong Ye <[email protected]>
ggml/src/ggml-cuda/common.cuh
CHANGED
|
@@ -176,17 +176,20 @@ static const char * cu_get_error_str(CUresult err) {
|
|
| 176 |
#endif
|
| 177 |
|
| 178 |
#if !(defined(GGML_USE_HIP) && defined(__HIP_PLATFORM_AMD__)) && !defined(GGML_USE_MUSA)
|
| 179 |
-
#define CUDA_SET_SHARED_MEMORY_LIMIT(kernel, nbytes)
|
| 180 |
-
|
| 181 |
-
|
| 182 |
-
|
| 183 |
-
|
| 184 |
-
|
| 185 |
-
|
| 186 |
-
|
| 187 |
-
|
| 188 |
#else
|
| 189 |
-
#define CUDA_SET_SHARED_MEMORY_LIMIT(kernel, nbytes)
|
|
|
|
|
|
|
|
|
|
| 190 |
#endif // !(defined(GGML_USE_HIP) && defined(__HIP_PLATFORM_AMD__)) && !defined(GGML_USE_MUSA)
|
| 191 |
|
| 192 |
#if CUDART_VERSION >= 11010 || defined(GGML_USE_MUSA)
|
|
|
|
| 176 |
#endif
|
| 177 |
|
| 178 |
#if !(defined(GGML_USE_HIP) && defined(__HIP_PLATFORM_AMD__)) && !defined(GGML_USE_MUSA)
|
| 179 |
+
# define CUDA_SET_SHARED_MEMORY_LIMIT(kernel, nbytes) \
|
| 180 |
+
do { \
|
| 181 |
+
static bool shared_memory_limit_raised[GGML_CUDA_MAX_DEVICES] = { false }; \
|
| 182 |
+
const int id = ggml_cuda_get_device(); \
|
| 183 |
+
if (!shared_memory_limit_raised[id]) { \
|
| 184 |
+
CUDA_CHECK(cudaFuncSetAttribute(kernel, cudaFuncAttributeMaxDynamicSharedMemorySize, nbytes)); \
|
| 185 |
+
shared_memory_limit_raised[id] = true; \
|
| 186 |
+
} \
|
| 187 |
+
} while (0)
|
| 188 |
#else
|
| 189 |
+
# define CUDA_SET_SHARED_MEMORY_LIMIT(kernel, nbytes) \
|
| 190 |
+
do { \
|
| 191 |
+
GGML_UNUSED(nbytes); \
|
| 192 |
+
} while (0)
|
| 193 |
#endif // !(defined(GGML_USE_HIP) && defined(__HIP_PLATFORM_AMD__)) && !defined(GGML_USE_MUSA)
|
| 194 |
|
| 195 |
#if CUDART_VERSION >= 11010 || defined(GGML_USE_MUSA)
|
ggml/src/ggml-cuda/fattn-tile-f32.cu
CHANGED
|
@@ -299,14 +299,14 @@ static __global__ void flash_attn_tile_ext_f32(
|
|
| 299 |
GGML_UNUSED(dst); GGML_UNUSED(dst_meta); GGML_UNUSED(scale);
|
| 300 |
GGML_UNUSED(max_bias); GGML_UNUSED(m0); GGML_UNUSED(m1);
|
| 301 |
GGML_UNUSED(n_head_log2); GGML_UNUSED(logit_softcap);
|
| 302 |
-
GGML_UNUSED(ne00); GGML_UNUSED(ne01); GGML_UNUSED(ne02);
|
| 303 |
-
GGML_UNUSED(
|
| 304 |
-
GGML_UNUSED(
|
| 305 |
-
GGML_UNUSED(nb31); GGML_UNUSED(
|
| 306 |
-
GGML_UNUSED(
|
| 307 |
-
GGML_UNUSED(
|
| 308 |
-
GGML_UNUSED(
|
| 309 |
-
GGML_UNUSED(ne2); GGML_UNUSED(ne3);
|
| 310 |
NO_DEVICE_CODE;
|
| 311 |
#endif // FLASH_ATTN_AVAILABLE
|
| 312 |
}
|
|
|
|
| 299 |
GGML_UNUSED(dst); GGML_UNUSED(dst_meta); GGML_UNUSED(scale);
|
| 300 |
GGML_UNUSED(max_bias); GGML_UNUSED(m0); GGML_UNUSED(m1);
|
| 301 |
GGML_UNUSED(n_head_log2); GGML_UNUSED(logit_softcap);
|
| 302 |
+
GGML_UNUSED(ne00); GGML_UNUSED(ne01); GGML_UNUSED(ne02); GGML_UNUSED(ne03);
|
| 303 |
+
GGML_UNUSED(ne10); GGML_UNUSED(ne11); GGML_UNUSED(ne12); GGML_UNUSED(ne13);
|
| 304 |
+
GGML_UNUSED(ne31); GGML_UNUSED(ne32);
|
| 305 |
+
GGML_UNUSED(nb31); GGML_UNUSED(nb32);
|
| 306 |
+
GGML_UNUSED(nb01); GGML_UNUSED(nb02); GGML_UNUSED(nb03);
|
| 307 |
+
GGML_UNUSED(nb11); GGML_UNUSED(nb12); GGML_UNUSED(nb13);
|
| 308 |
+
GGML_UNUSED(nb21); GGML_UNUSED(nb22); GGML_UNUSED(nb23);
|
| 309 |
+
GGML_UNUSED(ne0); GGML_UNUSED(ne1); GGML_UNUSED(ne2); GGML_UNUSED(ne3);
|
| 310 |
NO_DEVICE_CODE;
|
| 311 |
#endif // FLASH_ATTN_AVAILABLE
|
| 312 |
}
|
ggml/src/ggml-cuda/fattn-vec-f32.cuh
CHANGED
|
@@ -337,13 +337,15 @@ static __global__ void flash_attn_vec_ext_f32(
|
|
| 337 |
GGML_UNUSED(Q); GGML_UNUSED(K); GGML_UNUSED(V); GGML_UNUSED(mask);
|
| 338 |
GGML_UNUSED(dst); GGML_UNUSED(dst_meta); GGML_UNUSED(scale);
|
| 339 |
GGML_UNUSED(max_bias); GGML_UNUSED(m0); GGML_UNUSED(m1);
|
| 340 |
-
GGML_UNUSED(n_head_log2); GGML_UNUSED(logit_softcap);
|
| 341 |
-
GGML_UNUSED(
|
| 342 |
-
GGML_UNUSED(
|
| 343 |
-
GGML_UNUSED(
|
| 344 |
-
GGML_UNUSED(
|
| 345 |
-
GGML_UNUSED(
|
| 346 |
-
GGML_UNUSED(
|
|
|
|
|
|
|
| 347 |
NO_DEVICE_CODE;
|
| 348 |
#endif // FLASH_ATTN_AVAILABLE
|
| 349 |
}
|
|
|
|
| 337 |
GGML_UNUSED(Q); GGML_UNUSED(K); GGML_UNUSED(V); GGML_UNUSED(mask);
|
| 338 |
GGML_UNUSED(dst); GGML_UNUSED(dst_meta); GGML_UNUSED(scale);
|
| 339 |
GGML_UNUSED(max_bias); GGML_UNUSED(m0); GGML_UNUSED(m1);
|
| 340 |
+
GGML_UNUSED(n_head_log2); GGML_UNUSED(logit_softcap);
|
| 341 |
+
GGML_UNUSED(ne00); GGML_UNUSED(ne01); GGML_UNUSED(ne02); GGML_UNUSED(ne03);
|
| 342 |
+
GGML_UNUSED(ne10); GGML_UNUSED(ne11); GGML_UNUSED(ne12); GGML_UNUSED(ne13);
|
| 343 |
+
GGML_UNUSED(ne31); GGML_UNUSED(ne32);
|
| 344 |
+
GGML_UNUSED(nb31); GGML_UNUSED(nb32);
|
| 345 |
+
GGML_UNUSED(nb01); GGML_UNUSED(nb02); GGML_UNUSED(nb03);
|
| 346 |
+
GGML_UNUSED(nb11); GGML_UNUSED(nb12); GGML_UNUSED(nb13);
|
| 347 |
+
GGML_UNUSED(nb21); GGML_UNUSED(nb22); GGML_UNUSED(nb23);
|
| 348 |
+
GGML_UNUSED(ne0); GGML_UNUSED(ne1); GGML_UNUSED(ne2); GGML_UNUSED(ne3);
|
| 349 |
NO_DEVICE_CODE;
|
| 350 |
#endif // FLASH_ATTN_AVAILABLE
|
| 351 |
}
|