contrib/llvm/tools/clang/lib/Headers/avx512vpopcntdqvlintrin.h

   1 /*===---- avx512vpopcntdqintrin.h - AVX512VPOPCNTDQ intrinsics -------------===
   2  *
   3  *
   4  * Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
   5  * See https://llvm.org/LICENSE.txt for license information.
   6  * SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
   7  *
   8  *===-----------------------------------------------------------------------===
   9  */
  10 #ifndef __IMMINTRIN_H
  11 #error                                                                         \
  12     "Never use <avx512vpopcntdqvlintrin.h> directly; include <immintrin.h> instead."
  13 #endif
  14
  15 #ifndef __AVX512VPOPCNTDQVLINTRIN_H
  16 #define __AVX512VPOPCNTDQVLINTRIN_H
  17
  18 /* Define the default attributes for the functions in this file. */
  19 #define __DEFAULT_FN_ATTRS128                                                  \
  20   __attribute__((__always_inline__, __nodebug__, __target__("avx512vpopcntdq,avx512vl"), __min_vector_width__(128)))
  21 #define __DEFAULT_FN_ATTRS256                                                  \
  22   __attribute__((__always_inline__, __nodebug__, __target__("avx512vpopcntdq,avx512vl"), __min_vector_width__(256)))
  23
  24 static __inline__ __m128i __DEFAULT_FN_ATTRS128
  25 _mm_popcnt_epi64(__m128i __A) {
  26   return (__m128i)__builtin_ia32_vpopcntq_128((__v2di)__A);
  27 }
  28
  29 static __inline__ __m128i __DEFAULT_FN_ATTRS128
  30 _mm_mask_popcnt_epi64(__m128i __W, __mmask8 __U, __m128i __A) {
  31   return (__m128i)__builtin_ia32_selectq_128(
  32       (__mmask8)__U, (__v2di)_mm_popcnt_epi64(__A), (__v2di)__W);
  33 }
  34
  35 static __inline__ __m128i __DEFAULT_FN_ATTRS128
  36 _mm_maskz_popcnt_epi64(__mmask8 __U, __m128i __A) {
  37   return _mm_mask_popcnt_epi64((__m128i)_mm_setzero_si128(), __U, __A);
  38 }
  39
  40 static __inline__ __m128i __DEFAULT_FN_ATTRS128
  41 _mm_popcnt_epi32(__m128i __A) {
  42   return (__m128i)__builtin_ia32_vpopcntd_128((__v4si)__A);
  43 }
  44
  45 static __inline__ __m128i __DEFAULT_FN_ATTRS128
  46 _mm_mask_popcnt_epi32(__m128i __W, __mmask8 __U, __m128i __A) {
  47   return (__m128i)__builtin_ia32_selectd_128(
  48       (__mmask8)__U, (__v4si)_mm_popcnt_epi32(__A), (__v4si)__W);
  49 }
  50
  51 static __inline__ __m128i __DEFAULT_FN_ATTRS128
  52 _mm_maskz_popcnt_epi32(__mmask8 __U, __m128i __A) {
  53   return _mm_mask_popcnt_epi32((__m128i)_mm_setzero_si128(), __U, __A);
  54 }
  55
  56 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  57 _mm256_popcnt_epi64(__m256i __A) {
  58   return (__m256i)__builtin_ia32_vpopcntq_256((__v4di)__A);
  59 }
  60
  61 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  62 _mm256_mask_popcnt_epi64(__m256i __W, __mmask8 __U, __m256i __A) {
  63   return (__m256i)__builtin_ia32_selectq_256(
  64       (__mmask8)__U, (__v4di)_mm256_popcnt_epi64(__A), (__v4di)__W);
  65 }
  66
  67 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  68 _mm256_maskz_popcnt_epi64(__mmask8 __U, __m256i __A) {
  69   return _mm256_mask_popcnt_epi64((__m256i)_mm256_setzero_si256(), __U, __A);
  70 }
  71
  72 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  73 _mm256_popcnt_epi32(__m256i __A) {
  74   return (__m256i)__builtin_ia32_vpopcntd_256((__v8si)__A);
  75 }
  76
  77 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  78 _mm256_mask_popcnt_epi32(__m256i __W, __mmask8 __U, __m256i __A) {
  79   return (__m256i)__builtin_ia32_selectd_256(
  80       (__mmask8)__U, (__v8si)_mm256_popcnt_epi32(__A), (__v8si)__W);
  81 }
  82
  83 static __inline__ __m256i __DEFAULT_FN_ATTRS256
  84 _mm256_maskz_popcnt_epi32(__mmask8 __U, __m256i __A) {
  85   return _mm256_mask_popcnt_epi32((__m256i)_mm256_setzero_si256(), __U, __A);
  86 }
  87
  88 #undef __DEFAULT_FN_ATTRS128
  89 #undef __DEFAULT_FN_ATTRS256
  90
  91 #endif