sys/sys/bitcount.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1982, 1986, 1991, 1993, 1994
   5  *      The Regents of the University of California.  All rights reserved.
   6  * (c) UNIX System Laboratories, Inc.
   7  * All or some portions of this file are derived from material licensed
   8  * to the University of California by American Telephone and Telegraph
   9  * Co. or Unix System Laboratories, Inc. and are reproduced herein with
  10  * the permission of UNIX System Laboratories, Inc.
  11  *
  12  * Redistribution and use in source and binary forms, with or without
  13  * modification, are permitted provided that the following conditions
  14  * are met:
  15  * 1. Redistributions of source code must retain the above copyright
  16  *    notice, this list of conditions and the following disclaimer.
  17  * 2. Redistributions in binary form must reproduce the above copyright
  18  *    notice, this list of conditions and the following disclaimer in the
  19  *    documentation and/or other materials provided with the distribution.
  20  * 3. Neither the name of the University nor the names of its contributors
  21  *    may be used to endorse or promote products derived from this software
  22  *    without specific prior written permission.
  23  *
  24  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  25  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  26  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  27  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  28  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  29  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  30  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  31  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  32  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  33  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  34  * SUCH DAMAGE.
  35  */
  36
  37 #ifndef _SYS_BITCOUNT_H_
  38 #define _SYS_BITCOUNT_H_
  39
  40 #include <sys/_types.h>
  41
  42 #ifdef __POPCNT__
  43 #define __bitcount64(x) __builtin_popcountll((__uint64_t)(x))
  44 #define __bitcount32(x) __builtin_popcount((__uint32_t)(x))
  45 #define __bitcount16(x) __builtin_popcount((__uint16_t)(x))
  46 #define __bitcountl(x)  __builtin_popcountl((unsigned long)(x))
  47 #define __bitcount(x)   __builtin_popcount((unsigned int)(x))
  48 #else
  49 /*
  50  * Population count algorithm using SWAR approach
  51  * - "SIMD Within A Register".
  52  */
  53 static __inline __uint16_t
  54 __bitcount16(__uint16_t _x)
  55 {
  56
  57         _x = (_x & 0x5555) + ((_x & 0xaaaa) >> 1);
  58         _x = (_x & 0x3333) + ((_x & 0xcccc) >> 2);
  59         _x = (_x + (_x >> 4)) & 0x0f0f;
  60         _x = (_x + (_x >> 8)) & 0x00ff;
  61         return (_x);
  62 }
  63
  64 static __inline __uint32_t
  65 __bitcount32(__uint32_t _x)
  66 {
  67
  68         _x = (_x & 0x55555555) + ((_x & 0xaaaaaaaa) >> 1);
  69         _x = (_x & 0x33333333) + ((_x & 0xcccccccc) >> 2);
  70         _x = (_x + (_x >> 4)) & 0x0f0f0f0f;
  71         _x = (_x + (_x >> 8));
  72         _x = (_x + (_x >> 16)) & 0x000000ff;
  73         return (_x);
  74 }
  75
  76 #ifdef __LP64__
  77 static __inline __uint64_t
  78 __bitcount64(__uint64_t _x)
  79 {
  80
  81         _x = (_x & 0x5555555555555555) + ((_x & 0xaaaaaaaaaaaaaaaa) >> 1);
  82         _x = (_x & 0x3333333333333333) + ((_x & 0xcccccccccccccccc) >> 2);
  83         _x = (_x + (_x >> 4)) & 0x0f0f0f0f0f0f0f0f;
  84         _x = (_x + (_x >> 8));
  85         _x = (_x + (_x >> 16));
  86         _x = (_x + (_x >> 32)) & 0x000000ff;
  87         return (_x);
  88 }
  89
  90 #define __bitcountl(x)  __bitcount64((unsigned long)(x))
  91 #else
  92 static __inline __uint64_t
  93 __bitcount64(__uint64_t _x)
  94 {
  95
  96         return (__bitcount32(_x >> 32) + __bitcount32(_x));
  97 }
  98
  99 #define __bitcountl(x)  __bitcount32((unsigned long)(x))
 100 #endif
 101 #define __bitcount(x)   __bitcount32((unsigned int)(x))
 102 #endif
 103
 104 #endif /* !_SYS_BITCOUNT_H_ */