sys/sys/bitcount.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1982, 1986, 1991, 1993, 1994
   5  *      The Regents of the University of California.  All rights reserved.
   6  * (c) UNIX System Laboratories, Inc.
   7  * All or some portions of this file are derived from material licensed
   8  * to the University of California by American Telephone and Telegraph
   9  * Co. or Unix System Laboratories, Inc. and are reproduced herein with
  10  * the permission of UNIX System Laboratories, Inc.
  11  *
  12  * Redistribution and use in source and binary forms, with or without
  13  * modification, are permitted provided that the following conditions
  14  * are met:
  15  * 1. Redistributions of source code must retain the above copyright
  16  *    notice, this list of conditions and the following disclaimer.
  17  * 2. Redistributions in binary form must reproduce the above copyright
  18  *    notice, this list of conditions and the following disclaimer in the
  19  *    documentation and/or other materials provided with the distribution.
  20  * 3. Neither the name of the University nor the names of its contributors
  21  *    may be used to endorse or promote products derived from this software
  22  *    without specific prior written permission.
  23  *
  24  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  25  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  26  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  27  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  28  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  29  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  30  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  31  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  32  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  33  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  34  * SUCH DAMAGE.
  35  *
  36  *      @(#)types.h     8.6 (Berkeley) 2/19/95
  37  */
  38
  39 #ifndef _SYS_BITCOUNT_H_
  40 #define _SYS_BITCOUNT_H_
  41
  42 #include <sys/_types.h>
  43
  44 #ifdef __POPCNT__
  45 #define __bitcount64(x) __builtin_popcountll((__uint64_t)(x))
  46 #define __bitcount32(x) __builtin_popcount((__uint32_t)(x))
  47 #define __bitcount16(x) __builtin_popcount((__uint16_t)(x))
  48 #define __bitcountl(x)  __builtin_popcountl((unsigned long)(x))
  49 #define __bitcount(x)   __builtin_popcount((unsigned int)(x))
  50 #else
  51 /*
  52  * Population count algorithm using SWAR approach
  53  * - "SIMD Within A Register".
  54  */
  55 static __inline __uint16_t
  56 __bitcount16(__uint16_t _x)
  57 {
  58
  59         _x = (_x & 0x5555) + ((_x & 0xaaaa) >> 1);
  60         _x = (_x & 0x3333) + ((_x & 0xcccc) >> 2);
  61         _x = (_x + (_x >> 4)) & 0x0f0f;
  62         _x = (_x + (_x >> 8)) & 0x00ff;
  63         return (_x);
  64 }
  65
  66 static __inline __uint32_t
  67 __bitcount32(__uint32_t _x)
  68 {
  69
  70         _x = (_x & 0x55555555) + ((_x & 0xaaaaaaaa) >> 1);
  71         _x = (_x & 0x33333333) + ((_x & 0xcccccccc) >> 2);
  72         _x = (_x + (_x >> 4)) & 0x0f0f0f0f;
  73         _x = (_x + (_x >> 8));
  74         _x = (_x + (_x >> 16)) & 0x000000ff;
  75         return (_x);
  76 }
  77
  78 #ifdef __LP64__
  79 static __inline __uint64_t
  80 __bitcount64(__uint64_t _x)
  81 {
  82
  83         _x = (_x & 0x5555555555555555) + ((_x & 0xaaaaaaaaaaaaaaaa) >> 1);
  84         _x = (_x & 0x3333333333333333) + ((_x & 0xcccccccccccccccc) >> 2);
  85         _x = (_x + (_x >> 4)) & 0x0f0f0f0f0f0f0f0f;
  86         _x = (_x + (_x >> 8));
  87         _x = (_x + (_x >> 16));
  88         _x = (_x + (_x >> 32)) & 0x000000ff;
  89         return (_x);
  90 }
  91
  92 #define __bitcountl(x)  __bitcount64((unsigned long)(x))
  93 #else
  94 static __inline __uint64_t
  95 __bitcount64(__uint64_t _x)
  96 {
  97
  98         return (__bitcount32(_x >> 32) + __bitcount32(_x));
  99 }
 100
 101 #define __bitcountl(x)  __bitcount32((unsigned long)(x))
 102 #endif
 103 #define __bitcount(x)   __bitcount32((unsigned int)(x))
 104 #endif
 105
 106 #endif /* !_SYS_BITCOUNT_H_ */