sys/libkern/bcopy.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  * Copyright (c) 1990 The Regents of the University of California.
   4  *
   5  * All rights reserved.
   6  *
   7  * This code is derived from software contributed to Berkeley by
   8  * Chris Torek.
   9  *
  10  * Redistribution and use in source and binary forms, with or without
  11  * modification, are permitted provided that the following conditions
  12  * are met:
  13  * 1. Redistributions of source code must retain the above copyright
  14  *    notice, this list of conditions and the following disclaimer.
  15  * 2. Redistributions in binary form must reproduce the above copyright
  16  *    notice, this list of conditions and the following disclaimer in the
  17  *    documentation and/or other materials provided with the distribution.
  18  * 3. Neither the name of the University nor the names of its contributors
  19  *    may be used to endorse or promote products derived from this software
  20  *    without specific prior written permission.
  21  *
  22  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  23  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  24  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  25  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  26  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  27  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  28  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  29  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  30  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  31  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  32  * SUCH DAMAGE.
  33  */
  34
  35 #include <sys/param.h>
  36 #ifdef _KERNEL
  37 #include <sys/systm.h>
  38 #else
  39 #include <string.h>
  40 #endif
  41
  42 #undef memcpy
  43 #undef memmove
  44
  45 /*
  46  * sizeof(word) MUST BE A POWER OF TWO
  47  * SO THAT wmask BELOW IS ALL ONES
  48  */
  49 typedef long    word;           /* "word" used for optimal copy speed */
  50
  51 #define wsize   sizeof(word)
  52 #define wmask   (wsize - 1)
  53
  54 /*
  55  * Copy a block of memory, handling overlap.
  56  * This is the routine that actually implements
  57  * (the portable versions of) bcopy, memcpy, and memmove.
  58  */
  59 void *
  60 memcpy(void *dst0, const void *src0, size_t length)
  61 {
  62         char            *dst;
  63         const char      *src;
  64         size_t          t;
  65
  66         dst = dst0;
  67         src = src0;
  68
  69         if (length == 0 || dst == src) {        /* nothing to do */
  70                 goto done;
  71         }
  72
  73         /*
  74          * Macros: loop-t-times; and loop-t-times, t>0
  75          */
  76 #define TLOOP(s) if (t) TLOOP1(s)
  77 #define TLOOP1(s) do { s; } while (--t)
  78
  79         if ((unsigned long)dst < (unsigned long)src) {
  80                 /*
  81                  * Copy forward.
  82                  */
  83                 t = (size_t)src;        /* only need low bits */
  84
  85                 if ((t | (uintptr_t)dst) & wmask) {
  86                         /*
  87                          * Try to align operands.  This cannot be done
  88                          * unless the low bits match.
  89                          */
  90                         if ((t ^ (uintptr_t)dst) & wmask || length < wsize) {
  91                                 t = length;
  92                         } else {
  93                                 t = wsize - (t & wmask);
  94                         }
  95
  96                         length -= t;
  97                         TLOOP1(*dst++ = *src++);
  98                 }
  99                 /*
 100                  * Copy whole words, then mop up any trailing bytes.
 101                  */
 102                 t = length / wsize;
 103                 TLOOP(*(word *)dst = *(const word *)src; src += wsize;
 104                     dst += wsize);
 105                 t = length & wmask;
 106                 TLOOP(*dst++ = *src++);
 107         } else {
 108                 /*
 109                  * Copy backwards.  Otherwise essentially the same.
 110                  * Alignment works as before, except that it takes
 111                  * (t&wmask) bytes to align, not wsize-(t&wmask).
 112                  */
 113                 src += length;
 114                 dst += length;
 115                 t = (uintptr_t)src;
 116
 117                 if ((t | (uintptr_t)dst) & wmask) {
 118                         if ((t ^ (uintptr_t)dst) & wmask || length <= wsize) {
 119                                 t = length;
 120                         } else {
 121                                 t &= wmask;
 122                         }
 123
 124                         length -= t;
 125                         TLOOP1(*--dst = *--src);
 126                 }
 127                 t = length / wsize;
 128                 TLOOP(src -= wsize; dst -= wsize;
 129                     *(word *)dst = *(const word *)src);
 130                 t = length & wmask;
 131                 TLOOP(*--dst = *--src);
 132         }
 133 done:
 134         return (dst0);
 135 }
 136
 137 __strong_reference(memcpy, memmove);