sys/libkern/arm64/crc32c_armv8.S

   1 /*-
   2  * Copyright (c) 2017 Michael Tuexen
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  *
  14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  24  * SUCH DAMAGE.
  25  *
  26  */
  27
  28 #include <machine/asm.h>
  29 __FBSDID("$FreeBSD$");
  30
  31 .arch_extension crc
  32
  33 /*
  34  * uint32_t
  35  * armv8_crc32c(uint32_t crc, const unsigned char *buf, unsigned int len)
  36  */
  37
  38 ENTRY(armv8_crc32c)
  39         cbz     w2, end
  40         tbz     x1, #0x0, half_word_aligned
  41         sub     w2, w2, 0x1
  42         ldr     w10, [x1], #0x1
  43         crc32cb w0, w0, w10
  44 half_word_aligned:
  45         cmp     w2, #0x2
  46         b.lo    last_byte
  47         tbz     x1, #0x1, word_aligned
  48         sub     w2, w2, 0x2
  49         ldr     w10, [x1], #0x2
  50         crc32ch w0, w0, w10
  51 word_aligned:
  52         cmp     w2, #0x4
  53         b.lo    last_half_word
  54         tbz     x1, #0x2, double_word_aligned
  55         sub     w2, w2, 0x4
  56         ldr     w10, [x1], #0x4
  57         crc32cw w0, w0, w10
  58 double_word_aligned:
  59         lsr     w9, w2, #0x3
  60         cbz     w9, last_word
  61 loop:
  62         ldr     x10, [x1], #0x8
  63         crc32cx w0, w0, x10
  64         subs    w9, w9, #1
  65         b.ne    loop
  66 last_word:
  67         tbz     w2, #0x2, last_half_word
  68         ldr     w10, [x1], #0x4
  69         crc32cw w0, w0, w10
  70 last_half_word:
  71         tbz     w2, #0x1, last_byte
  72         ldr     w10, [x1], #0x2
  73         crc32ch w0, w0, w10
  74 last_byte:
  75         tbz     w2, #0x0, end
  76         ldr     w10, [x1], #0x1
  77         crc32cb w0, w0, w10
  78 end:
  79         ret
  80 END(armv8_crc32c)