sys/libkern/arm64/crc32c_armv8.S

   1 /*-
   2  * Copyright (c) 2017 Michael Tuexen
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  *
  14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  24  * SUCH DAMAGE.
  25  *
  26  */
  27
  28 #include <machine/asm.h>
  29 __FBSDID("$FreeBSD$");
  30 .arch armv8-a+crc
  31
  32 /*
  33  * uint32_t
  34  * armv8_crc32c(uint32_t crc, const unsigned char *buf, unsigned int len)
  35  */
  36
  37 ENTRY(armv8_crc32c)
  38         cbz     w2, end
  39         tbz     x1, #0x0, half_word_aligned
  40         sub     w2, w2, 0x1
  41         ldr     w10, [x1], #0x1
  42         crc32cb w0, w0, w10
  43 half_word_aligned:
  44         cmp     w2, #0x2
  45         b.lo    last_byte
  46         tbz     x1, #0x1, word_aligned
  47         sub     w2, w2, 0x2
  48         ldr     w10, [x1], #0x2
  49         crc32ch w0, w0, w10
  50 word_aligned:
  51         cmp     w2, #0x4
  52         b.lo    last_half_word
  53         tbz     x1, #0x2, double_word_aligned
  54         sub     w2, w2, 0x4
  55         ldr     w10, [x1], #0x4
  56         crc32cw w0, w0, w10
  57 double_word_aligned:
  58         lsr     w9, w2, #0x3
  59         cbz     w9, last_word
  60 loop:
  61         ldr     x10, [x1], #0x8
  62         crc32cx w0, w0, x10
  63         subs    w9, w9, #1
  64         b.ne    loop
  65 last_word:
  66         tbz     w2, #0x2, last_half_word
  67         ldr     w10, [x1], #0x4
  68         crc32cw w0, w0, w10
  69 last_half_word:
  70         tbz     w2, #0x1, last_byte
  71         ldr     w10, [x1], #0x2
  72         crc32ch w0, w0, w10
  73 last_byte:
  74         tbz     w2, #0x0, end
  75         ldr     w10, [x1], #0x1
  76         crc32cb w0, w0, w10
  77 end:
  78         ret
  79 END(armv8_crc32c)