sys/riscv/riscv/copyinout.S

   1 /*-
   2  * Copyright (c) 2015-2018 Ruslan Bukin <br@bsdpad.com>
   3  * Copyright (c) 2019 Mitchell Horne
   4  * All rights reserved.
   5  *
   6  * Portions of this software were developed by SRI International and the
   7  * University of Cambridge Computer Laboratory under DARPA/AFRL contract
   8  * FA8750-10-C-0237 ("CTSRD"), as part of the DARPA CRASH research programme.
   9  *
  10  * Portions of this software were developed by the University of Cambridge
  11  * Computer Laboratory as part of the CTSRD Project, with support from the
  12  * UK Higher Education Innovation Fund (HEIF).
  13  *
  14  * Redistribution and use in source and binary forms, with or without
  15  * modification, are permitted provided that the following conditions
  16  * are met:
  17  * 1. Redistributions of source code must retain the above copyright
  18  *    notice, this list of conditions and the following disclaimer.
  19  * 2. Redistributions in binary form must reproduce the above copyright
  20  *    notice, this list of conditions and the following disclaimer in the
  21  *    documentation and/or other materials provided with the distribution.
  22  *
  23  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  27  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  28  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  29  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  30  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  31  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  32  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33  * SUCH DAMAGE.
  34  */
  35
  36 #include <machine/asm.h>
  37 __FBSDID("$FreeBSD$");
  38
  39 #include <machine/riscvreg.h>
  40 #include <sys/errno.h>
  41
  42 #include "assym.inc"
  43
  44 /*
  45  * Fault handler for the copy{in,out} functions below.
  46  */
  47 ENTRY(copyio_fault)
  48         SET_FAULT_HANDLER(x0, a1) /* Clear the handler */
  49         EXIT_USER_ACCESS(a1)
  50 copyio_fault_nopcb:
  51         li      a0, EFAULT
  52         ret
  53 END(copyio_fault)
  54
  55 /*
  56  * copycommon - common copy routine
  57  *
  58  * a0 - Source address
  59  * a1 - Destination address
  60  * a2 - Size of copy
  61  */
  62         .macro copycommon
  63         la      a6, copyio_fault        /* Get the handler address */
  64         SET_FAULT_HANDLER(a6, a7)       /* Set the handler */
  65         ENTER_USER_ACCESS(a7)
  66
  67         li      t2, XLEN_BYTES
  68         blt     a2, t2, 4f              /* Byte-copy if len < XLEN_BYTES */
  69
  70         /*
  71          * Compare lower bits of src and dest.
  72          * If they are aligned with each other, we can do word copy.
  73          */
  74         andi    t0, a0, (XLEN_BYTES-1)  /* Low bits of src */
  75         andi    t1, a1, (XLEN_BYTES-1)  /* Low bits of dest */
  76         bne     t0, t1, 4f              /* Misaligned. Go to byte copy */
  77         beqz    t0, 2f                  /* Already word-aligned, skip ahead */
  78
  79         /* Byte copy until the first word-aligned address */
  80 1:      lb      a4, 0(a0)               /* Load byte from src */
  81         addi    a0, a0, 1
  82         sb      a4, 0(a1)               /* Store byte in dest */
  83         addi    a1, a1, 1
  84         addi    a2, a2, -1              /* len-- */
  85         andi    t0, a0, (XLEN_BYTES-1)
  86         bnez    t0, 1b
  87         j       3f
  88
  89         /* Copy words */
  90 2:      ld      a4, 0(a0)               /* Load word from src */
  91         addi    a0, a0, XLEN_BYTES
  92         sd      a4, 0(a1)               /* Store word in dest */
  93         addi    a1, a1, XLEN_BYTES
  94         addi    a2, a2, -XLEN_BYTES     /* len -= XLEN_BYTES */
  95 3:      bgeu    a2, t2, 2b              /* Again if len >= XLEN_BYTES */
  96
  97         /* Check if we're finished */
  98         beqz    a2, 5f
  99
 100         /* Copy any remaining bytes */
 101 4:      lb      a4, 0(a0)               /* Load byte from src */
 102         addi    a0, a0, 1
 103         sb      a4, 0(a1)               /* Store byte in dest */
 104         addi    a1, a1, 1
 105         addi    a2, a2, -1              /* len-- */
 106         bnez    a2, 4b
 107
 108 5:      EXIT_USER_ACCESS(a7)
 109         SET_FAULT_HANDLER(x0, a7)       /* Clear the handler */
 110         .endm
 111
 112 /*
 113  * Copies from a kernel to user address
 114  *
 115  * int copyout(const void *kaddr, void *udaddr, size_t len)
 116  */
 117 ENTRY(copyout)
 118         beqz    a2, copyout_end /* If len == 0 then skip loop */
 119         add     a3, a1, a2
 120         li      a4, VM_MAXUSER_ADDRESS
 121         bgt     a3, a4, copyio_fault_nopcb
 122
 123         copycommon
 124
 125 copyout_end:
 126         li      a0, 0           /* return 0 */
 127         ret
 128 END(copyout)
 129
 130 /*
 131  * Copies from a user to kernel address
 132  *
 133  * int copyin(const void *uaddr, void *kaddr, size_t len)
 134  */
 135 ENTRY(copyin)
 136         beqz    a2, copyin_end  /* If len == 0 then skip loop */
 137         add     a3, a0, a2
 138         li      a4, VM_MAXUSER_ADDRESS
 139         bgt     a3, a4, copyio_fault_nopcb
 140
 141         copycommon
 142
 143 copyin_end:
 144         li      a0, 0           /* return 0 */
 145         ret
 146 END(copyin)
 147
 148 /*
 149  * Copies a string from a user to kernel address
 150  *
 151  * int copyinstr(const void *udaddr, void *kaddr, size_t len, size_t *done)
 152  */
 153 ENTRY(copyinstr)
 154         mv      a5, x0          /* count = 0 */
 155         beqz    a2, 3f          /* If len == 0 then skip loop */
 156
 157         la      a6, copyio_fault /* Get the handler address */
 158         SET_FAULT_HANDLER(a6, a7) /* Set the handler */
 159         ENTER_USER_ACCESS(a7)
 160
 161         li      a7, VM_MAXUSER_ADDRESS
 162 1:      bgt     a0, a7, copyio_fault
 163         lb      a4, 0(a0)       /* Load from uaddr */
 164         addi    a0, a0, 1
 165         sb      a4, 0(a1)       /* Store in kaddr */
 166         addi    a1, a1, 1
 167         beqz    a4, 2f
 168         addi    a2, a2, -1      /* len-- */
 169         addi    a5, a5, 1       /* count++ */
 170         bnez    a2, 1b
 171
 172 2:      EXIT_USER_ACCESS(a7)
 173         SET_FAULT_HANDLER(x0, a7) /* Clear the handler */
 174
 175 3:      beqz    a3, 4f          /* Check if done != NULL */
 176         addi    a5, a5, 1       /* count++ */
 177         sd      a5, 0(a3)       /* done = count */
 178
 179 4:      mv      a0, x0          /* return 0 */
 180         beqz    a4, 5f
 181         li      a0, ENAMETOOLONG
 182 5:
 183         ret
 184 END(copyinstr)