sys/dev/beri/virtio/virtio.c

   1 /*-
   2  * Copyright (c) 2014 Ruslan Bukin <br@bsdpad.com>
   3  * All rights reserved.
   4  *
   5  * This software was developed by SRI International and the University of
   6  * Cambridge Computer Laboratory under DARPA/AFRL contract (FA8750-10-C-0237)
   7  * ("CTSRD"), as part of the DARPA CRASH research programme.
   8  *
   9  * Redistribution and use in source and binary forms, with or without
  10  * modification, are permitted provided that the following conditions
  11  * are met:
  12  * 1. Redistributions of source code must retain the above copyright
  13  *    notice, this list of conditions and the following disclaimer.
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in the
  16  *    documentation and/or other materials provided with the distribution.
  17  *
  18  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  19  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  20  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  21  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  22  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  23  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  24  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  25  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  26  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  27  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  28  * SUCH DAMAGE.
  29  */
  30
  31 /*
  32  * BERI virtio mmio backend common methods
  33  */
  34
  35 #include <sys/cdefs.h>
  36 __FBSDID("$FreeBSD$");
  37
  38 #include <sys/param.h>
  39 #include <sys/systm.h>
  40 #include <sys/bus.h>
  41 #include <sys/cdefs.h>
  42 #include <sys/kernel.h>
  43 #include <sys/module.h>
  44 #include <sys/malloc.h>
  45 #include <sys/rman.h>
  46 #include <sys/timeet.h>
  47 #include <sys/timetc.h>
  48 #include <sys/conf.h>
  49 #include <sys/uio.h>
  50 #include <sys/stat.h>
  51 #include <sys/time.h>
  52 #include <sys/event.h>
  53 #include <sys/selinfo.h>
  54 #include <sys/endian.h>
  55 #include <sys/rwlock.h>
  56
  57 #include <machine/bus.h>
  58 #include <machine/fdt.h>
  59 #include <machine/cpu.h>
  60 #include <machine/intr.h>
  61
  62 #include <dev/fdt/fdt_common.h>
  63 #include <dev/ofw/openfirm.h>
  64 #include <dev/ofw/ofw_bus.h>
  65 #include <dev/ofw/ofw_bus_subr.h>
  66
  67 #include <dev/beri/virtio/virtio.h>
  68 #include <dev/virtio/virtqueue.h>
  69 #include <dev/virtio/virtio_ring.h>
  70 #include <dev/altera/pio/pio.h>
  71
  72 #include "pio_if.h"
  73
  74 int
  75 vq_ring_ready(struct vqueue_info *vq)
  76 {
  77
  78         return (vq->vq_flags & VQ_ALLOC);
  79 }
  80
  81 int
  82 vq_has_descs(struct vqueue_info *vq)
  83 {
  84
  85         return (vq_ring_ready(vq) && vq->vq_last_avail !=
  86                 be16toh(vq->vq_avail->idx));
  87 }
  88
  89 void *
  90 paddr_map(uint32_t offset, uint32_t phys, uint32_t size)
  91 {
  92         bus_space_handle_t bsh;
  93
  94         if (bus_space_map(fdtbus_bs_tag, (phys + offset),
  95                         size, 0, &bsh) != 0) {
  96                 panic("Couldn't map 0x%08x\n", (phys + offset));
  97         }
  98
  99         return (void *)(bsh);
 100 }
 101
 102 void
 103 paddr_unmap(void *phys, uint32_t size)
 104 {
 105
 106         bus_space_unmap(fdtbus_bs_tag, (bus_space_handle_t)phys, size);
 107 }
 108
 109 static inline void
 110 _vq_record(uint32_t offs, int i, volatile struct vring_desc *vd,
 111         struct iovec *iov, int n_iov, uint16_t *flags) {
 112
 113         if (i >= n_iov)
 114                 return;
 115
 116         iov[i].iov_base = paddr_map(offs, be64toh(vd->addr),
 117                                 be32toh(vd->len));
 118         iov[i].iov_len = be32toh(vd->len);
 119         if (flags != NULL)
 120                 flags[i] = be16toh(vd->flags);
 121 }
 122
 123 int
 124 vq_getchain(uint32_t offs, struct vqueue_info *vq,
 125         struct iovec *iov, int n_iov, uint16_t *flags)
 126 {
 127         volatile struct vring_desc *vdir, *vindir, *vp;
 128         int idx, ndesc, n_indir;
 129         int head, next;
 130         int i;
 131
 132         idx = vq->vq_last_avail;
 133         ndesc = (be16toh(vq->vq_avail->idx) - idx);
 134         if (ndesc == 0)
 135                 return (0);
 136
 137         head = be16toh(vq->vq_avail->ring[idx & (vq->vq_qsize - 1)]);
 138         next = head;
 139
 140         for (i = 0; i < VQ_MAX_DESCRIPTORS; next = be16toh(vdir->next)) {
 141                 vdir = &vq->vq_desc[next];
 142                 if ((be16toh(vdir->flags) & VRING_DESC_F_INDIRECT) == 0) {
 143                         _vq_record(offs, i, vdir, iov, n_iov, flags);
 144                         i++;
 145                 } else {
 146                         n_indir = be32toh(vdir->len) / 16;
 147                         vindir = paddr_map(offs, be64toh(vdir->addr),
 148                                         be32toh(vdir->len));
 149                         next = 0;
 150                         for (;;) {
 151                                 vp = &vindir[next];
 152                                 _vq_record(offs, i, vp, iov, n_iov, flags);
 153                                 i+=1;
 154                                 if ((be16toh(vp->flags) & \
 155                                         VRING_DESC_F_NEXT) == 0)
 156                                         break;
 157                                 next = be16toh(vp->next);
 158                         }
 159                         paddr_unmap(__DEVOLATILE(void *, vindir), be32toh(vdir->len));
 160                 }
 161
 162                 if ((be16toh(vdir->flags) & VRING_DESC_F_NEXT) == 0)
 163                         return (i);
 164         }
 165
 166         return (i);
 167 }
 168
 169 void
 170 vq_relchain(struct vqueue_info *vq, struct iovec *iov, int n, uint32_t iolen)
 171 {
 172         volatile struct vring_used_elem *vue;
 173         volatile struct vring_used *vu;
 174         uint16_t head, uidx, mask;
 175         int i;
 176
 177         mask = vq->vq_qsize - 1;
 178         vu = vq->vq_used;
 179         head = be16toh(vq->vq_avail->ring[vq->vq_last_avail++ & mask]);
 180
 181         uidx = be16toh(vu->idx);
 182         vue = &vu->ring[uidx++ & mask];
 183         vue->id = htobe32(head);
 184
 185         vue->len = htobe32(iolen);
 186         vu->idx = htobe16(uidx);
 187
 188         /* Clean up */
 189         for (i = 0; i < n; i++) {
 190                 paddr_unmap((void *)iov[i].iov_base, iov[i].iov_len);
 191         }
 192 }
 193
 194 int
 195 setup_pio(device_t dev, char *name, device_t *pio_dev)
 196 {
 197         phandle_t pio_node;
 198         struct fdt_ic *ic;
 199         phandle_t xref;
 200         phandle_t node;
 201
 202         if ((node = ofw_bus_get_node(dev)) == -1)
 203                 return (ENXIO);
 204
 205         if (OF_searchencprop(node, name, &xref,
 206                 sizeof(xref)) == -1) {
 207                 return (ENXIO);
 208         }
 209
 210         pio_node = OF_node_from_xref(xref);
 211         SLIST_FOREACH(ic, &fdt_ic_list_head, fdt_ics) {
 212                 if (ic->iph == pio_node) {
 213                         *pio_dev = ic->dev;
 214                         return (0);
 215                 }
 216         }
 217
 218         return (ENXIO);
 219 }
 220
 221 int
 222 setup_offset(device_t dev, uint32_t *offset)
 223 {
 224         pcell_t dts_value[2];
 225         phandle_t mem_node;
 226         phandle_t xref;
 227         phandle_t node;
 228         int len;
 229
 230         if ((node = ofw_bus_get_node(dev)) == -1)
 231                 return (ENXIO);
 232
 233         if (OF_searchencprop(node, "beri-mem", &xref,
 234                 sizeof(xref)) == -1) {
 235                 return (ENXIO);
 236         }
 237
 238         mem_node = OF_node_from_xref(xref);
 239         if ((len = OF_getproplen(mem_node, "reg")) <= 0)
 240                 return (ENXIO);
 241         OF_getencprop(mem_node, "reg", dts_value, len);
 242         *offset = dts_value[0];
 243
 244         return (0);
 245 }
 246
 247 struct iovec *
 248 getcopy(struct iovec *iov, int n)
 249 {
 250         struct iovec *tiov;
 251         int i;
 252
 253         tiov = malloc(n * sizeof(struct iovec), M_DEVBUF, M_NOWAIT);
 254         for (i = 0; i < n; i++) {
 255                 tiov[i].iov_base = iov[i].iov_base;
 256                 tiov[i].iov_len = iov[i].iov_len;
 257         }
 258
 259         return (tiov);
 260 }