stand/efi/loader/copy.c

   1 /*-
   2  * Copyright (c) 2013 The FreeBSD Foundation
   3  * All rights reserved.
   4  *
   5  * This software was developed by Benno Rice under sponsorship from
   6  * the FreeBSD Foundation.
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  * ARE DISCLAIMED. IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  26  * SUCH DAMAGE.
  27  */
  28
  29 #include <sys/cdefs.h>
  30 __FBSDID("$FreeBSD$");
  31
  32 #include <sys/param.h>
  33
  34 #include <stand.h>
  35 #include <bootstrap.h>
  36
  37 #include <efi.h>
  38 #include <efilib.h>
  39
  40 #include "loader_efi.h"
  41
  42 #if defined(__i386__) || defined(__amd64__)
  43 #include <machine/cpufunc.h>
  44 #include <machine/specialreg.h>
  45 #include <machine/vmparam.h>
  46
  47 /*
  48  * The code is excerpted from sys/x86/x86/identcpu.c: identify_cpu(),
  49  * identify_hypervisor(), and dev/hyperv/vmbus/hyperv.c: hyperv_identify().
  50  */
  51 #define CPUID_LEAF_HV_MAXLEAF           0x40000000
  52 #define CPUID_LEAF_HV_INTERFACE         0x40000001
  53 #define CPUID_LEAF_HV_FEATURES          0x40000003
  54 #define CPUID_LEAF_HV_LIMITS            0x40000005
  55 #define CPUID_HV_IFACE_HYPERV           0x31237648      /* HV#1 */
  56 #define CPUID_HV_MSR_TIME_REFCNT        0x0002  /* MSR_HV_TIME_REF_COUNT */
  57 #define CPUID_HV_MSR_HYPERCALL          0x0020
  58
  59 static int
  60 running_on_hyperv(void)
  61 {
  62         char hv_vendor[16];
  63         uint32_t regs[4];
  64
  65         do_cpuid(1, regs);
  66         if ((regs[2] & CPUID2_HV) == 0)
  67                 return (0);
  68
  69         do_cpuid(CPUID_LEAF_HV_MAXLEAF, regs);
  70         if (regs[0] < CPUID_LEAF_HV_LIMITS)
  71                 return (0);
  72
  73         ((uint32_t *)&hv_vendor)[0] = regs[1];
  74         ((uint32_t *)&hv_vendor)[1] = regs[2];
  75         ((uint32_t *)&hv_vendor)[2] = regs[3];
  76         hv_vendor[12] = '\0';
  77         if (strcmp(hv_vendor, "Microsoft Hv") != 0)
  78                 return (0);
  79
  80         do_cpuid(CPUID_LEAF_HV_INTERFACE, regs);
  81         if (regs[0] != CPUID_HV_IFACE_HYPERV)
  82                 return (0);
  83
  84         do_cpuid(CPUID_LEAF_HV_FEATURES, regs);
  85         if ((regs[0] & CPUID_HV_MSR_HYPERCALL) == 0)
  86                 return (0);
  87         if ((regs[0] & CPUID_HV_MSR_TIME_REFCNT) == 0)
  88                 return (0);
  89
  90         return (1);
  91 }
  92
  93 static void
  94 efi_verify_staging_size(unsigned long *nr_pages)
  95 {
  96         UINTN sz;
  97         EFI_MEMORY_DESCRIPTOR *map = NULL, *p;
  98         EFI_PHYSICAL_ADDRESS start, end;
  99         UINTN key, dsz;
 100         UINT32 dver;
 101         EFI_STATUS status;
 102         int i, ndesc;
 103         unsigned long available_pages = 0;
 104
 105         sz = 0;
 106
 107         for (;;) {
 108                 status = BS->GetMemoryMap(&sz, map, &key, &dsz, &dver);
 109                 if (!EFI_ERROR(status))
 110                         break;
 111
 112                 if (status != EFI_BUFFER_TOO_SMALL) {
 113                         printf("Can't read memory map: %lu\n",
 114                             EFI_ERROR_CODE(status));
 115                         goto out;
 116                 }
 117
 118                 free(map);
 119
 120                 /* Allocate 10 descriptors more than the size reported,
 121                  * to allow for any fragmentation caused by calling
 122                  * malloc */
 123                 map = malloc(sz + (10 * dsz));
 124                 if (map == NULL) {
 125                         printf("Unable to allocate memory\n");
 126                         goto out;
 127                 }
 128         }
 129
 130         ndesc = sz / dsz;
 131         for (i = 0, p = map; i < ndesc;
 132              i++, p = NextMemoryDescriptor(p, dsz)) {
 133                 start = p->PhysicalStart;
 134                 end = start + p->NumberOfPages * EFI_PAGE_SIZE;
 135
 136                 if (KERNLOAD < start || KERNLOAD >= end)
 137                         continue;
 138
 139                 available_pages = p->NumberOfPages -
 140                         ((KERNLOAD - start) >> EFI_PAGE_SHIFT);
 141                 break;
 142         }
 143
 144         if (available_pages == 0) {
 145                 printf("Can't find valid memory map for staging area!\n");
 146                 goto out;
 147         }
 148
 149         i++;
 150         p = NextMemoryDescriptor(p, dsz);
 151
 152         for ( ; i < ndesc;
 153              i++, p = NextMemoryDescriptor(p, dsz)) {
 154                 if (p->Type != EfiConventionalMemory &&
 155                     p->Type != EfiLoaderData)
 156                         break;
 157
 158                 if (p->PhysicalStart != end)
 159                         break;
 160
 161                 end = p->PhysicalStart + p->NumberOfPages * EFI_PAGE_SIZE;
 162
 163                 available_pages += p->NumberOfPages;
 164         }
 165
 166         if (*nr_pages > available_pages) {
 167                 printf("Staging area's size is reduced: %ld -> %ld!\n",
 168                     *nr_pages, available_pages);
 169                 *nr_pages = available_pages;
 170         }
 171 out:
 172         free(map);
 173 }
 174 #endif /* __i386__ || __amd64__ */
 175
 176 #ifndef EFI_STAGING_SIZE
 177 #if defined(__amd64__)
 178 #define EFI_STAGING_SIZE        100
 179 #elif defined(__arm__)
 180 #define EFI_STAGING_SIZE        32
 181 #else
 182 #define EFI_STAGING_SIZE        64
 183 #endif
 184 #endif
 185
 186 EFI_PHYSICAL_ADDRESS    staging, staging_end, staging_base;
 187 int                     stage_offset_set = 0;
 188 ssize_t                 stage_offset;
 189
 190 int
 191 efi_copy_init(void)
 192 {
 193         EFI_STATUS      status;
 194
 195         unsigned long nr_pages;
 196
 197         nr_pages = EFI_SIZE_TO_PAGES((EFI_STAGING_SIZE) * 1024 * 1024);
 198
 199 #if defined(__i386__) || defined(__amd64__)
 200         /*
 201          * We'll decrease nr_pages, if it's too big. Currently we only
 202          * apply this to FreeBSD VM running on Hyper-V. Why? Please see
 203          * https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=211746#c28
 204          */
 205         if (running_on_hyperv())
 206                 efi_verify_staging_size(&nr_pages);
 207
 208         /*
 209          * The staging area must reside in the the first 1GB physical
 210          * memory: see elf64_exec() in
 211          * boot/efi/loader/arch/amd64/elf64_freebsd.c.
 212          */
 213         staging = 1024*1024*1024;
 214         status = BS->AllocatePages(AllocateMaxAddress, EfiLoaderData,
 215             nr_pages, &staging);
 216 #else
 217         status = BS->AllocatePages(AllocateAnyPages, EfiLoaderData,
 218             nr_pages, &staging);
 219 #endif
 220         if (EFI_ERROR(status)) {
 221                 printf("failed to allocate staging area: %lu\n",
 222                     EFI_ERROR_CODE(status));
 223                 return (status);
 224         }
 225         staging_base = staging;
 226         staging_end = staging + nr_pages * EFI_PAGE_SIZE;
 227
 228 #if defined(__aarch64__) || defined(__arm__) || defined(__riscv)
 229         /*
 230          * Round the kernel load address to a 2MiB value. This is needed
 231          * because the kernel builds a page table based on where it has
 232          * been loaded in physical address space. As the kernel will use
 233          * either a 1MiB or 2MiB page for this we need to make sure it
 234          * is correctly aligned for both cases.
 235          */
 236         staging = roundup2(staging, 2 * 1024 * 1024);
 237 #endif
 238
 239         return (0);
 240 }
 241
 242 static bool
 243 efi_check_space(vm_offset_t end)
 244 {
 245         EFI_PHYSICAL_ADDRESS addr;
 246         EFI_STATUS status;
 247         unsigned long nr_pages;
 248
 249         /* There is already enough space */
 250         if (end <= staging_end)
 251                 return (true);
 252
 253         end = roundup2(end, EFI_PAGE_SIZE);
 254         nr_pages = EFI_SIZE_TO_PAGES(end - staging_end);
 255
 256 #if defined(__i386__) || defined(__amd64__)
 257         /* X86 needs all memory to be allocated under the 1G boundary */
 258         if (end > 1024*1024*1024)
 259                 goto before_staging;
 260 #endif
 261
 262         /* Try to allocate more space after the previous allocation */
 263         addr = staging_end;
 264         status = BS->AllocatePages(AllocateAddress, EfiLoaderData, nr_pages,
 265             &addr);
 266         if (!EFI_ERROR(status)) {
 267                 staging_end = staging_end + nr_pages * EFI_PAGE_SIZE;
 268                 return (true);
 269         }
 270
 271 before_staging:
 272         /* Try allocating space before the previous allocation */
 273         if (staging < nr_pages * EFI_PAGE_SIZE) {
 274                 printf("Not enough space before allocation\n");
 275                 return (false);
 276         }
 277         addr = staging - nr_pages * EFI_PAGE_SIZE;
 278 #if defined(__aarch64__) || defined(__arm__) || defined(__riscv)
 279         /* See efi_copy_init for why this is needed */
 280         addr = rounddown2(addr, 2 * 1024 * 1024);
 281 #endif
 282         nr_pages = EFI_SIZE_TO_PAGES(staging_base - addr);
 283         status = BS->AllocatePages(AllocateAddress, EfiLoaderData, nr_pages,
 284             &addr);
 285         if (!EFI_ERROR(status)) {
 286                 /*
 287                  * Move the old allocation and update the state so
 288                  * translation still works.
 289                  */
 290                 staging_base = addr;
 291                 memmove((void *)(uintptr_t)staging_base,
 292                     (void *)(uintptr_t)staging, staging_end - staging);
 293                 stage_offset -= (staging - staging_base);
 294                 staging = staging_base;
 295                 return (true);
 296         }
 297
 298         printf("efi_check_space: Unable to expand staging area\n");
 299         return (false);
 300 }
 301
 302 void *
 303 efi_translate(vm_offset_t ptr)
 304 {
 305
 306         return ((void *)(ptr + stage_offset));
 307 }
 308
 309 ssize_t
 310 efi_copyin(const void *src, vm_offset_t dest, const size_t len)
 311 {
 312
 313         if (!stage_offset_set) {
 314                 stage_offset = (vm_offset_t)staging - dest;
 315                 stage_offset_set = 1;
 316         }
 317
 318         /* XXX: Callers do not check for failure. */
 319         if (!efi_check_space(dest + stage_offset + len)) {
 320                 errno = ENOMEM;
 321                 return (-1);
 322         }
 323         bcopy(src, (void *)(dest + stage_offset), len);
 324         return (len);
 325 }
 326
 327 ssize_t
 328 efi_copyout(const vm_offset_t src, void *dest, const size_t len)
 329 {
 330
 331         /* XXX: Callers do not check for failure. */
 332         if (src + stage_offset + len > staging_end) {
 333                 errno = ENOMEM;
 334                 return (-1);
 335         }
 336         bcopy((void *)(src + stage_offset), dest, len);
 337         return (len);
 338 }
 339
 340
 341 ssize_t
 342 efi_readin(readin_handle_t fd, vm_offset_t dest, const size_t len)
 343 {
 344
 345         if (!stage_offset_set) {
 346                 stage_offset = (vm_offset_t)staging - dest;
 347                 stage_offset_set = 1;
 348         }
 349
 350         if (!efi_check_space(dest + stage_offset + len)) {
 351                 errno = ENOMEM;
 352                 return (-1);
 353         }
 354         return (VECTX_READ(fd, (void *)(dest + stage_offset), len));
 355 }
 356
 357 void
 358 efi_copy_finish(void)
 359 {
 360         uint64_t        *src, *dst, *last;
 361
 362         src = (uint64_t *)(uintptr_t)staging;
 363         dst = (uint64_t *)(uintptr_t)(staging - stage_offset);
 364         last = (uint64_t *)(uintptr_t)staging_end;
 365
 366         while (src < last)
 367                 *dst++ = *src++;
 368 }