lib/libkvm/kvm_private.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1992, 1993
   5  *      The Regents of the University of California.  All rights reserved.
   6  *
   7  * This code is derived from software developed by the Computer Systems
   8  * Engineering group at Lawrence Berkeley Laboratory under DARPA contract
   9  * BG 91-66 and contributed to Berkeley.
  10  *
  11  * Redistribution and use in source and binary forms, with or without
  12  * modification, are permitted provided that the following conditions
  13  * are met:
  14  * 1. Redistributions of source code must retain the above copyright
  15  *    notice, this list of conditions and the following disclaimer.
  16  * 2. Redistributions in binary form must reproduce the above copyright
  17  *    notice, this list of conditions and the following disclaimer in the
  18  *    documentation and/or other materials provided with the distribution.
  19  * 3. Neither the name of the University nor the names of its contributors
  20  *    may be used to endorse or promote products derived from this software
  21  *    without specific prior written permission.
  22  *
  23  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  27  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  28  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  29  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  30  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  31  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  32  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33  * SUCH DAMAGE.
  34  */
  35
  36 #include <sys/endian.h>
  37 #include <sys/linker_set.h>
  38 #include <gelf.h>
  39
  40 struct kvm_arch {
  41         int     (*ka_probe)(kvm_t *);
  42         int     (*ka_initvtop)(kvm_t *);
  43         void    (*ka_freevtop)(kvm_t *);
  44         int     (*ka_kvatop)(kvm_t *, kvaddr_t, off_t *);
  45         int     (*ka_native)(kvm_t *);
  46         int     (*ka_walk_pages)(kvm_t *, kvm_walk_pages_cb_t *, void *);
  47         kssize_t (*ka_kerndisp)(kvm_t *);
  48 };
  49
  50 #define KVM_ARCH(ka)    DATA_SET(kvm_arch, ka)
  51
  52 struct __kvm {
  53         struct kvm_arch *arch;
  54         /*
  55          * a string to be prepended to error messages
  56          * provided for compatibility with sun's interface
  57          * if this value is null, errors are saved in errbuf[]
  58          */
  59         const char *program;
  60         char    *errp;          /* XXX this can probably go away */
  61         char    errbuf[_POSIX2_LINE_MAX];
  62 #define ISALIVE(kd) ((kd)->vmfd >= 0)
  63         int     pmfd;           /* physical memory file (or crashdump) */
  64         int     vmfd;           /* virtual memory file (-1 if crashdump) */
  65         int     nlfd;           /* namelist file (e.g., /kernel) */
  66         GElf_Ehdr nlehdr;       /* ELF file header for namelist file */
  67         int     (*resolve_symbol)(const char *, kvaddr_t *);
  68         struct kinfo_proc *procbase;
  69         char    *argspc;        /* (dynamic) storage for argv strings */
  70         int     arglen;         /* length of the above */
  71         char    **argv;         /* (dynamic) storage for argv pointers */
  72         int     argc;           /* length of above (not actual # present) */
  73         char    *argbuf;        /* (dynamic) temporary storage */
  74         /*
  75          * Kernel virtual address translation state.  This only gets filled
  76          * in for dead kernels; otherwise, the running kernel (i.e. kmem)
  77          * will do the translations for us.  It could be big, so we
  78          * only allocate it if necessary.
  79          */
  80         struct vmstate *vmst;
  81         int     rawdump;        /* raw dump format */
  82         int     writable;       /* physical memory is writable */
  83
  84         int             vnet_initialized;       /* vnet fields set up */
  85         kvaddr_t        vnet_start;     /* start of kernel's vnet region */
  86         kvaddr_t        vnet_stop;      /* stop of kernel's vnet region */
  87         kvaddr_t        vnet_current;   /* vnet we're working with */
  88         kvaddr_t        vnet_base;      /* vnet base of current vnet */
  89
  90         /*
  91          * Dynamic per-CPU kernel memory.  We translate symbols, on-demand,
  92          * to the data associated with dpcpu_curcpu, set with
  93          * kvm_dpcpu_setcpu().
  94          */
  95         int             dpcpu_initialized;      /* dpcpu fields set up */
  96         kvaddr_t        dpcpu_start;    /* start of kernel's dpcpu region */
  97         kvaddr_t        dpcpu_stop;     /* stop of kernel's dpcpu region */
  98         u_int           dpcpu_maxcpus;  /* size of base array */
  99         uintptr_t       *dpcpu_off;     /* base array, indexed by CPU ID */
 100         u_int           dpcpu_curcpu;   /* CPU we're currently working with */
 101         kvaddr_t        dpcpu_curoff;   /* dpcpu base of current CPU */
 102
 103         /* Page table lookup structures. */
 104         uint64_t        *pt_map;
 105         size_t          pt_map_size;
 106         uint64_t        *dump_avail;    /* actually word sized */
 107         size_t          dump_avail_size;
 108         off_t           pt_sparse_off;
 109         uint64_t        pt_sparse_size;
 110         uint32_t        *pt_popcounts;
 111         unsigned int    pt_page_size;
 112
 113         /* Page & sparse map structures. */
 114         void            *page_map;
 115         uint32_t        page_map_size;
 116         off_t           page_map_off;
 117         void            *sparse_map;
 118 };
 119
 120 struct kvm_bitmap {
 121         uint8_t *map;
 122         u_long size;
 123 };
 124
 125 /* Page table lookup constants. */
 126 #define POPCOUNT_BITS   1024
 127 #define BITS_IN(v)      (sizeof(v) * NBBY)
 128 #define POPCOUNTS_IN(v) (POPCOUNT_BITS / BITS_IN(v))
 129
 130 /*
 131  * Functions used internally by kvm, but across kvm modules.
 132  */
 133 static inline uint16_t
 134 _kvm16toh(kvm_t *kd, uint16_t val)
 135 {
 136
 137         if (kd->nlehdr.e_ident[EI_DATA] == ELFDATA2LSB)
 138                 return (le16toh(val));
 139         else
 140                 return (be16toh(val));
 141 }
 142
 143 static inline uint32_t
 144 _kvm32toh(kvm_t *kd, uint32_t val)
 145 {
 146
 147         if (kd->nlehdr.e_ident[EI_DATA] == ELFDATA2LSB)
 148                 return (le32toh(val));
 149         else
 150                 return (be32toh(val));
 151 }
 152
 153 static inline uint64_t
 154 _kvm64toh(kvm_t *kd, uint64_t val)
 155 {
 156
 157         if (kd->nlehdr.e_ident[EI_DATA] == ELFDATA2LSB)
 158                 return (le64toh(val));
 159         else
 160                 return (be64toh(val));
 161 }
 162
 163 uint64_t _kvm_pa_bit_id(kvm_t *kd, uint64_t pa, unsigned int page_size);
 164 uint64_t _kvm_bit_id_pa(kvm_t *kd, uint64_t bit_id, unsigned int page_size);
 165 #define _KVM_PA_INVALID         ULONG_MAX
 166 #define _KVM_BIT_ID_INVALID     ULONG_MAX
 167
 168 int      _kvm_bitmap_init(struct kvm_bitmap *, u_long, u_long *);
 169 void     _kvm_bitmap_set(struct kvm_bitmap *, u_long);
 170 int      _kvm_bitmap_next(struct kvm_bitmap *, u_long *);
 171 void     _kvm_bitmap_deinit(struct kvm_bitmap *);
 172
 173 void     _kvm_err(kvm_t *kd, const char *program, const char *fmt, ...)
 174             __printflike(3, 4);
 175 void     _kvm_freeprocs(kvm_t *kd);
 176 void    *_kvm_malloc(kvm_t *kd, size_t);
 177 int      _kvm_nlist(kvm_t *, struct kvm_nlist *, int);
 178 void    *_kvm_realloc(kvm_t *kd, void *, size_t);
 179 void     _kvm_syserr (kvm_t *kd, const char *program, const char *fmt, ...)
 180             __printflike(3, 4);
 181 int      _kvm_vnet_selectpid(kvm_t *, pid_t);
 182 int      _kvm_vnet_initialized(kvm_t *, int);
 183 kvaddr_t _kvm_vnet_validaddr(kvm_t *, kvaddr_t);
 184 int      _kvm_dpcpu_initialized(kvm_t *, int);
 185 kvaddr_t _kvm_dpcpu_validaddr(kvm_t *, kvaddr_t);
 186 int      _kvm_probe_elf_kernel(kvm_t *, int, int);
 187 int      _kvm_is_minidump(kvm_t *);
 188 int      _kvm_read_core_phdrs(kvm_t *, size_t *, GElf_Phdr **);
 189 int      _kvm_pt_init(kvm_t *, size_t, off_t, size_t, off_t, off_t, int);
 190 off_t    _kvm_pt_find(kvm_t *, uint64_t, unsigned int);
 191 int      _kvm_visit_cb(kvm_t *, kvm_walk_pages_cb_t *, void *, u_long,
 192             u_long, u_long, vm_prot_t, size_t, unsigned int);
 193 int      _kvm_pmap_init(kvm_t *, uint32_t, off_t);
 194 void *   _kvm_pmap_get(kvm_t *, u_long, size_t);
 195 void *   _kvm_map_get(kvm_t *, u_long, unsigned int);