lib/libkvm/kvm_private.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1992, 1993
   5  *      The Regents of the University of California.  All rights reserved.
   6  *
   7  * This code is derived from software developed by the Computer Systems
   8  * Engineering group at Lawrence Berkeley Laboratory under DARPA contract
   9  * BG 91-66 and contributed to Berkeley.
  10  *
  11  * Redistribution and use in source and binary forms, with or without
  12  * modification, are permitted provided that the following conditions
  13  * are met:
  14  * 1. Redistributions of source code must retain the above copyright
  15  *    notice, this list of conditions and the following disclaimer.
  16  * 2. Redistributions in binary form must reproduce the above copyright
  17  *    notice, this list of conditions and the following disclaimer in the
  18  *    documentation and/or other materials provided with the distribution.
  19  * 3. Neither the name of the University nor the names of its contributors
  20  *    may be used to endorse or promote products derived from this software
  21  *    without specific prior written permission.
  22  *
  23  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  27  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  28  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  29  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  30  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  31  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  32  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33  * SUCH DAMAGE.
  34  *
  35  *      @(#)kvm_private.h       8.1 (Berkeley) 6/4/93
  36  */
  37
  38 #include <sys/endian.h>
  39 #include <sys/linker_set.h>
  40 #include <gelf.h>
  41
  42 struct kvm_arch {
  43         int     (*ka_probe)(kvm_t *);
  44         int     (*ka_initvtop)(kvm_t *);
  45         void    (*ka_freevtop)(kvm_t *);
  46         int     (*ka_kvatop)(kvm_t *, kvaddr_t, off_t *);
  47         int     (*ka_native)(kvm_t *);
  48         int     (*ka_walk_pages)(kvm_t *, kvm_walk_pages_cb_t *, void *);
  49         kssize_t (*ka_kerndisp)(kvm_t *);
  50 };
  51
  52 #define KVM_ARCH(ka)    DATA_SET(kvm_arch, ka)
  53
  54 struct __kvm {
  55         struct kvm_arch *arch;
  56         /*
  57          * a string to be prepended to error messages
  58          * provided for compatibility with sun's interface
  59          * if this value is null, errors are saved in errbuf[]
  60          */
  61         const char *program;
  62         char    *errp;          /* XXX this can probably go away */
  63         char    errbuf[_POSIX2_LINE_MAX];
  64 #define ISALIVE(kd) ((kd)->vmfd >= 0)
  65         int     pmfd;           /* physical memory file (or crashdump) */
  66         int     vmfd;           /* virtual memory file (-1 if crashdump) */
  67         int     nlfd;           /* namelist file (e.g., /kernel) */
  68         GElf_Ehdr nlehdr;       /* ELF file header for namelist file */
  69         int     (*resolve_symbol)(const char *, kvaddr_t *);
  70         struct kinfo_proc *procbase;
  71         char    *argspc;        /* (dynamic) storage for argv strings */
  72         int     arglen;         /* length of the above */
  73         char    **argv;         /* (dynamic) storage for argv pointers */
  74         int     argc;           /* length of above (not actual # present) */
  75         char    *argbuf;        /* (dynamic) temporary storage */
  76         /*
  77          * Kernel virtual address translation state.  This only gets filled
  78          * in for dead kernels; otherwise, the running kernel (i.e. kmem)
  79          * will do the translations for us.  It could be big, so we
  80          * only allocate it if necessary.
  81          */
  82         struct vmstate *vmst;
  83         int     rawdump;        /* raw dump format */
  84         int     writable;       /* physical memory is writable */
  85
  86         int             vnet_initialized;       /* vnet fields set up */
  87         kvaddr_t        vnet_start;     /* start of kernel's vnet region */
  88         kvaddr_t        vnet_stop;      /* stop of kernel's vnet region */
  89         kvaddr_t        vnet_current;   /* vnet we're working with */
  90         kvaddr_t        vnet_base;      /* vnet base of current vnet */
  91
  92         /*
  93          * Dynamic per-CPU kernel memory.  We translate symbols, on-demand,
  94          * to the data associated with dpcpu_curcpu, set with
  95          * kvm_dpcpu_setcpu().
  96          */
  97         int             dpcpu_initialized;      /* dpcpu fields set up */
  98         kvaddr_t        dpcpu_start;    /* start of kernel's dpcpu region */
  99         kvaddr_t        dpcpu_stop;     /* stop of kernel's dpcpu region */
 100         u_int           dpcpu_maxcpus;  /* size of base array */
 101         uintptr_t       *dpcpu_off;     /* base array, indexed by CPU ID */
 102         u_int           dpcpu_curcpu;   /* CPU we're currently working with */
 103         kvaddr_t        dpcpu_curoff;   /* dpcpu base of current CPU */
 104
 105         /* Page table lookup structures. */
 106         uint64_t        *pt_map;
 107         size_t          pt_map_size;
 108         uint64_t        *dump_avail;    /* actually word sized */
 109         size_t          dump_avail_size;
 110         off_t           pt_sparse_off;
 111         uint64_t        pt_sparse_size;
 112         uint32_t        *pt_popcounts;
 113         unsigned int    pt_page_size;
 114
 115         /* Page & sparse map structures. */
 116         void            *page_map;
 117         uint32_t        page_map_size;
 118         off_t           page_map_off;
 119         void            *sparse_map;
 120 };
 121
 122 struct kvm_bitmap {
 123         uint8_t *map;
 124         u_long size;
 125 };
 126
 127 /* Page table lookup constants. */
 128 #define POPCOUNT_BITS   1024
 129 #define BITS_IN(v)      (sizeof(v) * NBBY)
 130 #define POPCOUNTS_IN(v) (POPCOUNT_BITS / BITS_IN(v))
 131
 132 /*
 133  * Functions used internally by kvm, but across kvm modules.
 134  */
 135 static inline uint16_t
 136 _kvm16toh(kvm_t *kd, uint16_t val)
 137 {
 138
 139         if (kd->nlehdr.e_ident[EI_DATA] == ELFDATA2LSB)
 140                 return (le16toh(val));
 141         else
 142                 return (be16toh(val));
 143 }
 144
 145 static inline uint32_t
 146 _kvm32toh(kvm_t *kd, uint32_t val)
 147 {
 148
 149         if (kd->nlehdr.e_ident[EI_DATA] == ELFDATA2LSB)
 150                 return (le32toh(val));
 151         else
 152                 return (be32toh(val));
 153 }
 154
 155 static inline uint64_t
 156 _kvm64toh(kvm_t *kd, uint64_t val)
 157 {
 158
 159         if (kd->nlehdr.e_ident[EI_DATA] == ELFDATA2LSB)
 160                 return (le64toh(val));
 161         else
 162                 return (be64toh(val));
 163 }
 164
 165 uint64_t _kvm_pa_bit_id(kvm_t *kd, uint64_t pa, unsigned int page_size);
 166 uint64_t _kvm_bit_id_pa(kvm_t *kd, uint64_t bit_id, unsigned int page_size);
 167 #define _KVM_PA_INVALID         ULONG_MAX
 168 #define _KVM_BIT_ID_INVALID     ULONG_MAX
 169
 170 int      _kvm_bitmap_init(struct kvm_bitmap *, u_long, u_long *);
 171 void     _kvm_bitmap_set(struct kvm_bitmap *, u_long);
 172 int      _kvm_bitmap_next(struct kvm_bitmap *, u_long *);
 173 void     _kvm_bitmap_deinit(struct kvm_bitmap *);
 174
 175 void     _kvm_err(kvm_t *kd, const char *program, const char *fmt, ...)
 176             __printflike(3, 4);
 177 void     _kvm_freeprocs(kvm_t *kd);
 178 void    *_kvm_malloc(kvm_t *kd, size_t);
 179 int      _kvm_nlist(kvm_t *, struct kvm_nlist *, int);
 180 void    *_kvm_realloc(kvm_t *kd, void *, size_t);
 181 void     _kvm_syserr (kvm_t *kd, const char *program, const char *fmt, ...)
 182             __printflike(3, 4);
 183 int      _kvm_vnet_selectpid(kvm_t *, pid_t);
 184 int      _kvm_vnet_initialized(kvm_t *, int);
 185 kvaddr_t _kvm_vnet_validaddr(kvm_t *, kvaddr_t);
 186 int      _kvm_dpcpu_initialized(kvm_t *, int);
 187 kvaddr_t _kvm_dpcpu_validaddr(kvm_t *, kvaddr_t);
 188 int      _kvm_probe_elf_kernel(kvm_t *, int, int);
 189 int      _kvm_is_minidump(kvm_t *);
 190 int      _kvm_read_core_phdrs(kvm_t *, size_t *, GElf_Phdr **);
 191 int      _kvm_pt_init(kvm_t *, size_t, off_t, size_t, off_t, off_t, int);
 192 off_t    _kvm_pt_find(kvm_t *, uint64_t, unsigned int);
 193 int      _kvm_visit_cb(kvm_t *, kvm_walk_pages_cb_t *, void *, u_long,
 194             u_long, u_long, vm_prot_t, size_t, unsigned int);
 195 int      _kvm_pmap_init(kvm_t *, uint32_t, off_t);
 196 void *   _kvm_pmap_get(kvm_t *, u_long, size_t);
 197 void *   _kvm_map_get(kvm_t *, u_long, unsigned int);