sys/x86/include/x86_smp.h

   1 /*-
   2  * SPDX-License-Identifier: Beerware
   3  *
   4  * ----------------------------------------------------------------------------
   5  * "THE BEER-WARE LICENSE" (Revision 42):
   6  * <phk@FreeBSD.org> wrote this file.  As long as you retain this notice you
   7  * can do whatever you want with this stuff. If we meet some day, and you think
   8  * this stuff is worth it, you can buy me a beer in return.   Poul-Henning Kamp
   9  * ----------------------------------------------------------------------------
  10  *
  11  * $FreeBSD$
  12  *
  13  */
  14
  15 #ifndef _X86_X86_SMP_H_
  16 #define _X86_X86_SMP_H_
  17
  18 #include <sys/bus.h>
  19 #include <machine/frame.h>
  20 #include <machine/intr_machdep.h>
  21 #include <x86/apicvar.h>
  22 #include <machine/pcb.h>
  23
  24 struct pmap;
  25
  26 /* global data in mp_x86.c */
  27 extern int mp_naps;
  28 extern int boot_cpu_id;
  29 extern struct pcb stoppcbs[];
  30 extern int cpu_apic_ids[];
  31 extern int bootAP;
  32 extern void *dpcpu;
  33 extern char *bootSTK;
  34 extern void *bootstacks[];
  35 extern unsigned int boot_address;
  36 extern unsigned int bootMP_size;
  37 extern volatile u_int cpu_ipi_pending[];
  38 extern volatile int aps_ready;
  39 extern struct mtx ap_boot_mtx;
  40 extern int cpu_logical;
  41 extern int cpu_cores;
  42 extern volatile uint32_t smp_tlb_generation;
  43 extern struct pmap *smp_tlb_pmap;
  44 extern vm_offset_t smp_tlb_addr1, smp_tlb_addr2;
  45 extern u_int xhits_gbl[];
  46 extern u_int xhits_pg[];
  47 extern u_int xhits_rng[];
  48 extern u_int ipi_global;
  49 extern u_int ipi_page;
  50 extern u_int ipi_range;
  51 extern u_int ipi_range_size;
  52
  53 extern int nmi_kdb_lock;
  54 extern int nmi_is_broadcast;
  55
  56 struct cpu_info {
  57         int     cpu_present:1;
  58         int     cpu_bsp:1;
  59         int     cpu_disabled:1;
  60         int     cpu_hyperthread:1;
  61 };
  62 extern struct cpu_info *cpu_info;
  63
  64 #ifdef COUNT_IPIS
  65 extern u_long *ipi_invltlb_counts[MAXCPU];
  66 extern u_long *ipi_invlrng_counts[MAXCPU];
  67 extern u_long *ipi_invlpg_counts[MAXCPU];
  68 extern u_long *ipi_invlcache_counts[MAXCPU];
  69 extern u_long *ipi_rendezvous_counts[MAXCPU];
  70 #endif
  71
  72 /* IPI handlers */
  73 inthand_t
  74         IDTVEC(invltlb),        /* TLB shootdowns - global */
  75         IDTVEC(invlpg),         /* TLB shootdowns - 1 page */
  76         IDTVEC(invlrng),        /* TLB shootdowns - page range */
  77         IDTVEC(invlcache),      /* Write back and invalidate cache */
  78         IDTVEC(ipi_intr_bitmap_handler), /* Bitmap based IPIs */
  79         IDTVEC(ipi_swi),        /* Runs delayed SWI */
  80         IDTVEC(cpustop),        /* CPU stops & waits to be restarted */
  81         IDTVEC(cpususpend),     /* CPU suspends & waits to be resumed */
  82         IDTVEC(rendezvous);     /* handle CPU rendezvous */
  83
  84 typedef void (*smp_invl_cb_t)(struct pmap *, vm_offset_t addr1,
  85     vm_offset_t addr2);
  86
  87 /* functions in x86_mp.c */
  88 void    assign_cpu_ids(void);
  89 void    cpu_add(u_int apic_id, char boot_cpu);
  90 void    cpustop_handler(void);
  91 void    cpususpend_handler(void);
  92 void    alloc_ap_trampoline(vm_paddr_t *physmap, unsigned int *physmap_idx);
  93 void    init_secondary_tail(void);
  94 void    invltlb_handler(void);
  95 void    invlpg_handler(void);
  96 void    invlrng_handler(void);
  97 void    invlcache_handler(void);
  98 void    init_secondary(void);
  99 void    ipi_startup(int apic_id, int vector);
 100 void    ipi_all_but_self(u_int ipi);
 101 void    ipi_bitmap_handler(struct trapframe frame);
 102 void    ipi_cpu(int cpu, u_int ipi);
 103 int     ipi_nmi_handler(void);
 104 void    ipi_swi_handler(struct trapframe frame);
 105 void    ipi_selected(cpuset_t cpus, u_int ipi);
 106 void    ipi_self_from_nmi(u_int vector);
 107 void    set_interrupt_apic_ids(void);
 108 void    smp_cache_flush(smp_invl_cb_t curcpu_cb);
 109 void    smp_masked_invlpg(cpuset_t mask, vm_offset_t addr, struct pmap *pmap,
 110             smp_invl_cb_t curcpu_cb);
 111 void    smp_masked_invlpg_range(cpuset_t mask, vm_offset_t startva,
 112             vm_offset_t endva, struct pmap *pmap, smp_invl_cb_t curcpu_cb);
 113 void    smp_masked_invltlb(cpuset_t mask, struct pmap *pmap,
 114             smp_invl_cb_t curcpu_cb);
 115 void    mem_range_AP_init(void);
 116 void    topo_probe(void);
 117 void    ipi_send_cpu(int cpu, u_int ipi);
 118
 119 #endif