usr.sbin/bhyve/bhyve.8

   1 .\" Copyright (c) 2013 Peter Grehan
   2 .\" All rights reserved.
   3 .\"
   4 .\" Redistribution and use in source and binary forms, with or without
   5 .\" modification, are permitted provided that the following conditions
   6 .\" are met:
   7 .\" 1. Redistributions of source code must retain the above copyright
   8 .\"    notice, this list of conditions and the following disclaimer.
   9 .\" 2. Redistributions in binary form must reproduce the above copyright
  10 .\"    notice, this list of conditions and the following disclaimer in the
  11 .\"    documentation and/or other materials provided with the distribution.
  12 .\"
  13 .\" THIS SOFTWARE IS PROVIDED BY THE AUTHORS AND CONTRIBUTORS ``AS IS'' AND
  14 .\" ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  15 .\" IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  16 .\" ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHORS OR CONTRIBUTORS BE LIABLE
  17 .\" FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  18 .\" DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  19 .\" OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  20 .\" HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  21 .\" LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  22 .\" OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  23 .\" SUCH DAMAGE.
  24 .\"
  25 .\" $FreeBSD$
  26 .\"
  27 .Dd October 24, 2018
  28 .Dt BHYVE 8
  29 .Os
  30 .Sh NAME
  31 .Nm bhyve
  32 .Nd "run a guest operating system inside a virtual machine"
  33 .Sh SYNOPSIS
  34 .Nm
  35 .Op Fl abehuwxACHPSWY
  36 .Oo
  37 .Fl c\~ Ns
  38 .Oo
  39 .Op Ar cpus= Ns
  40 .Ar numcpus Ns
  41 .Oc Ns
  42 .Op Ar ,sockets=n Ns
  43 .Op Ar ,cores=n Ns
  44 .Op Ar ,threads=n
  45 .Oc
  46 .Op Fl g Ar gdbport
  47 .Op Fl l Ar lpcdev Ns Op , Ns Ar conf
  48 .Op Fl m Ar memsize Ns Op Ar K|k|M|m|G|g|T|t
  49 .Op Fl p Ar vcpu:hostcpu
  50 .Op Fl s Ar slot,emulation Ns Op , Ns Ar conf
  51 .Op Fl U Ar uuid
  52 .Ar vmname
  53 .Sh DESCRIPTION
  54 .Nm
  55 is a hypervisor that runs guest operating systems inside a
  56 virtual machine.
  57 .Pp
  58 Parameters such as the number of virtual CPUs, amount of guest memory, and
  59 I/O connectivity can be specified with command-line parameters.
  60 .Pp
  61 If not using a boot ROM, the guest operating system must be loaded with
  62 .Xr bhyveload 8
  63 or a similar boot loader before running
  64 .Nm ,
  65 otherwise, it is enough to run
  66 .Nm
  67 with a boot ROM of choice.
  68 .Pp
  69 .Nm
  70 runs until the guest operating system reboots or an unhandled hypervisor
  71 exit is detected.
  72 .Sh OPTIONS
  73 .Bl -tag -width 10n
  74 .It Fl a
  75 The guest's local APIC is configured in xAPIC mode.
  76 The xAPIC mode is the default setting so this option is redundant.
  77 It will be deprecated in a future version.
  78 .It Fl A
  79 Generate ACPI tables.
  80 Required for
  81 .Fx Ns /amd64
  82 guests.
  83 .It Fl b
  84 Enable a low-level console device supported by
  85 .Fx
  86 kernels compiled with
  87 .Cd "device bvmconsole" .
  88 This option will be deprecated in a future version.
  89 .It Fl c Op Ar setting ...
  90 Number of guest virtual CPUs
  91 and/or the CPU topology.
  92 The default value for each of
  93 .Ar numcpus ,
  94 .Ar sockets ,
  95 .Ar cores ,
  96 and
  97 .Ar threads
  98 is 1.
  99 The current maximum number of guest virtual CPUs is 16.
 100 If
 101 .Ar numcpus
 102 is not specified then it will be calculated from the other arguments.
 103 The topology must be consistent in that the
 104 .Ar numcpus
 105 must equal the product of
 106 .Ar sockets ,
 107 .Ar cores ,
 108 and
 109 .Ar threads .
 110 If a
 111 .Ar setting
 112 is specified more than once the last one has precedence.
 113 .It Fl C
 114 Include guest memory in core file.
 115 .It Fl e
 116 Force
 117 .Nm
 118 to exit when a guest issues an access to an I/O port that is not emulated.
 119 This is intended for debug purposes.
 120 .It Fl g Ar gdbport
 121 For
 122 .Fx
 123 kernels compiled with
 124 .Cd "device bvmdebug" ,
 125 allow a remote kernel kgdb to be relayed to the guest kernel gdb stub
 126 via a local IPv4 address and this port.
 127 This option will be deprecated in a future version.
 128 .It Fl h
 129 Print help message and exit.
 130 .It Fl H
 131 Yield the virtual CPU thread when a HLT instruction is detected.
 132 If this option is not specified, virtual CPUs will use 100% of a host CPU.
 133 .It Fl l Ar lpcdev Ns Op , Ns Ar conf
 134 Allow devices behind the LPC PCI-ISA bridge to be configured.
 135 The only supported devices are the TTY-class devices
 136 .Ar com1
 137 and
 138 .Ar com2
 139 and the boot ROM device
 140 .Ar bootrom .
 141 .It Fl m Ar memsize Ns Op Ar K|k|M|m|G|g|T|t
 142 Guest physical memory size in bytes.
 143 This must be the same size that was given to
 144 .Xr bhyveload 8 .
 145 .Pp
 146 The size argument may be suffixed with one of K, M, G or T (either upper
 147 or lower case) to indicate a multiple of kilobytes, megabytes, gigabytes,
 148 or terabytes.
 149 If no suffix is given, the value is assumed to be in megabytes.
 150 .Pp
 151 .Ar memsize
 152 defaults to 256M.
 153 .It Fl p Ar vcpu:hostcpu
 154 Pin guest's virtual CPU
 155 .Em vcpu
 156 to
 157 .Em hostcpu .
 158 .It Fl P
 159 Force the guest virtual CPU to exit when a PAUSE instruction is detected.
 160 .It Fl s Ar slot,emulation Ns Op , Ns Ar conf
 161 Configure a virtual PCI slot and function.
 162 .Pp
 163 .Nm
 164 provides PCI bus emulation and virtual devices that can be attached to
 165 slots on the bus.
 166 There are 32 available slots, with the option of providing up to 8 functions
 167 per slot.
 168 .Bl -tag -width 10n
 169 .It Ar slot
 170 .Ar pcislot[:function]
 171 .Ar bus:pcislot:function
 172 .Pp
 173 The
 174 .Ar pcislot
 175 value is 0 to 31.
 176 The optional
 177 .Ar function
 178 value is 0 to 7.
 179 The optional
 180 .Ar bus
 181 value is 0 to 255.
 182 If not specified, the
 183 .Ar function
 184 value defaults to 0.
 185 If not specified, the
 186 .Ar bus
 187 value defaults to 0.
 188 .It Ar emulation
 189 .Bl -tag -width 10n
 190 .It Li hostbridge | Li amd_hostbridge
 191 .Pp
 192 Provide a simple host bridge.
 193 This is usually configured at slot 0, and is required by most guest
 194 operating systems.
 195 The
 196 .Li amd_hostbridge
 197 emulation is identical but uses a PCI vendor ID of
 198 .Li AMD .
 199 .It Li passthru
 200 PCI pass-through device.
 201 .It Li virtio-net
 202 Virtio network interface.
 203 .It Li virtio-blk
 204 Virtio block storage interface.
 205 .It Li virtio-rnd
 206 Virtio RNG interface.
 207 .It Li virtio-console
 208 Virtio console interface, which exposes multiple ports
 209 to the guest in the form of simple char devices for simple IO
 210 between the guest and host userspaces.
 211 .It Li ahci
 212 AHCI controller attached to arbitrary devices.
 213 .It Li ahci-cd
 214 AHCI controller attached to an ATAPI CD/DVD.
 215 .It Li ahci-hd
 216 AHCI controller attached to a SATA hard-drive.
 217 .It Li e1000
 218 Intel e82545 network interface.
 219 .It Li uart
 220 PCI 16550 serial device.
 221 .It Li lpc
 222 LPC PCI-ISA bridge with COM1 and COM2 16550 serial ports and a boot ROM.
 223 The LPC bridge emulation can only be configured on bus 0.
 224 .It Li fbuf
 225 Raw framebuffer device attached to VNC server.
 226 .It Li xhci
 227 eXtensible Host Controller Interface (xHCI) USB controller.
 228 .El
 229 .It Op Ar conf
 230 This optional parameter describes the backend for device emulations.
 231 If
 232 .Ar conf
 233 is not specified, the device emulation has no backend and can be
 234 considered unconnected.
 235 .Pp
 236 Network devices:
 237 .Bl -tag -width 10n
 238 .It Ar tapN Ns Op , Ns Ar mac=xx:xx:xx:xx:xx:xx
 239 .It Ar vmnetN Ns Op , Ns Ar mac=xx:xx:xx:xx:xx:xx
 240 .Pp
 241 If
 242 .Ar mac
 243 is not specified, the MAC address is derived from a fixed OUI and the
 244 remaining bytes from an MD5 hash of the slot and function numbers and
 245 the device name.
 246 .Pp
 247 The MAC address is an ASCII string in
 248 .Xr ethers 5
 249 format.
 250 .El
 251 .Pp
 252 Block storage devices:
 253 .Bl -tag -width 10n
 254 .It Pa /filename Ns Oo , Ns Ar block-device-options Oc
 255 .It Pa /dev/xxx Ns Oo , Ns Ar block-device-options Oc
 256 .El
 257 .Pp
 258 The
 259 .Ar block-device-options
 260 are:
 261 .Bl -tag -width 8n
 262 .It Li nocache
 263 Open the file with
 264 .Dv O_DIRECT .
 265 .It Li direct
 266 Open the file using
 267 .Dv O_SYNC .
 268 .It Li ro
 269 Force the file to be opened read-only.
 270 .It Li sectorsize= Ns Ar logical Ns Oo / Ns Ar physical Oc
 271 Specify the logical and physical sector sizes of the emulated disk.
 272 The physical sector size is optional and is equal to the logical sector size
 273 if not explicitly specified.
 274 .El
 275 .Pp
 276 TTY devices:
 277 .Bl -tag -width 10n
 278 .It Li stdio
 279 Connect the serial port to the standard input and output of
 280 the
 281 .Nm
 282 process.
 283 .It Pa /dev/xxx
 284 Use the host TTY device for serial port I/O.
 285 .El
 286 .Pp
 287 Boot ROM device:
 288 .Bl -tag -width 10n
 289 .It Pa romfile
 290 Map
 291 .Ar romfile
 292 in the guest address space reserved for boot firmware.
 293 .El
 294 .Pp
 295 Pass-through devices:
 296 .Bl -tag -width 10n
 297 .It Ns Ar slot Ns / Ns Ar bus Ns / Ns Ar function
 298 Connect to a PCI device on the host at the selector described by
 299 .Ar slot ,
 300 .Ar bus ,
 301 and
 302 .Ar function
 303 numbers.
 304 .El
 305 .Pp
 306 Guest memory must be wired using the
 307 .Fl S
 308 option when a pass-through device is configured.
 309 .Pp
 310 The host device must have been reserved at boot-time using the
 311 .Va pptdev
 312 loader variable as described in
 313 .Xr vmm 4 .
 314 .Pp
 315 Virtio console devices:
 316 .Bl -tag -width 10n
 317 .It Li port1= Ns Pa /path/to/port1.sock Ns ,anotherport= Ns Pa ...
 318 A maximum of 16 ports per device can be created.
 319 Every port is named and corresponds to a Unix domain socket created by
 320 .Nm .
 321 .Nm
 322 accepts at most one connection per port at a time.
 323 .Pp
 324 Limitations:
 325 .Bl -bullet -offset 2n
 326 .It
 327 Due to lack of destructors in
 328 .Nm ,
 329 sockets on the filesystem must be cleaned up manually after
 330 .Nm
 331 exits.
 332 .It
 333 There is no way to use the "console port" feature, nor the console port
 334 resize at present.
 335 .It
 336 Emergency write is advertised, but no-op at present.
 337 .El
 338 .El
 339 .Pp
 340 Framebuffer devices:
 341 .Bl -tag -width 10n
 342 .It Xo
 343 .Oo rfb= Ns Oo Ar IP\&: Oc Ns Ar port Oc Ns Oo ,w= Ns Ar width Oc Ns Oo ,h= Ns
 344 .Ar height Oc Ns Oo ,vga= Ns Ar vgaconf Oc Ns Oo Ns ,wait Oc Ns Oo ,password= Ns
 345 .Ar password Oc
 346 .Xc
 347 .Bl -tag -width 8n
 348 .It Ar IPv4:port No or Ar [IPv6%zone]:port
 349 An
 350 .Ar IP
 351 address and a
 352 .Ar port
 353 VNC should listen on.
 354 The default is to listen on localhost IPv4 address and default VNC port 5900.
 355 An IPv6 address must be enclosed in square brackets and may contain an
 356 optional zone identifier.
 357 .It Ar width No and Ar height
 358 A display resolution, width and height, respectively.
 359 If not specified, a default resolution of 1024x768 pixels will be used.
 360 Minimal supported resolution is 640x480 pixels,
 361 and maximum is 1920x1200 pixels.
 362 .It Ar vgaconf
 363 Possible values for this option are
 364 .Dq io
 365 (default),
 366 .Dq on
 367 , and
 368 .Dq off .
 369 PCI graphics cards have a dual personality in that they are
 370 standard PCI devices with BAR addressing, but may also
 371 implicitly decode legacy VGA I/O space
 372 .Pq Ad 0x3c0-3df
 373 and memory space
 374 .Pq 64KB at Ad 0xA0000 .
 375 The default
 376 .Dq io
 377 option should be used for guests that attempt to issue BIOS calls which result
 378 in I/O port queries, and fail to boot if I/O decode is disabled.
 379 .Pp
 380 The
 381 .Dq on
 382 option should be used along with the CSM BIOS capability in UEFI
 383 to boot traditional BIOS guests that require the legacy VGA I/O and
 384 memory regions to be available.
 385 .Pp
 386 The
 387 .Dq off
 388 option should be used for the UEFI guests that assume that
 389 VGA adapter is present if they detect the I/O ports.
 390 An example of such a guest is
 391 .Ox
 392 in UEFI mode.
 393 .Pp
 394 Please refer to the
 395 .Nm
 396 .Fx
 397 wiki page
 398 .Pq Lk https://wiki.freebsd.org/bhyve
 399 for configuration notes of particular guests.
 400 .It wait
 401 Instruct
 402 .Nm
 403 to only boot upon the initiation of a VNC connection, simplifying the
 404 installation of operating systems that require immediate keyboard input.
 405 This can be removed for post-installation use.
 406 .It password
 407 This type of authentication is known to be cryptographically weak and is not
 408 intended for use on untrusted networks.
 409 Many implementations will want to use stronger security, such as running
 410 the session over an encrypted channel provided by IPsec or SSH.
 411 .El
 412 .El
 413 .Pp
 414 xHCI USB devices:
 415 .Bl -tag -width 10n
 416 .It Li tablet
 417 A USB tablet device which provides precise cursor synchronization
 418 when using VNC.
 419 .El
 420 .El
 421 .It Fl S
 422 Wire guest memory.
 423 .It Fl u
 424 RTC keeps UTC time.
 425 .It Fl U Ar uuid
 426 Set the universally unique identifier
 427 .Pq UUID
 428 in the guest's System Management BIOS System Information structure.
 429 By default a UUID is generated from the host's hostname and
 430 .Ar vmname .
 431 .It Fl w
 432 Ignore accesses to unimplemented Model Specific Registers (MSRs).
 433 This is intended for debug purposes.
 434 .It Fl W
 435 Force virtio PCI device emulations to use MSI interrupts instead of MSI-X
 436 interrupts.
 437 .It Fl x
 438 The guest's local APIC is configured in x2APIC mode.
 439 .It Fl Y
 440 Disable MPtable generation.
 441 .It Ar vmname
 442 Alphanumeric name of the guest.
 443 This should be the same as that created by
 444 .Xr bhyveload 8 .
 445 .El
 446 .Sh SIGNAL HANDLING
 447 .Nm
 448 deals with the following signals:
 449 .Pp
 450 .Bl -tag -width indent -compact
 451 .It SIGTERM
 452 Trigger ACPI poweroff for a VM
 453 .El
 454 .Sh EXIT STATUS
 455 Exit status indicates how the VM was terminated:
 456 .Pp
 457 .Bl -tag -width indent -compact
 458 .It 0
 459 rebooted
 460 .It 1
 461 powered off
 462 .It 2
 463 halted
 464 .It 3
 465 triple fault
 466 .It 4
 467 exited due to an error
 468 .El
 469 .Sh EXAMPLES
 470 If not using a boot ROM, the guest operating system must have been loaded with
 471 .Xr bhyveload 8
 472 or a similar boot loader before
 473 .Xr bhyve 4
 474 can be run.
 475 Otherwise, the boot loader is not needed.
 476 .Pp
 477 To run a virtual machine with 1GB of memory, two virtual CPUs, a virtio
 478 block device backed by the
 479 .Pa /my/image
 480 filesystem image, and a serial port for the console:
 481 .Bd -literal -offset indent
 482 bhyve -c 2 -s 0,hostbridge -s 1,lpc -s 2,virtio-blk,/my/image \\
 483   -l com1,stdio -A -H -P -m 1G vm1
 484 .Ed
 485 .Pp
 486 Run a 24GB single-CPU virtual machine with three network ports, one of which
 487 has a MAC address specified:
 488 .Bd -literal -offset indent
 489 bhyve -s 0,hostbridge -s 1,lpc -s 2:0,virtio-net,tap0 \\
 490   -s 2:1,virtio-net,tap1 \\
 491   -s 2:2,virtio-net,tap2,mac=00:be:fa:76:45:00 \\
 492   -s 3,virtio-blk,/my/image -l com1,stdio \\
 493   -A -H -P -m 24G bigvm
 494 .Ed
 495 .Pp
 496 Run an 8GB quad-CPU virtual machine with 8 AHCI SATA disks, an AHCI ATAPI
 497 CD-ROM, a single virtio network port, an AMD hostbridge, and the console
 498 port connected to an
 499 .Xr nmdm 4
 500 null-modem device.
 501 .Bd -literal -offset indent
 502 bhyve -c 4 \\
 503   -s 0,amd_hostbridge -s 1,lpc \\
 504   -s 1:0,ahci,hd:/images/disk.1,hd:/images/disk.2,\\
 505 hd:/images/disk.3,hd:/images/disk.4,\\
 506 hd:/images/disk.5,hd:/images/disk.6,\\
 507 hd:/images/disk.7,hd:/images/disk.8,\\
 508 cd:/images/install.iso \\
 509   -s 3,virtio-net,tap0 \\
 510   -l com1,/dev/nmdm0A \\
 511   -A -H -P -m 8G
 512 .Ed
 513 .Pp
 514 Run a UEFI virtual machine with a display resolution of 800 by 600 pixels
 515 that can be accessed via VNC at: 0.0.0.0:5900.
 516 .Bd -literal -offset indent
 517 bhyve -c 2 -m 4G -w -H \\
 518   -s 0,hostbridge \\
 519   -s 3,ahci-cd,/path/to/uefi-OS-install.iso \\
 520   -s 4,ahci-hd,disk.img \\
 521   -s 5,virtio-net,tap0 \\
 522   -s 29,fbuf,tcp=0.0.0.0:5900,w=800,h=600,wait \\
 523   -s 30,xhci,tablet \\
 524   -s 31,lpc -l com1,stdio \\
 525   -l bootrom,/usr/local/share/uefi-firmware/BHYVE_UEFI.fd \\
 526    uefivm
 527 .Ed
 528 .Pp
 529 Run a UEFI virtual machine with a VNC display that is bound to all IPv6
 530 addresses on port 5900.
 531 .Bd -literal -offset indent
 532 bhyve -c 2 -m 4G -w -H \\
 533   -s 0,hostbridge \\
 534   -s 4,ahci-hd,disk.img \\
 535   -s 5,virtio-net,tap0 \\
 536   -s 29,fbuf,tcp=[::]:5900,w=800,h=600 \\
 537   -s 30,xhci,tablet \\
 538   -s 31,lpc -l com1,stdio \\
 539   -l bootrom,/usr/local/share/uefi-firmware/BHYVE_UEFI.fd \\
 540    uefivm
 541 .Ed
 542 .Sh SEE ALSO
 543 .Xr bhyve 4 ,
 544 .Xr nmdm 4 ,
 545 .Xr vmm 4 ,
 546 .Xr ethers 5 ,
 547 .Xr bhyvectl 8 ,
 548 .Xr bhyveload 8
 549 .Pp
 550 .Rs
 551 .%A Intel
 552 .%B 64 and IA-32 Architectures Software Developer’s Manual
 553 .%V Volume 3
 554 .Re
 555 .Sh HISTORY
 556 .Nm
 557 first appeared in
 558 .Fx 10.0 .
 559 .Sh AUTHORS
 560 .An Neel Natu Aq Mt neel@freebsd.org
 561 .An Peter Grehan Aq Mt grehan@freebsd.org