usr.sbin/bhyve/bhyve.8

   1 .\" Copyright (c) 2013 Peter Grehan
   2 .\" All rights reserved.
   3 .\"
   4 .\" Redistribution and use in source and binary forms, with or without
   5 .\" modification, are permitted provided that the following conditions
   6 .\" are met:
   7 .\" 1. Redistributions of source code must retain the above copyright
   8 .\"    notice, this list of conditions and the following disclaimer.
   9 .\" 2. Redistributions in binary form must reproduce the above copyright
  10 .\"    notice, this list of conditions and the following disclaimer in the
  11 .\"    documentation and/or other materials provided with the distribution.
  12 .\"
  13 .\" THIS SOFTWARE IS PROVIDED BY THE AUTHORS AND CONTRIBUTORS ``AS IS'' AND
  14 .\" ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  15 .\" IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  16 .\" ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHORS OR CONTRIBUTORS BE LIABLE
  17 .\" FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  18 .\" DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  19 .\" OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  20 .\" HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  21 .\" LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  22 .\" OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  23 .\" SUCH DAMAGE.
  24 .\"
  25 .\" $FreeBSD$
  26 .\"
  27 .Dd April 6, 2018
  28 .Dt BHYVE 8
  29 .Os
  30 .Sh NAME
  31 .Nm bhyve
  32 .Nd "run a guest operating system inside a virtual machine"
  33 .Sh SYNOPSIS
  34 .Nm
  35 .Op Fl abehuwxACHPSWY
  36 .Oo
  37 .Fl c\~ Ns
  38 .Oo
  39 .Op Ar cpus= Ns
  40 .Ar numcpus Ns
  41 .Oc Ns
  42 .Op Ar ,sockets=n Ns
  43 .Op Ar ,cores=n Ns
  44 .Op Ar ,threads=n
  45 .Oc
  46 .Op Fl g Ar gdbport
  47 .Op Fl l Ar lpcdev Ns Op , Ns Ar conf
  48 .Op Fl m Ar memsize Ns Op Ar K|k|M|m|G|g|T|t
  49 .Op Fl p Ar vcpu:hostcpu
  50 .Op Fl s Ar slot,emulation Ns Op , Ns Ar conf
  51 .Op Fl U Ar uuid
  52 .Ar vmname
  53 .Sh DESCRIPTION
  54 .Nm
  55 is a hypervisor that runs guest operating systems inside a
  56 virtual machine.
  57 .Pp
  58 Parameters such as the number of virtual CPUs, amount of guest memory, and
  59 I/O connectivity can be specified with command-line parameters.
  60 .Pp
  61 If not using a boot ROM, the guest operating system must be loaded with
  62 .Xr bhyveload 8
  63 or a similar boot loader before running
  64 .Nm ,
  65 otherwise, it is enough to run
  66 .Nm
  67 with a boot ROM of choice.
  68 .Pp
  69 .Nm
  70 runs until the guest operating system reboots or an unhandled hypervisor
  71 exit is detected.
  72 .Sh OPTIONS
  73 .Bl -tag -width 10n
  74 .It Fl a
  75 The guest's local APIC is configured in xAPIC mode.
  76 The xAPIC mode is the default setting so this option is redundant.
  77 It will be deprecated in a future version.
  78 .It Fl A
  79 Generate ACPI tables.
  80 Required for
  81 .Fx Ns /amd64
  82 guests.
  83 .It Fl b
  84 Enable a low-level console device supported by
  85 .Fx
  86 kernels compiled with
  87 .Cd "device bvmconsole" .
  88 This option will be deprecated in a future version.
  89 .It Fl c Op Ar setting ...
  90 Number of guest virtual CPUs
  91 and/or the CPU topology.
  92 The default value for each of
  93 .Ar numcpus ,
  94 .Ar sockets ,
  95 .Ar cores ,
  96 and
  97 .Ar threads
  98 is 1.
  99 The current maximum number of guest virtual CPUs is 16.
 100 If
 101 .Ar numcpus
 102 is not specified then it will be calculated from the other arguments.
 103 The topology must be consistent in that the
 104 .Ar numcpus
 105 must equal the product of
 106 .Ar sockets ,
 107 .Ar cores ,
 108 and
 109 .Ar threads .
 110 If a
 111 .Ar setting
 112 is specified more than once the last one has precedence.
 113 .It Fl C
 114 Include guest memory in core file.
 115 .It Fl e
 116 Force
 117 .Nm
 118 to exit when a guest issues an access to an I/O port that is not emulated.
 119 This is intended for debug purposes.
 120 .It Fl g Ar gdbport
 121 For
 122 .Fx
 123 kernels compiled with
 124 .Cd "device bvmdebug" ,
 125 allow a remote kernel kgdb to be relayed to the guest kernel gdb stub
 126 via a local IPv4 address and this port.
 127 This option will be deprecated in a future version.
 128 .It Fl h
 129 Print help message and exit.
 130 .It Fl H
 131 Yield the virtual CPU thread when a HLT instruction is detected.
 132 If this option is not specified, virtual CPUs will use 100% of a host CPU.
 133 .It Fl l Ar lpcdev Ns Op , Ns Ar conf
 134 Allow devices behind the LPC PCI-ISA bridge to be configured.
 135 The only supported devices are the TTY-class devices
 136 .Ar com1
 137 and
 138 .Ar com2
 139 and the boot ROM device
 140 .Ar bootrom .
 141 .It Fl m Ar memsize Ns Op Ar K|k|M|m|G|g|T|t
 142 Guest physical memory size in bytes.
 143 This must be the same size that was given to
 144 .Xr bhyveload 8 .
 145 .Pp
 146 The size argument may be suffixed with one of K, M, G or T (either upper
 147 or lower case) to indicate a multiple of kilobytes, megabytes, gigabytes,
 148 or terabytes.
 149 If no suffix is given, the value is assumed to be in megabytes.
 150 .Pp
 151 .Ar memsize
 152 defaults to 256M.
 153 .It Fl p Ar vcpu:hostcpu
 154 Pin guest's virtual CPU
 155 .Em vcpu
 156 to
 157 .Em hostcpu .
 158 .It Fl P
 159 Force the guest virtual CPU to exit when a PAUSE instruction is detected.
 160 .It Fl s Ar slot,emulation Ns Op , Ns Ar conf
 161 Configure a virtual PCI slot and function.
 162 .Pp
 163 .Nm
 164 provides PCI bus emulation and virtual devices that can be attached to
 165 slots on the bus.
 166 There are 32 available slots, with the option of providing up to 8 functions
 167 per slot.
 168 .Bl -tag -width 10n
 169 .It Ar slot
 170 .Ar pcislot[:function]
 171 .Ar bus:pcislot:function
 172 .Pp
 173 The
 174 .Ar pcislot
 175 value is 0 to 31.
 176 The optional
 177 .Ar function
 178 value is 0 to 7.
 179 The optional
 180 .Ar bus
 181 value is 0 to 255.
 182 If not specified, the
 183 .Ar function
 184 value defaults to 0.
 185 If not specified, the
 186 .Ar bus
 187 value defaults to 0.
 188 .It Ar emulation
 189 .Bl -tag -width 10n
 190 .It Li hostbridge | Li amd_hostbridge
 191 .Pp
 192 Provide a simple host bridge.
 193 This is usually configured at slot 0, and is required by most guest
 194 operating systems.
 195 The
 196 .Li amd_hostbridge
 197 emulation is identical but uses a PCI vendor ID of
 198 .Li AMD .
 199 .It Li passthru
 200 PCI pass-through device.
 201 .It Li virtio-net
 202 Virtio network interface.
 203 .It Li virtio-blk
 204 Virtio block storage interface.
 205 .It Li virtio-rnd
 206 Virtio RNG interface.
 207 .It Li virtio-console
 208 Virtio console interface, which exposes multiple ports
 209 to the guest in the form of simple char devices for simple IO
 210 between the guest and host userspaces.
 211 .It Li ahci
 212 AHCI controller attached to arbitrary devices.
 213 .It Li ahci-cd
 214 AHCI controller attached to an ATAPI CD/DVD.
 215 .It Li ahci-hd
 216 AHCI controller attached to a SATA hard-drive.
 217 .It Li e1000
 218 Intel e82545 network interface.
 219 .It Li uart
 220 PCI 16550 serial device.
 221 .It Li lpc
 222 LPC PCI-ISA bridge with COM1 and COM2 16550 serial ports and a boot ROM.
 223 The LPC bridge emulation can only be configured on bus 0.
 224 .It Li fbuf
 225 Raw framebuffer device attached to VNC server.
 226 .It Li xhci
 227 eXtensible Host Controller Interface (xHCI) USB controller.
 228 .El
 229 .It Op Ar conf
 230 This optional parameter describes the backend for device emulations.
 231 If
 232 .Ar conf
 233 is not specified, the device emulation has no backend and can be
 234 considered unconnected.
 235 .Pp
 236 Network devices:
 237 .Bl -tag -width 10n
 238 .It Ar tapN Ns Op , Ns Ar mac=xx:xx:xx:xx:xx:xx
 239 .It Ar vmnetN Ns Op , Ns Ar mac=xx:xx:xx:xx:xx:xx
 240 .Pp
 241 If
 242 .Ar mac
 243 is not specified, the MAC address is derived from a fixed OUI and the
 244 remaining bytes from an MD5 hash of the slot and function numbers and
 245 the device name.
 246 .Pp
 247 The MAC address is an ASCII string in
 248 .Xr ethers 5
 249 format.
 250 .El
 251 .Pp
 252 Block storage devices:
 253 .Bl -tag -width 10n
 254 .It Pa /filename Ns Oo , Ns Ar block-device-options Oc
 255 .It Pa /dev/xxx Ns Oo , Ns Ar block-device-options Oc
 256 .El
 257 .Pp
 258 The
 259 .Ar block-device-options
 260 are:
 261 .Bl -tag -width 8n
 262 .It Li nocache
 263 Open the file with
 264 .Dv O_DIRECT .
 265 .It Li direct
 266 Open the file using
 267 .Dv O_SYNC .
 268 .It Li ro
 269 Force the file to be opened read-only.
 270 .It Li sectorsize= Ns Ar logical Ns Oo / Ns Ar physical Oc
 271 Specify the logical and physical sector sizes of the emulated disk.
 272 The physical sector size is optional and is equal to the logical sector size
 273 if not explicitly specified.
 274 .El
 275 .Pp
 276 TTY devices:
 277 .Bl -tag -width 10n
 278 .It Li stdio
 279 Connect the serial port to the standard input and output of
 280 the
 281 .Nm
 282 process.
 283 .It Pa /dev/xxx
 284 Use the host TTY device for serial port I/O.
 285 .El
 286 .Pp
 287 Boot ROM device:
 288 .Bl -tag -width 10n
 289 .It Pa romfile
 290 Map
 291 .Ar romfile
 292 in the guest address space reserved for boot firmware.
 293 .El
 294 .Pp
 295 Pass-through devices:
 296 .Bl -tag -width 10n
 297 .It Ns Ar slot Ns / Ns Ar bus Ns / Ns Ar function
 298 Connect to a PCI device on the host at the selector described by
 299 .Ar slot ,
 300 .Ar bus ,
 301 and
 302 .Ar function
 303 numbers.
 304 .El
 305 .Pp
 306 Guest memory must be wired using the
 307 .Fl S
 308 option when a pass-through device is configured.
 309 .Pp
 310 The host device must have been reserved at boot-time using the
 311 .Va pptdev
 312 loader variable as described in
 313 .Xr vmm 4 .
 314 .Pp
 315 Virtio console devices:
 316 .Bl -tag -width 10n
 317 .It Li port1= Ns Pa /path/to/port1.sock Ns ,anotherport= Ns Pa ...
 318 A maximum of 16 ports per device can be created.
 319 Every port is named and corresponds to a Unix domain socket created by
 320 .Nm .
 321 .Nm
 322 accepts at most one connection per port at a time.
 323 .Pp
 324 Limitations:
 325 .Bl -bullet -offset 2n
 326 .It
 327 Due to lack of destructors in
 328 .Nm ,
 329 sockets on the filesystem must be cleaned up manually after
 330 .Nm
 331 exits.
 332 .It
 333 There is no way to use the "console port" feature, nor the console port
 334 resize at present.
 335 .It
 336 Emergency write is advertised, but no-op at present.
 337 .El
 338 .El
 339 .Pp
 340 Framebuffer devices:
 341 .Bl -tag -width 10n
 342 .It Oo rfb= Ns Oo Ar IP: Oc Ns Ar port Oc Ns Oo ,w= Ns Ar width Oc Ns Oo ,h= Ns Ar height Oc Ns Oo ,vga= Ns Ar vgaconf Oc Ns Oo Ns ,wait Oc Ns Oo ,password= Ns Ar password Oc
 343 .Bl -tag -width 8n
 344 .It Ar IP:port
 345 An
 346 .Ar IP
 347 address and a
 348 .Ar port
 349 VNC should listen on.
 350 The default is to listen on localhost IPv4 address and default VNC port 5900.
 351 Listening on an IPv6 address is not supported.
 352 .It Ar width No and Ar height
 353 A display resolution, width and height, respectively.
 354 If not specified, a default resolution of 1024x768 pixels will be used.
 355 Minimal supported resolution is 640x480 pixels,
 356 and maximum is 1920x1200 pixels.
 357 .It Ar vgaconf
 358 Possible values for this option are
 359 .Dq io
 360 (default),
 361 .Dq on
 362 , and
 363 .Dq off .
 364 PCI graphics cards have a dual personality in that they are
 365 standard PCI devices with BAR addressing, but may also
 366 implicitly decode legacy VGA I/O space
 367 .Pq Ad 0x3c0-3df
 368 and memory space
 369 .Pq 64KB at Ad 0xA0000 .
 370 The default
 371 .Dq io
 372 option should be used for guests that attempt to issue BIOS
 373 calls which result in I/O port queries, and fail to boot if I/O decode is disabled.
 374 .Pp
 375 The
 376 .Dq on
 377 option should be used along with the CSM BIOS capability in UEFI
 378 to boot traditional BIOS guests that require the legacy VGA I/O and
 379 memory regions to be available.
 380 .Pp
 381 The
 382 .Dq off
 383 option should be used for the UEFI guests that assume that
 384 VGA adapter is present if they detect the I/O ports.
 385 An example of such a guest is
 386 .Ox
 387 in UEFI mode.
 388 .Pp
 389 Please refer to the
 390 .Nm
 391 .Fx
 392 wiki page
 393 .Pq Lk https://wiki.freebsd.org/bhyve
 394 for configuration notes of particular guests.
 395 .It wait
 396 Instruct
 397 .Nm
 398 to only boot upon the initiation of a VNC connection, simplifying the installation
 399 of operating systems that require immediate keyboard input.
 400 This can be removed for post-installation use.
 401 .It password
 402 This type of authentication is known to be cryptographically weak and is not
 403 intended for use on untrusted networks.
 404 Many implementations will want to use stronger security, such as running
 405 the session over an encrypted channel provided by IPsec or SSH.
 406 .El
 407 .El
 408 .Pp
 409 xHCI USB devices:
 410 .Bl -tag -width 10n
 411 .It Li tablet
 412 A USB tablet device which provides precise cursor synchronization
 413 when using VNC.
 414 .El
 415 .El
 416 .It Fl S
 417 Wire guest memory.
 418 .It Fl u
 419 RTC keeps UTC time.
 420 .It Fl U Ar uuid
 421 Set the universally unique identifier
 422 .Pq UUID
 423 in the guest's System Management BIOS System Information structure.
 424 By default a UUID is generated from the host's hostname and
 425 .Ar vmname .
 426 .It Fl w
 427 Ignore accesses to unimplemented Model Specific Registers (MSRs).
 428 This is intended for debug purposes.
 429 .It Fl W
 430 Force virtio PCI device emulations to use MSI interrupts instead of MSI-X
 431 interrupts.
 432 .It Fl x
 433 The guest's local APIC is configured in x2APIC mode.
 434 .It Fl Y
 435 Disable MPtable generation.
 436 .It Ar vmname
 437 Alphanumeric name of the guest.
 438 This should be the same as that created by
 439 .Xr bhyveload 8 .
 440 .El
 441 .Sh SIGNAL HANDLING
 442 .Nm
 443 deals with the following signals:
 444 .Pp
 445 .Bl -tag -width indent -compact
 446 .It SIGTERM
 447 Trigger ACPI poweroff for a VM
 448 .El
 449 .Sh EXIT STATUS
 450 Exit status indicates how the VM was terminated:
 451 .Pp
 452 .Bl -tag -width indent -compact
 453 .It 0
 454 rebooted
 455 .It 1
 456 powered off
 457 .It 2
 458 halted
 459 .It 3
 460 triple fault
 461 .El
 462 .Sh EXAMPLES
 463 If not using a boot ROM, the guest operating system must have been loaded with
 464 .Xr bhyveload 8
 465 or a similar boot loader before
 466 .Xr bhyve 4
 467 can be run.
 468 Otherwise, the boot loader is not needed.
 469 .Pp
 470 To run a virtual machine with 1GB of memory, two virtual CPUs, a virtio
 471 block device backed by the
 472 .Pa /my/image
 473 filesystem image, and a serial port for the console:
 474 .Bd -literal -offset indent
 475 bhyve -c 2 -s 0,hostbridge -s 1,lpc -s 2,virtio-blk,/my/image \\
 476   -l com1,stdio -A -H -P -m 1G vm1
 477 .Ed
 478 .Pp
 479 Run a 24GB single-CPU virtual machine with three network ports, one of which
 480 has a MAC address specified:
 481 .Bd -literal -offset indent
 482 bhyve -s 0,hostbridge -s 1,lpc -s 2:0,virtio-net,tap0 \\
 483   -s 2:1,virtio-net,tap1 \\
 484   -s 2:2,virtio-net,tap2,mac=00:be:fa:76:45:00 \\
 485   -s 3,virtio-blk,/my/image -l com1,stdio \\
 486   -A -H -P -m 24G bigvm
 487 .Ed
 488 .Pp
 489 Run an 8GB quad-CPU virtual machine with 8 AHCI SATA disks, an AHCI ATAPI
 490 CD-ROM, a single virtio network port, an AMD hostbridge, and the console
 491 port connected to an
 492 .Xr nmdm 4
 493 null-modem device.
 494 .Bd -literal -offset indent
 495 bhyve -c 4 \\
 496   -s 0,amd_hostbridge -s 1,lpc \\
 497   -s 1:0,ahci,hd:/images/disk.1,hd:/images/disk.2,\\
 498 hd:/images/disk.3,hd:/images/disk.4,\\
 499 hd:/images/disk.5,hd:/images/disk.6,\\
 500 hd:/images/disk.7,hd:/images/disk.8,\\
 501 cd:/images/install.iso \\
 502   -s 3,virtio-net,tap0 \\
 503   -l com1,/dev/nmdm0A \\
 504   -A -H -P -m 8G
 505 .Ed
 506 .Pp
 507 Run a UEFI virtual machine with a display resolution of 800 by 600 pixels
 508 that can be accessed via VNC at: 0.0.0.0:5900.
 509 .Bd -literal -offset indent
 510 bhyve -c 2 -m 4G -w -H \\
 511   -s 0,hostbridge \\
 512   -s 3,ahci-cd,/path/to/uefi-OS-install.iso \\
 513   -s 4,ahci-hd,disk.img \\
 514   -s 5,virtio-net,tap0 \\
 515   -s 29,fbuf,tcp=0.0.0.0:5900,w=800,h=600,wait \\
 516   -s 30,xhci,tablet \\
 517   -s 31,lpc -l com1,stdio \\
 518   -l bootrom,/usr/local/share/uefi-firmware/BHYVE_UEFI.fd \\
 519    uefivm
 520 .Ed
 521 .Sh SEE ALSO
 522 .Xr bhyve 4 ,
 523 .Xr nmdm 4 ,
 524 .Xr vmm 4 ,
 525 .Xr ethers 5 ,
 526 .Xr bhyvectl 8 ,
 527 .Xr bhyveload 8
 528 .Sh HISTORY
 529 .Nm
 530 first appeared in
 531 .Fx 10.0 .
 532 .Sh AUTHORS
 533 .An Neel Natu Aq Mt neel@freebsd.org
 534 .An Peter Grehan Aq Mt grehan@freebsd.org