]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/dev/acpica/acpi_ec.c
Import DTS from Linux 4.20
[FreeBSD/FreeBSD.git] / sys / dev / acpica / acpi_ec.c
1 /*-
2  * Copyright (c) 2003-2007 Nate Lawson
3  * Copyright (c) 2000 Michael Smith
4  * Copyright (c) 2000 BSDi
5  * All rights reserved.
6  *
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 1. Redistributions of source code must retain the above copyright
11  *    notice, this list of conditions and the following disclaimer.
12  * 2. Redistributions in binary form must reproduce the above copyright
13  *    notice, this list of conditions and the following disclaimer in the
14  *    documentation and/or other materials provided with the distribution.
15  *
16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
26  * SUCH DAMAGE.
27  */
28
29 #include <sys/cdefs.h>
30 __FBSDID("$FreeBSD$");
31
32 #include "opt_acpi.h"
33 #include <sys/param.h>
34 #include <sys/kernel.h>
35 #include <sys/bus.h>
36 #include <sys/lock.h>
37 #include <sys/malloc.h>
38 #include <sys/module.h>
39 #include <sys/sx.h>
40
41 #include <machine/bus.h>
42 #include <machine/resource.h>
43 #include <sys/rman.h>
44
45 #include <contrib/dev/acpica/include/acpi.h>
46 #include <contrib/dev/acpica/include/accommon.h>
47
48 #include <dev/acpica/acpivar.h>
49
50 /* Hooks for the ACPI CA debugging infrastructure */
51 #define _COMPONENT      ACPI_EC
52 ACPI_MODULE_NAME("EC")
53
54 /*
55  * EC_COMMAND:
56  * -----------
57  */
58 typedef UINT8                           EC_COMMAND;
59
60 #define EC_COMMAND_UNKNOWN              ((EC_COMMAND) 0x00)
61 #define EC_COMMAND_READ                 ((EC_COMMAND) 0x80)
62 #define EC_COMMAND_WRITE                ((EC_COMMAND) 0x81)
63 #define EC_COMMAND_BURST_ENABLE         ((EC_COMMAND) 0x82)
64 #define EC_COMMAND_BURST_DISABLE        ((EC_COMMAND) 0x83)
65 #define EC_COMMAND_QUERY                ((EC_COMMAND) 0x84)
66
67 /*
68  * EC_STATUS:
69  * ----------
70  * The encoding of the EC status register is illustrated below.
71  * Note that a set bit (1) indicates the property is TRUE
72  * (e.g. if bit 0 is set then the output buffer is full).
73  * +-+-+-+-+-+-+-+-+
74  * |7|6|5|4|3|2|1|0|
75  * +-+-+-+-+-+-+-+-+
76  *  | | | | | | | |
77  *  | | | | | | | +- Output Buffer Full?
78  *  | | | | | | +--- Input Buffer Full?
79  *  | | | | | +----- <reserved>
80  *  | | | | +------- Data Register is Command Byte?
81  *  | | | +--------- Burst Mode Enabled?
82  *  | | +----------- SCI Event?
83  *  | +------------- SMI Event?
84  *  +--------------- <reserved>
85  *
86  */
87 typedef UINT8                           EC_STATUS;
88
89 #define EC_FLAG_OUTPUT_BUFFER           ((EC_STATUS) 0x01)
90 #define EC_FLAG_INPUT_BUFFER            ((EC_STATUS) 0x02)
91 #define EC_FLAG_DATA_IS_CMD             ((EC_STATUS) 0x08)
92 #define EC_FLAG_BURST_MODE              ((EC_STATUS) 0x10)
93
94 /*
95  * EC_EVENT:
96  * ---------
97  */
98 typedef UINT8                           EC_EVENT;
99
100 #define EC_EVENT_UNKNOWN                ((EC_EVENT) 0x00)
101 #define EC_EVENT_OUTPUT_BUFFER_FULL     ((EC_EVENT) 0x01)
102 #define EC_EVENT_INPUT_BUFFER_EMPTY     ((EC_EVENT) 0x02)
103 #define EC_EVENT_SCI                    ((EC_EVENT) 0x20)
104 #define EC_EVENT_SMI                    ((EC_EVENT) 0x40)
105
106 /* Data byte returned after burst enable indicating it was successful. */
107 #define EC_BURST_ACK                    0x90
108
109 /*
110  * Register access primitives
111  */
112 #define EC_GET_DATA(sc)                                                 \
113         bus_space_read_1((sc)->ec_data_tag, (sc)->ec_data_handle, 0)
114
115 #define EC_SET_DATA(sc, v)                                              \
116         bus_space_write_1((sc)->ec_data_tag, (sc)->ec_data_handle, 0, (v))
117
118 #define EC_GET_CSR(sc)                                                  \
119         bus_space_read_1((sc)->ec_csr_tag, (sc)->ec_csr_handle, 0)
120
121 #define EC_SET_CSR(sc, v)                                               \
122         bus_space_write_1((sc)->ec_csr_tag, (sc)->ec_csr_handle, 0, (v))
123
124 /* Additional params to pass from the probe routine */
125 struct acpi_ec_params {
126     int         glk;
127     int         gpe_bit;
128     ACPI_HANDLE gpe_handle;
129     int         uid;
130 };
131
132 /*
133  * Driver softc.
134  */
135 struct acpi_ec_softc {
136     device_t            ec_dev;
137     ACPI_HANDLE         ec_handle;
138     int                 ec_uid;
139     ACPI_HANDLE         ec_gpehandle;
140     UINT8               ec_gpebit;
141
142     int                 ec_data_rid;
143     struct resource     *ec_data_res;
144     bus_space_tag_t     ec_data_tag;
145     bus_space_handle_t  ec_data_handle;
146
147     int                 ec_csr_rid;
148     struct resource     *ec_csr_res;
149     bus_space_tag_t     ec_csr_tag;
150     bus_space_handle_t  ec_csr_handle;
151
152     int                 ec_glk;
153     int                 ec_glkhandle;
154     int                 ec_burstactive;
155     int                 ec_sci_pend;
156     volatile u_int      ec_gencount;
157     int                 ec_suspending;
158 };
159
160 /*
161  * XXX njl
162  * I couldn't find it in the spec but other implementations also use a
163  * value of 1 ms for the time to acquire global lock.
164  */
165 #define EC_LOCK_TIMEOUT 1000
166
167 /* Default delay in microseconds between each run of the status polling loop. */
168 #define EC_POLL_DELAY   50
169
170 /* Total time in ms spent waiting for a response from EC. */
171 #define EC_TIMEOUT      750
172
173 #define EVENT_READY(event, status)                      \
174         (((event) == EC_EVENT_OUTPUT_BUFFER_FULL &&     \
175          ((status) & EC_FLAG_OUTPUT_BUFFER) != 0) ||    \
176          ((event) == EC_EVENT_INPUT_BUFFER_EMPTY &&     \
177          ((status) & EC_FLAG_INPUT_BUFFER) == 0))
178
179 ACPI_SERIAL_DECL(ec, "ACPI embedded controller");
180
181 static SYSCTL_NODE(_debug_acpi, OID_AUTO, ec, CTLFLAG_RD, NULL, "EC debugging");
182
183 static int      ec_burst_mode;
184 SYSCTL_INT(_debug_acpi_ec, OID_AUTO, burst, CTLFLAG_RWTUN, &ec_burst_mode, 0,
185     "Enable use of burst mode (faster for nearly all systems)");
186 static int      ec_polled_mode;
187 SYSCTL_INT(_debug_acpi_ec, OID_AUTO, polled, CTLFLAG_RWTUN, &ec_polled_mode, 0,
188     "Force use of polled mode (only if interrupt mode doesn't work)");
189 static int      ec_timeout = EC_TIMEOUT;
190 SYSCTL_INT(_debug_acpi_ec, OID_AUTO, timeout, CTLFLAG_RWTUN, &ec_timeout,
191     EC_TIMEOUT, "Total time spent waiting for a response (poll+sleep)");
192
193 static ACPI_STATUS
194 EcLock(struct acpi_ec_softc *sc)
195 {
196     ACPI_STATUS status;
197
198     /* If _GLK is non-zero, acquire the global lock. */
199     status = AE_OK;
200     if (sc->ec_glk) {
201         status = AcpiAcquireGlobalLock(EC_LOCK_TIMEOUT, &sc->ec_glkhandle);
202         if (ACPI_FAILURE(status))
203             return (status);
204     }
205     ACPI_SERIAL_BEGIN(ec);
206     return (status);
207 }
208
209 static void
210 EcUnlock(struct acpi_ec_softc *sc)
211 {
212     ACPI_SERIAL_END(ec);
213     if (sc->ec_glk)
214         AcpiReleaseGlobalLock(sc->ec_glkhandle);
215 }
216
217 static UINT32           EcGpeHandler(ACPI_HANDLE, UINT32, void *);
218 static ACPI_STATUS      EcSpaceSetup(ACPI_HANDLE Region, UINT32 Function,
219                                 void *Context, void **return_Context);
220 static ACPI_STATUS      EcSpaceHandler(UINT32 Function,
221                                 ACPI_PHYSICAL_ADDRESS Address,
222                                 UINT32 Width, UINT64 *Value,
223                                 void *Context, void *RegionContext);
224 static ACPI_STATUS      EcWaitEvent(struct acpi_ec_softc *sc, EC_EVENT Event,
225                                 u_int gen_count);
226 static ACPI_STATUS      EcCommand(struct acpi_ec_softc *sc, EC_COMMAND cmd);
227 static ACPI_STATUS      EcRead(struct acpi_ec_softc *sc, UINT8 Address,
228                                 UINT8 *Data);
229 static ACPI_STATUS      EcWrite(struct acpi_ec_softc *sc, UINT8 Address,
230                                 UINT8 Data);
231 static int              acpi_ec_probe(device_t dev);
232 static int              acpi_ec_attach(device_t dev);
233 static int              acpi_ec_suspend(device_t dev);
234 static int              acpi_ec_resume(device_t dev);
235 static int              acpi_ec_shutdown(device_t dev);
236 static int              acpi_ec_read_method(device_t dev, u_int addr,
237                                 UINT64 *val, int width);
238 static int              acpi_ec_write_method(device_t dev, u_int addr,
239                                 UINT64 val, int width);
240
241 static device_method_t acpi_ec_methods[] = {
242     /* Device interface */
243     DEVMETHOD(device_probe,     acpi_ec_probe),
244     DEVMETHOD(device_attach,    acpi_ec_attach),
245     DEVMETHOD(device_suspend,   acpi_ec_suspend),
246     DEVMETHOD(device_resume,    acpi_ec_resume),
247     DEVMETHOD(device_shutdown,  acpi_ec_shutdown),
248
249     /* Embedded controller interface */
250     DEVMETHOD(acpi_ec_read,     acpi_ec_read_method),
251     DEVMETHOD(acpi_ec_write,    acpi_ec_write_method),
252
253     DEVMETHOD_END
254 };
255
256 static driver_t acpi_ec_driver = {
257     "acpi_ec",
258     acpi_ec_methods,
259     sizeof(struct acpi_ec_softc),
260 };
261
262 static devclass_t acpi_ec_devclass;
263 DRIVER_MODULE(acpi_ec, acpi, acpi_ec_driver, acpi_ec_devclass, 0, 0);
264 MODULE_DEPEND(acpi_ec, acpi, 1, 1, 1);
265
266 /*
267  * Look for an ECDT and if we find one, set up default GPE and
268  * space handlers to catch attempts to access EC space before
269  * we have a real driver instance in place.
270  *
271  * TODO: Some old Gateway laptops need us to fake up an ECDT or
272  * otherwise attach early so that _REG methods can run.
273  */
274 void
275 acpi_ec_ecdt_probe(device_t parent)
276 {
277     ACPI_TABLE_ECDT *ecdt;
278     ACPI_STATUS      status;
279     device_t         child;
280     ACPI_HANDLE      h;
281     struct acpi_ec_params *params;
282
283     ACPI_FUNCTION_TRACE((char *)(uintptr_t)__func__);
284
285     /* Find and validate the ECDT. */
286     status = AcpiGetTable(ACPI_SIG_ECDT, 1, (ACPI_TABLE_HEADER **)&ecdt);
287     if (ACPI_FAILURE(status) ||
288         ecdt->Control.BitWidth != 8 ||
289         ecdt->Data.BitWidth != 8) {
290         return;
291     }
292
293     /* Create the child device with the given unit number. */
294     child = BUS_ADD_CHILD(parent, 3, "acpi_ec", ecdt->Uid);
295     if (child == NULL) {
296         printf("%s: can't add child\n", __func__);
297         return;
298     }
299
300     /* Find and save the ACPI handle for this device. */
301     status = AcpiGetHandle(NULL, ecdt->Id, &h);
302     if (ACPI_FAILURE(status)) {
303         device_delete_child(parent, child);
304         printf("%s: can't get handle\n", __func__);
305         return;
306     }
307     acpi_set_handle(child, h);
308
309     /* Set the data and CSR register addresses. */
310     bus_set_resource(child, SYS_RES_IOPORT, 0, ecdt->Data.Address,
311         /*count*/1);
312     bus_set_resource(child, SYS_RES_IOPORT, 1, ecdt->Control.Address,
313         /*count*/1);
314
315     /*
316      * Store values for the probe/attach routines to use.  Store the
317      * ECDT GPE bit and set the global lock flag according to _GLK.
318      * Note that it is not perfectly correct to be evaluating a method
319      * before initializing devices, but in practice this function
320      * should be safe to call at this point.
321      */
322     params = malloc(sizeof(struct acpi_ec_params), M_TEMP, M_WAITOK | M_ZERO);
323     params->gpe_handle = NULL;
324     params->gpe_bit = ecdt->Gpe;
325     params->uid = ecdt->Uid;
326     acpi_GetInteger(h, "_GLK", &params->glk);
327     acpi_set_private(child, params);
328
329     /* Finish the attach process. */
330     if (device_probe_and_attach(child) != 0)
331         device_delete_child(parent, child);
332 }
333
334 static int
335 acpi_ec_probe(device_t dev)
336 {
337     ACPI_BUFFER buf;
338     ACPI_HANDLE h;
339     ACPI_OBJECT *obj;
340     ACPI_STATUS status;
341     device_t    peer;
342     char        desc[64];
343     int         ecdt;
344     int         ret;
345     struct acpi_ec_params *params;
346     static char *ec_ids[] = { "PNP0C09", NULL };
347
348     ret = ENXIO;
349
350     /* Check that this is a device and that EC is not disabled. */
351     if (acpi_get_type(dev) != ACPI_TYPE_DEVICE || acpi_disabled("ec"))
352         return (ret);
353
354     if (device_is_devclass_fixed(dev)) {
355         /*
356          * If probed via ECDT, set description and continue. Otherwise, we can
357          * access the namespace and make sure this is not a duplicate probe.
358          */
359         ecdt = 1;
360         params = acpi_get_private(dev);
361         if (params != NULL)
362             ret = 0;
363
364         goto out;
365     } else
366         ecdt = 0;
367
368     ret = ACPI_ID_PROBE(device_get_parent(dev), dev, ec_ids, NULL);
369     if (ret > 0)
370         return (ret);
371
372     params = malloc(sizeof(struct acpi_ec_params), M_TEMP, M_WAITOK | M_ZERO);
373
374     buf.Pointer = NULL;
375     buf.Length = ACPI_ALLOCATE_BUFFER;
376     h = acpi_get_handle(dev);
377
378     /*
379      * Read the unit ID to check for duplicate attach and the global lock value
380      * to see if we should acquire it when accessing the EC.
381      */
382     status = acpi_GetInteger(h, "_UID", &params->uid);
383     if (ACPI_FAILURE(status))
384         params->uid = 0;
385
386     /*
387      * Check for a duplicate probe. This can happen when a probe via ECDT
388      * succeeded already. If this is a duplicate, disable this device.
389      *
390      * NB: It would seem device_disable would be sufficient to not get
391      * duplicated devices, and ENXIO isn't needed, however, device_probe() only
392      * checks DF_ENABLED at the start and so disabling it here is too late to
393      * prevent device_attach() from being called.
394      */
395     peer = devclass_get_device(acpi_ec_devclass, params->uid);
396     if (peer != NULL && device_is_alive(peer)) {
397         device_disable(dev);
398         ret = ENXIO;
399         goto out;
400     }
401
402     status = acpi_GetInteger(h, "_GLK", &params->glk);
403     if (ACPI_FAILURE(status))
404         params->glk = 0;
405
406     /*
407      * Evaluate the _GPE method to find the GPE bit used by the EC to signal
408      * status (SCI).  If it's a package, it contains a reference and GPE bit,
409      * similar to _PRW.
410      */
411     status = AcpiEvaluateObject(h, "_GPE", NULL, &buf);
412     if (ACPI_FAILURE(status)) {
413         device_printf(dev, "can't evaluate _GPE - %s\n", AcpiFormatException(status));
414         goto out;
415     }
416
417     obj = (ACPI_OBJECT *)buf.Pointer;
418     if (obj == NULL)
419         goto out;
420
421     switch (obj->Type) {
422     case ACPI_TYPE_INTEGER:
423         params->gpe_handle = NULL;
424         params->gpe_bit = obj->Integer.Value;
425         break;
426     case ACPI_TYPE_PACKAGE:
427         if (!ACPI_PKG_VALID(obj, 2))
428             goto out;
429         params->gpe_handle = acpi_GetReference(NULL, &obj->Package.Elements[0]);
430         if (params->gpe_handle == NULL ||
431             acpi_PkgInt32(obj, 1, &params->gpe_bit) != 0)
432                 goto out;
433         break;
434     default:
435         device_printf(dev, "_GPE has invalid type %d\n", obj->Type);
436         goto out;
437     }
438
439     /* Store the values we got from the namespace for attach. */
440     acpi_set_private(dev, params);
441
442     if (buf.Pointer)
443         AcpiOsFree(buf.Pointer);
444 out:
445     if (ret <= 0) {
446         snprintf(desc, sizeof(desc), "Embedded Controller: GPE %#x%s%s",
447                  params->gpe_bit, (params->glk) ? ", GLK" : "",
448                  ecdt ? ", ECDT" : "");
449         device_set_desc_copy(dev, desc);
450     } else
451         free(params, M_TEMP);
452
453     return (ret);
454 }
455
456 static int
457 acpi_ec_attach(device_t dev)
458 {
459     struct acpi_ec_softc        *sc;
460     struct acpi_ec_params       *params;
461     ACPI_STATUS                 Status;
462
463     ACPI_FUNCTION_TRACE((char *)(uintptr_t)__func__);
464
465     /* Fetch/initialize softc (assumes softc is pre-zeroed). */
466     sc = device_get_softc(dev);
467     params = acpi_get_private(dev);
468     sc->ec_dev = dev;
469     sc->ec_handle = acpi_get_handle(dev);
470
471     /* Retrieve previously probed values via device ivars. */
472     sc->ec_glk = params->glk;
473     sc->ec_gpebit = params->gpe_bit;
474     sc->ec_gpehandle = params->gpe_handle;
475     sc->ec_uid = params->uid;
476     sc->ec_suspending = FALSE;
477     acpi_set_private(dev, NULL);
478     free(params, M_TEMP);
479
480     /* Attach bus resources for data and command/status ports. */
481     sc->ec_data_rid = 0;
482     sc->ec_data_res = bus_alloc_resource_any(sc->ec_dev, SYS_RES_IOPORT,
483                         &sc->ec_data_rid, RF_ACTIVE);
484     if (sc->ec_data_res == NULL) {
485         device_printf(dev, "can't allocate data port\n");
486         goto error;
487     }
488     sc->ec_data_tag = rman_get_bustag(sc->ec_data_res);
489     sc->ec_data_handle = rman_get_bushandle(sc->ec_data_res);
490
491     sc->ec_csr_rid = 1;
492     sc->ec_csr_res = bus_alloc_resource_any(sc->ec_dev, SYS_RES_IOPORT,
493                         &sc->ec_csr_rid, RF_ACTIVE);
494     if (sc->ec_csr_res == NULL) {
495         device_printf(dev, "can't allocate command/status port\n");
496         goto error;
497     }
498     sc->ec_csr_tag = rman_get_bustag(sc->ec_csr_res);
499     sc->ec_csr_handle = rman_get_bushandle(sc->ec_csr_res);
500
501     /*
502      * Install a handler for this EC's GPE bit.  We want edge-triggered
503      * behavior.
504      */
505     ACPI_DEBUG_PRINT((ACPI_DB_RESOURCES, "attaching GPE handler\n"));
506     Status = AcpiInstallGpeHandler(sc->ec_gpehandle, sc->ec_gpebit,
507                 ACPI_GPE_EDGE_TRIGGERED, EcGpeHandler, sc);
508     if (ACPI_FAILURE(Status)) {
509         device_printf(dev, "can't install GPE handler for %s - %s\n",
510                       acpi_name(sc->ec_handle), AcpiFormatException(Status));
511         goto error;
512     }
513
514     /*
515      * Install address space handler
516      */
517     ACPI_DEBUG_PRINT((ACPI_DB_RESOURCES, "attaching address space handler\n"));
518     Status = AcpiInstallAddressSpaceHandler(sc->ec_handle, ACPI_ADR_SPACE_EC,
519                 &EcSpaceHandler, &EcSpaceSetup, sc);
520     if (ACPI_FAILURE(Status)) {
521         device_printf(dev, "can't install address space handler for %s - %s\n",
522                       acpi_name(sc->ec_handle), AcpiFormatException(Status));
523         goto error;
524     }
525
526     /* Enable runtime GPEs for the handler. */
527     Status = AcpiEnableGpe(sc->ec_gpehandle, sc->ec_gpebit);
528     if (ACPI_FAILURE(Status)) {
529         device_printf(dev, "AcpiEnableGpe failed: %s\n",
530                       AcpiFormatException(Status));
531         goto error;
532     }
533
534     ACPI_DEBUG_PRINT((ACPI_DB_RESOURCES, "acpi_ec_attach complete\n"));
535     return (0);
536
537 error:
538     AcpiRemoveGpeHandler(sc->ec_gpehandle, sc->ec_gpebit, EcGpeHandler);
539     AcpiRemoveAddressSpaceHandler(sc->ec_handle, ACPI_ADR_SPACE_EC,
540         EcSpaceHandler);
541     if (sc->ec_csr_res)
542         bus_release_resource(sc->ec_dev, SYS_RES_IOPORT, sc->ec_csr_rid,
543                              sc->ec_csr_res);
544     if (sc->ec_data_res)
545         bus_release_resource(sc->ec_dev, SYS_RES_IOPORT, sc->ec_data_rid,
546                              sc->ec_data_res);
547     return (ENXIO);
548 }
549
550 static int
551 acpi_ec_suspend(device_t dev)
552 {
553     struct acpi_ec_softc        *sc;
554
555     sc = device_get_softc(dev);
556     sc->ec_suspending = TRUE;
557     return (0);
558 }
559
560 static int
561 acpi_ec_resume(device_t dev)
562 {
563     struct acpi_ec_softc        *sc;
564
565     sc = device_get_softc(dev);
566     sc->ec_suspending = FALSE;
567     return (0);
568 }
569
570 static int
571 acpi_ec_shutdown(device_t dev)
572 {
573     struct acpi_ec_softc        *sc;
574
575     /* Disable the GPE so we don't get EC events during shutdown. */
576     sc = device_get_softc(dev);
577     AcpiDisableGpe(sc->ec_gpehandle, sc->ec_gpebit);
578     return (0);
579 }
580
581 /* Methods to allow other devices (e.g., smbat) to read/write EC space. */
582 static int
583 acpi_ec_read_method(device_t dev, u_int addr, UINT64 *val, int width)
584 {
585     struct acpi_ec_softc *sc;
586     ACPI_STATUS status;
587
588     sc = device_get_softc(dev);
589     status = EcSpaceHandler(ACPI_READ, addr, width * 8, val, sc, NULL);
590     if (ACPI_FAILURE(status))
591         return (ENXIO);
592     return (0);
593 }
594
595 static int
596 acpi_ec_write_method(device_t dev, u_int addr, UINT64 val, int width)
597 {
598     struct acpi_ec_softc *sc;
599     ACPI_STATUS status;
600
601     sc = device_get_softc(dev);
602     status = EcSpaceHandler(ACPI_WRITE, addr, width * 8, &val, sc, NULL);
603     if (ACPI_FAILURE(status))
604         return (ENXIO);
605     return (0);
606 }
607
608 static ACPI_STATUS
609 EcCheckStatus(struct acpi_ec_softc *sc, const char *msg, EC_EVENT event)
610 {
611     ACPI_STATUS status;
612     EC_STATUS ec_status;
613
614     status = AE_NO_HARDWARE_RESPONSE;
615     ec_status = EC_GET_CSR(sc);
616     if (sc->ec_burstactive && !(ec_status & EC_FLAG_BURST_MODE)) {
617         CTR1(KTR_ACPI, "ec burst disabled in waitevent (%s)", msg);
618         sc->ec_burstactive = FALSE;
619     }
620     if (EVENT_READY(event, ec_status)) {
621         CTR2(KTR_ACPI, "ec %s wait ready, status %#x", msg, ec_status);
622         status = AE_OK;
623     }
624     return (status);
625 }
626
627 static void
628 EcGpeQueryHandlerSub(struct acpi_ec_softc *sc)
629 {
630     UINT8                       Data;
631     ACPI_STATUS                 Status;
632     int                         retry;
633     char                        qxx[5];
634
635     ACPI_FUNCTION_TRACE((char *)(uintptr_t)__func__);
636
637     /* Serialize user access with EcSpaceHandler(). */
638     Status = EcLock(sc);
639     if (ACPI_FAILURE(Status)) {
640         device_printf(sc->ec_dev, "GpeQuery lock error: %s\n",
641             AcpiFormatException(Status));
642         return;
643     }
644
645     /*
646      * Send a query command to the EC to find out which _Qxx call it
647      * wants to make.  This command clears the SCI bit and also the
648      * interrupt source since we are edge-triggered.  To prevent the GPE
649      * that may arise from running the query from causing another query
650      * to be queued, we clear the pending flag only after running it.
651      */
652     for (retry = 0; retry < 2; retry++) {
653         Status = EcCommand(sc, EC_COMMAND_QUERY);
654         if (ACPI_SUCCESS(Status))
655             break;
656         if (ACPI_FAILURE(EcCheckStatus(sc, "retr_check",
657             EC_EVENT_INPUT_BUFFER_EMPTY)))
658             break;
659     }
660     if (ACPI_FAILURE(Status)) {
661         EcUnlock(sc);
662         device_printf(sc->ec_dev, "GPE query failed: %s\n",
663             AcpiFormatException(Status));
664         return;
665     }
666     Data = EC_GET_DATA(sc);
667
668     /*
669      * We have to unlock before running the _Qxx method below since that
670      * method may attempt to read/write from EC address space, causing
671      * recursive acquisition of the lock.
672      */
673     EcUnlock(sc);
674
675     /* Ignore the value for "no outstanding event". (13.3.5) */
676     CTR2(KTR_ACPI, "ec query ok,%s running _Q%02X", Data ? "" : " not", Data);
677     if (Data == 0)
678         return;
679
680     /* Evaluate _Qxx to respond to the controller. */
681     snprintf(qxx, sizeof(qxx), "_Q%02X", Data);
682     AcpiUtStrupr(qxx);
683     Status = AcpiEvaluateObject(sc->ec_handle, qxx, NULL, NULL);
684     if (ACPI_FAILURE(Status) && Status != AE_NOT_FOUND) {
685         device_printf(sc->ec_dev, "evaluation of query method %s failed: %s\n",
686             qxx, AcpiFormatException(Status));
687     }
688 }
689
690 static void
691 EcGpeQueryHandler(void *Context)
692 {
693     struct acpi_ec_softc *sc = (struct acpi_ec_softc *)Context;
694     int pending;
695
696     KASSERT(Context != NULL, ("EcGpeQueryHandler called with NULL"));
697
698     do {
699         /* Read the current pending count */
700         pending = atomic_load_acq_int(&sc->ec_sci_pend);
701
702         /* Call GPE handler function */
703         EcGpeQueryHandlerSub(sc);
704
705         /*
706          * Try to reset the pending count to zero. If this fails we
707          * know another GPE event has occurred while handling the
708          * current GPE event and need to loop.
709          */
710     } while (!atomic_cmpset_int(&sc->ec_sci_pend, pending, 0));
711 }
712
713 /*
714  * The GPE handler is called when IBE/OBF or SCI events occur.  We are
715  * called from an unknown lock context.
716  */
717 static UINT32
718 EcGpeHandler(ACPI_HANDLE GpeDevice, UINT32 GpeNumber, void *Context)
719 {
720     struct acpi_ec_softc *sc = Context;
721     ACPI_STATUS                Status;
722     EC_STATUS                  EcStatus;
723
724     KASSERT(Context != NULL, ("EcGpeHandler called with NULL"));
725     CTR0(KTR_ACPI, "ec gpe handler start");
726
727     /*
728      * Notify EcWaitEvent() that the status register is now fresh.  If we
729      * didn't do this, it wouldn't be possible to distinguish an old IBE
730      * from a new one, for example when doing a write transaction (writing
731      * address and then data values.)
732      */
733     atomic_add_int(&sc->ec_gencount, 1);
734     wakeup(sc);
735
736     /*
737      * If the EC_SCI bit of the status register is set, queue a query handler.
738      * It will run the query and _Qxx method later, under the lock.
739      */
740     EcStatus = EC_GET_CSR(sc);
741     if ((EcStatus & EC_EVENT_SCI) &&
742         atomic_fetchadd_int(&sc->ec_sci_pend, 1) == 0) {
743         CTR0(KTR_ACPI, "ec gpe queueing query handler");
744         Status = AcpiOsExecute(OSL_GPE_HANDLER, EcGpeQueryHandler, Context);
745         if (ACPI_FAILURE(Status)) {
746             printf("EcGpeHandler: queuing GPE query handler failed\n");
747             atomic_store_rel_int(&sc->ec_sci_pend, 0);
748         }
749     }
750     return (ACPI_REENABLE_GPE);
751 }
752
753 static ACPI_STATUS
754 EcSpaceSetup(ACPI_HANDLE Region, UINT32 Function, void *Context,
755              void **RegionContext)
756 {
757
758     ACPI_FUNCTION_TRACE((char *)(uintptr_t)__func__);
759
760     /*
761      * If deactivating a region, always set the output to NULL.  Otherwise,
762      * just pass the context through.
763      */
764     if (Function == ACPI_REGION_DEACTIVATE)
765         *RegionContext = NULL;
766     else
767         *RegionContext = Context;
768
769     return_ACPI_STATUS (AE_OK);
770 }
771
772 static ACPI_STATUS
773 EcSpaceHandler(UINT32 Function, ACPI_PHYSICAL_ADDRESS Address, UINT32 Width,
774                UINT64 *Value, void *Context, void *RegionContext)
775 {
776     struct acpi_ec_softc        *sc = (struct acpi_ec_softc *)Context;
777     ACPI_PHYSICAL_ADDRESS       EcAddr;
778     UINT8                       *EcData;
779     ACPI_STATUS                 Status;
780
781     ACPI_FUNCTION_TRACE_U32((char *)(uintptr_t)__func__, (UINT32)Address);
782
783     if (Function != ACPI_READ && Function != ACPI_WRITE)
784         return_ACPI_STATUS (AE_BAD_PARAMETER);
785     if (Width % 8 != 0 || Value == NULL || Context == NULL)
786         return_ACPI_STATUS (AE_BAD_PARAMETER);
787     if (Address + Width / 8 > 256)
788         return_ACPI_STATUS (AE_BAD_ADDRESS);
789
790     /*
791      * If booting, check if we need to run the query handler.  If so, we
792      * we call it directly here since our thread taskq is not active yet.
793      */
794     if (cold || rebooting || sc->ec_suspending) {
795         if ((EC_GET_CSR(sc) & EC_EVENT_SCI) &&
796             atomic_fetchadd_int(&sc->ec_sci_pend, 1) == 0) {
797             CTR0(KTR_ACPI, "ec running gpe handler directly");
798             EcGpeQueryHandler(sc);
799         }
800     }
801
802     /* Serialize with EcGpeQueryHandler() at transaction granularity. */
803     Status = EcLock(sc);
804     if (ACPI_FAILURE(Status))
805         return_ACPI_STATUS (Status);
806
807     /* If we can't start burst mode, continue anyway. */
808     Status = EcCommand(sc, EC_COMMAND_BURST_ENABLE);
809     if (ACPI_SUCCESS(Status)) {
810         if (EC_GET_DATA(sc) == EC_BURST_ACK) {
811             CTR0(KTR_ACPI, "ec burst enabled");
812             sc->ec_burstactive = TRUE;
813         }
814     }
815
816     /* Perform the transaction(s), based on Width. */
817     EcAddr = Address;
818     EcData = (UINT8 *)Value;
819     if (Function == ACPI_READ)
820         *Value = 0;
821     do {
822         switch (Function) {
823         case ACPI_READ:
824             Status = EcRead(sc, EcAddr, EcData);
825             break;
826         case ACPI_WRITE:
827             Status = EcWrite(sc, EcAddr, *EcData);
828             break;
829         }
830         if (ACPI_FAILURE(Status))
831             break;
832         EcAddr++;
833         EcData++;
834     } while (EcAddr < Address + Width / 8);
835
836     if (sc->ec_burstactive) {
837         sc->ec_burstactive = FALSE;
838         if (ACPI_SUCCESS(EcCommand(sc, EC_COMMAND_BURST_DISABLE)))
839             CTR0(KTR_ACPI, "ec disabled burst ok");
840     }
841
842     EcUnlock(sc);
843     return_ACPI_STATUS (Status);
844 }
845
846 static ACPI_STATUS
847 EcWaitEvent(struct acpi_ec_softc *sc, EC_EVENT Event, u_int gen_count)
848 {
849     static int  no_intr = 0;
850     ACPI_STATUS Status;
851     int         count, i, need_poll, slp_ival;
852
853     ACPI_SERIAL_ASSERT(ec);
854     Status = AE_NO_HARDWARE_RESPONSE;
855     need_poll = cold || rebooting || ec_polled_mode || sc->ec_suspending;
856
857     /* Wait for event by polling or GPE (interrupt). */
858     if (need_poll) {
859         count = (ec_timeout * 1000) / EC_POLL_DELAY;
860         if (count == 0)
861             count = 1;
862         DELAY(10);
863         for (i = 0; i < count; i++) {
864             Status = EcCheckStatus(sc, "poll", Event);
865             if (ACPI_SUCCESS(Status))
866                 break;
867             DELAY(EC_POLL_DELAY);
868         }
869     } else {
870         slp_ival = hz / 1000;
871         if (slp_ival != 0) {
872             count = ec_timeout;
873         } else {
874             /* hz has less than 1 ms resolution so scale timeout. */
875             slp_ival = 1;
876             count = ec_timeout / (1000 / hz);
877         }
878
879         /*
880          * Wait for the GPE to signal the status changed, checking the
881          * status register each time we get one.  It's possible to get a
882          * GPE for an event we're not interested in here (i.e., SCI for
883          * EC query).
884          */
885         for (i = 0; i < count; i++) {
886             if (gen_count == sc->ec_gencount)
887                 tsleep(sc, 0, "ecgpe", slp_ival);
888             /*
889              * Record new generation count.  It's possible the GPE was
890              * just to notify us that a query is needed and we need to
891              * wait for a second GPE to signal the completion of the
892              * event we are actually waiting for.
893              */
894             Status = EcCheckStatus(sc, "sleep", Event);
895             if (ACPI_SUCCESS(Status)) {
896                 if (gen_count == sc->ec_gencount)
897                     no_intr++;
898                 else
899                     no_intr = 0;
900                 break;
901             }
902             gen_count = sc->ec_gencount;
903         }
904
905         /*
906          * We finished waiting for the GPE and it never arrived.  Try to
907          * read the register once and trust whatever value we got.  This is
908          * the best we can do at this point.
909          */
910         if (ACPI_FAILURE(Status))
911             Status = EcCheckStatus(sc, "sleep_end", Event);
912     }
913     if (!need_poll && no_intr > 10) {
914         device_printf(sc->ec_dev,
915             "not getting interrupts, switched to polled mode\n");
916         ec_polled_mode = 1;
917     }
918     if (ACPI_FAILURE(Status))
919             CTR0(KTR_ACPI, "error: ec wait timed out");
920     return (Status);
921 }
922
923 static ACPI_STATUS
924 EcCommand(struct acpi_ec_softc *sc, EC_COMMAND cmd)
925 {
926     ACPI_STATUS status;
927     EC_EVENT    event;
928     EC_STATUS   ec_status;
929     u_int       gen_count;
930
931     ACPI_SERIAL_ASSERT(ec);
932
933     /* Don't use burst mode if user disabled it. */
934     if (!ec_burst_mode && cmd == EC_COMMAND_BURST_ENABLE)
935         return (AE_ERROR);
936
937     /* Decide what to wait for based on command type. */
938     switch (cmd) {
939     case EC_COMMAND_READ:
940     case EC_COMMAND_WRITE:
941     case EC_COMMAND_BURST_DISABLE:
942         event = EC_EVENT_INPUT_BUFFER_EMPTY;
943         break;
944     case EC_COMMAND_QUERY:
945     case EC_COMMAND_BURST_ENABLE:
946         event = EC_EVENT_OUTPUT_BUFFER_FULL;
947         break;
948     default:
949         device_printf(sc->ec_dev, "EcCommand: invalid command %#x\n", cmd);
950         return (AE_BAD_PARAMETER);
951     }
952
953     /*
954      * Ensure empty input buffer before issuing command.
955      * Use generation count of zero to force a quick check.
956      */
957     status = EcWaitEvent(sc, EC_EVENT_INPUT_BUFFER_EMPTY, 0);
958     if (ACPI_FAILURE(status))
959         return (status);
960
961     /* Run the command and wait for the chosen event. */
962     CTR1(KTR_ACPI, "ec running command %#x", cmd);
963     gen_count = sc->ec_gencount;
964     EC_SET_CSR(sc, cmd);
965     status = EcWaitEvent(sc, event, gen_count);
966     if (ACPI_SUCCESS(status)) {
967         /* If we succeeded, burst flag should now be present. */
968         if (cmd == EC_COMMAND_BURST_ENABLE) {
969             ec_status = EC_GET_CSR(sc);
970             if ((ec_status & EC_FLAG_BURST_MODE) == 0)
971                 status = AE_ERROR;
972         }
973     } else
974         device_printf(sc->ec_dev, "EcCommand: no response to %#x\n", cmd);
975     return (status);
976 }
977
978 static ACPI_STATUS
979 EcRead(struct acpi_ec_softc *sc, UINT8 Address, UINT8 *Data)
980 {
981     ACPI_STATUS status;
982     u_int gen_count;
983     int retry;
984
985     ACPI_SERIAL_ASSERT(ec);
986     CTR1(KTR_ACPI, "ec read from %#x", Address);
987
988     for (retry = 0; retry < 2; retry++) {
989         status = EcCommand(sc, EC_COMMAND_READ);
990         if (ACPI_FAILURE(status))
991             return (status);
992
993         gen_count = sc->ec_gencount;
994         EC_SET_DATA(sc, Address);
995         status = EcWaitEvent(sc, EC_EVENT_OUTPUT_BUFFER_FULL, gen_count);
996         if (ACPI_SUCCESS(status)) {
997             *Data = EC_GET_DATA(sc);
998             return (AE_OK);
999         }
1000         if (ACPI_FAILURE(EcCheckStatus(sc, "retr_check",
1001             EC_EVENT_INPUT_BUFFER_EMPTY)))
1002             break;
1003     }
1004     device_printf(sc->ec_dev, "EcRead: failed waiting to get data\n");
1005     return (status);
1006 }
1007
1008 static ACPI_STATUS
1009 EcWrite(struct acpi_ec_softc *sc, UINT8 Address, UINT8 Data)
1010 {
1011     ACPI_STATUS status;
1012     u_int gen_count;
1013
1014     ACPI_SERIAL_ASSERT(ec);
1015     CTR2(KTR_ACPI, "ec write to %#x, data %#x", Address, Data);
1016
1017     status = EcCommand(sc, EC_COMMAND_WRITE);
1018     if (ACPI_FAILURE(status))
1019         return (status);
1020
1021     gen_count = sc->ec_gencount;
1022     EC_SET_DATA(sc, Address);
1023     status = EcWaitEvent(sc, EC_EVENT_INPUT_BUFFER_EMPTY, gen_count);
1024     if (ACPI_FAILURE(status)) {
1025         device_printf(sc->ec_dev, "EcWrite: failed waiting for sent address\n");
1026         return (status);
1027     }
1028
1029     gen_count = sc->ec_gencount;
1030     EC_SET_DATA(sc, Data);
1031     status = EcWaitEvent(sc, EC_EVENT_INPUT_BUFFER_EMPTY, gen_count);
1032     if (ACPI_FAILURE(status)) {
1033         device_printf(sc->ec_dev, "EcWrite: failed waiting for sent data\n");
1034         return (status);
1035     }
1036
1037     return (AE_OK);
1038 }