contrib/compiler-rt/lib/tsan/rtl/tsan_rtl_thread.cc

   1 //===-- tsan_rtl_thread.cc ------------------------------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file is a part of ThreadSanitizer (TSan), a race detector.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "sanitizer_common/sanitizer_placement_new.h"
  15 #include "tsan_rtl.h"
  16 #include "tsan_mman.h"
  17 #include "tsan_platform.h"
  18 #include "tsan_report.h"
  19 #include "tsan_sync.h"
  20
  21 namespace __tsan {
  22
  23 // ThreadContext implementation.
  24
  25 ThreadContext::ThreadContext(int tid)
  26   : ThreadContextBase(tid)
  27   , thr()
  28   , sync()
  29   , epoch0()
  30   , epoch1() {
  31 }
  32
  33 #if !SANITIZER_GO
  34 ThreadContext::~ThreadContext() {
  35 }
  36 #endif
  37
  38 void ThreadContext::OnDead() {
  39   CHECK_EQ(sync.size(), 0);
  40 }
  41
  42 void ThreadContext::OnJoined(void *arg) {
  43   ThreadState *caller_thr = static_cast<ThreadState *>(arg);
  44   AcquireImpl(caller_thr, 0, &sync);
  45   sync.Reset(&caller_thr->proc()->clock_cache);
  46 }
  47
  48 struct OnCreatedArgs {
  49   ThreadState *thr;
  50   uptr pc;
  51 };
  52
  53 void ThreadContext::OnCreated(void *arg) {
  54   thr = 0;
  55   if (tid == 0)
  56     return;
  57   OnCreatedArgs *args = static_cast<OnCreatedArgs *>(arg);
  58   if (!args->thr)  // GCD workers don't have a parent thread.
  59     return;
  60   args->thr->fast_state.IncrementEpoch();
  61   // Can't increment epoch w/o writing to the trace as well.
  62   TraceAddEvent(args->thr, args->thr->fast_state, EventTypeMop, 0);
  63   ReleaseImpl(args->thr, 0, &sync);
  64   creation_stack_id = CurrentStackId(args->thr, args->pc);
  65   if (reuse_count == 0)
  66     StatInc(args->thr, StatThreadMaxTid);
  67 }
  68
  69 void ThreadContext::OnReset() {
  70   CHECK_EQ(sync.size(), 0);
  71   uptr trace_p = GetThreadTrace(tid);
  72   ReleaseMemoryPagesToOS(trace_p, trace_p + TraceSize() * sizeof(Event));
  73   //!!! ReleaseMemoryToOS(GetThreadTraceHeader(tid), sizeof(Trace));
  74 }
  75
  76 void ThreadContext::OnDetached(void *arg) {
  77   ThreadState *thr1 = static_cast<ThreadState*>(arg);
  78   sync.Reset(&thr1->proc()->clock_cache);
  79 }
  80
  81 struct OnStartedArgs {
  82   ThreadState *thr;
  83   uptr stk_addr;
  84   uptr stk_size;
  85   uptr tls_addr;
  86   uptr tls_size;
  87 };
  88
  89 void ThreadContext::OnStarted(void *arg) {
  90   OnStartedArgs *args = static_cast<OnStartedArgs*>(arg);
  91   thr = args->thr;
  92   // RoundUp so that one trace part does not contain events
  93   // from different threads.
  94   epoch0 = RoundUp(epoch1 + 1, kTracePartSize);
  95   epoch1 = (u64)-1;
  96   new(thr) ThreadState(ctx, tid, unique_id, epoch0, reuse_count,
  97       args->stk_addr, args->stk_size, args->tls_addr, args->tls_size);
  98 #if !SANITIZER_GO
  99   thr->shadow_stack = &ThreadTrace(thr->tid)->shadow_stack[0];
 100   thr->shadow_stack_pos = thr->shadow_stack;
 101   thr->shadow_stack_end = thr->shadow_stack + kShadowStackSize;
 102 #else
 103   // Setup dynamic shadow stack.
 104   const int kInitStackSize = 8;
 105   thr->shadow_stack = (uptr*)internal_alloc(MBlockShadowStack,
 106       kInitStackSize * sizeof(uptr));
 107   thr->shadow_stack_pos = thr->shadow_stack;
 108   thr->shadow_stack_end = thr->shadow_stack + kInitStackSize;
 109 #endif
 110   if (common_flags()->detect_deadlocks)
 111     thr->dd_lt = ctx->dd->CreateLogicalThread(unique_id);
 112   thr->fast_state.SetHistorySize(flags()->history_size);
 113   // Commit switch to the new part of the trace.
 114   // TraceAddEvent will reset stack0/mset0 in the new part for us.
 115   TraceAddEvent(thr, thr->fast_state, EventTypeMop, 0);
 116
 117   thr->fast_synch_epoch = epoch0;
 118   AcquireImpl(thr, 0, &sync);
 119   StatInc(thr, StatSyncAcquire);
 120   sync.Reset(&thr->proc()->clock_cache);
 121   thr->is_inited = true;
 122   DPrintf("#%d: ThreadStart epoch=%zu stk_addr=%zx stk_size=%zx "
 123           "tls_addr=%zx tls_size=%zx\n",
 124           tid, (uptr)epoch0, args->stk_addr, args->stk_size,
 125           args->tls_addr, args->tls_size);
 126 }
 127
 128 void ThreadContext::OnFinished() {
 129 #if SANITIZER_GO
 130   internal_free(thr->shadow_stack);
 131   thr->shadow_stack = nullptr;
 132   thr->shadow_stack_pos = nullptr;
 133   thr->shadow_stack_end = nullptr;
 134 #endif
 135   if (!detached) {
 136     thr->fast_state.IncrementEpoch();
 137     // Can't increment epoch w/o writing to the trace as well.
 138     TraceAddEvent(thr, thr->fast_state, EventTypeMop, 0);
 139     ReleaseImpl(thr, 0, &sync);
 140   }
 141   epoch1 = thr->fast_state.epoch();
 142
 143   if (common_flags()->detect_deadlocks)
 144     ctx->dd->DestroyLogicalThread(thr->dd_lt);
 145   thr->clock.ResetCached(&thr->proc()->clock_cache);
 146 #if !SANITIZER_GO
 147   thr->last_sleep_clock.ResetCached(&thr->proc()->clock_cache);
 148 #endif
 149   thr->~ThreadState();
 150 #if TSAN_COLLECT_STATS
 151   StatAggregate(ctx->stat, thr->stat);
 152 #endif
 153   thr = 0;
 154 }
 155
 156 #if !SANITIZER_GO
 157 struct ThreadLeak {
 158   ThreadContext *tctx;
 159   int count;
 160 };
 161
 162 static void MaybeReportThreadLeak(ThreadContextBase *tctx_base, void *arg) {
 163   Vector<ThreadLeak> &leaks = *(Vector<ThreadLeak>*)arg;
 164   ThreadContext *tctx = static_cast<ThreadContext*>(tctx_base);
 165   if (tctx->detached || tctx->status != ThreadStatusFinished)
 166     return;
 167   for (uptr i = 0; i < leaks.Size(); i++) {
 168     if (leaks[i].tctx->creation_stack_id == tctx->creation_stack_id) {
 169       leaks[i].count++;
 170       return;
 171     }
 172   }
 173   ThreadLeak leak = {tctx, 1};
 174   leaks.PushBack(leak);
 175 }
 176 #endif
 177
 178 #if !SANITIZER_GO
 179 static void ReportIgnoresEnabled(ThreadContext *tctx, IgnoreSet *set) {
 180   if (tctx->tid == 0) {
 181     Printf("ThreadSanitizer: main thread finished with ignores enabled\n");
 182   } else {
 183     Printf("ThreadSanitizer: thread T%d %s finished with ignores enabled,"
 184       " created at:\n", tctx->tid, tctx->name);
 185     PrintStack(SymbolizeStackId(tctx->creation_stack_id));
 186   }
 187   Printf("  One of the following ignores was not ended"
 188       " (in order of probability)\n");
 189   for (uptr i = 0; i < set->Size(); i++) {
 190     Printf("  Ignore was enabled at:\n");
 191     PrintStack(SymbolizeStackId(set->At(i)));
 192   }
 193   Die();
 194 }
 195
 196 static void ThreadCheckIgnore(ThreadState *thr) {
 197   if (ctx->after_multithreaded_fork)
 198     return;
 199   if (thr->ignore_reads_and_writes)
 200     ReportIgnoresEnabled(thr->tctx, &thr->mop_ignore_set);
 201   if (thr->ignore_sync)
 202     ReportIgnoresEnabled(thr->tctx, &thr->sync_ignore_set);
 203 }
 204 #else
 205 static void ThreadCheckIgnore(ThreadState *thr) {}
 206 #endif
 207
 208 void ThreadFinalize(ThreadState *thr) {
 209   ThreadCheckIgnore(thr);
 210 #if !SANITIZER_GO
 211   if (!flags()->report_thread_leaks)
 212     return;
 213   ThreadRegistryLock l(ctx->thread_registry);
 214   Vector<ThreadLeak> leaks(MBlockScopedBuf);
 215   ctx->thread_registry->RunCallbackForEachThreadLocked(
 216       MaybeReportThreadLeak, &leaks);
 217   for (uptr i = 0; i < leaks.Size(); i++) {
 218     ScopedReport rep(ReportTypeThreadLeak);
 219     rep.AddThread(leaks[i].tctx, true);
 220     rep.SetCount(leaks[i].count);
 221     OutputReport(thr, rep);
 222   }
 223 #endif
 224 }
 225
 226 int ThreadCount(ThreadState *thr) {
 227   uptr result;
 228   ctx->thread_registry->GetNumberOfThreads(0, 0, &result);
 229   return (int)result;
 230 }
 231
 232 int ThreadCreate(ThreadState *thr, uptr pc, uptr uid, bool detached) {
 233   StatInc(thr, StatThreadCreate);
 234   OnCreatedArgs args = { thr, pc };
 235   u32 parent_tid = thr ? thr->tid : kInvalidTid;  // No parent for GCD workers.
 236   int tid =
 237       ctx->thread_registry->CreateThread(uid, detached, parent_tid, &args);
 238   DPrintf("#%d: ThreadCreate tid=%d uid=%zu\n", parent_tid, tid, uid);
 239   StatSet(thr, StatThreadMaxAlive, ctx->thread_registry->GetMaxAliveThreads());
 240   return tid;
 241 }
 242
 243 void ThreadStart(ThreadState *thr, int tid, tid_t os_id, bool workerthread) {
 244   uptr stk_addr = 0;
 245   uptr stk_size = 0;
 246   uptr tls_addr = 0;
 247   uptr tls_size = 0;
 248 #if !SANITIZER_GO
 249   GetThreadStackAndTls(tid == 0, &stk_addr, &stk_size, &tls_addr, &tls_size);
 250
 251   if (tid) {
 252     if (stk_addr && stk_size)
 253       MemoryRangeImitateWrite(thr, /*pc=*/ 1, stk_addr, stk_size);
 254
 255     if (tls_addr && tls_size) ImitateTlsWrite(thr, tls_addr, tls_size);
 256   }
 257 #endif
 258
 259   ThreadRegistry *tr = ctx->thread_registry;
 260   OnStartedArgs args = { thr, stk_addr, stk_size, tls_addr, tls_size };
 261   tr->StartThread(tid, os_id, workerthread, &args);
 262
 263   tr->Lock();
 264   thr->tctx = (ThreadContext*)tr->GetThreadLocked(tid);
 265   tr->Unlock();
 266
 267 #if !SANITIZER_GO
 268   if (ctx->after_multithreaded_fork) {
 269     thr->ignore_interceptors++;
 270     ThreadIgnoreBegin(thr, 0);
 271     ThreadIgnoreSyncBegin(thr, 0);
 272   }
 273 #endif
 274 }
 275
 276 void ThreadFinish(ThreadState *thr) {
 277   ThreadCheckIgnore(thr);
 278   StatInc(thr, StatThreadFinish);
 279   if (thr->stk_addr && thr->stk_size)
 280     DontNeedShadowFor(thr->stk_addr, thr->stk_size);
 281   if (thr->tls_addr && thr->tls_size)
 282     DontNeedShadowFor(thr->tls_addr, thr->tls_size);
 283   thr->is_dead = true;
 284   ctx->thread_registry->FinishThread(thr->tid);
 285 }
 286
 287 static bool FindThreadByUid(ThreadContextBase *tctx, void *arg) {
 288   uptr uid = (uptr)arg;
 289   if (tctx->user_id == uid && tctx->status != ThreadStatusInvalid) {
 290     tctx->user_id = 0;
 291     return true;
 292   }
 293   return false;
 294 }
 295
 296 int ThreadTid(ThreadState *thr, uptr pc, uptr uid) {
 297   int res = ctx->thread_registry->FindThread(FindThreadByUid, (void*)uid);
 298   DPrintf("#%d: ThreadTid uid=%zu tid=%d\n", thr->tid, uid, res);
 299   return res;
 300 }
 301
 302 void ThreadJoin(ThreadState *thr, uptr pc, int tid) {
 303   CHECK_GT(tid, 0);
 304   CHECK_LT(tid, kMaxTid);
 305   DPrintf("#%d: ThreadJoin tid=%d\n", thr->tid, tid);
 306   ctx->thread_registry->JoinThread(tid, thr);
 307 }
 308
 309 void ThreadDetach(ThreadState *thr, uptr pc, int tid) {
 310   CHECK_GT(tid, 0);
 311   CHECK_LT(tid, kMaxTid);
 312   ctx->thread_registry->DetachThread(tid, thr);
 313 }
 314
 315 void ThreadSetName(ThreadState *thr, const char *name) {
 316   ctx->thread_registry->SetThreadName(thr->tid, name);
 317 }
 318
 319 void MemoryAccessRange(ThreadState *thr, uptr pc, uptr addr,
 320                        uptr size, bool is_write) {
 321   if (size == 0)
 322     return;
 323
 324   u64 *shadow_mem = (u64*)MemToShadow(addr);
 325   DPrintf2("#%d: MemoryAccessRange: @%p %p size=%d is_write=%d\n",
 326       thr->tid, (void*)pc, (void*)addr,
 327       (int)size, is_write);
 328
 329 #if SANITIZER_DEBUG
 330   if (!IsAppMem(addr)) {
 331     Printf("Access to non app mem %zx\n", addr);
 332     DCHECK(IsAppMem(addr));
 333   }
 334   if (!IsAppMem(addr + size - 1)) {
 335     Printf("Access to non app mem %zx\n", addr + size - 1);
 336     DCHECK(IsAppMem(addr + size - 1));
 337   }
 338   if (!IsShadowMem((uptr)shadow_mem)) {
 339     Printf("Bad shadow addr %p (%zx)\n", shadow_mem, addr);
 340     DCHECK(IsShadowMem((uptr)shadow_mem));
 341   }
 342   if (!IsShadowMem((uptr)(shadow_mem + size * kShadowCnt / 8 - 1))) {
 343     Printf("Bad shadow addr %p (%zx)\n",
 344                shadow_mem + size * kShadowCnt / 8 - 1, addr + size - 1);
 345     DCHECK(IsShadowMem((uptr)(shadow_mem + size * kShadowCnt / 8 - 1)));
 346   }
 347 #endif
 348
 349   StatInc(thr, StatMopRange);
 350
 351   if (*shadow_mem == kShadowRodata) {
 352     DCHECK(!is_write);
 353     // Access to .rodata section, no races here.
 354     // Measurements show that it can be 10-20% of all memory accesses.
 355     StatInc(thr, StatMopRangeRodata);
 356     return;
 357   }
 358
 359   FastState fast_state = thr->fast_state;
 360   if (fast_state.GetIgnoreBit())
 361     return;
 362
 363   fast_state.IncrementEpoch();
 364   thr->fast_state = fast_state;
 365   TraceAddEvent(thr, fast_state, EventTypeMop, pc);
 366
 367   bool unaligned = (addr % kShadowCell) != 0;
 368
 369   // Handle unaligned beginning, if any.
 370   for (; addr % kShadowCell && size; addr++, size--) {
 371     int const kAccessSizeLog = 0;
 372     Shadow cur(fast_state);
 373     cur.SetWrite(is_write);
 374     cur.SetAddr0AndSizeLog(addr & (kShadowCell - 1), kAccessSizeLog);
 375     MemoryAccessImpl(thr, addr, kAccessSizeLog, is_write, false,
 376         shadow_mem, cur);
 377   }
 378   if (unaligned)
 379     shadow_mem += kShadowCnt;
 380   // Handle middle part, if any.
 381   for (; size >= kShadowCell; addr += kShadowCell, size -= kShadowCell) {
 382     int const kAccessSizeLog = 3;
 383     Shadow cur(fast_state);
 384     cur.SetWrite(is_write);
 385     cur.SetAddr0AndSizeLog(0, kAccessSizeLog);
 386     MemoryAccessImpl(thr, addr, kAccessSizeLog, is_write, false,
 387         shadow_mem, cur);
 388     shadow_mem += kShadowCnt;
 389   }
 390   // Handle ending, if any.
 391   for (; size; addr++, size--) {
 392     int const kAccessSizeLog = 0;
 393     Shadow cur(fast_state);
 394     cur.SetWrite(is_write);
 395     cur.SetAddr0AndSizeLog(addr & (kShadowCell - 1), kAccessSizeLog);
 396     MemoryAccessImpl(thr, addr, kAccessSizeLog, is_write, false,
 397         shadow_mem, cur);
 398   }
 399 }
 400
 401 }  // namespace __tsan