contrib/compiler-rt/lib/tsan/rtl/tsan_rtl_thread.cc

   1 //===-- tsan_rtl_thread.cc ------------------------------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file is a part of ThreadSanitizer (TSan), a race detector.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "sanitizer_common/sanitizer_placement_new.h"
  15 #include "tsan_rtl.h"
  16 #include "tsan_mman.h"
  17 #include "tsan_platform.h"
  18 #include "tsan_report.h"
  19 #include "tsan_sync.h"
  20
  21 namespace __tsan {
  22
  23 // ThreadContext implementation.
  24
  25 ThreadContext::ThreadContext(int tid)
  26   : ThreadContextBase(tid)
  27   , thr()
  28   , sync()
  29   , epoch0()
  30   , epoch1() {
  31 }
  32
  33 #ifndef SANITIZER_GO
  34 ThreadContext::~ThreadContext() {
  35 }
  36 #endif
  37
  38 void ThreadContext::OnDead() {
  39   CHECK_EQ(sync.size(), 0);
  40 }
  41
  42 void ThreadContext::OnJoined(void *arg) {
  43   ThreadState *caller_thr = static_cast<ThreadState *>(arg);
  44   AcquireImpl(caller_thr, 0, &sync);
  45   sync.Reset(&caller_thr->clock_cache);
  46 }
  47
  48 struct OnCreatedArgs {
  49   ThreadState *thr;
  50   uptr pc;
  51 };
  52
  53 void ThreadContext::OnCreated(void *arg) {
  54   thr = 0;
  55   if (tid == 0)
  56     return;
  57   OnCreatedArgs *args = static_cast<OnCreatedArgs *>(arg);
  58   args->thr->fast_state.IncrementEpoch();
  59   // Can't increment epoch w/o writing to the trace as well.
  60   TraceAddEvent(args->thr, args->thr->fast_state, EventTypeMop, 0);
  61   ReleaseImpl(args->thr, 0, &sync);
  62   creation_stack_id = CurrentStackId(args->thr, args->pc);
  63   if (reuse_count == 0)
  64     StatInc(args->thr, StatThreadMaxTid);
  65 }
  66
  67 void ThreadContext::OnReset() {
  68   CHECK_EQ(sync.size(), 0);
  69   FlushUnneededShadowMemory(GetThreadTrace(tid), TraceSize() * sizeof(Event));
  70   //!!! FlushUnneededShadowMemory(GetThreadTraceHeader(tid), sizeof(Trace));
  71 }
  72
  73 void ThreadContext::OnDetached(void *arg) {
  74   ThreadState *thr1 = static_cast<ThreadState*>(arg);
  75   sync.Reset(&thr1->clock_cache);
  76 }
  77
  78 struct OnStartedArgs {
  79   ThreadState *thr;
  80   uptr stk_addr;
  81   uptr stk_size;
  82   uptr tls_addr;
  83   uptr tls_size;
  84 };
  85
  86 void ThreadContext::OnStarted(void *arg) {
  87   OnStartedArgs *args = static_cast<OnStartedArgs*>(arg);
  88   thr = args->thr;
  89   // RoundUp so that one trace part does not contain events
  90   // from different threads.
  91   epoch0 = RoundUp(epoch1 + 1, kTracePartSize);
  92   epoch1 = (u64)-1;
  93   new(thr) ThreadState(ctx, tid, unique_id, epoch0, reuse_count,
  94       args->stk_addr, args->stk_size, args->tls_addr, args->tls_size);
  95 #ifndef SANITIZER_GO
  96   thr->shadow_stack = &ThreadTrace(thr->tid)->shadow_stack[0];
  97   thr->shadow_stack_pos = thr->shadow_stack;
  98   thr->shadow_stack_end = thr->shadow_stack + kShadowStackSize;
  99 #else
 100   // Setup dynamic shadow stack.
 101   const int kInitStackSize = 8;
 102   thr->shadow_stack = (uptr*)internal_alloc(MBlockShadowStack,
 103       kInitStackSize * sizeof(uptr));
 104   thr->shadow_stack_pos = thr->shadow_stack;
 105   thr->shadow_stack_end = thr->shadow_stack + kInitStackSize;
 106 #endif
 107 #ifndef SANITIZER_GO
 108   AllocatorThreadStart(thr);
 109 #endif
 110   if (common_flags()->detect_deadlocks) {
 111     thr->dd_pt = ctx->dd->CreatePhysicalThread();
 112     thr->dd_lt = ctx->dd->CreateLogicalThread(unique_id);
 113   }
 114   thr->fast_synch_epoch = epoch0;
 115   AcquireImpl(thr, 0, &sync);
 116   thr->fast_state.SetHistorySize(flags()->history_size);
 117   const uptr trace = (epoch0 / kTracePartSize) % TraceParts();
 118   Trace *thr_trace = ThreadTrace(thr->tid);
 119   thr_trace->headers[trace].epoch0 = epoch0;
 120   StatInc(thr, StatSyncAcquire);
 121   sync.Reset(&thr->clock_cache);
 122   DPrintf("#%d: ThreadStart epoch=%zu stk_addr=%zx stk_size=%zx "
 123           "tls_addr=%zx tls_size=%zx\n",
 124           tid, (uptr)epoch0, args->stk_addr, args->stk_size,
 125           args->tls_addr, args->tls_size);
 126 }
 127
 128 void ThreadContext::OnFinished() {
 129   if (!detached) {
 130     thr->fast_state.IncrementEpoch();
 131     // Can't increment epoch w/o writing to the trace as well.
 132     TraceAddEvent(thr, thr->fast_state, EventTypeMop, 0);
 133     ReleaseImpl(thr, 0, &sync);
 134   }
 135   epoch1 = thr->fast_state.epoch();
 136
 137   if (common_flags()->detect_deadlocks) {
 138     ctx->dd->DestroyPhysicalThread(thr->dd_pt);
 139     ctx->dd->DestroyLogicalThread(thr->dd_lt);
 140   }
 141   ctx->clock_alloc.FlushCache(&thr->clock_cache);
 142   ctx->metamap.OnThreadIdle(thr);
 143 #ifndef SANITIZER_GO
 144   AllocatorThreadFinish(thr);
 145 #endif
 146   thr->~ThreadState();
 147   StatAggregate(ctx->stat, thr->stat);
 148   thr = 0;
 149 }
 150
 151 #ifndef SANITIZER_GO
 152 struct ThreadLeak {
 153   ThreadContext *tctx;
 154   int count;
 155 };
 156
 157 static void MaybeReportThreadLeak(ThreadContextBase *tctx_base, void *arg) {
 158   Vector<ThreadLeak> &leaks = *(Vector<ThreadLeak>*)arg;
 159   ThreadContext *tctx = static_cast<ThreadContext*>(tctx_base);
 160   if (tctx->detached || tctx->status != ThreadStatusFinished)
 161     return;
 162   for (uptr i = 0; i < leaks.Size(); i++) {
 163     if (leaks[i].tctx->creation_stack_id == tctx->creation_stack_id) {
 164       leaks[i].count++;
 165       return;
 166     }
 167   }
 168   ThreadLeak leak = {tctx, 1};
 169   leaks.PushBack(leak);
 170 }
 171 #endif
 172
 173 #ifndef SANITIZER_GO
 174 static void ReportIgnoresEnabled(ThreadContext *tctx, IgnoreSet *set) {
 175   if (tctx->tid == 0) {
 176     Printf("ThreadSanitizer: main thread finished with ignores enabled\n");
 177   } else {
 178     Printf("ThreadSanitizer: thread T%d %s finished with ignores enabled,"
 179       " created at:\n", tctx->tid, tctx->name);
 180     PrintStack(SymbolizeStackId(tctx->creation_stack_id));
 181   }
 182   Printf("  One of the following ignores was not ended"
 183       " (in order of probability)\n");
 184   for (uptr i = 0; i < set->Size(); i++) {
 185     Printf("  Ignore was enabled at:\n");
 186     PrintStack(SymbolizeStackId(set->At(i)));
 187   }
 188   Die();
 189 }
 190
 191 static void ThreadCheckIgnore(ThreadState *thr) {
 192   if (ctx->after_multithreaded_fork)
 193     return;
 194   if (thr->ignore_reads_and_writes)
 195     ReportIgnoresEnabled(thr->tctx, &thr->mop_ignore_set);
 196   if (thr->ignore_sync)
 197     ReportIgnoresEnabled(thr->tctx, &thr->sync_ignore_set);
 198 }
 199 #else
 200 static void ThreadCheckIgnore(ThreadState *thr) {}
 201 #endif
 202
 203 void ThreadFinalize(ThreadState *thr) {
 204   ThreadCheckIgnore(thr);
 205 #ifndef SANITIZER_GO
 206   if (!flags()->report_thread_leaks)
 207     return;
 208   ThreadRegistryLock l(ctx->thread_registry);
 209   Vector<ThreadLeak> leaks(MBlockScopedBuf);
 210   ctx->thread_registry->RunCallbackForEachThreadLocked(
 211       MaybeReportThreadLeak, &leaks);
 212   for (uptr i = 0; i < leaks.Size(); i++) {
 213     ScopedReport rep(ReportTypeThreadLeak);
 214     rep.AddThread(leaks[i].tctx, true);
 215     rep.SetCount(leaks[i].count);
 216     OutputReport(thr, rep);
 217   }
 218 #endif
 219 }
 220
 221 int ThreadCount(ThreadState *thr) {
 222   uptr result;
 223   ctx->thread_registry->GetNumberOfThreads(0, 0, &result);
 224   return (int)result;
 225 }
 226
 227 int ThreadCreate(ThreadState *thr, uptr pc, uptr uid, bool detached) {
 228   StatInc(thr, StatThreadCreate);
 229   OnCreatedArgs args = { thr, pc };
 230   int tid = ctx->thread_registry->CreateThread(uid, detached, thr->tid, &args);
 231   DPrintf("#%d: ThreadCreate tid=%d uid=%zu\n", thr->tid, tid, uid);
 232   StatSet(thr, StatThreadMaxAlive, ctx->thread_registry->GetMaxAliveThreads());
 233   return tid;
 234 }
 235
 236 void ThreadStart(ThreadState *thr, int tid, uptr os_id) {
 237   uptr stk_addr = 0;
 238   uptr stk_size = 0;
 239   uptr tls_addr = 0;
 240   uptr tls_size = 0;
 241   GetThreadStackAndTls(tid == 0, &stk_addr, &stk_size, &tls_addr, &tls_size);
 242
 243   if (tid) {
 244     if (stk_addr && stk_size)
 245       MemoryRangeImitateWrite(thr, /*pc=*/ 1, stk_addr, stk_size);
 246
 247     if (tls_addr && tls_size) {
 248       // Check that the thr object is in tls;
 249       const uptr thr_beg = (uptr)thr;
 250       const uptr thr_end = (uptr)thr + sizeof(*thr);
 251       CHECK_GE(thr_beg, tls_addr);
 252       CHECK_LE(thr_beg, tls_addr + tls_size);
 253       CHECK_GE(thr_end, tls_addr);
 254       CHECK_LE(thr_end, tls_addr + tls_size);
 255       // Since the thr object is huge, skip it.
 256       MemoryRangeImitateWrite(thr, /*pc=*/ 2, tls_addr, thr_beg - tls_addr);
 257       MemoryRangeImitateWrite(thr, /*pc=*/ 2,
 258           thr_end, tls_addr + tls_size - thr_end);
 259     }
 260   }
 261
 262   ThreadRegistry *tr = ctx->thread_registry;
 263   OnStartedArgs args = { thr, stk_addr, stk_size, tls_addr, tls_size };
 264   tr->StartThread(tid, os_id, &args);
 265
 266   tr->Lock();
 267   thr->tctx = (ThreadContext*)tr->GetThreadLocked(tid);
 268   tr->Unlock();
 269
 270 #ifndef SANITIZER_GO
 271   if (ctx->after_multithreaded_fork) {
 272     thr->ignore_interceptors++;
 273     ThreadIgnoreBegin(thr, 0);
 274     ThreadIgnoreSyncBegin(thr, 0);
 275   }
 276 #endif
 277 }
 278
 279 void ThreadFinish(ThreadState *thr) {
 280   ThreadCheckIgnore(thr);
 281   StatInc(thr, StatThreadFinish);
 282   if (thr->stk_addr && thr->stk_size)
 283     DontNeedShadowFor(thr->stk_addr, thr->stk_size);
 284   if (thr->tls_addr && thr->tls_size)
 285     DontNeedShadowFor(thr->tls_addr, thr->tls_size);
 286   thr->is_dead = true;
 287   ctx->thread_registry->FinishThread(thr->tid);
 288 }
 289
 290 static bool FindThreadByUid(ThreadContextBase *tctx, void *arg) {
 291   uptr uid = (uptr)arg;
 292   if (tctx->user_id == uid && tctx->status != ThreadStatusInvalid) {
 293     tctx->user_id = 0;
 294     return true;
 295   }
 296   return false;
 297 }
 298
 299 int ThreadTid(ThreadState *thr, uptr pc, uptr uid) {
 300   int res = ctx->thread_registry->FindThread(FindThreadByUid, (void*)uid);
 301   DPrintf("#%d: ThreadTid uid=%zu tid=%d\n", thr->tid, uid, res);
 302   return res;
 303 }
 304
 305 void ThreadJoin(ThreadState *thr, uptr pc, int tid) {
 306   CHECK_GT(tid, 0);
 307   CHECK_LT(tid, kMaxTid);
 308   DPrintf("#%d: ThreadJoin tid=%d\n", thr->tid, tid);
 309   ctx->thread_registry->JoinThread(tid, thr);
 310 }
 311
 312 void ThreadDetach(ThreadState *thr, uptr pc, int tid) {
 313   CHECK_GT(tid, 0);
 314   CHECK_LT(tid, kMaxTid);
 315   ctx->thread_registry->DetachThread(tid, thr);
 316 }
 317
 318 void ThreadSetName(ThreadState *thr, const char *name) {
 319   ctx->thread_registry->SetThreadName(thr->tid, name);
 320 }
 321
 322 void MemoryAccessRange(ThreadState *thr, uptr pc, uptr addr,
 323                        uptr size, bool is_write) {
 324   if (size == 0)
 325     return;
 326
 327   u64 *shadow_mem = (u64*)MemToShadow(addr);
 328   DPrintf2("#%d: MemoryAccessRange: @%p %p size=%d is_write=%d\n",
 329       thr->tid, (void*)pc, (void*)addr,
 330       (int)size, is_write);
 331
 332 #if TSAN_DEBUG
 333   if (!IsAppMem(addr)) {
 334     Printf("Access to non app mem %zx\n", addr);
 335     DCHECK(IsAppMem(addr));
 336   }
 337   if (!IsAppMem(addr + size - 1)) {
 338     Printf("Access to non app mem %zx\n", addr + size - 1);
 339     DCHECK(IsAppMem(addr + size - 1));
 340   }
 341   if (!IsShadowMem((uptr)shadow_mem)) {
 342     Printf("Bad shadow addr %p (%zx)\n", shadow_mem, addr);
 343     DCHECK(IsShadowMem((uptr)shadow_mem));
 344   }
 345   if (!IsShadowMem((uptr)(shadow_mem + size * kShadowCnt / 8 - 1))) {
 346     Printf("Bad shadow addr %p (%zx)\n",
 347                shadow_mem + size * kShadowCnt / 8 - 1, addr + size - 1);
 348     DCHECK(IsShadowMem((uptr)(shadow_mem + size * kShadowCnt / 8 - 1)));
 349   }
 350 #endif
 351
 352   StatInc(thr, StatMopRange);
 353
 354   if (*shadow_mem == kShadowRodata) {
 355     // Access to .rodata section, no races here.
 356     // Measurements show that it can be 10-20% of all memory accesses.
 357     StatInc(thr, StatMopRangeRodata);
 358     return;
 359   }
 360
 361   FastState fast_state = thr->fast_state;
 362   if (fast_state.GetIgnoreBit())
 363     return;
 364
 365   fast_state.IncrementEpoch();
 366   thr->fast_state = fast_state;
 367   TraceAddEvent(thr, fast_state, EventTypeMop, pc);
 368
 369   bool unaligned = (addr % kShadowCell) != 0;
 370
 371   // Handle unaligned beginning, if any.
 372   for (; addr % kShadowCell && size; addr++, size--) {
 373     int const kAccessSizeLog = 0;
 374     Shadow cur(fast_state);
 375     cur.SetWrite(is_write);
 376     cur.SetAddr0AndSizeLog(addr & (kShadowCell - 1), kAccessSizeLog);
 377     MemoryAccessImpl(thr, addr, kAccessSizeLog, is_write, false,
 378         shadow_mem, cur);
 379   }
 380   if (unaligned)
 381     shadow_mem += kShadowCnt;
 382   // Handle middle part, if any.
 383   for (; size >= kShadowCell; addr += kShadowCell, size -= kShadowCell) {
 384     int const kAccessSizeLog = 3;
 385     Shadow cur(fast_state);
 386     cur.SetWrite(is_write);
 387     cur.SetAddr0AndSizeLog(0, kAccessSizeLog);
 388     MemoryAccessImpl(thr, addr, kAccessSizeLog, is_write, false,
 389         shadow_mem, cur);
 390     shadow_mem += kShadowCnt;
 391   }
 392   // Handle ending, if any.
 393   for (; size; addr++, size--) {
 394     int const kAccessSizeLog = 0;
 395     Shadow cur(fast_state);
 396     cur.SetWrite(is_write);
 397     cur.SetAddr0AndSizeLog(addr & (kShadowCell - 1), kAccessSizeLog);
 398     MemoryAccessImpl(thr, addr, kAccessSizeLog, is_write, false,
 399         shadow_mem, cur);
 400   }
 401 }
 402
 403 }  // namespace __tsan