James je život izgubio u tragičnoj automobilskoj nesreći 30. rujna 1955. godine u dobi od samo 24 godine, a njegova je smrt u tadašnje vrijeme bila jedna od najvećih tragedija u svijetu slavnih. Iako je službeno proglašena nesretnim slučajem, oko njegove smrti kruže brojne teorije zavjere.
James je u životu imao dvije velike strasti - glumu i automobilske utrke. Njegova glumačka karijera bila je u usponu, a između snimanja je pobjeđivao i na utrkama u Palms Springsu i Santa Barbari. Jedna od njegovih najvećih investicija bila je kupnja Porsche Spydera kojem je od milja dao nadimak "malo kopile" u kojem je na na kraju izgubio život.
Naime, James je planirao sa svojim vozilom sudjelovati na utrci Salinas Road i planirao ga je tamo prevesti na prikolici da bi se u posljednji čas predomislio te se odlučio sam odvesti, a s njim se otputio i mehaničar Rolf Wütherich. Ubrzo nakon što su krenuli, policija ih je zaustavila zbog prebrze vožnje, a onda su napravili i pauzu u jednom od restorana na putu kako bi nešto pojeli.
Sat vremena kasnije u vožnji su ugledali vozilo marke Ford kako juri prema njima, a James je Rolfu rekao kako taj tip mora stati jer ih sigurno vidi, no samo nekoliko sekundi kasnije automobili su se sudarili.
Rolf je ispao uz Porschea i zadobio je nekoliko lomova, a vozač Forda Donald Turnupseed prošao je s nekoliko lakših ozljeda. Međutim, James nije bio te sreće i proglašen je mrtvim u 18 sati 30. rujna 1955. godine.
Svjedoci na mjestu nesreće potvrdili su kako James nije vozio prebrzo, unatoč tome što je u službenom izvještaju kao uzrok nesreće navedena brzina. Pričalo se i kako je glumac bio živ nakon nesreće i imao slabi puls, dok je prema drugoj teoriji ostao na mjestu mrtav što je pokrenulo teorije zavjere. Postoji i ona da je čak lažirao svoju smrt, jer je navodno mrzio slavu i obožavateljice koje su ga opsjedale.