Pasó sus últimos días en el hospital; falleció en Los Ángeles, el 16 de mayo de 1984, a la edad de 35 años, víctima de un cáncer de pulmón. Se dice que el día de su muerte la enfermera que se encontraba en la habitación intentó cerrarle los ojos, pero los abrió nuevamente como si se tratara de una última broma. Fue enterrado en el cementerio Beth David de Elmont, Nueva York (Long Island). Fue diagnosticado en 1983, pero se mantuvo en secreto casi hasta el día de su muerte debido en parte a que las personas más cercanas a él parecían no creerle, y también debido a que sus creencias dictaban que debia rodearse solo de vibraciones positivas, algo casi imposible por la imagen que él mismo se había creado. Muchos han dudado de la veracidad del fallecimiento, preguntándose si no se trataría en realidad del último chiste de Andy Kaufman. Sus familiares y amigos aseguran que el cómico nunca bebió ni fumó, y que seguía una dieta vegetariana. Se culpa de la dolencia a sus años de trabajo en clubs, en los que mantenía contactos prolongados con fumadores. También corre el rumor de que Kaufman simuló su muerte para volver 20 años después, aunque en 2004 no hubo noticias de tal leyenda urbana.
