Il renoua avec l'austérité de Benoît XII, mais en aurait-il voulu autrement, le trésor pontifical n'existait plus. En 1358, il fut même obligé de vendre argenterie et bijoux personnels. Sa politique maladroite ne connut pas un grand succès.
C'est l'époque de la famine et la peste qui ravagent à nouveau la ville, et des grandes compagnies, qui coûtent si cher à Avignon et qui lui feront ériger les remparts. Accablé par tant de soucis, Innocent VI déclina rapidement et mourut le 12 septembre 1362.
Son tombeau est situé à la Chartreuse de Villeneuve les Avignon, qu'il fonda en 1356, à l'emplacement de sa livrée.