Lieu de passage obligé entre le nord et le sud de l'Europe, la région d'Avignon subit de plein fouet les invasions des peuples barbares.
La première vague déferle dès la fin du III° siècle, avec les Francs et les Alamans. Elle impressionne et laisse un effrayant souvenir aux méridionaux. La deuxième vague, au début du V° siècle, submerge et disloque définitivement un Empire Romain d'Occident en pleine décomposition. Les Vandales dévastent le pays, suivis des Goths, puis des Burgondes qui s'établissent dans la région. En 474, Avignon est la position fortifiée la plus au sud de ce royaume dont elle fait maintenant partie.
En ces temps troublés, les habitants décimés par les guerres et les pillages fuient les villes. Avignon, comme Nîmes, est réduite au septième de son ancienne superficie. On fortifie ce qu'il reste de la cité romaine en construisant rapidement une enceinte plus courte et plus facilement défendable autour du Rocher sur lequel la population s'est réfugiée.
En 500, le roi des Burgondes, Gondebaud, poursuivi par le roi franc Clovis, se réfugie à Avignon. Ce dernier ne parvient pas à prendre la cité puissamment fortifiée. La ville passe sous le contrôle des Wisigoths vers 506, puis des Ostrogoths deux ans plus tard. En 537, le roi Vitigès cède Avignon avec la Provence aux rois Francs. La ville est rattachée en 561 au royaume franc de Bourgogne, et ce jusqu'à la deuxième moitié du VIII° siècle.