Allen Ginsberg et Bob Dylan ont entretenu une amitié étroite qui a débuté au début des années 1960. Al Aronowitz, un journaliste du New York Post, a présenté pour la première fois Allen Ginsberg à Bob Dylan en 1963. Ils faisaient tous deux partie des scènes florissantes de la musique folk et de la poésie « beat ». Ils se sont rapidement rendu compte qu’ils partageaient une profonde appréciation du travail de l’autre, et leur amitié s’est épanouie à partir de là.
Avant même de se rencontrer, Dylan avait entendu parler de Ginsberg et des autres membres de la Beat Generation, et c’est l’une des choses qui a attiré l’ambitieux troubadour à New York en 1961. Lors d’un entretien avec le New Yorker en 1985, il a déclaré : « Je suis sorti de la nature et je suis naturellement tombé sur la scène Beat, la bohème, la foule Be Bop, tout était assez lié, c’était Jack Kerouac, Ginsberg, Corso, Ferlinghetti… Je suis arrivé à la fin de tout ça, et c’était magique… ça a eu un impact aussi grand sur moi qu’Elvis Presley ».
Depuis la fin de son adolescence, Dylan était attiré par l’écriture Beat. Il a utilisé ce jeu de mots révolutionnaire dans ses premières chansons après avoir découvert Woody Guthrie et être entré pour la première fois sur la scène folk. Cependant, son écriture a commencé à devenir plus abstraite et avant-gardiste après sa rencontre avec Ginsberg en 1963. Bob se souvient : « Je n’ai commencé à écrire de la poésie qu’après le lycée, j’avais environ dix-huit ans lorsque j’ai découvert Ginsberg, Gary Snyder, Philip Whalen, Frank O’Hara et ces types. »
Ginsberg a également parlé de leur amitié. Il s’est exprimé dans Deliberate Prose : Selected Essays 1952-1995. Il a déclaré :  » J’ai rencontré Bob pour la première fois lors d’une fête à la librairie de la huitième rue, et il m’a invité à partir en tournée avec lui, je n’y suis finalement pas allé, mais, bon sang, si j’avais su à l’époque ce que je sais maintenant, j’y serais allé comme un éclair. Il m’aurait probablement fait monter sur scène avec lui. »

Il a ajouté : « Son image était sous-jacente, souterraine, inconsciente chez les gens… quelque chose d’un peu plus mystérieux, poétique, un peu plus Dada, plus là où se trouvaient réellement le cœur et la tête des gens que là où ils « devraient être » selon une théorie idéologique en colère. »
Ginsberg s’est inspiré de Dylan pour utiliser sa voix afin de transmettre ses écrits en plus d’avoir un impact sur ses mots. Il a déclaré : « Il m’a donné envie de chanter, je me souviens du moment. C’était un concert avec [folk singer] Happy Traum que j’ai vu à Greenwich Village. J’ai soudainement commencé à écrire mes propres paroles. »
Il poursuit : « Les mots de Dylan étaient si beaux, La première fois que je les ai entendus, j’ai pleuré. Dylan [was] en chantant ‘Masters of War’ de The Freewheelin’ Bob Dylan, et j’ai vraiment fondu en larmes. J’avais l’impression que le flambeau était passé à une autre génération. »
Ecoutez « Vomit Express » de leur album inédit « Holy Soul Jelly Roll ».