Le processus de production de Southern Accents de Tom Petty semble avoir été un véritable enfer. Alors que Petty tentait de créer son album le plus ambitieux à ce jour, sa consommation de drogues l’a poussé à rejeter d’excellentes chansons comme « Boys of Summer », ce qui a provoqué un accès de rage où il a fini par réduire sa main en poudre. Petty a fini par émerger de la brume provoquée par la drogue, mais il a finalement acquis l’un de ses plus grands succès d’occasion.
L’idée était que Petty produise lui-même l’album pendant qu’il était enregistré avec l’aide du guitariste vétéran Mike Campbell. L’album devait à l’origine être un concept à deux disques centré sur le Sud américain, mais en raison de l’insistance de Petty à travailler à nouveau avec Jimmy Iovine, il a finalement été réduit à un seul disque.
Même si Iovine avait travaillé sur de nombreuses sessions de Stevie Nicks, il n’était pas tout à fait prêt à monter sur scène. Iovine avait appris à connaître Nicks grâce à leur collaboration sur son premier succès solo, « Stop Draggin My Heart Around », et avait besoin d’une direction créative lorsqu’il a accepté le projet de Petty.

Dans Runnin Down a Dream, Tom Petty affirme que Iovine était à la recherche d’auteurs-compositeurs : « Il m’a dit : « Y a-t-il quelqu’un de nouveau sur la scène en ce moment ? » et j’ai répondu : « Je pense que ce type, Dave Stewart, est un très bon auteur-compositeur ». À l’époque, il faisait son entrée sur la scène avec les Eurythmics.
Don’t Come Around Here No More » était le titre d’une nouvelle chanson que Stewart avait déjà composée, mais elle était impatiente de créer un morceau pour Stevie Nicks. Il se souvient que les paroles ont été envoyées très rapidement à Petty car Nicks ne les écrivait pas à la satisfaction de Iovine. Il se souvient : « Stevie a dit : « Je veux que Tom écrive les paroles ». Tom écrit les paroles et vole ensuite la chanson ».
Peu importe qui a fini par écrire les paroles, la voix de Petty est fantastique dans cette interprétation, qui combine les sons des années 1980 – des boîtes à rythmes aux sons synthétiques du sitar – avec sa voix de rockeur endurci. Il est facile d’imaginer comment Nicks a pu en bénéficier, étant donné que la vidéo de Petty, inspirée d’Alice au pays des merveilles, s’accordait parfaitement avec son comportement éthéré.

Stewart a déclaré que les autres membres du groupe ont mis du temps à accepter le concept de faire ce single avec le reste de l’album. Il a déclaré : « Je suis sûr qu’ils se demandaient ce que j’étais en train de faire. L’album s’appelle Southern Accents et tout d’un coup, on a l’impression d’être en Inde ».
Même si elle comporte un grand nombre d’overdubs, la chanson a été le premier single de l’album et a servi de tremplin pour certaines des expériences en studio les plus audacieuses de Petty qui allaient suivre, comme Wildflowers et Into the Great Wide Open. Des années plus tard, Petty était prêt à défendre cet album, même s’il était entré en studio avec beaucoup de folie en tête. Il a déclaré : « Southern Accents n’était pas le disque que je voulais faire, mais j’étais plus fier de l’album qu’il est devenu. »