Er verdiente seinen Lebensunterhalt als Hausmeister in den Columbia Recording Studios und verdiente 58 Dollar pro Woche. Er war auch Teilzeit-Barkeeper.
Schließlich verließ ihn seine Frau und nahm ihre Kinder mit zurück nach Kalifornien. Es dauerte fünf Jahre, bis seine Musikkarriere Fahrt aufnahm und Künstler wie Janis Joplin und Johnny Cash mit ihm zusammenarbeiteten.
Er sagte gegenüber „People“: „Ich bin immer wieder erstaunt über meine Kühnheit. Ich meine, wenn du aus Neros Steakhouse Cactus Canyon geworfen wurdest – und das war ich auch –, wie sollst du jemals ins Grand Ole Opry kommen? Aber was auch immer.“ Der Schwung brachte mich zurück und half mir dann, immer weiter zu spielen. Ich fand es erschreckend, aber ich habe es geschafft. Danach war es wie eine Achterbahnfahrt.