A lo largo de cinco décadas, Prine ha sido uno de los cantautores estadounidenses más reconocidos, como demuestran sus 3 premios Grammys (uno de ellos de honor por toda su carrera) y la lista de artistas que le han reconocido como influencia, entre ellos Justin Vernon de Bon Iver, Conor Oberst, Margo Price, My Morning Jacket o Drive-By Truckers. El propio Vernon ha escrito que Prine era su «número 1» y la razón principal por la que se dedica a la música. Elogiado por Bob Dylan ya en sus inicios, cuando el autor de ‘Blood on the Tracks’ apareció en uno de sus conciertos para tocar la armónica, Prine compuso canciones que más tarde serían interpretadas por artistas como Joan Baez, Johnny Cash, John Denver, Everly Brothers, Carly Simon, George Strait, Miranda Lambert o Norah Jones.
Conocido por sus narrativas historias sobre la «absurdidad de la vida cotidiana» y pobladas de personajes diversos, en 1971 Prine publicó su primer disco después de ser descubierto por Kris Kristofferson durante un evento de micro abierto en Chicago. Este incluía algunas de sus canciones más conocidas, como ‘Illegal Smile’, ‘Sam Stone’, ‘Angel from Montgomery’ y ‘Paradise’. Otros de sus trabajos publicados durante los años 70 fueron ‘Diamonds in the Rough’ (1972), ‘Sweet Revenge’ (1973) y ‘Common Sense’ (1975). En los 80, Prine fundó su propio sello, a través del cual editó su disco ‘Aimless Love’ gracias a la ayuda económica de sus fans. El reconocimiento de la industria le llegaría después con el recibimiento de dos Grammys por Mejor álbum de folk contemporáneo, ‘The Missing Years’ (1992) y ‘Fair & Square’ (2005), disco que Prine compuso después de superar un cáncer.
Entre los artistas que han recordado a Prine en las redes sociales, además de Vernon, se encuentra Bruce Springsteen: «John y yo fuimos «nuevos Dylans» juntos en los primeros años 70 y él siempre fue el chico más encantado del mundo. Un verdadero tesoro nacional y un compositor para los anales». Margo Price también ha lamentado el fallecimiento de su «héroe», Jack Antonoff ha dicho que Prine era «el mejor compositor que se puede ser» y también The Mountain Goats o Amber Coffman han expresado unas palabras en su recuerdo.