Un músico escocés desconocido, Frankie Duffy de la banda Kalel, dice que Nick Cave ha copiado su canción ‘Grey Man’ de un grupo anterior, Rising Signs, para el tema del último disco de Grinderman ‘Palaces Of Montezuma’. Dice que los acordes, La, Mi y Si, son muy habituales pero que coinciden en progresión dando lugar a un resultado muy parecido. Además dice que las palabras «grey man» aparecen en el disco de Grinderman y que coincide hasta algún «ooh».

En un concierto reciente, Nick Cave ha bromeado sobre que «un muchacho de 17 años» (en realidad tiene 29) le haya acusado de copiar una canción, indicando que escribió esta canción para su esposa y señalando a su batería, Jim Sclavunos.