Tal como lo veo yo, que un hombre sin pene nos incomode, no nos atraiga sexualmente como un hombre que sí lo tiene, etc... simplemente pone de manifiesto que la asociación pene-hombre la tenemos metidísima en la cabeza. En mi opinión, los penes nos excitan porque los asociamos al hombre y no al revés.
Romper esta dinámica es complicado y por supuesto nadie está obligado a deconstruirse, pero lo de yo no soy tránsfobx, simplemente no me atraen las vaginas no me parece que se sostenga. Creo que hay que perderle el miedo a la palabra transfobia. Tenerla no te hace mala persona (al final es lo mismo que lo que dice @Dardo en referencia a la homofobia interiorizada), pero opino que para seguir avanzando como colectivo/sociedad lo primero es aceptar que está ahí, engranada en el pensamiento de (casi) todes.