Josef Hofer wurde im März 1945 in Wegscheid in Bayern geboren und wuchs im oberösterreichischen Mühlviertel auf einem kleinen Bauernhof auf. Lange Jahre wurde er von der Familie aufgrund seiner mehrfachen Behinderung verborgen gehalten.
Die Schwester des Vaters war psychisch erkrankt und 1941 Opfer des nationalsozialistischen Euthanasieprogramms geworden.
Zudem litt die Bevölkerung bis 1955 unter der russischen Besatzung. Durch mehrere schwere Mittelohrentzündungen in seiner frühen Kindheit, die unbehandelt blieben, ist Josef Hofer nahezu gehörlos. Bis heute kann Hofer nur mit Gebärden kommunizieren. Eine Schule besuchte er nie, begann aber schon als Kind zu zeichnen. 1982 zog die Mutter mit ihren zwei Söhnen nach Kirchschlag in Österreich. Ab 1985 besuchte Hofer Tageswerkstätten in Linz und Grein, und von 1992 an wohnte und arbeitete er in einem Wohnheim in Ried im Innkreis. Ab 1998 intensivierte sich seine Zeichnungstätigkeit in einer von der Kunsthistorikerin Elisabeth Telsnig geleiteten Malgruppe.
Beim Zeichnen trug Hofer stets einen blauen Kittel. Zu seiner Kleidung gehörte zudem ein Gürtel, wobei er an den Gürtelschlaufen Playmobil-Figuren, kleine Teddybären u. a. befestigte, die ihn wie Fetischobjekte durch den Tag begleiteten. Seine Bilder entstanden in einem langsamen Prozess, in dessen Verlauf er alles um sich herum vergass und in einen tranceähnlichen Zustand verfiel. Seit 2017 lebt er als Pensionist in seinem Wohnheim in Ried und hat seine künstlerische Produktion weitgehend aufgegeben.