Wrócili do Markowic. Chciał jechać do domu, ale zjawiła się policja z nakazem pracy w majątku. Rozpoczął więc nowicjat, czyli "narzeczeństwo" w zgromadzeniu. Rodzice czynili starania, by powrócił do domu, jednak 4 maja 1940 roku gestapowcy zabrali nowicjuszy i kleryków "do pracy w Niemczech". W niedalekim majątku rozpoczęło się jednak życie jak w obozie (krzyki, bicie, upodlenie). Po kilku dniach odmaszerowali na najbliższą stację kolejową. Po kwarantannie 2 sierpnia - zamiast jako sportowiec na olimpiadzie - znalazł się jako więzień w obozie Mauthausen-Gusen. Praca w kamieniołomach była ciężka, nieraz ponad siły człowieka. Przeżył cudem. Potem trafił do Dachau. - Często modliłem się do swojego patrona św. Józefa, by pomógł i on mnie zawsze wysłuchał - mówi.

Po wyzwoleniu dostał się z kilkoma klerykami oblatami do ich domu zakonnego w Rzymie. Po rekolekcjach rozpoczęli drugą część nowicjatu. 25 stycznia 1949 r. złożył w Rzymie śluby wieczyste, a święcenia kapłańskie przyjął 2 lipca 1950 roku. Obronił doktorat na Uniwersytecie Gregoriańskim w Rzymie. Pracował wśród Polonii w Kanadzie, w Rzymie, w Belgii.

Pasją ks. Pielorza zawsze była historia, poszukiwanie naukowe i pisarstwo. Regularnie pisał do Vie Oblate Life (Ottawa), do Duszpasterza Polskiego Zagranicą (Rzym), do Niepokalanej (Francja) i do wielu czasopism polskich, francuskich i włoskich. W latach 1954 do 2003 opublikowano jego 900 różnych artykułów. Z prac naukowych część została wydana. Zbiory wszelakich publikacji można oglądać w bibliotece miejskiej w Imielinie. Tam też, w swoim rodzinnym mieście, zakonnik osiadł na emeryturze. Dopóki siły mu pozwalały, jeździł czasami do macierzystego klasztoru w Obrze; teraz to księdza Józefa odwiedza w Imielinie przełożony najbliższego klasztoru oblatów w Katowicach.