Maturę w Liceum Ogólnokształcące w Rudzie Śląskiej zdał w 1966 roku. Po trzecim roku studiów w Wyższym Śląskim Seminarium Duchownym odbył obowiązkowy wtedy staż w zakładzie pracy. Wybrał kopalnię „Walenty-Wawel” w Rudzie Śląskiej. Przez rok pracował pod ziemią, na nocnej zmianie. Jako diakon wyjechał do Drezna (NRD), gdzie opiekował się polską młodzieżą pracującą w Dreźnie i Lipsku.

Święcenia kapłańskie przyjął 19 kwietnia 1973 r. w Katowicach. W sierpniu tego roku został wikariuszem parafii pw. Świętych Apostołów Piotra i Pawła w Katowicach. Od roku 1975 do 1980 pełnił funkcję sekretarza i kapelana biskupa Herberta Bednorza, a od 1980 do 1992 był kanclerzem Kurii Diecezjalnej w Katowicach. Był jednym z głównych organizatorów wizyty Jana Pawła II w Katowicach w roku 1983. Utworzył fundusz pomocy dla księży misjonarzy. Przyczynił się do powstania w Katowicach klasztoru sióstr karmelitanek i domu dla księży emerytów. W okresie stanu wojennego tworzył i brał udział w działalności Biskupiego Komitetu Pomocy Więźniom i Internowanym. W 1992 r. został wikariuszem generalnym i ekonomem archidiecezji katowickiej. W 1995 r. uzyskał doktorat z historii Kościoła na ATK w Warszawie.

13 grudnia 1997 r. papież Jan Paweł II mianował ks. Wiktora Skworca biskupem tarnowskim. Sakrę biskupią przyjął z rąk Ojca Świętego 6 stycznia 1998 r. w Bazylice św. Piotra w Rzymie. Za najważniejszy moment swojej posługi w Tarnowie uważa wizytę Jana Pawła II w Starym Sączu w 1999 r. i dokonaną wtedy kanonizację księżnej Kingi. Dzięki niemu powstały Diecezjalne Centrum Pielgrzymowania im. Jana Pawła II i klauzurowy klasztor sióstr karmelitanek w Tarnowie. Doprowadził też do utworzenia samodzielnego Wydziału Teologicznego w Tarnowie, działającego w strukturach Uniwersytetu Papieskiego JPII w Krakowie. Wspierał budowę stacjonarnego hospicjum w Tarnowie. W latach 2001–2011 jako przewodniczący Komisji Misyjnej Episkopatu Polski odwiedzał placówki misyjne, organizował pomoc finansową i duchową dla misji. Był delegatem ds. Ruchu Światło–Życie (1999–2004) i przewodniczącym Rady Ekonomicznej KEP (2004–2009). Jest członkiem rzymskiej Kongregacji ds. Ewangelizacji Narodów. Odpowiada za kontakty z biskupami niemieckimi z ramienia polskiego episkopatu. Jest także członkiem Komisji Konkordatowej oraz delegatem ds. „Kirche in Not”.