Tozovac je imao vrlo turbulentan život, a sa svega pet godina ostao je bez oca. 1941. Svetozara Tozu Živkovića streljali su Nijemci, za vrijeme Drugog svetskog rata. Ženski dio porodice je preuzeo je brigu o njemu, a upravo na harmonici koja mu je ostala od oca počeo je da svira kako bi zarađivao za hljeb.

Pjevač je i sam svojevremeno govorio o nedaćama koje su ga zadesile te je preživio okupaciju, period variole vere, tuberkuloze, a sjećao se i kuge.

- Eh, šta sam ja sve prošao i izvukao se... Davno sam rođen i preživio sam okupaciju prokletih Njemaca i vrlo dobro znam šta je policijski čas. Tada nisi smio da izađeš nigdje, ma ni da zahvatiš bokal vode, a kamoli da pazariš nešto. To je bilo strašno. Ne ponovilo se. Nikako to nismo preživjeli, umirali smo. Kako smo preživjeli? Neki jedva, neki i nisu. Za kugu takođe nije bilo lijeka. Ljudi su se krili, a ona je bila u vazduhu.

- Tuberkuloza je, takoreći, juče bila. Ona je kosila ljude pred rat. Zemun i Kragujevac su bili rasadnik tuberkuloze. Tu su ljudi za nedjelju dana umirali. Čim se malo nazebe, gotovo. Iz moje porodice Živković otišlo je nekoliko mladih. Dosta je njih umrlo iz moje familije kada je vladalo to zlo. Tuberkuloza je bila neizlječiva bolest. Mučili smo muku sve dok se nije pojavio antibiotik. Mnogo godina kasnije pojavila se i variola vera. Narod je bio uplašen, bojao se kontakta s ljudima jer se svakojako prenosila. Sve je od čovjeka do čovjeka kako je podnosio, nisu svi ljudi bili u jednom košu - objašnjavao je svojevremeno.

Inače, Tozovac je u mladosti važio za velikog zavodnika, ali o svom ljubavnom životu nikada nije volio previše da govori. Ipak, poznato je da je do kraja svog života bio u ljubavi sa Emilijom Mimom, sa kojom je proveo 40 godina, a vjenčali su se kada je pjevač imao 84 godine, prenosi 24sedam.