Jak przypomniało informujące z pewnym opóźnieniem o jego śmierci Radio Zachód, urodził się 2 lutego 1900 roku w Wicyniu niedaleko Złoczowa w ówczesnej Galicji Wschodniej. W 1920 roku służył w 22 Pułku Ułanów Podkarpackich, z którym gromił pod Komarowem (to całodzienne starcie określane jest mianem ostatniej wielkiej bitwy kawaleryjskiej w dziejach) Konarmię Siemiona Budionnego.
W latach 20. ukończył szkołę oficerską ale pozostał rezerwistą, ponieważ prowadził już wtedy gospodarstwo rolne. Wziął udział w kampanii wrześniowej 1939 roku i trafił do niemieckiego obozu pracy. Po powrocie z niewoli osiadł w Przemysławiu pod Krzeszycami w obecnym województwie lubuskim, gdzie do 1993 roku prowadził gospodarstwo rolne. Po przekazaniu go na rzecz Skarbu Państwa zamieszkał w Domu Pomocy Społecznej w Tursku.
Kapitan Józef Kowalski był honorowym obywatelem Radzymina, Warszawy i Wołomina. Pochowano go na cmentarzu parafialnym w Krzeszycach.
