Ha frequentato il liceo a Budapest e a Kalocsa. Successivamente è entrato nell’ordine dei gesuiti, che lo ha mandato a Innsbruck per proseguire gli studi. Dal 1915 era membro della diocesi di Vác. Il 21 maggio 1916 è stato ordinato sacerdote. Nel 1927 è partito per gli Stati Uniti, ma si è ammalato più volte, per cui è tornato più volte in Ungheria, per poi rimanervi definitivamente. Dal 1943 è stato posto in pensione, è stato accolto dai suoi parenti e viveva praticamente in condizioni di indigenza. La sua casa a Pásztó fu distrutta durante la guerra, per cui nel 1946 chiese di essere reintegrato, ma non ottenne il nulla osta; ricevette un alloggio di servizio a Vác, dove visse fino alla morte. Il libro commemorativo di Chicago lo ricorda così: «Padre Kasztovszky non riuscì ad abituarsi allo stile di vita americano. Gli rimase sempre estraneo il fatto che nella parte nord della città i fedeli vivessero sparsi ovunque a grande distanza gli uni dagli altri. Era un sacerdote dalla vita esemplare, un eccellente oratore, ma la lingua inglese rimase per lui una barriera nei confronti dei gruppi più numerosi di fedeli.” Non avendo ricevuto un incarico ufficiale, si dedicò all’assistenza pastorale. Secondo le testimonianze, anche quando aveva già settant’anni andava ogni settimana in bicicletta a Vác-Deákvár per celebrare la Messa. A Chicago, Illinois, la sua memoria è custodita da un calice itinerante, che viene assegnato al giovane che recita in modo più bello.