Cursó sus estudios de secundaria en Budapest y Kalocsa. Posteriormente ingresó en la orden de los jesuitas, que lo enviaron a Innsbruck para continuar sus estudios. Desde 1915 perteneció a la diócesis de Vác. El 21 de mayo de 1916 fue ordenado sacerdote. En 1927 se marchó a los Estados Unidos, pero enfermó en varias ocasiones, por lo que regresó a Hungría en repetidas ocasiones, hasta que finalmente se quedó allí. A partir de 1943 fue jubilado, sus familiares lo acogieron, pero prácticamente vivía en la indigencia. Su casa en Pásztó quedó destruida durante la guerra, por lo que en 1946 solicitó su reincorporación, pero no la obtuvo; recibió una vivienda de servicio en Vác, donde vivió hasta su muerte. El libro conmemorativo de Chicago lo recuerda de la siguiente manera: «El padre Kasztovszky no logró acostumbrarse al estilo de vida estadounidense. Siempre le resultó extraño que, en la parte norte de la ciudad, los fieles vivieran dispersos por todas partes, a gran distancia unos de otros. Era un sacerdote de vida ejemplar y un excelente orador, pero el idioma inglés siguió siendo una barrera para él frente a los grupos más numerosos de fieles». Como no obtuvo un cargo oficial, asumió tareas de asistencia pastoral. Según los registros, incluso en sus setenta años iba en bicicleta cada semana a Vác-Deákvár a celebrar misa. En Chicago, Illinois, su memoria la conserva una copa itinerante, que se entrega al joven que recita con mayor belleza.