Miejsce jego pochówku znaleziono przypadkowo na cmentarzu na wileńskiej Rossie. Kacper Piłsudski zmarł w Wilnie 28 lipca 1915 roku w wieku 36 lat. Grób Kacpra Piłsudskiego został odnaleziony, kiedy członkowie Społecznego Komitetu Opieki nad Starą Rossą dokonywali oględzin prowadzonych na cmentarzu prac konserwatorskich.

Kacper Piłsudski był jednym z pięciu braci marszałka. Nie ma zbyt wielu informacji na jego temat. Wiadomo, że przez lata mieszkał w Petersburgu. Nigdy nie założył rodziny.

Na cmentarzu na Rossie znajduje się też grób innego z braci marszałka - Adama Piłsudskiego, który przed wojną był wiceprezydentem Wilna i senatorem RP. Na nekropolii spoczywa też żona marszałka - Maria z Koplewskich oraz jego matka Maria z Billewiczów. Złożone jest tam też serce marszałka.