Nel 1880 le autorità austriache hanno deciso di chiudere il cimitero per questioni sanitarie, insieme ad altri cimiteri siti in centro città. Così la necropoli ebraica è stata spostata nel Nuovo Cimitero Ebraico sito in via Miodowa.
Durante la Seconda Guerra Mondiale il territorio del Cimitero è stato trasformato in una discarica di rifiuti. Dopo la guerra si pensava che fosse stato distrutto quasi tutto l'antico cimitero, ma nel 1959, durante una ricerca archeologica, sono state scovate centinaia di lapidi e pezzi di tombe nascosti sottoterra. Di questi, la maggior parte è stata integrata al muro all'interno del Cimitero, creando un Muro del Pianto. La lapide più antica proviene dal 1552. Nella parte più storica della necropoli è stato posto un masso che commemora le 65 000 vittime dell'Olocausto di origine ebraica provenienti da Cracovia.
