Las SS hicieron de Colditz un Sonderlager, una prisión de alta seguridad, la única de su tipo dentro de Alemania. Hermann Göring incluso afirmó que Colditz era a prueba de fugas. Se basaba en parte a la falta de evasiones cuando fue una prisión durante la época de la Primera Guerra Mundial, pero principalmente por ser el único campo alemán de prisioneros de guerra con más guardias que prisioneros. A pesar de esta afirmación, hubo fugas por parte de los presos británicos, franceses, polacos, holandeses y belgas internados en Colditz.
