تاريخياً، لا يمكن تحديد شخص أو جهة معينة كانت أول من بنى السجون في الإسلام بدقة، لكن يعتقد أن فكرة بناء السجون في العالم الإسلامي بدأت في العهود الإسلامية الأولى، خلال حكم الخلفاء الراشدين والدولة الأموية والدولة العباسية.
في العصور الإسلامية الأولى، كانت السجون تستخدم لاحتجاز المعتقلين المؤقتين أو المحكومين بالسجن نتيجة لارتكابهم لجرائم مختلفة، ولكن لم تكن تلك السجون تشبه السجون الحديثة بنية متطورة.
ومع تطور الدولة الإسلامية وتوسع نطاقها، بدأت السجون تتطور وتتخذ أشكالًا أكثر تنظيمًا وهياكلًا معينة. على سبيل المثال، خلال حكم الدولة العباسية في العصور الوسطى، تم تطوير بنية السجون بشكل أكبر، حيث كانت هناك سجون مركزية في العواصم الإسلامية الرئيسية مثل بغداد والقاهرة وغيرها.
ولكن يجب أن نلاحظ أن مفهوم السجون كمؤسسات مركزية لحبس المجرمين والمعارضين لم يكن موجودًا بشكل متقدم مثل السجون الحديثة في العصور الإسلامية الأولى، وكانت السجون تختلف في هياكلها وظروفها من مكان لآخر وتعتمد على الظروف السياسية والاجتماعية والثقافية.