监狱从汉朝开始称为“狱”，汉朝的监狱更多更滥，除了中央监狱即廷尉狱外，还有各个官府自行设置的监狱。此时的监狱还有很多其他的名字，如内宫、居室、保宫和请室等。地方上的郡县也都有自己的监狱，当时全国共有两千多所监狱。南北朝时的监狱体制基本上继承了汉朝体制，但北朝除了监狱外，还挖地为狱，叫做地牢。
说起古代衙门里的监狱，人们可能会立即联想到“苏三起解”里的洪洞县监狱。这是现今保存最完整的古代监狱之一。洪洞县监狱设在县衙大堂口右角，主要是便于随时提审犯人。监门内有一照壁，通道只有一面，为了防止囚犯逃跑。一入监门，就有接连拐四个直角、五道门的甬道，接着是一条约一米多宽的“胡同”。“胡同”的两边是两排低矮的监房，关押一般的杂犯；“胡同”的南尽头，往东拐直角弯是内监所在，专门关押死刑重犯。内监是四合院形，东西南三面是普通式监房，北面有两幢无窗窑洞式监房，这是关押死刑待解女犯的女监，相传名妓苏三就曾在此关押。从洪洞县监狱，可了解到古代监狱建造和设置的大概情况。
监狱，古人称为“囹圄”，顾名思义，是专门囚禁犯人的地方。作为衙门的一个重要组成部分，除中央司法机关设立的监狱外，地方各级衙门，尤其是州（包括府、郡）县衙门也都设有监狱。
汉代的监狱名目、种类繁多。据《汉书·刑法志》等记载，汉代全国共有二千余所监狱，仅京城长安就有监狱二十几种：有专门关押高级官员和皇室成员的若卢狱、左右都司空狱、居室狱等；有关押女性囚犯的掖庭狱；以及囚禁官署吏卒的上林狱、都船狱、内官狱等。此外，京城有京兆狱，长安县有长安狱，都属于京城的地方监狱。汉代著名的酷吏尹赏任长安县令时，曾在监狱里修造了名为“虎穴”的地牢，挖地数丈深，四面砌墙，用大石板盖在出口。他曾命长安县里的乡吏及邻里检举地方的恶霸无赖，然后将这些人统统抓起来，以百人为一批，依次关进虎穴中，用大石板盖住。几日后再打开，只见里面的人都死在一起，先后死了数百人。
自东汉以后，在形式上，基本上改变了监狱名目种类繁多的状况，实行地方州县各置监狱，京城洛阳只设廷尉狱及洛阳狱二所。这种监狱体制也为后世所继承。隋唐以大理寺为中央司法机关，设大理狱；明清以刑部为中央司法机关，改设刑部监狱，同时对监狱的管理也作了明确规定。但事实上，监狱形式及管理混乱的状况却是普遍存在。例如，宋朝法律对监狱管理制度曾作了严格的规定，但各地方衙门却大多是我行我素。当时曾有“门留”和“寄收”的做法，这本是一种临时拘留的措施，但衙门官吏常常将那些无辜的证人及有关人员一概收禁，并借机向他们敲诈勒索，不满足这些官吏的要求便不予释放，以致于监狱里常常人满为患。还有一种名为“拘锁”的监禁措施，本来是一种短期监禁，但常常成为地方衙门任意残害犯人的手段。衙门官吏对那些被拘锁的人不给口粮，让他们活活饿死；或者擅自对犯人严刑拷打，将他们折磨至死。甚至有的地方豪强勾结衙门官吏，罗织罪名，拘锁无辜的平民，然后将他们弄死。手段之残忍，令人发指。
在所有类型的监狱名目中，后人最熟悉的，大概就是“班房”了。直到现在，人们还把“坐班房”作为进监狱的代称。其实，班房并不是监狱，它是衙门中三班衙役办事的地方。最初为了防止延误审判，州县衙门常将一些民事案件的当事人、轻罪犯人以及干连佐证等投进班房候审，并派差役看管，以便随传随到。一旦关进班房，落在衙役手里，便成了衙役们凌虐、敲诈的对象也用衙役们的话说，到了他们手里，就得揭他一层皮。