从外观结构上看，服务器机柜一般比较大，有的虽然外观上看似与普通PC机差不多，实际上还是要大些，哪怕是入门级的PC服务器。对于一些中高档的专业服务器，机箱机柜的差别就更大了，有的还是一个高高的柜子式的机柜。
当然，服务器机柜大不是为了误导消费者，它有大的理由。一方面是由于服务器需要安装、连接的设备多，需占用较大空间，同时还要准备一些备用设备安置位，如磁带机、磁盘阵列、多PCI或PCI－X插卡等，也需要占用空间。服务器通常要与许多设备进行连接，如在服务器主板或专用板卡中要插上许多适配器卡，有的还要安装几个可热插拨的硬盘和电源（俗称“冗余电源”），一般还安装有供系统备份和恢复用的磁带机。另外，由于安装、连接的设备多，工作时发热量也非常大，必须有足够的空间来散热，以确保服务器能长时间稳定工作。以上这些都决定了服务器机柜架构就必须要比普通PC机要大，即便是一些媒体所说的DIY PC服务器，为了保证服务器长期稳定工作，也必须加大机箱机柜，在选购或配置PC服务器时一定要注意。
当然以上所说的机箱机柜大，只是针对综合型塔式服务器而言的。随着近几年服务器应用的细化，各大服务器厂商针对各种具体应用推出了专门的功能型服务器，如一些针对空间密集型环境应用推出的服务器产品向机架式服务器，刀片式服务器等在占用空间方面做了特别的优化,大大减小了机箱机柜所占空间。