组织结构是指组织内各部分及各部分之间联系和关系的总和，它包容的内容极宽，如各类目标之间的关系、各类心理现象的关系、人员数量、知识构成的关系等，均有结构性意义。行政组织的结构仅从责任、权利、利益方面规定组织内所有机构和所有工作人员的工作关系，这种结构是人们有意识设置、明确规定了的，因而是组织中的正式结构。
一、行政组织的纵向结构———层级制
层级制结构是行政组织内部纵向结构形式，它是上下级政府之间以及上下级政府所属部门之间所形成的关系形式。在这种结构中，职位、职权、职责在合法基础上，从组织最高层向最低层垂直分配，形成不同的等级系列。每个层级拥有所管辖范围的决策、指挥全权。不同层级所管辖的业务性质大体相同，只是管辖的范围随层级的降低而缩小。也就是说，层级越高，管辖范围越大，职责与权力越大，组织数量越少；层级越低，管辖范围越窄，组织数量愈多。不同层级间垂直的领导与被领导、服从与被服从的上下级关系是这一结构形式最突出的特点，由此纵向呈现出金字塔形的垂直领导关系。层级制是产生最早、也最为常见的组织结构形式，传统工厂中的厂———车间———班组，政府行政组织中的国务院———省———县———乡均为层级制结构。
层级制是由管理公共事务的性质决定的，若无一种等级从属关系相互牵制，就会破坏行政活动的统一性和一致性，而各层级之间上统下属的隶属关系使其相互制约，具有指挥灵便、行动统一的优点，所以统一指挥是层级结构的基本精神。（当然，纵向有效运作的关键不在结构形式而在人）实践中，层级式结构仅适用于从事简单作业活动的组织，当社会分工精细复杂，行政管理承担的任务加重时，层级式结构就远远不能满足需要，还要有其他结构形式作为补充。
二、行政组织的横向结构———职能制
行政组织横行结构的职能制是以行政组织内部各功能单元之间以协同与制约关系为主要内容的结构形式，即在层级制的统一系统外，按专业化原则设置的职能系统，它是组织横向专业化分工的结果。由于行政组织管理公共事务内容的复杂多样性，靠任何一个层级的行政组织都不可能胜任，因此就需要在划分层级的基础上，按业务性质的不同，设立平行的不同部门，以便分门别类地管理好各种事项，可见专业分工是职能制的要义。横向职能部门直接对上级行政首长负责。一方面，对行政首长提出工作建议，履行参谋职能，另一方面，对下级职能部门进行管理。职能制结构的产生较早也较为常见，政府及企事业单位、社会团体内部各个职能部、委、办、局、处、科、股，均属职能结构的典型形式。在实际操作中，横行职能部门的划分宜粗不宜细，能一个部门做的事，尽量不要涉及多个部门。要尽可能地在总目标的统帅下，按照职能、业务、地域相近的原则进行归类，以两个圆的关系喻之，就是只能相切，不能相交。职能制结构的优点在于有助于发挥组织的技术专长。其一，在职能化结构中，专业分工、业务相似，往往伴随着作业者专业技能的迅速提高，易于提高效率。其二，组织与环境之间输入输出人流、物流、信息流较为有序，使组织运行获得许多缓解外部和内部冲击力的支撑点（职能部门）。其三，使行政首长摆脱日常具体业务，集中精力筹划全局的决策领导。
但是职能制在运行中也有缺陷，第一，如果分职不当，分工过细，容易造成机构臃肿、部门林立、管理失控。第二，增加了协调的难度。各职能部门在获得专业化授权后既成为组织内部的分系统，客观上又都是相对独立的利益单元，当狭隘的部门利益超越组织的总目标时，彼此间的协调就成了问题，从而损害了组织的效率。正如阿尔蒙德所言，“专业化的好处使得分化程度迅速提高。但是随着越来越多的分化，协调各单位的困难和代价也就越来越大，并且使进一步分化要受限制。最后，协调所花费的代价形成了一个极限。”第三，职能部门之间通常是平行协商关系，当职能部门间缺乏主动协调时，上级不得不陷于没完没了的协调中，易于降低决策质量。第四，由职能部门形成组织多支撑点的稳定结构的优点，也可能变为阻碍一个组织创新、发展的保守因素。
应当看到，在社会分工、分化复杂的现代社会，行政组织不可能采取单纯的纵向型或横向型结构，实际上它们也不可能单独使用，而是将两者有机结合起来，形成现代各国政府组织的“级职综合制”。其特点是行政领导者的统一指挥与职能专业部门相结合，它吸收了层级制与职能制的优点，扬弃了部分缺点，使其相互补充、制约。
三、管理层次和管理幅度
层级制和职能制带来管理层次和管理幅度问题。管理层次和管理幅度问题是影响行政组织结构形态的两个决定性因素。管理幅度是指一个层级的行政机构或一位行政首长直接控制的下级机构或人员的数目。它是对行政组织横向结构进行裁量的问题，如同挂钟的摆幅一样，管理幅度是有一定限度的，过大或过小都将影响管理效能。管理层次指行政组织纵向结构的层级。纵向层次的设置必须适中适宜，层次过多，工作线路长，拉大了领导层与实施层的行政距离，给上下沟通带来不便，不仅造成程序复杂、手续繁多、公文履行、官僚主义丛生，也带来信息的失真失落。实践表明，管理层次每多出一级，信息的失真失落率就会增加一倍。合理的管理层次一般分为高、中、低三个层次，或高、中、低、基层四级，前者如多数国家政府通用的部、局、处三级建制；后者如我国的国务院———省———县———乡四级领导体制。但是无论哪一种管理级数，高层总是负责制定组织总目标，偏重于决策、协调和监督事务，人数相对少；中层承上启下，负责执行上级政策，协调下级活动；基层主要负责执行落实具体事务，人数相对多，这同层级制的金字塔结构是相一致的。
管理层次与管理幅度在组织结构中呈反比关系。如果组织规模一定，那么层次越少，跨度则越大，即每个层次所包容的基本单位和人员就越多；反之，每个层次所包容的基本单位和人员越少，则层次就越多。这是行政组织中客观存在的管理幅度与管理层次间的制约关系。这种制约关系使组织形态及其功能有明显差异。第一，幅度小而层次多，行政组织的外部形态呈“尖三角形”，这种结构集权优势比较突出，由于下属层次幅度较小，指挥控制的难度也较小，决策、行动、指挥较为迅速。然而这是以层次的增多为代价的，因为每个增加的层次，都起着信息集结点的作用，这不仅延长了组织信息的传递线路，而且容易使信息失真，对整个组织的活动不一定有利。实践中，尖三角组织形态多用于军事性、程序性组织类别。第二，幅度大而层次少，行政组织的外部形态呈“扁三角形”。这种结构分权优势比较明显，由于幅度宽，控制较松，有利于发挥各单位及成员的积极性；组织信息流转快、失真度小，但由于下层幅度的扩大而使上层发出指令的难度增加，不易准确指挥控制。
由此可见，管理层次和幅度是需要综合权衡的两个方面，如何设置需受到一定变量的制约。如工作性质及难易程度，管理者水平与手段先进与否，被管理对象能力的大小、工作内外部条件等。因此，片面强调增加或减小幅度并不能保证组织结构的有效性，而应当考虑主要的限定性条件来做出合理选择。比如，只要信息手段足够发达，只要上级有足够的指挥控制能力，增大管理幅度而减少管理层次是可行的。