行政组织体制是指行政系统内部围绕行政职责的划分、权限的分配、机构的设置及其机构间隶属关系而形成的一套制度化的关系模式。对这一界定的理解包括以下内容：
其一，职责划分是起点，它是依据实际的管理需要对所管辖的公共事务按业务性质及管理职能所作的划分。
其二，权限的分配。职责需辅之权限才能实现，两者的关系是，履行职责是前提和目的，分配权限是手段和工具。权限分配包括纵向与横向两种类型，其核心是纵向权力的划分和配置，也就是集权和分权的关系问题。
其三，机构设置是职能与权限相一致的载体和外在表现形式，是责任主体和权力主体的统一。不同的机构设置使行政系统分化为权责各异的工作部门。
其四，隶属关系主要是从权限分配的角度来规定各机构间的相互地位关系。如各机构间是领导与被领导关系，还是监督保证关系。只有这些关系确定之后，各机构间才能有条不紊、协调地活动起来。
行政组织体制是国家政治体制的重要组成部分，也是发挥行政组织整体效能的关键，它直接关系到行政组织中责、权的实施方式和运作的制度框架。以行政权力的归属为核心，按照不同的划分标准，行政组织体制的基本形式有：集权制与分权制、首长制与委员制、矩阵组织体制。
一、集权制与分权制
单一的行政机构是无法开展工作的。与行政组织纵向结构和横向结构相一致，各个行政机构之间的相互关系分为两大类。一类是上下隶属关系，另一类是平行协商（协调）关系。无论是机构间的上下隶属关系，还是平行协商（协调）关系，其权责的划分都有一套制度规定来加以确定。鉴于行政组织体制特别需要注重行政权力的分配和使用问题，重视和发挥上层、下层两种积极性，而行政机构的平行协商关系技术色彩较浓，因此，上下级行政权力间的集权与分权问题是行政组织体制的关键性问题。
集权制和分权制是按照行政权力的归属及范围来划分的，表明的是上下级隶属关系的程度。集权制是指所有主要权限都由上级掌握，上级通过固定渠道和方式，直接控制和指挥行政下级的几乎一切活动，行政的所有重大决策均由上级机构决定，下级机构处于受控和服从地位，没有或很少有自主权，完全按照上级机构的法令或指示被动地从事各项管理活动。显然，集权制下要求把组织内外所有信息都输入一个中心，由它做出决策，共同行动，有利于整体优化，因而具有政令统一，标准一致，统筹兼顾，力量集中，层级节制，指挥灵便和符合行政统一原则的优点。但是，所有信息输入一个决策中心，然后加工处理做出指令，必然费时较多，易于贻误时机，落后于形势，也不适于因地制宜。另外，集权制忽视了管理中的另一重要原则———调动人的积极性，下级处于完全被动状态，消极待命，惟命是从，积极性不利于发挥。可见，集权制往往使一个行政体系趋于僵化，缺少弹性，导致文牍主义。
与集权制相反，分权制是按照一定的原则与方式把行政权分配给下级，下级机构在其管辖范围内有自主决定权，上级机构对下级机构在其权限内决定的事项不予干涉，仅是处于监督地位。分权制的特点是，下级机构对上级有明显的独立性，它可按照环境情况和自己的价值观念行使法定决策权，对本机构活动范围和活动方式进行选择，并按选择结果调配人力、物力、财力。分权制的优点在于组织的运行有较大灵活性，容易抓住机遇，及时解决面临的问题；分权分工，防止和避免上级专断与独裁；因地制宜，灵活权变，对外界环境适应性强；分级治事，分层负责，有利于下级充分发挥积极性和创造性，对整体组织兴旺发达起重要推动作用。但是，若权力过度分散，不利于统筹规划、政令统一，甚至导致组织四分五裂，影响整体行政效能。
集权与分权在理论上可以抽象地作两极讨论，而在实践中，绝对的集权与绝对的分权是不存在的，它永远是一个程度问题。关键要分清哪些方面要集权，哪些方面权力要分散，要根据环境要求与挑战，确定集权、分权的具体内容及程度，寻找一个适当的形式。就一般情况来看，凡是涉及全国整体利益和宏观管理方面，对经济社会发展全局具有普遍影响和意义的事项如宏观调控权、货币发行权等；凡属政法方面的重大事务，如立法、军事、外交、国家安全、公安等权力，主要应归于中央。凡是在特定的社会变动不稳的历史时期，中央集权的程度也比较高；在多民族国家中，中央集权的程度比较低，这出于对各民族自治权的尊重。至于那些与地方利益有关的事务，如各地区的社会经济发展规划、地方性基础设施建设、文化教育事业、生活福利、治安与秩序等等，则应分权归地方管理，中央不予过多干涉。
集权与分权的关系在世界各个国家的实践中主要表现为中央政府与地方政府的权力配置关系。现代社会中，分权是一种大趋势。比如美国里根政府“还权于州”的计划，法国社会党政府的“权力下放法案”，中国的改革中重新调整中央与地方关系，从高度集权的体制走向地方分权，发挥中央和地方两个积极性等。但是分权趋势并不排除有些分权程度高的国家不断向中央集权，使中央权力加强。比如有高度自治传统的英国，近年来，由于社会经济及科技发展和地方政府对中央政府财政的日益依赖，地方自治有不断削弱的趋势。撒切尔夫人上台后，进一步采取了中央集权化的一系列措施，地方的自治权受到很大约束，已失去传统意义上的自治功能。因此，经常调整、谨慎平衡中央与地方的权责关系，建立符合具体国情的适度分权的体制是各国政府要解决好的问题。
二、首长制与合议（委员会）制
首长制与合议制是依照行政组织中决策权的归属来划分的。首长制也称一长制或独任制，是指机构内的主要责任和法定决策权由一个人承担。所谓合议制，是指机构内的主要责任和法定决策权由两个以上的人共同承担。美国的总统制就是首长制的典型，总统对行政事务有最后决定权并对其担负全部责任。瑞士联邦政府则是合议制的典型，一切行政事务都由联邦委员会集体讨论决定。
在首长制中，行政首长对行政组织的各种事务拥有最终决策权，并对所负责单位的工作承担主要责任。集主要责任与权力于一身的行政首长对内是指挥者，其他成员均围绕他工作并对他负责；对外是本机构的代表，本机构与外部环境的一切联系由他全权处理，其他领导成员不过是“第一把手”的助手或参谋，只有建议权，而没有对于全局的法定决策权。首长制的优点是决策迅速，权责明确，指挥有力，反应灵敏，处置果断，是效率较高的组织领导形式。但也正因为大权独揽，决策迅速，可能带来失误率的增加。因此，首长制优势的发挥需要具备许多条件，如处于首长地位的领导者不但要掌握组织内外部的大量信息，还要有深刻洞察与决断能力；具有较强的应变能力，善于处理非常规棘手事件等。为了消除身处一长职位者信息、专门知识等局限，现代首长制通常附设参谋咨询机构，作为纠正首长制缺陷的组织措施。
合议制的主要特征是，进入委员会中诸成员的职责范围和决策权限完全平等，实行“一人一票”的票决制，一切行政措施均按“少数服从多数”原则集体讨论决定。比如瑞士联邦政府由七名委员组成，政策决定至少四人同意方能生效。合议制作为集体决策的组织形式，其优点是能够集思广益，通过领导成员间的相互影响，造成“良性相干效应”的结果，决策结果的质量应当高于首长制，集体决策使决策权相互制约也有利于防止专断。当然，实现合议制的优势也需要一些基本条件，如平等原则、少数服从多数原则，领导成员负责某方面工作并有搜集某方面信息的分工，以及各成员间精诚合作，价值观大体相近，出于公心而不是从小团体利益出发等。但是委员制的优点又往往造成其可能产生的不足，这就是决策过程迟缓，议而不决，决而不行，成本高；权力分散，职责不明，有功相争，有过相推，需要建立分工负责制等补救措施。
首长制与合议制作为两种决策权限的分配形式，不存在绝对的好与坏、优与劣，两者各有利弊，它们可以互补长短，选择哪种组织体制形式，关键在于实施的条件与环境。一般讲，属于暂时性、速决性、战术性问题可采用一长制形式处理，而属于长远性、持久性、战略性的问题，采用委员制形式处理更为合适一些。
现代国家的行政组织体制多采用首长制，因为政府除直接做出行政决策外，大量日常行政活动属于执行性质，加之政府承担公共事务的性质和内容要求行政机关准确、及时、有效地做出和执行决策。为防止首长制可能出现的弊端，各国政府组织也处于比较健全的来自外部、内部行政监督机构的制约下，以使首长制效率较高的长处得以保持。