在“应有素质”评价中，还应考虑“面向未来”的素质发展问题。跨世纪的干部需要跨世纪的素质，虽然这是不言而喻的，但在调查与研究中均应予以重视。
3.“假定”与“论证”相配
合理论“假定”是科学研究的重要手段。进行任职培训需求问卷调查也必须使用这种手段。否则，无论在“应有素质”还是在“现有素质”的项目选择上，也无论在开放式问卷调查或者在访谈调查中，被调查者都将会出现“各说各的”的局面，这样就无法使用定量研究方法，无法统计和分析相应的数据。不过，这种素质项目的“理论假定”应当有一定的理论依据，应当容许被调查者对“假定”的项目进行“自由选择”，尤其要考虑按照调查统计结果进行修正，要经过理论的分析、比较、综合等研究工作的“论证”。从调研的活动程序上看，这种“假定”与“论证”主要表现在“研究思路——设计问卷”与“实施调查——研究论证——专家评估”的调研关系上。
4.“主观评价”与“客观评价”相印证
在培训需求的调查中，有一个“主观评价”与“客观评价”的关系问题。在培训需求调查中，问卷调查和访谈调查都属于“主观评价”，这是必要的，也是存在明显局限性的。因此，在可能的情况下应当尽量同“客观评价”结合起来。在这次调查中，我们采取了只对“知识素质”进行考试测试的“客观评价”方式。
5.“自评”与“他评”相对照
在培训需求调查中，参训者应作“自评”，这是了解培训需求的一个重要方面，特别是“自评”能体现培训的“个人需求”。但是，“人贵有自知之明”，局级任职培训的参训者也很难例外。因此，请“非参训者”对参训者进行“他评”必不可少，特别是同参训者接触和了解较多的局、处级公务员“非参训者”的意见尤为重要。
6.“信度”与“效度”相统一
对于调研课题来说，归根到底是调查数据和研究结果都要具有较高的信度和效度。所谓信度，就是调查数据和研究结论要真实可信，符合被调查者的真实看法与客观实际的程度。所谓效度，就是调查数据和研究结果满足调研目的的有效性程度。可以说，信度是效度的前提，效度是信度的目的，两者应当统一，但也可能相互脱节。如，信度高的调查结果不一定效度高，有时还会出现无效的情况。对于调研者来说，调查数据能否取得高信度要受两类因素影响。一是调研者自身素质，特别是调查问卷的设计是否科学合理。另一类是被调查者的素质尤其是合作态度的优劣。很明显，只有在两类因素优化组合的情况下，才能保证有较高的信度。如果有一类因素不佳，信度就很成问题。我们的研究水平有限，但更担心的是被调查者的合作态度。因为，调研者很难保证被调查者的行为符合调查要求，只能尽力而为。
同时，培训需求调查材料和数据的信度和效度分析十分复杂、特别困难，需要逐步探索。
（二）调查研究的方法
“工欲善其事，必先利其器”。对于任职培训需求调研来说，在确定研究思路之后，也要“必先利其器”，即正确地选用相应的调查方法和研究方法。这次调查活动中，我们主要选用了以下调研方法。
1.调查方法
（1）封闭式问卷调查法。这是本课题采用的主要调查方法。因为，封闭式问卷调查法具有许多优点，如调查工具统一，可以对众多被调查者同时进行调查、被调查者因不署名可自由表达观点、有利于定量分析等，能够较好地满足局级公务员任职培训需求调查的基本需要。
有关调查问卷的设计及其实施情况，将在本文中另作说明。
（2）集体访谈法。封闭式问卷调查法的最大缺点是调查不易深入，被调查者不能相互启发，也不能在问卷项目以外发表见解。同时，封闭式问卷调查法的设计水平、众多被调查者的素质和合作态度都会对调查结果产生重大影响。因此，任职培训调查中辅之以集体访谈法很有必要。
（3）客观测试法。无论是问卷调查法还是集体访谈法，一般都属于主观性评价方法的范畴，其局限性不言而喻。相对来说，客观测试法比较接近客观实际。但是，由于客观测试的技术性制约因素和培训需求调研中的社会性制约性因素的影响，本次调查中只对参训者的“知识素质”进行了有限的客观测试，其具体方法是闭卷考试法。
2.研究方法
（1）比较法。开展认识培训需求调研无疑十分重要，但又十分困难，除知识素质外，其他素质很难从职位或者任职人员的角度，直接用某种测评工具对培训需求进行客观性测评。同时，需求调查也需要对参训者进行主观性测评，以便弄清其对培训的“个人需求”。此外，由于我国公务员职位分类刚刚起步，职位调查主要依靠主观评价而非客观调查，公务员考核也不够科学、严格，更使局级公务员任职培训需求调研难上加难。因此，任职培训需求调查可以说是“软科学”中的一个“软课题”。
为了尽力提高认识培训需求调研成果的信度和效度，我们认为在此类研究中最重要的方法就是比较法，其有效性也仅次于客观测试法。通过比较，就可以发现有何异同，以便进行鉴别和论证，进而得出具有较高信度和效度的调研结论。具体说来，我们在本课题研究中运用比较方法，有以下几种情况。
第一种，“应有素质”与“现有素质”的比较。如前所述，我们的研究思路之一，就是对局级公务员的“应有素质”与局级公务员任职培训参训者的“现有素质”进行比较，其基本方式是：
应有素质，“一”现有素质“一”成长需求
成长需求“一”行政学院任职培训的技术性制约因素“一”培训需求
第二种，“局级公务员素质”与“处级公务员素质”的比较。一个“优秀的局级公务员”究竟必须具备哪些“应有素质”？这是一个既“好说”但又难以“说清楚”的问题。如果直接采用“列举法”，很容易出现局级公务员与处级乃至科级公务员的素质基本雷同的尴尬局面。对此，我们决定采用比较法，即要求被调查者以“合格”为标准，对“局级公务员应有素质”与“处级公务员应有素质”进行比较，凡差异明显的为局级的“特有素质”，凡区别不大的为“一般素质”，以便得出局级公务员应有素质的“结构性”调研结果。
第三种，“理论假定”与“调查结果”的比较。在封闭式问卷“应有素质”项目的设计上，必须先有“理论假定”，否则便成为开放式问卷调查，难以量化分析。但是，这种假定同被调查者“自由选择”的调查结果是否吻合，也需要进行比较，以便为深入论证局级公务员的“应有素质”提供重要基础。
第四种，“主观评价”与“客观测试”的比较。对于接受调查的参训者而言，对其“现有素质”和“参训项目”调查是以一种自评即“自我主观评价”，它能反映参训者参训的“个人需求”，应予以高度重视，但它毕竟是“自我主观评价”，其信度必须受到检验，检验的有效手段之一便是“客观测试”，弄清两种评价有何差异，就需要运用比较法。
第五种，“自评”与“他评”的比较。在任职培训调研中，由于“客观测试”的使用范围非常有限，因此，必须将“他评”即非参训者的看法作为重要参照系，对“自评”意见和“他评”意见进行比较。一般说来，从任职培训“组织需求”的角度看，“他评”意见比“自评”意见更重要，其理论依据之一便是“群众是真正的英雄”的观点。但是，这并不排除“自评”有时比“他评”更为准确的特例。此外，对“他评”的各种意见，也需要进行比较。
第六种，不同参训者的培训需求比较。从“理论假定”上说，不同的参训者的培训需求应当有同有异，这也最需要对其调查意见采用比较的方法加以“论证”。如，新晋升的局级公务员与处级公务员之间、不同工作性质的参训者之间、不同学历或所学专业是否对口的参训者之间，其“培训需求”究竟有无明显区别，就需要进行比较加以认识。如区别较多较大，则为局级公务员任职培训需要进行“分类培训”提供了重要依据。反之，则该种“分类培训”便无必要。
（2）分类法。分类是研究的基础，也是重要的研究方法。如，运用比较法的前提，是确定比较对象，为此就需要将比较对象分为不同类别。由于局级公务员任职培训需求调研中需要进行比较的对象繁多，这些对象的性质和特点存在许多重大差异，这更需要进行分类。例如，被调查者需要分类，被评价的参训者的需要分类，被调查的素质项目也需要分类。除了运用比较法需要分类外，其他研究方法也常常以分类为基础。如分析综合的方法即是如此。
（3）分析方法。任职培训需求调研中的具体分析方法主要有以下几种：
第一种，定性分析法和定量分析法。定性分析法着眼于对事物性质的分析界定，定量分析法则着眼于事物数量及其差异的分析界定，两种方法既对立又统一，两者关系已由马克思主义哲学的质量互变规律所阐明，在此不再赘述。
第二种，结构分析法。在任职培训需求调研中，一个容易犯并且会造成“硬伤”的毛病便是采用“简单列举法”，它使调研对象和调研结果无主次先后，无层次类别之分，使人不得要领。为防治此病，必须采用结构分析法。
第三种，因果分析法。在调查结果中，不同类别的被调查者的“自评”与“他评”的意见之间存在重大分歧，同类调查者的意见前后矛盾，以及“主观评价”和“客观测评”有较大差异的矛盾现象都是可能出现的，问题在于能否通过比较发现这些问题，特别是能否通过因果分析找出真正的因果关系，以便对调查结果作出正确的判断、修正和取舍。
（4）综合方法。综合是认识者在头脑中将事物的各个部分、方面和属性联系结合起来，从总体上进行认识的思想方法。它以分析为基础，又是对分析的升华，同时又与分析互相渗透，即分析中有综合，综合中也有分析。在任职培训需求调研中，只有从总体上对调研结果及其分析结论进行综合，才能取得全面的正确认识。同时，从调研过程上说，也是一个“整一分一合”的过程，这种“合”即综合、整合。
（5）逻辑推理法和理论论证法。对于调研来说，调查结果非常重要，否则研究将是“无米之炊”。不过，调查结果尤其是主观性评价结果并非一定正确，最终要接受实践的检验。但是，凡事直接由实践检验，必然要承受不必要的过大风险与代价，而在实践之前经过研究的“论证”，无疑是十分重要的明智之举。我们认为，对于任职培训需求调查而言，有关的“论证”方法主要有两个，一个是逻辑推理法，另一个是理论论证法，即用实践证明的正确理论来论证任职调查结果的信度和效度。
（三）问卷设计与统计设计
1.问卷的结构和形式在调研过程中，我们先后进行了两轮不同问卷的调查，同时辅之以集体访谈。下面，只介绍第二轮问卷调查的问卷设计，因为它更能体现上述研究思路和研究方法。
（1）问卷的结构。在问卷正文中，一共设计了16类大题，其结构分为三个部分。第一部分是“基本情况调查”，包括1类大题，8个小题，8个调查选项；第二部分是“培训内容需求调查”，包括13类大题（第2-14类）、117个小题、585个调查选项；第三部分是“任职培训形式需求调查”，包括2类大题、10个小题、81个调查选项。三个部分合计16类大题、206个小题、674个调查选项。此外，还预留了32个由被调查者自由增加的小题、160个调查选项。因此，问卷正文总计238个小题、834个调查选项。
（2）问卷的形式。由于上述调查选项众多，问卷形式的设计有如下特点：
封闭式。即被调查者对每个选项只选一个答案，无需文字表述。
但考虑到“理论假设”潜在的局限性，问卷预留了可自由增加的32个小题，160个调查选项。
表格式。由于调查选项多，我们在问卷第二部分即主要部分的调查选项采用了表格式设计，每类大题在纵向上有若干个小题，横向上每个小题由5个选项。
符号化。即问卷采用符号作答，特别是在第二部分，每大题分为5列，第1列采用“√”或者“×”答题符号、第2列和第5列采用“序数”排序符号，第3列和第4列采用“基数”评分符号。
集约化。即问卷的调查题目多，可选项高达800多个，同时，多类型的被调查者可采用同一表格。
简约化。问卷的第二部分13类大题、117小题、585个选项一律分为5列，并统一规定每一列的共有含义和答题需要。对此，我们专门在问卷第二部分写了“指导语”和“填写举例”，现引述如下。
你在填写以下调查表之前，请认真阅读如下填表说明与要求：
1.“第1列”为“合格的局级公务员应有素质”，这些应有素质包括特有素质（指对合格的局级公务员的要求明显或比较明显地高于对合格的处级公务员的要求的素质）和一般素质（指对局级与对处级公务员的要求区别不大的素质）两类，请对下列素质项目作出若干选择，并在属于特有素质的项目号前打“√”，在属于一般素质的项目号前画“。”；你认为不属于应有素质的所列项目可以空置不选，也可以增写应有素质项目。
注：请以合格（而非“优秀”或“不合格”）为标准进行选择。
2.表中“第2列”为“合格的局级公务员应有素质项目排序”，请对你所选择的合格的局级公务员的各项应有素质（包括特有素质和一般素质）进行比较，并按其重要程度高低为序，依次填写序数（即认为最重要的在口内写“1”，其余写2、3、4……）。
3.表中“第3列”为“任职2年以下局级公务员现有素质评分”。
请以局级公务员各项应有素质合格为评分标准，优秀者评100～85分，合格者评84～75分，基本合格者评74～60分，不合格者评59～0分（本人是任职2年以下局级公务员的，请作自我评价；其他人对任职2年以下局级公务员队伍作整体评价即他评）。
4.表中“第4列”为“45岁以下处级公务员现有素质评分”（除评价对象不同外，评分标准和要求与“第3列”相同，也分为自评和他评）。
5.表中“第5列”为“局级任职培训的参训项目及排序”，请从培训的必要性（主要考虑处级公务员的现有素质）、可行性、合理性角度综合考虑，选择若干素质列为任职培训（为期3个月以内）的参训项目并作排序（认为最需要的在口内写“1”，其余的写2、3、4……）。
6.填写举例：
2.问卷的内容及目的
（1）第一部分。在“基本情况调查”中，调查内容涉及被调查者的本人的干部类别、工作单位类别、工作性质类别、学历、学位、职称、专业对口、所学学科类别8个方面的情况，其调查目的是对被调查者进行分类，以利于进行分类比较和研究。