EDIÇÃO ESPECIAL - VOLUME 16

CONSTRUÇÃO E VALIDAÇÃO DE INSTRUMENTO PARA AVALIAÇÃO DE IMPACTO DE TREINAMENTO EM PROFUNDIDADE DO CURSO DE FORMAÇÃO PROFISSIONAL DA POLÍCIA FEDERAL

Andersson Pereira dos Santos

Delegado de Polícia Federal. Doutor em Administração pela Universidade de Brasília - UnB (2021). Coordenador de Recrutamento e Seleção da Polícia Federal. Professor e Tutor da Academia Nacional de Polícia - ANP/PF.

País: Brasil Estado: Distrito Federal Cidade: Brasília

E-mail: andersson.aps@pf.gov.br ORCID: https://orcid.org/0000-0002-1266-1418

Fernando José Barbato Couto

Mestre em Administração Pública pela Universidade de Brasília - UnB. Administrador na Universidade de Brasília. Diretor de Contratos Administrativos.

País: Brasil Estado: Distrito Federal Cidade: Brasília

E-mail: fjbcouto@hotmail.com ORCID: https://orcid.org/0000-0001-6847-9116

Francisco Antonio Coelho Junior

Doutor em Psicologia Social, do Trabalho e Organizações pela Universidade de Brasília - UnB. Professor Associado vinculado ao Departamento de Administração da Universidade de Brasília.

País: Brasil Estado: Distrito Federal Cidade: Brasília

E-mail: fercoepsi@gmail.com ORCID: https://orcid.org/0000-0002-1820-5448

Contribuição de cada autor: Andersson Pereira dos Santos planejou e executou a pesquisa, efetuando a revisão de literatura, construção dos instrumentos e análise dos resultados. Fernando José Barbato Couto participou da coleta e análise de dados. Efetuou a revisão do trabalho. Francisco Antonio Coelho Junior Orientou a pesquisa, indicou literatura e fez a revisão final do trabalho.

RESUMO

A formação dos profissionais de segurança pública é fundamental na preparação para as funções, responsabilidades e atividades que estes agentes públicos exercerão quando do exercício dos seus cargos. O presente artigo tem como objetivo apresentar as etapas de construção e de validação de uma medida de avaliação de impacto em profundidade de treinamento, referente ao Curso de Formação Profissional dos novos policiais federais promovido pela Polícia Federal. A coleta de dados contou com uma amostra de 355 policiais, egressos do curso de formação. A medida foi objeto de validação semântica, por juízes e empírica, com a utilização de análises exploratórias dos componentes principais e análise fatorial. Todos os procedimentos de análise psicométrica, para validação de medidas, foram adotados. Como resultado, o instrumento foi validado com 11 fatores e 46 itens, contendo bons índices psicométricos (KMO = 0,92 e Alphas de Cronbach dos fatores oscilando entre 0,73 e 0,95). A estrutura da escala se mostrou válida e confiável, apresentando índices psicométricos bastante satisfatórios. A construção e o emprego de instrumentos de avaliação dos cursos de formação, como o apresentado neste trabalho, são fundamentais para aferir programas de treinamento realizados pelas polícias, avaliando se são adequados e eficazes para formar novos profissionais da área de segurança pública, possibilitando a aquisição de conhecimentos teóricos e práticos que irão orientar suas atuações.

Palavras-chave: Avaliação de treinamento. Impacto de treinamento no trabalho. Impacto em profundidade. Curso de Formação Profissional. Polícia Federal.

ABSTRACT

THE CONSTRUCTION OF AN IN-DEPTH TRAINING IMPACT ASSESSMENT SCALE FOR THE FEDERAL POLICE PROFESSIONAL TRAINING COURSE

The training of public security professionals is essential in preparing for the roles, responsibilities and activities that these public agents will exercise when exercising their positions. In this sense, this article aims to present the construction and validation stages of an in-depth training impact assessment scale, referring to the Professional Training Course for the new federal police officers, promoted by the Federal Police. The data collection included a sample of 355 police officers, who had graduated from the training course. The scale was object of semantic validation, by judges and empirical, using exploratory analysis of the main components and factor analysis. All procedures for psychometric analysis of the data were adopted. As a result, the instrument was validated with 11 factors and 46 items, containing good psychometric indices (KMO = 0.92 and Cronbach's Alphas of the factors ranging from 0.73 to 0.95). The scale structure proved to be valid and reliable, with very satisfactory psychometric indices. The construction and use of training course evaluation instruments, as presented in this work, is essential to assess training programs carried out by the police, assessing whether they are adequate and effective to train new professionals in the area of public security, enabling theoretical and practical knowledge that will guide its performance.

Keywords: Training evaluation. Impact of training at work. Depth impact. Professional Training Course. Federal Police.

Data de recebimento: 14/03/2021 - Data de aprovação: 06/09/2021

DOI: 10.31060/rbsp.2022.v16.n0.1448

Introdução

Ações de treinamento, desenvolvimento e educação (TD&E) são amplamente recomendadas à melhoria do desempenho no exercício das atividades laborais. Para se tornarem mais competitivas, as organizações têm ampliado seus investimentos nestas ações (SEIDL; LEANDRO-FRANÇA; MURTA, 2018), e os pesquisadores têm se preocupado cada vez mais em realizar estudos voltados para a avaliação de treinamento (ODELIUS; SIQUEIRA JÚNIOR, 2011), com o propósito de verificar a efetividade dos resultados dos eventos realizados e o retorno dos recursos investidos (ABBAD, 1999). Para avaliar a efetividade das ações de TD&E, é necessário medir os efeitos que os eventos realizados causam no desempenho individual das pessoas que participaram destas ações (ZERBINI; ABBAD; MOURÃO, 2012), investigando se as competências adquiridas durante os eventos instrucionais estão sendo aplicadas no ambiente de trabalho e se tais competências modificaram a maneira de desempenhar as tarefas exigidas para o cargo (FREITAS et al., 2006).

As organizações públicas também necessitam desenvolver, continuamente, as competências profissionais dos seus integrantes. A qualidade dos serviços prestados pela administração pública de um país é uma das pré-condições fundamentais para o seu desenvolvimento social e econômico (BRESSER-PEREIRA, 2008). Torna-se indispensável, assim, o desenvolvimento e a avaliação das capacidades técnicas e gerenciais nas organizações públicas, possibilitando que sejam criadas as condições benéficas para a prestação de serviços públicos com produtividade e eficiência, que garantam qualidade à implementação de políticas públicas (BITTENCOURT; ZOUAIN, 2010).

Esta realidade também se aplica às instituições que atuam na segurança pública. As ações de TD&E realizadas por essas organizações são imprescindíveis à implementação das políticas de segurança pública, possibilitando o desenvolvimento das competências necessárias para o exercício da função policial. É fundamental que estas ações sejam sistematicamente avaliadas, revelando possíveis erros ou acertos ocorridos na realização da capacitação (LIMA et al., 2020), não somente para garantir a aplicação racional de recursos mas, principalmente, para assegurar que estas organizações disponham de um corpo de servidores preparados para prestar serviços de segurança pública de qualidade para os cidadãos.

As organizações policiais têm, como preocupação primeira, o combate à criminalidade e a redução dos índices criminais, sendo este um pilar essencial no âmbito do sistema de segurança pública nacional (COSTA; LIMA, 2014). A segurança pública brasileira passou por várias transformações históricas e busca, hoje, consolidar uma nova identidade dentro do vigente contexto constitucional (SOUSA; MORAIS, 2011), com ênfase na inteligência, na atuação comunitária e na prevenção (não apenas no combate à criminalidade posta). Ações táticas e estratégicas têm sido realizadas a partir da interação entre múltiplos atores sociais, visando à promoção do bem-estar social comum e ao respeito aos Direitos Humanos.

Logicamente que, considerando toda a diversidade sociocultural no Brasil, e tantas diferenças regionais, em que pese possíveis estigmas ou estereótipos históricos, discutidos por Costa (2004), ainda direcionados a servidores ou instituições de segurança pública, sua atuação é imprescindível na manutenção da vida e da ordem social, daí a relevância na profissionalização da sua gestão. Profissionalizar e melhor qualificar os serviços, em quaisquer organizações públicas, especialmente as de segurança, implica em ter condições de ofertar, à sociedade, maior eficiência das suas ações, melhorando os resultados. A gestão da segurança pública é um dos mais complexos desafios dos gestores públicos, dado o grande número de variáveis capazes de influenciar na eficácia das políticas públicas implementadas (SILVEIRA, 2014; CAMPOS; ALVAREZ, 2017), daí a importância de capacitar mais eficazmente seu quadro funcional.

Nesse sentido, a formação dos profissionais de segurança pública é fundamental na preparação para as funções, responsabilidades e atividades que estes agentes públicos exercerão quando do exercício dos seus cargos (CARO, 2011). Entender as atividades que o policial desempenha cotidianamente é essencial para a análise da eficiência de um programa de formação policial, devendo o treinamento estar estreitamente vinculado ao serviço que será realizado por ele junto à sociedade (BASILIO, 2009).

Ocorre que a maioria dos programas de formação de policiais deixa um vazio entre o treinamento curricular da academia e a experiência prática do trabalho nas atividades de segurança pública (MCCAMPBELL, 1987). Reconhece-se que os currículos e programas de treinamento atuais não são adequados para atender às necessidades de recrutamento de policiais nas sociedades modernas (MCGINLEY et al., 2019). E, no Brasil, verifica-se que não houve um debate profundo, entre autoridades governamentais, policiais, técnicos da área de segurança pública e sociedade, a respeito de uma agenda de reformas que contemple a formação profissional de policiais, o que poderia proporcionar a aquisição das competências necessárias para o desempenho das ações de modo eficaz e eficiente (PONCIONI, 2007).

Assim, na contramão da necessidade de se medir a efetividade das práticas de capacitação de policiais, poucas são as medidas validadas, disponíveis na literatura, orientadas à avaliação de impacto de treinamento, especialmente em profundidade (COELHO JUNIOR; ABBAD, 2010). Estudos que analisam a influência entre ações de aprendizagem e posterior impacto do treinamento no trabalho dos egressos, das ações de capacitação, ainda são raros (ARAUJO; ABBAD; FREITAS, 2019). Além disso, há lacunas importantes nas pesquisas científicas sobre treinamento policial (TELEP, 2016), uma delas é exatamente a falta de medidas validadas psicometricamente e construídas de acordo com a realidade de cada instituição de segurança pública.

Visando suprir tal lacuna, esta pesquisa tem como objetivo geral construir e validar uma escala de avaliação de impacto em profundidade do Curso de Formação Profissional da Polícia Federal. O curso teve como finalidade desenvolver competências técnico-profissionais inerentes à função policial e refere-se à capacitação de atividades finalísticas dos profissionais para desempenhar esta função. O trabalho tem como objetivos específicos: descrever os procedimentos de elaboração e a construção dos itens; descrever as etapas de validação semântica e por juízes; e apresentar indicadores psicométricos oriundos de análise fatorial exploratória da medida de impacto de treinamento em profundidade presentemente validada.

Referencial teórico

Treinamento, Desenvolvimento & Educação (TD&E) e os seus subsistemas

Treinamento tem sido tradicionalmente definido como o processo pelo qual os indivíduos mudam suas habilidades, seus conhecimentos, suas atitudes e/ou seus comportamentos (QUARTEY, 2012; ZWICK, 2015). As ações de TD&E realizadas no âmbito das organizações, formalizadas em programas, buscam desenvolver as competências profissionais com o objetivo de apoiar e permitir o alcance dos objetivos organizacionais (GARAVAN, 1997; ONGALO; TARI, 2015), consistindo de estratégias de aprendizagem formal que variam no tocante à sua duração, complexidade e proximidade com os objetivos estratégicos da organização (ARAÚJO; ABBAD; FREITAS, 2019). O TD&E influencia todas as áreas de recursos humanos e é influenciado por estas, fornecendo subsídios para o aprimoramento do desempenho individual e organizacional, assim como recebendo feedbacks para que as ações instrucionais possam suprir as demandas educacionais dos colaboradores e da organização (JEHANZEB; BASHIR, 2013; RAHMAN et al., 2013).

Um programa de TD&E é estruturado com ações sistematizadas de aprendizagem que podem ser classificadas, hierarquicamente, como Informação, Instrução, Treinamento, Desenvolvimento ou Educação. O treinamento (T), foco deste artigo, refere-se à ação formal de aprendizagem voltada diretamente para o aperfeiçoamento do desempenho por meio do mapeamento e da suplantação das dificuldades existentes na execução das tarefas laborais ou direcionada para a disseminação de novos conhecimentos e habilidades necessárias para se utilizar novas tecnologias no contexto de trabalho (PILATI; VASCONCELOS; BORGES-ANDRADE, 2011; ROTAR, 2012; FARIAS; RESENDE, 2020). Moreira e Munck (2010) resumem treinamento como a ação organizacional que deverá ser capaz de possibilitar que um indivíduo seja habilitado para fazer algo que nunca havia feito antes ou de aperfeiçoar uma habilidade que este já possui.

Borges-Andrade (2002) define que o sistema de TD&E é composto por três subsistemas (fases ou etapas): (a) análise de necessidades de treinamento; (b) planejamento de treinamento e a sua execução; e (c) avaliação de treinamento. A integração destes subsistemas é fundamental para o desenvolvimento de conhecimentos, habilidades e atitudes que as organizações necessitam para melhorar seu desempenho e para a promoção do desenvolvimento humano e profissional dos seus integrantes (BORGES-ANDRADE, 2002).

Para a realização deste trabalho foi utilizado o conceito tradicionalmente empregado para treinamento discutido por Zerbini e Abbad (2005), que define treinamento como o conjunto de ações educacionais planejadas de modo sistemático que possibilita o aperfeiçoamento e a aquisição das competências por um indivíduo que deverão ser aplicadas nas suas atividades de trabalho. No contexto da pesquisa, o papel do treinamento é central à capacitação de policiais que devem ser treinados para que saibam utilizar suas habilidades de modo apropriado, aplicando-as em situações nas quais decisões que impliquem entre a vida e a morte são tomadas em segundos, exigindo domínio das competências necessárias à profissão.

O subsistema Avaliação de Treinamento

Avaliar o impacto de TD&E é importante para se obter informações que possam ser usadas para aprimorar as ações de capacitação, observando se houve melhoria no desempenho dos indivíduos, das equipes e da organização (FREITAS; BORGES-ANDRADE, 2004; ZERBINI; ABBAD, 2010). Desenvolver medidas confiáveis e válidas para avaliar a aprendizagem e o desempenho no trabalho conduz às implicações no contexto corporativo (MARTINS; ZERBINI; MEDINA, 2018), permitindo, consequentemente, a racionalização dos custos e a máxima eficácia e eficiência dos eventos promovidos.

Além disso, o desenvolvimento de medidas válidas e confiáveis contribui para que sejam realizados avanços no campo teórico-científico, produzindo conhecimentos sobre os fatores que operam para afetar a aprendizagem e a performance no trabalho (AGUINIS; KRAIGER, 2009). Embora seja difícil mensurar objetivamente o valor das práticas em gestão de pessoas e o seu retorno, a pressão pela busca de eficiência, produtividade e diminuição dos custos torna obrigatório que todas as áreas demonstrem a sua capacidade de agregar valor para as organizações, o que impõe a necessidade em se adotar medidas para a avaliação dos treinamentos realizados (SCORSOLINI-COMIN; INOCENTE; MIURA, 2011).

Segundo Abbad (1999), a avaliação de treinamento refere-se ao conjunto de atividades, princípios, prescrições teóricas e metodológicas que tem como objetivo o levantamento de informações válidas e sistematizadas acerca da eficácia de um sistema de TD&E. A avaliação é, portanto, o subsistema responsável pelo fornecimento de informações, retroalimentação e aperfeiçoamento do sistema de TD&E (PANTOJA; LIMA; BORGES-ANDRADE, 2001). As ações de TD&E podem ser avaliadas individualmente ou em conjunto e/ou avaliar os seus resultados imediatos ou em longo prazo (BORGES-ANDRADE, 2006).

As abordagens mais tradicionais acerca da avaliação de treinamento foram traduzidas em modelos propostos por Kirkpatrick (1976) e Hamblin (1978). Kirkpatrick propôs um padrão de abordagem da avaliação de treinamento em quatro níveis: “reação”, “aprendizagem”, “comportamentos” e “resultados”. Hamblin ampliou o modelo elaborado por Kirkpatrick, ao dividir o nível “resultados” em dois outros níveis: “organização” e “valor final”. Na literatura nacional, destacam-se o modelo MAIS, de Borges-Andrade (2002), e o modelo IMPACT, de Abbad (1999), como referências para o estudo da avaliação de treinamento no contexto organizacional (COELHO JUNIOR; ABBAD, 2010), tratando-se de importantes padrões para avaliar programas de TD&E.

Borges-Andrade (2002) elaborou o Modelo de Avaliação Integrado e Somativo (MAIS), que foi o primeiro modelo brasileiro que propôs a inclusão da análise de variáveis do ambiente como fator que influenciavam todo o processo de treinamento (SCORSOLINI-COMIN; INOCENTE; MIURA, 2011). O MAIS abrange cinco elementos (ou componentes) que devem ser mensurados: (1) os insumos; (2) os procedimentos; (3) os processos; (4) os resultados; e (5) o ambiente. Houve o acréscimo de um elemento importante no modelo MAIS em relação aos modelos de Kirkpatrick (1976) e de Hamblin (1978), ao também considerar o contexto dos treinandos (ambiente), antes (preditores) e depois (suporte de transferência) do treinamento, e não somente os objetivos propostos na ação de capacitação.

Abbad (1999) desenvolveu outro modelo de avaliação de TD&E com base no que foi encontrado na literatura sobre o tema, sugerindo um novo padrão de predição de impacto de treinamento. O Modelo Integrado de Avaliação do Impacto do Treinamento no Trabalho – IMPACT é estruturado com sete componentes: (1) o suporte organizacional; (2) as características do treinamento; (3) as características da clientela; (4) as reações; (5) a aprendizagem; (6) o suporte à transferência; e (7) o impacto do treinamento no trabalho.

No presente artigo, a construção de escala de avaliação de impacto em profundidade tem por objetivo avaliar os resultados do treinamento referentes ao nível “comportamento”, nos modelos propostos por Kirkpatrick (1976) e Hamblin (1978), ao componente “resultado” do Modelo MAIS e ao elemento “impacto de treinamento no trabalho” no Modelo IMPACT, uma vez que o impacto em profundidade investiga os resultados diretos de um treinamento, por meio da construção de indicadores específicos do seu impacto no desempenho dos treinados, medido por meio de itens elaborados a partir dos objetivos instrucionais do curso (COELHO JUNIOR; ABBAD, 2010; SEIDL; LEANDRO-FRANÇA; MURTA, 2018).

O Impacto de treinamento no trabalho

Para se compreender o conceito de impacto de treinamento no trabalho é necessário entender os conceitos de transferência de aprendizagem, transferência de treinamento e desempenho no trabalho (ZERBINI; ABBAD, 2010). Abbad (1999) realizou uma análise conceitual, demonstrando que os termos transferência de aprendizagem, transferência de treinamento e impacto no trabalho têm sido vistos como sinônimos, sendo utilizados em pesquisas que buscam avaliar os efeitos do treinamento sobre o desempenho dos egressos em atividades similares às situações vivenciadas ao longo do evento instrucional.

Abbad (1999) destaca que a transferência de aprendizagem tem sua origem na Psicologia experimental, tendo uma utilização mais genérica, sendo aplicada em vários contextos. O termo transferência de treinamento é mais específico, se referindo à aplicação de conhecimentos adquiridos em um treinamento no ambiente de trabalho. Pilati e Abbad (2005), por sua vez, definem o conceito de transferência de aprendizagem como a aplicação efetiva no trabalho dos conhecimentos, das habilidades e atitudes adquiridas em um evento instrucional. A capacitação, além de proporcionar a transferência de competências, contribui para o aprimoramento dos processos, possibilita o uso de novas tecnologias e a conversão de conhecimentos tácitos em explícitos, tendo impacto no desempenho dos egressos (CASTRO et al., 2018).

A transferência de aprendizagem foi compreendida por Hamblin (1978) como impacto de treinamento em profundidade, que são os efeitos diretos do evento realizado no desempenho do trabalho dos participantes. O impacto pressupõe que o treinamento deverá ser avaliado de acordo com os objetivos instrucionais previamente estabelecidos. Os efeitos mais gerais deste treinamento, não relacionados diretamente aos objetivos instrucionais, foram denominados pelo autor como impacto de treinamento em amplitude. O desempenho no trabalho pode ser definido como o conjunto de comportamentos manifestados pelo indivíduo no exercício de suas atribuições que mobiliza as competências com a finalidade de executar as suas tarefas, considerando-se o ambiente organizacional (COELHO JUNIOR, 2011).

A construção de instrumentos para avaliar impacto em profundidade

Para definir se o que será medido é comportamento ou resultado, devem ser analisados os objetivos traçados para o treinamento, que têm que constar no plano instrucional do curso, ou as justificativas para a implementação deste. Quando não são formulados os objetivos esperados para a capacitação, deve ser feito um levantamento exploratório, utilizando entrevistas com pessoas envolvidas com o treinamento e consulta a documentos (FREITAS et al., 2006). Segundo Ongalo e Tari (2015) e Borges-Andrade (2002), na maioria das situações, a análise dos objetivos do treinamento sugere que o foco da avaliação seja no comportamento, sendo o mais comum na literatura de avaliação de treinamento a aferição do comportamento resultante do evento instrucional. No entanto, em algumas situações é possível medir os resultados deduzidos dos comportamentos esperados. Os indicadores construídos para avaliar os comportamentos ou os resultados devem descrever as tarefas desenvolvidas pelos colaboradores que foram treinados para obter uma melhoria em um determinado processo ou operação, verificando se foi atingido o que era esperado daquela capacitação específica (BORGES-ANDRADE, 2002; ABBAD; PILATI; PANTOJA, 2003; ROTAR, 2012).

A avaliação do impacto em profundidade busca obter o conjunto de aperfeiçoamento do desempenho no trabalho decorrente dos objetivos e conteúdos específicos de um determinado evento de TD&E (BORGES-ANDRADE, 2002). Procura-se avaliar o quanto de conhecimentos e habilidades adquiridas em um treinamento estão sendo aplicadas pelo egresso em seu trabalho, medindo o comportamento deste indivíduo no exercício do seu cargo a partir de itens elaborados com base nos objetivos instrucionais do treinamento do qual participou (HAMBLIN, 1978; ABBAD, 1999; COELHO JUNIOR; ABBAD, 2010). Para aferir o impacto em profundidade é indicada a construção e validação de uma escala com base nestes objetivos, com a elaboração de itens que permitam aferir o comportamento explícito no cargo pelos egressos do treinamento, conforme os procedimentos apontados por Coelho Junior e Abbad (2010) e Zerbini, Coelho Junior, Abbad, Mourão, Alvim e Loiola (2012).

Em seguida, os itens devem ser consolidados em um instrumento, normalmente um questionário, que deverá ser validado semanticamente e por juízes (PASQUALI, 2010). Segundo o autor, a validação semântica tem por objetivo eliminar a eventual existência de viés ou ambiguidade nos itens elaborados. Por sua vez, a validação por juízes tem a finalidade de aproximar os itens da cultura e da linguagem utilizadas pela organização lócus do treinamento, bem como avaliar se os itens são adequados, precisos e relevantes para descrever as competências que devem ser expressas pelos indivíduos treinados durante o exercício dos seus cargos (COELHO JUNIOR; ABBAD, 2010; ZERBINI et al., 2012).

Muitos estudos foram realizados utilizando medidas de impacto em amplitude, existindo um número bem menor de pesquisadores que estudaram impacto em profundidade como variável-critério (ZERBINI; ABBAD, 2010). Segundo as autoras, é necessária a realização de mais pesquisas que avaliem os efeitos diretos de ações instrucionais sobre os desempenhos específicos relacionados às competências desenvolvidas por meio dos treinamentos. A agenda de pesquisa a respeito do subsistema “treinamento” recomenda fortemente os estudos dessa natureza, em face dos grandes investimentos feitos em eventos de TD&E e na necessidade em se analisar o seu valor final para as organizações que os promovem (COELHO JUNIOR; ABBAD, 2010). Conforme exposto por Borges-Andrade (2006), a construção e validação de instrumentos de impacto de treinamento em profundidade é uma árdua tarefa, em face da dificuldade em obter uma amostra suficiente que possibilite a aplicação de análises fatoriais com a subsequente validação de escala desta natureza. Na literatura brasileira não foram encontrados estudos que avaliassem impacto de treinamento em profundidade de cursos de formação promovidos por organizações de segurança pública.

Método

Descrição da Organização

A Polícia Federal, organização lócus desta pesquisa, é um órgão de segurança pública, organizado e mantido pela União, que tem unidades em todas os estados do Brasil. A Constituição Federal, no seu art. 144, estabelece as atribuições das organizações policiais brasileiras, distribuindo-as de acordo com as tipologias policiais (BARBOSA, 2010). A segurança pública é exercida através da Polícia Federal, da Polícia Rodoviária Federal, da Polícia Ferroviária Federal, das polícias civis, das polícias militares, dos corpos de bombeiros militares, bem como das polícias penais federal, estaduais e distrital (BRASIL, 1988).

Nos termos da Carta Magna brasileira, compete à Polícia Federal exercer, com exclusividade, as funções de polícia de soberania e de polícia judiciária da União, responsável por apurar as infrações penais praticadas contra a ordem política e social ou em detrimento de bens, serviços e interesses da União (SOUSA, 2015). A Constituição Federal também estabeleceu que a organização é responsável por investigar outras infrações cuja prática tenha repercussão interestadual ou internacional e exijam repressão uniforme, bem como o policiamento de fronteiras, imigração e estrangeiros.

A Polícia Federal dispõe de uma unidade responsável pelas ações de TD&E, a Academia Nacional de Polícia (ANP), integrante do Sistema de Escolas de Governo da União (SEGU) (FONSECA et al., 2015), que possui a atribuição de formar e especializar profissionais de segurança pública para exercerem suas atribuições, bem como formular e difundir a doutrina policial, buscando a eficiência e a qualidade na prestação do serviço de segurança pública, com ética e respeito aos Direitos Humanos. A ANP foi criada em 1960, por meio da publicação do Boletim Interno Nº 216, em 31 de dezembro de 1960, com a denominação Academia de Polícia, tendo recebido a sua denominação atual com a publicação da Lei Nº 4.483, de 16 de novembro de 1964 (ACADEMIA NACIONAL DE POLÍCIA, 2005).

A ANP possui três linhas de ação principais: a formação, a capacitação continuada e a pós-graduação. A formação de novos policiais federais é realizada na ANP por meio do Curso de Formação Profissional, segunda etapa do concurso público, constituído de disciplinas teóricas e operacionais, como será detalhado na próxima seção, com o objetivo de desenvolver e aprimorar as competências necessárias para o desempenho dos cargos da Carreira Policial Federal. Ao longo da sua existência, a ANP também participou da formação de policiais civis de alguns estados brasileiros e de policiais de países africanos e latino-americanos.

A capacitação continuada é realizada por meio de cursos e treinamentos, presenciais e a distância, ministrados para profissionais que atuam nos órgãos de segurança pública do Brasil e do exterior, bem como para servidores de outras instituições públicas que realizam parceria com a ANP. A escola de governo também ministra cursos para a comunidade em geral, por meio da plataforma ANP Cidadã, com capacitações vinculadas ao tema segurança pública. A ANP foi credenciada pelo Ministério da Educação para oferecer cursos de especialização (pós-graduação lato sensu) em ciências policiais e segurança pública, realizados com o objetivo de produzir e disseminar conhecimentos na área de Ciências Policiais e Segurança Pública.

A escola de governo possui uma área de 60.000 m², contando com salas de aula, auditórios, laboratórios de informática e perícia, complexo poliesportivo, estandes para treinamento de armamento e tiro, área específica para treinamento operacional, biblioteca e alojamentos, dentre outros equipamentos voltados para o desenvolvimento de conhecimentos, habilidades e atitudes, direcionados para a realização das atividades de segurança pública.

Descrição da capacitação avaliada

O treinamento avaliado neste estudo é uma parte integrante do Curso de Formação Profissional, que consiste da última etapa do concurso público para ingresso nos cargos da Carreira Policial da Polícia Federal, e tem como objetivo desenvolver as competências técnico-profissionais necessárias para o desempenho destes cargos. Para melhor compreensão sobre o evento, foi realizada pesquisa documental por meio da leitura do Plano de Ação Educacional (PAE) dos cursos de formação e dos Planos de Disciplina (PD), identificando os seus objetivos instrucionais, bem como outras informações relevantes para a pesquisa. O curso de formação é realizado na escola de governo, em Brasília/DF, com carga horária média de 872 horas-aula e aproximadamente cinco meses de duração. Por se tratar de etapa do concurso público, o curso é eliminatório. Os alunos reprovados no evento são eliminados do processo seletivo.

O PAE descreve o curso, apresentando justificativas, objetivo geral, público-alvo, organização, metodologia, duração, período, carga horária, distribuição do tempo, grade curricular, frequência, avaliação de aprendizagem e seus critérios, bem como disposições diversas. O PAE é diferente para cada um dos cinco cargos da Carreira Policial Federal, respeitando a complexidade, o perfil e as competências de cada cargo. O PD apresenta carga horária, mapa de competências que se pretende desenvolver, ementa, objetivo geral, objetivos específicos de cada aula, conteúdo programático, estratégias de ensino, recursos utilizados, avaliação e referências bibliográficas utilizadas em cada disciplina. Para fins didáticos, as disciplinas são agrupadas em eixos de acordo com as características das competências que se pretende desenvolver.

Para a realização do presente trabalho optou-se em construir uma escala de impacto em profundidade para avaliar os resultados do treinamento das atividades operacionais ministradas nas disciplinas do Eixo Operacional, por se tratar do agrupamento das disciplinas do curso de formação comuns a todos os cargos e por se tratar das atividades que mais caracterizam organizações de segurança pública que possuem funções essencialmente operacionais. O cargo de Perito Criminal Federal, existente no quadro da Polícia Federal, não foi incluído nesta pesquisa, por se tratar de um cargo cujas atribuições são mais direcionadas para atividades periciais do que para atividades operacionais. A carga horária e o número de disciplinas do Eixo Operacional aplicados na formação deste cargo são inferiores aos demais, embora os seus integrantes também realizem atividades operacionais com menor frequência.

As disciplinas do curso de formação que foram objeto da construção da escala de avaliação do impacto em profundidade do treinamento foram: 1) Abordagem (ABO); 2) Armamento e Tiro (AT); 3) Defesa Pessoal Policial (DPP); 4) Direção Operacional (DO); 5) Orientação e Navegação Terrestre (ONT); 6) Radiocomunicação (RAD); 7) Segurança de Dignitários (SD); 8) Técnicas Operacionais Aplicadas (TOA); 9) Atividade Física Policial (AFP); 10) Uso Seletivo da Força (USF) e; 11) Vigilância (VIG).

Caracterização do instrumento de pesquisa

Para fins de instrumentação do trabalho foi construída e validada uma escala de avaliação de impacto em profundidade de treinamento de atividades operacionais ministradas por meio das disciplinas do Eixo Operacional do curso de formação, tendo como arrimo a literatura apresentada no referencial teórico, especialmente, os preceitos apresentados por Coelho Junior e Abbad (2010), Pasquali (2010) e Zerbini et al. (2012). Foram extraídas informações educacionais do conteúdo ministrado do curso, segmentado em suas 11 disciplinas. Inicialmente, o instrumento elaborado constituiu-se de um questionário contendo 70 itens no formato da escala Likert de 11 pontos, com variação entre “0” (não aplico/não tem qualquer impacto) e “10” (aplico totalmente/grande impacto). Como será descrito em seguida, após a validação semântica e por juízes, o questionário foi reduzido para 50 itens.

Para a elaboração dos itens da escala presentemente validada, por meio de análise documental, foram extraídos os objetivos gerais das disciplinas do Curso de Formação, bem como os objetivos específicos das aulas, o mapa de competências que se pretendia desenvolver, as estratégias e os procedimentos instrucionais utilizados. Todo este conteúdo estava previsto nos ‘Planos de Disciplina’. A partir desta análise prévia do material instrucional, realizou-se a elaboração de objetivos de aprendizagem à luz do material analisado. Estes objetivos de aprendizagem foram, então, convertidos em objetivos de desempenho. Este desempenho (ou o impacto) era o desejado, após a realização das disciplinas. Foram estabelecidos indicadores de desempenho e de comportamento no cargo para compor o instrumento de impacto em profundidade, conforme procedimento proposto por Coelho Junior e Abbad (2010). Junto com o questionário, foram inseridos campos que solicitavam informações sociodemográficas dos respondentes.

Após a construção do questionário, foram realizados procedimentos de validação semântica e por juízes, que estão descritos a seguir, visando à eliminação de dubiedades, erros de informações ou mesmo ambiguidades. A finalidade destas validações consistia em elaborar um instrumento simples, parcimonioso, claro, objetivo e preciso, para se avaliar o impacto em profundidade do treinamento de atividades operacionais.

Validação semântica do instrumento

A escala foi validada semanticamente com a finalidade de eliminar eventuais vieses e ambiguidades que pudessem estar presentes nos itens elaborados para compor o questionário. Por meio da validação semântica, realizou-se a análise do instrumento quanto à sua clareza, parcimônia e objetividade (PASQUALI, 2010), tanto dos itens como das instruções para o seu preenchimento, buscando minimizar a possibilidade de surgirem dúvidas no momento em que os itens estivessem sendo respondidos pelos participantes. A etapa da validação semântica foi realizada com servidores policiais da própria Polícia Federal, lotados na escola de governo e com bastante experiência. As sugestões de alteração foram adotadas pelos pesquisadores.

Validação do instrumento por juízes

A validação por juízes foi realizada com servidores da própria Polícia Federal, lotados na escola de governo, que atuam no processo de planejamento e execução das aulas e demais atividades das disciplinas operacionais dos cursos de formação. Os juízes contribuíram com a elaboração do instrumento de pesquisa, garantindo que o questionário fosse adaptado à cultura da organização, bem como assegurando que a escala construída fosse apta a medir aquilo que se propunha, no caso, o impacto de treinamento em profundidade das disciplinas operacionais do Curso de Formação Profissional no desempenho individual dos policiais da Polícia Federal. Ainda, efetuou-se validação por juízes com 5 professores vinculados ao Departamento de Administração de uma Universidade federal brasileira. Nesta validação, também, foi verificada a adequação dos itens em termos de sua redação e representatividade ao estudo do impacto de treinamento em profundidade do Curso de Formação.

Durante a fase de validação por juízes, foram examinados todos os itens do questionário, avaliando clareza, relevância e adequação à linguagem utilizada na Polícia Federal. Também foi objeto desta validação a precisão dos itens, verificando se os mesmos mensuravam aquilo que propunham, ou seja, se representavam os conhecimentos, as habilidades e as atitudes transmitidas por meio do curso de formação. Além dos itens do questionário, foi validada, pelos juízes, a mensagem que convidou os participantes para a realização da pesquisa e as instruções de preenchimento da escala. Por sugestão dos juízes, houve redução do número de itens do questionário (que passou de 70 para 50), em decorrência do agrupamento de itens que refletiam partes de uma mesma técnica operacional, e da retirada de itens que refletiam conhecimentos e/ou habilidades contempladas transversalmente em mais de uma disciplina.

Procedimentos de coleta de dados

Após os procedimentos de construção e validação por juízes e semântica, foi elaborada uma versão eletrônica do questionário na ferramenta SurveyMonkey. Os servidores da Polícia Federal, distribuídos em todo o território nacional, que haviam participado do curso de formação há, no mínimo, oito meses e, no máximo, dois anos e meio, foram convidados para participar da pesquisa por meio de uma carta de apresentação, enviada para a caixa de mensagem eletrônica (e-mail) funcional e pessoal, cuja listagem foi fornecida aos pesquisadores pela Polícia Federal. O texto da carta de apresentação continha informações sobre os pesquisadores, os objetivos da pesquisa, a importância da participação, a garantia do sigilo, os contatos para dirimir eventuais dúvidas e um link para o questionário.

Ainda, foi informado a cada participante que, uma vez clicando no link de acesso ao questionário, o mesmo consentia plenamente com os objetivos da pesquisa e declarava, voluntariamente, que estava participando espontaneamente da mesma. Nenhuma informação referente à possível quebra do anonimato foi coletada, garantindo, assim, o sigilo total das respostas dadas. Os dados foram todos analisados de forma agrupada, de modo que o pesquisador não teve como saber de quem eram as respostas.

Em uma população composta por 1.091 egressos de cursos de formação, foram obtidos 370 questionários respondidos (33,91% de taxa de resposta), alcançando um retorno razoável na taxa de devolução (MARCONI; LAKATOS, 2005). Destes 370 questionários respondidos, 15 foram descartados por problemas em seu preenchimento, restando, desta forma, 355 questionários totalmente preenchidos e válidos para serem analisados.

Para que fosse verificada a adequação da amostra aos procedimentos necessários para a realização da análise fatorial, foram utilizados dois critérios. Tabachnick e Fidell (2007) e Pasquali (2010) apontam que é necessário o mínimo de sete a dez respondentes para cada item presente na escala, para que seja possível a realização de uma análise fatorial exploratória. Deste modo, considerando que a escala de ‘Impacto de Treinamento em Profundidade’ tinha 50 itens, e o número total de participantes era 355, atingiu-se uma proporção de 7,1 respondentes por item.

O segundo critério utilizado foi o de significância estatística. Para a população objeto deste estudo, a amostra mínima recomendada seria de 285 participantes, com um intervalo de confiança de 95% e uma margem de erro de 5%. Deste modo, a amostra atendeu os requisitos acima expostos e encontra-se adequada para o presente estudo. A Tabela 1, a seguir, apresenta o perfil da amostra obtida.

Tabela 1: Perfil da amostra utilizada para a validação da escala de avaliação de impacto em profundidade de um treinamento de atividades operacionais

Fonte: Elaborada pelos autores.

Procedimentos de análise de dados

Foram aplicadas técnicas de análise de dados referendadas pela literatura nas pesquisas de avaliação de impacto nas ações de TD&E. Realizou-se, primeiramente, análises estatísticas exploratórias e descritivas, conforme a orientação de Tabachnick e Fidell (2007), utilizando, para tanto, o software SPSS (Statistical Package for Social Sciences), versão 20. Os dados omissos foram encontrados em 15 questionários da escala de impacto de treinamento em profundidade. Estes questionários não foram utilizados para qualquer análise de dados, tendo sido efetuado seu descarte, conforme exposto na subseção anterior. Nos demais 355 questionários utilizados, não foi observada a presença de nenhum dado omisso.

O procedimento teve início com uma análise exploratória dos dados, em que foi verificada a presença de outliers e feita a checagem dos pressupostos de normalidade, linearidade e homogeneidade da variância. Apesar de poucos instrumentos terem apresentado normalidade por meio do teste Kolmogorov-Smirnov e pela visualização gráfica de box-plot e histogramas, foi decidido realizar as análises com a transformação das variáveis em escores Z padronizados. Segundo Field (2013), para amostras grandes, a quebra desse pressuposto não interfere consideravelmente na interpretação dos dados.

Com a transformação dos dados em escore Z padronizados, foram identificados casos extremos univariados. Os valores situados fora do intervalo [-3,29; 3,29] foram utilizados para detectar os outliers univariados (HAIR et al., 2009). Em seguida, foi feita a identificação dos outliers multivariados utilizando a distância de Mahalanobis (D²), em um nível de significância de 0,001 (TABACHNICK; FIDELL, 2007). Ressalta-se que todos os procedimentos de análise fatorial exploratória foram realizados ‘com’ e ‘sem’ outliers. A tendência observada nos dados manteve-se constante (não houve diferenças significativas nos resultados que pudessem ser atribuídas à presença ou ausência de outliers), motivo pelo qual se optou, no presente trabalho, manter os outliers com seus valores originais, já que estes não afetaram os resultados.

Verificou-se que as variáveis apresentam linearidade. Especificamente, verificou-se que os índices de fatorabilidade e esfericidade eram satisfatórios, dado que o índice de KMO encontrado foi 0,92. O Teste de Esfericidade de Bartlett χ² (1225) = 13158,42, p < 0,0001, indicou que a correlação entre os itens era suficientemente grande para que fosse realizada a análise. Deste modo, foi possível concluir que a escala era fatorável, passível de ser analisada por meio dos indicadores psicométricos de uma análise fatorial (carga fatorial dos itens, % de variância explicada, valor próprio e análise gráfica por meio do scree plot). Utilizou-se rotação oblíqua, assumindo que os possíveis fatores poderiam correlacionar-se.

Resultados e discussão

De forma geral, como se verá aqui, verifica-se que os resultados da análise fatorial exploratória foram bastante satisfatórios, indicando que a medida em validação é fidedigna, tem calibragem e é precisa àquilo que se propõe mensurar. Os resultados estão descritos a seguir, e todos os procedimentos de análise encontram-se, também, apresentados e justificados.

Figueiredo Filho e Silva Júnior (2010) indicam que não existe um critério consensual para definir sobre a quantidade exata de fatores que deverão ser extraídos. Os autores apontam que o objetivo da extração de fatores é determinar a quantidade de fatores que melhor irá representar o padrão de correlação entre as variáveis observadas, devendo o pesquisador sopesar, decidindo entre a parcimônia e a explicação. Quanto menor o número de fatores, maior é a parcimônia e menor é a quantidade total de variância. Por outro lado, quanto mais fatores forem extraídos, maior é a quantidade de variância explicada e menor é a parcimônia.

Existem alguns critérios que podem ser seguidos. Um exemplo é o critério de kaiser (eigenvalue), que sugere que sejam extraídos os fatores com valor de eigenvalue acima de 1. Segundo Tabachnick e Fidell (2007), esse método funciona melhor quando o pesquisador utiliza entre 20 e 50 variáveis, o que foi observado no presente trabalho (50 itens). Adicionalmente, foi aplicado o critério da variância acumulada acima de 60%, conforme sugerido por Hair et al. (2009).

Especificamente, utilizando o critério de Kaiser, foram identificados, empiricamente, 11 fatores (todos com eigenvalue acima de 1). Com o objetivo de identificar uma estrutura melhor, foram testadas soluções com o número de fatores entre 1 e 11.

A solução unifatorial não foi adotada em razão do critério de variância acumulada, de apenas 15%, uma vez que a sua variância foi menor que 60% (HAIR et al., 2009), tratando-se do mesmo motivo pelos quais não foram adotadas soluções com 2, 3, 4, 5 e 6 fatores. Na solução com 7 fatores, cinco itens apresentaram cargas fatoriais compartilhadas entre dois ou mais fatores. Já na solução com 8 e 9 fatores houve o compartilhamento de carga em dois itens.

As melhores soluções encontradas, em termos de eigenvalues, variância explicada (> 3%) e compartilhamento de cargas dos itens, foram as distribuições da medida de impacto em profundidade com 10 ou 11 fatores.

Segundo Figueiredo Filho e Silva Júnior (2010), além dos critérios estatísticos, também é imprescindível que a decisão do pesquisador seja baseada na teoria vigente. De acordo com os autores, o pesquisador deve justificar, em termos conceituais, qual é o padrão de relação esperado entre as variáveis observadas e os fatores. Neste sentido, analisando a matriz padrão obtida com a solução de 11 fatores, foi possível observar que a distribuição da carga fatorial dos itens mais bem se amoldou em relação ao que era esperado nos objetivos instrucionais das disciplinas operacionais dos cursos de formação.

Analisando, teoricamente, os 11 fatores empíricos obtidos, verificou-se que estes se relacionavam plenamente com as disciplinas operacionais ministradas no curso de formação. A disciplina Técnicas Operacionais Aplicadas (TOA) foi excluída por possuir apenas um item que não pôde ser fatorado. No entanto, as demais disciplinas corresponderam a um fator de impacto de treinamento, à exceção de Armamento e Tiro (AT), cujos itens de avaliação de impacto de treinamento foram distribuídos em dois fatores. Por esta razão, os fatores foram denominados com o próprio nome das disciplinas.

Os 11 fatores, conjuntamente, explicaram expressivos 70,21% de variância. Foram consideradas significativas as cargas fatoriais dos itens superiores a 0,30. A Tabela 2, a seguir, apresenta a estrutura empírica fatorial da medida de impacto em profundidade de treinamento de atividades operacionais.

Tabela 2: Estrutura fatorial da medida de impacto em profundidade do treinamento de atividades operacionais

V.E. = Variância Explicada / C.F. = Carga Fatorial / M. = Média / D.P. = Desvio Padrão / α = Alpha de Cronbach.

Fonte: Elaborada pelos autores.

Um Alpha de Cronbach é considerado ‘aceitável’ com valores entre 0,7 e 0,8, ‘bom’ entre 0,8 e 0,9 e ‘excelente’ acima de 0,9 (PESTANA; GAGEIRO, 2008). O Alpha de Cronbach dos 11 fatores variaram entre 0,727 (Fator 4 “Armamento e Tiro – Prática) e 0,946 (Fator 3 “Segurança de Dignitários”), conferindo, aos fatores, alta fidedignidade e grande consistência interna.

A separação dos itens da disciplina Armamento e Tiro (AT) em dois fatores se justifica teoricamente em razão da existência de objetivos instrucionais voltados para a teoria acerca dos fundamentos do tiro (Fator 2) e para a prática de tiro (Fator 4). A migração do item 22 (Aplico procedimentos de algema) do Fator 6 “Defesa Pessoal Policial” para o Fator 1 “Abordagem” também se justifica, uma vez que o procedimento de algemas também é utilizado nas aulas da disciplina “Abordagem” em maior carga horária do que na disciplina “Defesa Pessoal Policial”. No mesmo sentido, a agregação do item 23 (Identifico as prerrogativas do Servidor Público ao conduzir veículos em situações de emergência) ao Fator 2 “Armamento e Tiro – Teoria” encontra respaldo teórico, sendo justificada uma vez que os servidores policiais associam o termo “prerrogativas” com o porte de arma de fogo, sendo, inclusive, utilizado este termo no material didático desta disciplina.

O único item com carga fatorial compartilhada foi o item 29 (Executo navegação por meio do receptor GPS), estando presente no Fator 7 “Orientação e Navegação Terrestre” e no Fator 11 “Direção Operacional”. O compartilhamento da carga fatorial se justifica em face do uso cada vez mais comum do aparelho de GPS como auxílio na direção de veículos automotores. No presente estudo, o item permaneceu vinculado ao fator em que demonstrou possuir maior carga fatorial, no caso, o Fator 7 “Orientação e Navegação Terrestre”. Por meio da análise fatorial foram excluídos os itens 5 (Aplico os procedimentos de Abordagem a Embarcações), 7 (Reconheço as regras de segurança no porte de arma), 15 (Efetuo tiro rápido com revolver calibre 38, atingindo o alvo com aproveitamento) e 40 (Aplico as técnicas operacionais de forma dinâmica e sincronizada quando trabalho em equipe).

No Fator 3 “Segurança de Dignitários” foi identificada multicolinearidade entre os itens Reconheço as formações e as equipes que compõe a segurança de dignitários e Identifico os procedimentos básicos operacionais na segurança de dignitários (r = 0,934), assim como no Fator 10 “Uso Seletivo da Força” foi identificada multicolinearidade entre os itens Identifico, de acordo com a situação apresentada, o correto emprego da força e Identifico se o nível de força apresentado foi corretamente selecionado e aplicado (r = 0,919), motivo pelo qual se sugere a retirada dos itens redundantes para estudos posteriores, uma vez que os respondentes parecem não ter percebido as diferenças significativas na sua interpretação.

A estrutura empírica da escala de impacto em profundidade de treinamento de atividades operacionais, contendo 46 itens relacionados aos objetivos do treinamento, construída e validada, de forma exploratória, com o uso de técnicas estatísticas propostas pela literatura, se mostrou válida e confiável, apresentando índices psicométricos amplamente satisfatórios, como recomendado por Borges-Andrade (2006). Demonstrou-se aqui, segundo Freitas et al. (2006), Coelho Junior e Abbad (2010) e Farias e Resende (2020), a importância de se ter medidas validadas e confiáveis à mensuração do impacto de treinamento no trabalho. O uso de medidas validadas só gera a confiança de que o instrumento mensura, de fato, aquilo que dele se espera, sem erros de interpretação ou de análise (ABBAD; PILATI; PANTOJA, 2003). A construção sistemática de itens, também, antes de se iniciar todos os procedimentos de validação (semântica, por juízes e fatorial), é amplamente recomendada, pois garante maior confiabilidade no levantamento dos dados (ODELIUS; SIQUEIRA JÚNIOR, 2011).

Considerações finais

O presente trabalho teve como objetivo construir e validar uma escala de impacto de treinamento em profundidade relativa às atividades operacionais no âmbito do Curso de Formação Profissional da Polícia Federal. Foram testados e apresentados todos os indicadores psicométricos da medida, alcançando os objetivos propostos. Conforme visto, a construção e validação de instrumentos de avaliação de impacto de treinamento em profundidade é uma árdua tarefa, em face da dificuldade em obter uma amostra suficiente que possibilite a aplicação de análises fatoriais com a subsequente validação de escalas desta natureza. Tal constatação ajuda a explicar o fato de não terem sido encontrados outros estudos que avaliaram cursos de formação de outras organizações de segurança pública que servissem de parâmetro de comparação com os resultados obtidos nesta pesquisa.

Respeitando as limitações, relatadas a seguir, espera-se que o presente trabalho tenha contribuído para a evolução do campo de ‘avaliação de treinamento em organizações de segurança pública’, colaborando para cumprir a agenda de pesquisa na área com a ampliação e diversificação de amostras de treinamento e organizações. Mais especificamente, acredita-se que é contribuição deste estudo a investigação realizada junto aos policiais, tendo em vista que pesquisas sobre esta clientela ainda é incipiente na América Latina, devendo ser realizadas com a finalidade de identificar lacunas, consertar falhas e otimizar o desempenho policial, função tão essencial à manutenção da vida em sociedade.

Como limitações deste trabalho, pode se apontar a restrição da amostra de participantes ser parte de uma organização apenas, o que reduz a generalidade e a validade externa dos resultados. Outra limitação refere-se à impossibilidade de se aplicar questionários de heteroavaliação de impacto do treinamento no trabalho, em razão da falta de tempo e de recursos, que poderiam gerar resultados comparativos com os obtidos por meio da autoavaliação do participante e da sua chefia, por exemplo. O pareamento destas informações poderia agregar à análise dos resultados. A utilização de apenas uma técnica de coleta de dados (questionários) e a taxa de devolução dos questionários obtida também podem ser apontadas como outras limitações.

A construção e emprego de instrumentos de avaliação dos cursos de formação, como apresentado neste trabalho, é fundamental para aferir programas de treinamento realizados pelas polícias, avaliando se eles são adequados e eficazes para formar novos profissionais da área de segurança pública, possibilitando a aquisição de conhecimentos teóricos e práticos que irão orientar a sua atuação. Assim, considerando que o Curso de Formação Profissional é realizado de forma contínua pela Polícia Federal, sendo ministrado sempre que há o ingresso de novos policiais, sugere-se que a escala presentemente apresentada seja replicada junto aos futuros egressos do treinamento, promovendo novas validações de caráter confirmatório (inclusive com o emprego da modelagem por equações estruturais) com amostra distinta do presente trabalho. Recomenda-se, também, a construção e validação de escala de impacto de treinamento em profundidade para avaliar o resultado dos demais eixos do curso de formação adotado na Polícia Federal.

Por fim, somadas às sugestões direcionadas à Polícia Federal quanto à replicação da escala e da sua ampliação, se propõe, como agenda de pesquisa, o desenvolvimento de outros estudos que avaliem impacto de treinamento em profundidade dos cursos de formação promovidos por outras organizações de segurança pública, ampliando os estudos acerca da eficácia dos treinamentos ofertados por estas instituições.

Referências Bibliográficas

ABBAD, G. S. Um modelo integrado de avaliação do impacto do treinamento no trabalho – IMPACT. Tese (Doutorado em Psicologia) – Instituto de Psicologia, Universidade de Brasília, Brasília, 1999.

ABBAD, G. S.; PILATI, R.; PANTOJA, M. J. Avaliação de treinamento: Análise da literatura e agenda de pesquisa. Revista de Administração da USP, São Paulo, v. 38, n. 3, p. 205-218, 2003.

ACADEMIA NACIONAL DE POLÍCIA. Fatos, fotos e relatos: a história da Academia Nacional de Polícia. 1 ed. Brasília: ANP, 2005.

AGUINIS, H; KRAIGER, K. Benefits of training and development for individuals and teams, organizations, and society. Annual Review of Psychology, v. 60, p. 451-474, 2009.

ARAUJO, M. C. S. Q.; ABBAD, G. S; FREITAS, T. R. Avaliação de aprendizagem, reação e impacto de treinamentos corporativos no trabalho. Psicologia: Teoria e Pesquisa, v. 35, 2019.

BARBOSA, E. S. Funções de polícia: o que faz a Polícia Federal brasileira?. Revista Brasileira de Ciências Policiais, v. 1, n. 1, p. 181-212, 2010.

BASILIO, M. P. O desafio da formação do policial militar do Estado do Rio de Janeiro: utopia ou realidade possível?. Gestão e Sociedade, v. 2, n. 3, 2009.

BITTENCOURT, A. M.; ZOUAIN, M. D. Escolas de governo e a profissionalização do Servidor Público: estudo dos casos da Escola de Serviço Público do Estado do Amazonas –ESPEA e da Fundação Escola de Serviço Público Municipal de Manaus – FESPM. Revista Adm. Made, v. 14, n. 2, p. 75-94, 2010.

BORGES-ANDRADE, J. E. Competência técnica e política do profissional de TD&E. In: BORGES-ANDRADE, J. E.; ABBAD, G. S.; MOURÃO, L. (Orgs.). Treinamento, desenvolvimento e educação em organizações e trabalho, Porto Alegre: Artmed, 2006, p. 177-195.

BORGES-ANDRADE, J. E. Desenvolvimento de medidas em avaliação de treinamento. Estudos de Psicologia, Natal, v. 7, n. esp., p. 31-43, 2002.

BRASIL. Constituição da República Federativa do Brasil de 1988. Brasília/DF: Presidência da República, 1988.

BRESSER-PEREIRA, L. C. O modelo estrutural de gerência pública. Revista de Administração Pública, v. 42, n. 2, p. 391-410, 2008.

CAMPOS, M. S.; ALVAREZ, M. C. Políticas Públicas de Segurança, Violência e Punição (2000-2016). In: MICELI, S.; MARTINS, C. B. (Orgs.). Sociologia Brasileira Hoje. 1 ed. São Paulo: Ateliê Editorial, 2017.

CARO, C. A. Predicting state police officer performance in the field training officer program: What can we learn from the cadet’s performance in the training academy?. American Journal of Criminal Justice, v. 36, n. 4, p. 357-370, 2011.

CASTRO, A. B. C. de; OLIVEIRA, R. M. A. de; NETO, E. da C. S.; OLIVEIRA, M. A. de; SILVA, A. W. P. da; SILVA, P. M. M. da. Avaliação de treinamento profissional para trabalhadores do conhecimento: um estudo de caso em uma instituição pública de educação, ciência e tecnologia do Nordeste do Brasil. Holos, v. 4, p. 137-155, 2018.

COELHO JUNIOR, F. A. Gestão do Desempenho Humano no Trabalho: Interfaces Teóricas, Etapas Constitutivas e Implicações Práticas. In: III Encontro de Gestão de Pessoas e Relações de Trabalho/EnGPR, 2011, Paraíba. Anais [...] Paraíba: Anpad, 2011.

COELHO JUNIOR, F. A.; ABBAD, G. S. Construção e validação de uma escala de avaliação de impacto em profundidade de um treinamento a distância em uma organização do setor bancário brasileiro. REAd – Revista Eletrônica de Administração, v. 16, n. 1, p. 91-119, 2010.

COSTA, A. T. M. Entre a lei e a ordem: violência e reforma nas Polícias do Rio de Janeiro e Nova York. 1 ed. Rio de Janeiro: Editora FGV, 2004.

COSTA, A. T. M.; LIMA, R. S. Segurança Pública. In: LIMA, R. S.; RATTON, J. L.; AZEVEDO, R. G. de (Orgs.). Crime, Polícia e Justiça no Brasil. São Paulo: Editora Contexto, 2014.

FARIAS, J. S.; RESENDE, M. M. Impact of training on the implementation of a new electronic system and acceptance of new technologies in a federal institution of higher education. Revista de Administração da UFSM, v. 13, n. 4, p. 773-791, 2020.

FIELD, A. Discovering statistics using IBM SPSS statistics. Sage, 2013.

FIGUEIREDO FILHO, D. B.; SILVA JÚNIOR, J. A. Visão além do alcance: uma introdução à análise fatorial. Opinião pública, v. 16, n. 1, p. 160-185, 2010.

FONSECA, D.; CAMÕES, M. R. S; TORRES, M. D. F.; LEMOS, J. P. Sistemas de escolas de governo da União: perfil, identidade e desafios para institucionalização. Cadernos Enap, n. 40, 2015.

FREITAS, I. A.; BORGES-ANDRADE, J. E.; ABBAD, G. S.; PILATI, R. Medidas de impacto de TD&E no trabalho e nas organizações. In: BORGES-ANDRADE, J. E.; ABBAD, G. S.; MOURÃO, L. (Orgs.). Treinamento, desenvolvimento e educação em organizações e trabalho: Fundamentos para a gestão de pessoas. Porto Alegre: Artmed, 2006, p. 489-504.

FREITAS, I. A.; BORGES-ANDRADE, J. E. Efeitos de treinamento nos desempenhos individual e organizacional. RAE – Revista de Administração de Empresas, v. 44, n. 3, p. 44-56, 2004.

GARAVAN, T. N. Training, development, education and learning: different or the same?. Journal of European industrial training, v. 21, p. 39-50, 1997.

HAIR, J. F.; BLACK, W. C.; BABIN, B. J.; ANDERSON, R. E.; TATHAM, R. L. Análise multivariada de dados. Tradução: Adonai Schlup Sant'Anna. 6 ed. Bookman Editora, 2009.

HAMBLIN, A. C. Avaliação e controle do treinamento. McGraw-Hill do Brasil, 1978.

JEHANZEB, K.; BASHIR, N. A. Training and development program and its benefits to employee and organization: A conceptual study. European Journal of business and management, v. 5, n. 2, 2013.

KIRKPATRICK, D. L. Evaluation of training. In: CRAIG, R. L. (Org.). Training and development handbook. 2 ed. New York: McGraw-Hill, 1976.

LIMA, M. C. S.; ROWE, D. E. O.; MOURÃO, L.; OLIVEIRA, A. M. B. Ações de treinamento em uma universidade pública, desenvolvimento profissional e cidadania organizacional: existe relação entre esses construtos?. Organizações & Sociedade, v. 27, n. 92, p. 152-170, 2020.

MARCONI, M. A.; LAKATOS, E. M. Fundamentos de metodologia científica. 6 ed. São Paulo: Atlas, 2005.

MARTINS, L. B.; ZERBINI, T.; MEDINA, F. J. Estrutura fatorial e propriedades psicométricas da Escala de Suporte à Transferência de Treinamento. Psicologia: Teoria e Pesquisa, v. 34, 2018.

MCCAMPBELL, M. S. Field training for police officers: The state of the art. Washington: National Institute of Justice; U.S. Department of Justice, 1987.

MCGINLEY, B.; AGNEW-PAULEY, W.; TOMPSON, L.; BELUR, J. Police Recruit Training Programmes: A Systematic Map of Research Literature. Policing: A Journal of Policy and Practice, v. 14, n. 1, p. 52-75, 2019.

MOREIRA, C. E. R.; MUNCK, L. Estilos de aprendizagem versus treinamento vivencial ao ar livre. Revista de Administração da Universidade Federal de Santa Maria, v. 3, n. 1, p. 9-25, 2010.

ODELIUS, C. C.; SIQUEIRA JÚNIOR, F. A. B. Construção e validação de instrumento de pesquisa relativo a aspectos que influenciam a efetividade de políticas de TD&E. Contabilidade, Gestão e Governança, v. 14, n. 1, p. 3-15, 2011.

ONGALO, E. A.; TARI, J. Effect of employee motivation strategies on organizational performance: A Case of Electricity Generating and Distribution Firms in Kenya. European Journal of Business and Management, v. 7, n. 1, p. 55-65, 2015.

PANTOJA, M. J.; LIMA, S. M. V.; BORGES-ANDRADE, J. E. Avaliação de impacto de treinamento na área de reabilitação: preditores individuais e situacionais. Revista de Administração, v. 36, n. 2, p. 46-56, 2001.

PASQUALI, L. Testes referentes a construto: teoria e modelo de construção In: PASQUALI, L. e colaboradores. Instrumentação Psicológica: fundamentos e práticas. Porto Alegre: Artmed, 2010.

PESTANA, M. H.; GAGEIRO, J. N. Análise de dados para ciências sociais: a complementaridade do SPSS. 5 ed. rev. e atual. Lisboa: Sílabo, 2008.

PILATI, R.; ABBAD, G. S. Análise fatorial confirmatória da escala de impacto do treinamento no trabalho. Psicologia: teoria e pesquisa, v. 21, n. 1, p. 43-51, 2005.

PILATI, R.; VASCONCELOS, L. C.; BORGES-ANDRADE, J. E. Construção e Validação de uma Taxonomia de Eventos de TD&E. Revista de Administração Contemporânea, v. 15, n. 2, p. 304-319, 2011.

PONCIONI, P. Tendências e desafios na formação profissional do policial no Brasil. Revista Brasileira de Segurança Pública, v. l, n. 1, 2007.

QUARTEY, S. H. Effect of employee training on the perceived organisational performance: A case study of the print-media industry in Ghana. European Journal of Business and Management, v. 4, p. 77-87, 2012.

RAHMAN, A. A.; SIEW, I. N.; SAMBASSIVAN, M.; FLORENCE, W. Training and organizational effectiveness: moderating role of knowledge management process. European Journal of Training and Development, v. 37, p. 472-488, 2013.

ROTAR, L. Evaluating the effectiveness of an institutional training program in Slovenia: A comparison of methods. South East European Journal of Economics and Business, v. 7, n. 1, p. 43-51, 2012.

SCORSOLINI-COMIN, F.; INOCENTE, D. F.; MIURA, I. K. Avaliação de programas de treinamento, desenvolvimento e educação no contexto organizacional: modelos e perspectivas. Revista Psicologia: organizações e trabalho, v. 11, n. 1, p. 37-53, 2011.

SEIDL, J.; LEANDRO-FRANÇA, C.; MURTA, S. G. Avaliação de impacto e suporte de um curso de preparação para aposentadoria. Revista Psicologia Organizações e Trabalho, v. 18, n. 4, p. 494-502, 2018.

SILVEIRA, A. M. A prevenção do crime e segurança comunitária. In: LIMA, R. S.; RATTON, J. L.; AZEVEDO, R. G. de (Orgs.). Crime, Polícia e Justiça no Brasil. São Paulo: Editora Contexto, 2014.

SOUSA, R. C.; MORAIS, M. S. A. Polícia e Sociedade: uma análise da história da segurança pública brasileira. In: V Jornada Internacional de Políticas Públicas. Anais [...] Maranhão, 2011.

SOUSA, S. S. Autonomia e Eficiência da Polícia Judiciária da União: vetores interdependentes e equipolentes para a concreção constitucional da Polícia Federal. Revista Brasileira de Ciências Policiais, v. 6, n. 2, p. 161-190, 2015.

TABACHNICK, B. G.; FIDELL, L. S. Using multivariate analysis. Needham Heights: Allyn & Bacon, 2007.

TELEP, C. W. Expanding the scope of evidence-based policing. Criminology & Pub. Policy, v. 15, n. 1, p. 1-10, 2016.

ZERBINI, T.; ABBAD, G. S. Impacto de treinamento no trabalho via internet. RAE eletrônica, v. 4, n. 2, 2005.

ZERBINI, T.; ABBAD, G. S. Transferência de treinamento e impacto do treinamento no trabalho: análise crítica da literatura. Revista Psicologia: Organizações e Trabalho, v. 10, n 2, 2010.

ZERBINI, T.; ABBAD, G. S.; MOURÃO, L. Avaliação da efetividade de um curso a distância, via intranet: o caso do Banco do Brasil. Revista Psicologia: Organizações e Trabalho, v. 12, n. 2, p. 155-170, 2012.

ZERBINI, T.; COELHO JUNIOR, F. A.; ABBAD, G. S.; MOURÃO, L.; ALVIM, S.; LOIOLA, E. Transferência de treinamento e impacto do treinamento em profundidade. In: ABBAD, G. S.; MOURÃO, L.; MENESES, P. P. M.; ZERBINI, T.; BORGES-ANDRADE, J. E.; VILAS-BOAS, R. (Org.). Medidas de avaliação em treinamento, desenvolvimento e educação: ferramentas para gestão de pessoas. Porto Alegre: Artmed, 2012.

ZWICK, T. Training older employees: what is effective?. International Journal of Manpower, v. 36, p. 136-150, 2015.