Blogue RBE

Presença em linha: avaliação

Leitura: 4min | 

Se está a (re)equacionar o sítio da sua biblioteca, uma das questões a que não pode ficar alheio é a forma de avaliar o impacto do trabalho que desenvolve na sua vertente em linha e ainda a forma de prestar contas da sua ação aos seus pares e aos órgãos de gestão da Escola/ Agrupamento de Escolas. Agindo desta forma, para além de melhorar a sua atuação, torna a biblioteca mais credível aos olhos dos decisores.
Neste artigo apresentaremos algumas reflexões que poderão ajudá-lo nesta tarefa.

1 - Avaliar para quê?
A avaliação de qualquer projeto, assim como de qualquer serviço, deverá fazer parte das práticas quotidianas de toda e qualquer instituição/ serviço/ atividade humana. Esta não se deverá fazer apenas no final de um qualquer ciclo, mas deve ser feita periodicamente. 
No caso concreto da biblioteca, se não tivermos o cuidado de instituir práticas de avaliação e monitorização, se não se analisar os resultados e o impacto da presença em linha, como é que podemos garantir que o que se está a fazer está a contribuir para os objetivos traçados? 

De acordo com a CAF Educação 2013: Estrutura Comum de Avaliação (CAF) [2], um processo de avaliação deve ser pensado numa lógica de melhoria contínua (Planear, Executar, Rever, Ajustar), num ciclo PDCA (Plan, Do, Check, Act) que não constitui um fim em si próprio, mas que aponte para etapas constantes que permitam uma monitorização propiciadora da reflexão sobre os resultados do trabalho já realizado, uma eventual reorientação ou a prossecução do rumo tomado. Este processo pode ser visto numa lógica de ciclo e iniciar-se na fase de planeamento, mas também na de execução, de modo a ajustar e readequar procedimentos. O objetivo desta análise é que a reflexão sobre os meios e os resultados conduza à prestação de um melhor serviço e de melhores resultados.

Colocamo-nos, portanto, numa lógica um pouco diferente daquele que só avalia algo no final de um processo e que, decerto, ficará admirado pelo facto de ter tido tão fracos resultados e de não ter antecipado possíveis correções ao rumo traçado. Como escreveu alguém: “Nenhum vento é favorável para quem não sabe para onde quer ir”.

2 - E o serviço em linha da Biblioteca, também se avalia?

De acordo com as Diretrizes da IFLA para a biblioteca escolar [4], a avaliação é um aspeto essencial da implementação de programas e serviços de bibliotecas escolares. A avaliação pode destinar-se à tomada de decisões ou à resolução de problemas (prestação de contas); também pode influenciar o que as pessoas pensam sobre a biblioteca escolar e a obtenção de apoio para a mesma (preocupações de transformação). O processo de avaliação pode ajudar a determinar o caminho a seguir e também inspirar a criação de novas perspetivas para a biblioteca escolar no futuro.

Deste modo, a primeira coisa que é necessário interiorizar é que deverá ser adotado pela biblioteca o hábito de definir objetivos e de analisar resultados, isto é, avaliar. Periodicamente, deverá ser reservado algum de tempo para se avaliar se os objetivos definidos no momento anterior foram ou não cumpridos, porquê, quais as ações com maior impacto e as que não tiveram impacto nenhum, definir novos objetivos e reformular a estratégia para que os resultados sejam cada vez mais positivos.

A avaliação permitirá detetar erros, pontos fortes e a possível replicabilidade no futuro e, claro, redesenhar os objetivos, se necessário. Desta forma, uma avaliação bem-sucedida leva, se tal for preciso, à reformulação de serviços existentes e ao desenvolvimento de novos.

Face ao exposto, obviamente que a presença em linha da biblioteca escolar também deverá ser objeto de avaliação. Será necessário avaliar se o propósito e os objetivos estão a ser atingidos e encontrar resposta para algumas destas e de outras questões específicas: Será que o público-alvo se encontra fidelizado? Ganharam-se novos públicos? Os conteúdos que se publicam fazem sentido para o público-alvo desejado? Será que é necessário repensar os objetivos? Que pontos fortes se podem detetar? E que fragilidades serão necessárias corrigir? …    

3 – Que instrumentos usar?

O facto de existir um modelo de avaliação da biblioteca escolar, proposto pela Rede de Bibliotecas Escolares, que oferece uma panóplia de instrumentos de recolha de dados e que propõe um olhar global sobre o trabalho da biblioteca, não deve obstar a que se recorra a instrumentos mais específicos, adequados à natureza e profundidade do que se pretende avaliar, a presença em linha da biblioteca, e que a literatura de referência descreve muito bem (referimo-nos ao uso de métricas, de KPI (Key Performance Indicator - indicador-chave de desempenho) e de outros indicadores de resultados) e que eles integrem o processo regular da avaliação da presença digital.

4 – O que é…?

Sendo já claro para o leitor que importa avaliar os impactos da presença da biblioteca na Web, a equipa responsável por essa mesma presença deve ter o cuidado de definir os critérios de avaliação e os instrumentos a usar, tendo como horizonte uma perspetiva de evolução do serviço que presta ou quer vir a prestar à comunidade educativa. Para proceder a essa avaliação as bibliotecas devem recorrer a alguns instrumentos específicos, cujos conceitos importa clarificar:

- Métrica
Uma métrica é todo e qualquer dado relevante que possa ser medido: número de visitas ao site, percentagem de novas visitas, …

- KPI
Quando uma métrica se torna essencial para analisar/ avaliar se um determinado objetivo foi ou não atingido, ela toma-se num indicador-chave de desempenho - KPI. 

Ainda neste âmbito das definições, aproveitamos para clarificar alguns conceitos muito usados em contexto de avaliação:

- Impacto
No caso concreto das bibliotecas, o impacto pode ser definido como sendo: 

• A influência (efeito ou consequência) das bibliotecas e dos seus serviços nas pessoas e/ou na sociedade.
• A diferença/mudança que foi capaz de gerar nas pessoas ou grupos, resultante da interação com os serviços da biblioteca.

O impacto pode ser:

• Imediato (encontrar a informação útil) ou a longo prazo (aumento da literacia da informação).
• Abrangente (mudança na vida das pessoas) ou limitado (pequenas mudanças nas competências de pesquisa).
• Intencional (pensado de acordo com a missão da biblioteca) ou não.
• Real/efetivo (P. Ex. Aumento da literacia das crianças) ou potencial (valor de uma coleção para as gerações futuras).

- Indicador
Este termo tem origem na palavra latina indicare, que significa descobrir, apontar, anunciar, estimar. Deste modo, um indicador comunica ou informa sobre o progresso que se fez em direção a uma determinada meta e é utilizado como um recurso para tornar mais percetível ou evidente uma tendência ou fenómeno que não é imediatamente detetável através de dados isolados.

5- Como definir indicadores?

Uma boa forma de definir indicadores para a avaliação da presença em linha da biblioteca escolar é ter sempre presente o acrónimo RACER.
O indicador RACER pode ser definido da seguinte forma. Ele é:

• Relevante - Intimamente ligado ao objetivo a ser alcançado. Não deve ser demasiado ambicioso e medir o objeto certo.
• Aceitável - A definição do indicador e a forma como é medido deve ser acordado por todos os parceiros e as responsabilidades devem ser claramente atribuídas.
• Credível: Não deverá ser ambíguo e deve ser verificável, também para observadores externos.
• Fácil (Easy) - A recolha de dados deve ser fácil e não onerosa. As informações fornecidas pelo indicador devem ser facilmente compreensíveis.
• Robusto - O valor do indicador não deve ser fácil de manipular.

Indicam-se, a título de exemplo, alguns possíveis indicadores (lembre-se do acrónimo RACER e da sua ligação ao objetivo a ser alcançado): 

• Quantitativos: número de participantes em eventos, reuniões, atividades etc.   
• Qualitativos: Nível de satisfação dos participantes,…

6 – Comunicar resultados para quê?

Chegados aqui, importa refletir um pouco sobre o que fazer aos resultados e dados recolhidos na avaliação, periódica, da presença em linha da Biblioteca Escolar.

Em primeiro lugar e como já tivemos oportunidade de expor ao longo deste artigo, os resultados e dados recolhidos devem servir para se proceder a uma reflexão que leve à melhoria da presença em linha e destinam-se ao professor bibliotecário e à equipa responsável por essa mesma presença em linha.

Mas, num segundo momento, sabendo que a avaliação demonstra às partes interessadas os benefícios decorrentes do programa e serviços da biblioteca, havendo até resultados concretos e mensuráveis para apresentar, importa implicar e comprometer outros intervenientes no processo de desenho, manutenção e reorientação da presença em linha da biblioteca escolar. Assim os resultados deste processo cíclico de avaliação devem ser apresentados e discutidos no plenário do conselho pedagógico e nos departamentos curriculares, quando necessário, de modo a que todos se sintam recompensados pelo trabalho que desenvolvem ou se impliquem e se comprometam um pouco mais na melhoria trabalho em linha da biblioteca, quer propondo conteúdos, quer usando em contexto de aula, esses mesmos conteúdos ou procedendo à sua divulgação.

Por último, não há melhor defesa do valor das bibliotecas escolares do que desenvolver uma atividade em linha de excelência e saber comunicá-lo eficazmente aos decisores. Neste contexto, importa também preparar devidamente o conteúdo da apresentação ao conselho pedagógico, pois como escrevem os especialistas, “quando não se está à mesa, poderemos fazer parte do menu” e quando se está à mesa importa saber comunicar de forma adequada e credível. 

Referências:

1. AFONSO, C. e ALVAREZ, S. (2020). Ser digital como criar uma presença online marcante. 1ª edição . Alfragide. Casa das letras.
2. Direção‑Geral da Administração e do Emprego Publico. (2013). Estrutura Comum de Avaliação (CAF) Adaptada ao setor da Educação. https://www.caf.dgaep.gov.pt/media/CAF_Educacao_2013-1.pdf
3. GONÇALVES, Maria (2019). Influência. 1ª edição. Lisboa: Penguin Random House;
4. International Federation of Library Associations and Institutions. (2015). Diretrizes da IFLA para a biblioteca escolar. https://www.ifla.org/wp-content/uploads/2019/05/assets/school-libraries-resource-centers/publications/ifla-school-library-guidelines-pt.pdf
5. RAPOSO, M. (2020). Profissão:#influencer. 1ª edição. Lisboa: Manuscrito Editora.
6. Rede Bibliotecas Escolares. (2020). Presença em linha das bibliotecas escolares: roteiro para a definição de uma política http://www.rbe.mec.pt/np4/2561.html
7. Rede de Bibliotecas Escolares. (2018) Modelo de avaliação da biblioteca escolar. https://www.rbe.mec.pt/np4/116.html
8. Imagem de mohamed Hassanpor Pixabay