Évaluations d'OPAH, OPAH-RU, PIG & Pactes

Les dispositifs territoriaux de l’Anah et l’intérêt de leur évaluation

Le soutien à la rénovation de l’habitat privé — qu’il s’agisse de performance énergétique, d’adaptation au vieillissement ou de sortie de dégradation — s’inscrit à la fois dans les politiques nationales portées par France Rénov’ et dans des dispositifs locaux contractualisés entre des collectivités et l’Agence Nationale de l’Habitat.

Ces dispositifs sont assortis d’objectifs précis, d’enveloppes budgétaires dédiées et d’équipes chargées d’accompagner les propriétaires dans leurs démarches.

Le principe est le suivant : proposer, au sein d’un périmètre donné, des aides financières et techniques aux porteurs de projets, sur la base d’objectifs, de modalités d’animation, dans une durée définie. Le tout contractualisé entre une collectivité, l’Anah et d’autres financeurs (communes ou EPCI, Conseil départemental, Banque des territoires, CAF, etc.).

Dans le suivi courant de ces opérations, les indicateurs de référence sont le nombre de logements agréés et les consommations des enveloppes financières des différents financeurs.

Or les conventions d’opération fixent des objectifs bien plus larges : lutte contre le mal-logement, résorption de la vacance, valorisation du patrimoine, constitution d’une offre locative abordable…

L’opérateur de suivi-animation — collectivité maître d’ouvrage ou prestataire dédié — est généralement chargé de produire des indicateurs de suivi et un bilan d’opération.

Les effets d’une opération s’inscrivent cependant dans un temps plus long que celui de la mission de l’opérateur. En effet, à compter de l’accord de subvention, les porteurs de projets disposent de deux ans — voire trois dans certains cas — pour mener à bien leurs travaux. Le bilan définitif d’une opération ne peut ainsi, en toute rigueur, être établi que plusieurs années après sa clôture.

Nombre de collectivités souhaitent néanmoins maintenir une continuité d’action en faveur de la rénovation de l’habitat privé, tout en faisant évoluer leurs dispositifs à la lumière du retour d’expérience.

C’est dans ce contexte que Villes Vivantes intervient auprès de communes, d’EPCI et, parfois, d’établissements publics locaux pour conduire des missions d’évaluation — le plus souvent couplées à la conception d’un nouveau dispositif — notamment lorsque la collectivité souhaite confier cette évaluation à un regard extérieur, indépendant du prestataire de l’opération.

Un enjeu de continuité opérationnelle

Toute opération de soutien à l’amélioration de l’habitat privé génère un flux de contacts avec des porteurs de projets potentiels.

Créer, entretenir et qualifier ce flux tout au long de l’opération représente un investissement considérable en matière de communication et d’accompagnement, pour l’opérateur, la collectivité et leurs partenaires.

Certains projets aboutissent dans le cadre de l’opération, d’autres sont encore en cours à son terme, au bout de 3 ou 5 ans. Pour ne pas compromettre la dynamique engagée, la démarche d’évaluation — qu’elle vise à améliorer, ajuster, réorienter ou reconduire le dispositif — doit s’accompagner d’une réflexion sur la continuité d’accompagnement des porteurs de projets privés :

• Avenant de prolongation du dispositif existant, calé sur la durée de l’évaluation ;
• Arrêt du dispositif et réorientation des porteurs de projets vers un autre interlocuteur ;
• Prise en charge temporaire de l’accompagnement par la collectivité elle-même ou par un prestataire mandaté à cet effet…

Au-delà des consommations financières et du nombre de projets agréés : comment et pourquoi les évaluations vont-elles au-delà de ces deux paramètres ?

Le suivi des engagements ne suffit pas

Les consommations financières et le nombre de logements « agréés » constituent naturellement les premiers indicateurs de suivi et d’évaluation des opérations territoriales d’amélioration de l’habitat. Ils restent néanmoins très insuffisants, pour deux raisons principales :

• Ce suivi est établi sur la base des engagements (dossiers complets ayant obtenu un accord de subvention). Or l’expérience montre, dans tous les territoires, un décalage significatif entre les engagements et le nombre de projets effectivement réalisés, ainsi qu’entre les subventions accordées et les montants réellement payés. Se focaliser sur les engagements peut ainsi donner une image trompeuse du succès réel d’une opération, en concentrant l’attention sur l’amont administratif, alors que la réalisation effective des travaux et la constitution du reste à charge sont les enjeux déterminants pour les ménages. Sur le plan du coût d’ingénierie, les dossiers accompagnés mais restés sans suite sont bien plus pénalisants que des dossiers n’ayant jamais été déposés.
• Ce suivi ne fournit pas, par lui-même, les clés nécessaires pour ajuster l’opération : savoir si les objectifs sont atteints ou non ne suffit pas. La collectivité et ses partenaires doivent pouvoir identifier les leviers d’amélioration, mais aussi mesurer les impacts réels de l’opération sur le territoire, les habitants et le tissu artisanal.

Le taux d’activation annuel : un indicateur de référence

L’atteinte d’un objectif n’a de sens qu’au regard du niveau d’ambition initial : un objectif aisément atteint peut révéler un cadrage trop prudent, tandis qu’un objectif manqué peut refléter des ambitions excessives plutôt qu’un échec opérationnel. Toute évaluation sérieuse doit donc mettre en regard les résultats obtenus et le dimensionnement des objectifs fixés.

Le taux d’activation est calculé en rapportant le nombre de logements agréés par an au nombre total de logements dans le périmètre d’opération. Cet indicateur est systématiquement mobilisé dans les évaluations conduites par Villes Vivantes.

• Pour les objectifs portant sur les logements de propriétaires occupants, le dénominateur est établi à partir des fichiers fiscaux, qui permettent une identification précise à l’échelle infra-communale ;
• Pour les objectifs portant sur les logements locatifs, le dénominateur retenu est la somme des logements locatifs et des logements vacants, également issus des fichiers fiscaux.

Exprimé en base annuelle, ce taux permet de comparer des opérations de durées différentes et conduites dans des territoires de tailles variées, offrant ainsi une base de référence objective et transposable.

Une évaluation qualitative et sur mesure

Au-delà de cet indicateur commun à toutes les évaluations, une part essentielle de la démarche consiste à construire, en dialogue avec la collectivité maîtresse d’ouvrage et ses partenaires, un ensemble de questions propres à leurs attentes vis-à-vis de l’opération. Une fois ce cadre d’évaluation établi, il s’agit de proposer une méthode adaptée pour y répondre. Voici, à titre d’illustration, quelques-unes des questions que les missions d’évaluation sont conçues pour instruire :

• Efficacité de l'opération et atteinte des objectifs
  • Réponse aux besoins initiaux : l'opération répond-elle efficacement aux enjeux du territoire (précarité énergétique, habitat indigne, adaptation, vacance, valorisation du centre ancien, copropriétés fragiles) ?
  • Réalisations opérationnelles : les actions prévues dans la convention ont-elles eu lieu ? Les logements livrés correspondent-ils aux niveaux de qualité attendus ?
  • Adéquation au marché : les loyers conventionnés correspondent-ils à la réalité du marché local et aux revenus des locataires ciblés ?
  • Performance financière : en quoi le financement de la collectivité a-t-il été déterminant ? Quel est l'effet levier (combien d'euros de travaux privés générés pour 1€ d'argent public investi) ?

  

  • • Retombées locales : quelles sont les retombées économiques directes pour les entreprises et artisans du territoire ?
    • Plus-values globales : quels sont les effets mesurables (indicateurs urbains, environnementaux, sociaux) et la synergie avec les autres dispositifs (ORT, ACV, ravalement, permis de louer) ?

    

    • Parcours usager, communication et animation
      • Fluidité pour l'administré : le délai et le montage administratif des dossiers sont-ils adaptés de la première prise de contact jusqu'au paiement des subventions ?
      • Quelle est la part des projets accompagnés demeurés sans suite et quelles sont les raisons de cette absence d’aboutissement ;
      • Visibilité du dispositif : la communication a-t-elle été régulière, ciblée et déterminante pour capter des porteurs de projet intéressants, au-delà des simples effets d’aubaine ?
      • Réseau professionnel : l'écosystème d'artisans a-t-il été mobilisé et animé ?
      • Dynamique partenariale : les engagements de chaque signataire ont-ils été tenus ? Les échanges entre partenaires de l’habitat du territoire (réunions régulières, plateforme de questions/réponses) sont-ils fluides ?
      • Contrôle et suivi : le pilotage des dossiers (collecte, référent dédié) et les contrôles de conformité sur site (par sondage ou supervision) sont-ils opérants ?
      • Mobilisation des outils complexes : quel est le bilan des outils juridiques et fonciers coercitifs ou incitatifs (VIR - Vente d'Immeuble à Rénover, DIIF, BAR - Bail à Réhabilitation, ORI - Opération de Restauration Immobilière) ? Sont-ils opérants, et si non, quels sont les freins ?

      Les sources mobilisées dans le cadre de l’évaluation

      Sept catégories de sources

      Le choix des sources mobilisées dépend des questionnements prioritaires formulés par la collectivité maîtresse d’ouvrage et ses partenaires.

      Sept catégories de sources peuvent être mobilisées :

      • Les données des fichiers fiscaux et des transactions à la parcelle permettent de calculer le taux d’activation annuel, mais aussi de caractériser les modèles économiques de l’opération et d’en mesurer les effets sur la vacance des logements ;
      • Les données du « cube Infocentre » de l’Anah permettent un dénombrement et une cartographie à l’adresse des projets par catégories, ainsi que des montants d’aide et de travaux mobilisés. L’une des spécificités de l’approche retenue est de mettre en perspective, à l’échelle d’un même territoire, les rénovations globales réalisées dans le cadre de l’opération et les rénovations « par geste », dont les circuits de demande d’aide contournent l’échelon local et dont les impacts demeurent généralement ignorés des acteurs locaux.
      • Les données de l’opérateur de suivi animation. La qualité et l’exploitabilité de ces données varient considérablement selon les pratiques de l’équipe de suivi-animation ; certains opérateurs disposent néanmoins d’informations précieuses sur :
        • Les durées de traitement à chaque étape du projet ;
        • La part des projets abandonnés et les motifs d’abandon ;
        • L’évolution des projets entre la demande initiale et le dossier financé ;
        • L’efficacité relative des différents canaux de communication (origine des contacts) ;
        • Le taux de transformation des contacts en dossiers ;
        • Les retombées de l’opération sur l’économie locale de l’artisanat du bâtiment ;
        • Le nombre de projets encore en cours à la clôture de l’opération.
        • sur les paramètres du projet, notamment les financements mobilisés pour couvrir le reste à charge ;
        • sur les effets du projet pour le ménage : confort ressenti, économies réalisées sur les charges ;
        • sur la qualité de la relation avec l’équipe d’accompagnement.

        

        

        • Les entretiens et ateliers avec la collectivité maîtresse d’ouvrage (élus et techniciens) et ses partenaires, qui permettent de recueillir les appréciations qualitatives des acteurs directement impliqués.
        • Des observations de terrain portant sur les effets visibles des rénovations dans l’espace public ;
        • Les résultats d’évaluations conduites sur d’autres territoires, qui fournissent des éléments de comparaison et de mise en perspective indispensables à l’analyse.

        

        Un croisement de sources au service de propositions opérationnelles

        L’évaluation repose sur la combinaison et le croisement de ces différentes sources, afin de répondre aux interrogations de la collectivité maîtresse d’ouvrage et de ses partenaires, mais aussi d’étayer des propositions concrètes :

        • Une recommandation argumentée de reconduction, d’adaptation ou d’arrêt du dispositif évalué ;
        • Des propositions d’ajustements opérationnels en cas de reconduction ;
        • Des propositions de dispositifs alternatifs ou complémentaires, lorsque le contexte local le justifie.