A multiple detection state occupancy model using autonomous recordings facilitates correction of false positive and false negative observation errors
L'emploi d'un modèle d'occupation à états multi-détections utilisant des enregistrements autonomes facilite la correction d'erreurs d'observations liées aux faux positifs et aux faux négatifs

Robert S. Rempel, Ontario Ministry of Natural Resources and Forestry, Centre for Northern Forest Ecosystem Research
Janet M. Jackson, Ontario Ministry of Natural Resources and Forestry, Centre for Northern Forest Ecosystem Research
Steven L. Van Wilgenburg, Environment and Climate Change Canada, Canadian Wildlife Service
Jennifer A. Rodgers, Ontario Ministry of Natural Resources and Forestry, Centre for Northern Forest Ecosystem Research

DOI: http://dx.doi.org/10.5751/ACE-01374-140201

Full Text: HTML   
Download Citation


Abstract

Bird surveys have relied upon acoustic cues for species identification for decades; however, errors in detection and identification can lead to misclassification of the site occupancy state. Although significant improvements have been made to correct for false negative (FN) error, less work has been done on identifying and modeling false positive (FP) error. In our online survey we found misidentification can occur even among highly skilled observers, thus methods are required to correct for FP error. In this study we model both FP and FN error in bird surveys using a multiple detection state model (MDSM), and found that modeling both types of error lowered occupancy (ψ) relative to the FN only models in 84% of the observation data sets, and this suggests significant bias in ψ can occur in studies that do not correct for both FN and FP error. In our autonomous recording units (ARU) data we had two detection states, “confirmed” and “unconfirmed,” where confirmation was based on agreement of two interpreters, and through simulation evaluated performance of the MDSM using this type of ARU data. We found that MDSM can effectively correct for both FN and FP error across a broad of range of survey observation rates and detection rates (d) and is appropriate for data using “confirmed detections.” We developed a binary classification model to assign risk of bias to field observation sets based on survey and model parameters, and found that lower risk of bias cannot be predicted by a single variable or value, but rather occurs under certain combinations of low naïve occupancy rate (< ~0.2), detection rate (< ~0.2), number of confirmed recordings (< ~20) and high FP rate (> ~0.07). Our approach to interpreting ARU data along with our analysis guidelines should help reduce potential inflation of ψ resulting from FP error.

Résumé

La détection de vocalisations pour identifier les espèces est intrinsèque aux relevés d'oiseaux depuis des décennies; toutefois, les erreurs de détection et d'identification peuvent mener à des erreurs quant à l'occupation d'un site. Bien que d'importantes améliorations ont été proposées pour corriger les erreurs liées aux faux négatifs (FN), moins de travaux ont porté sur la détermination et la modulation des erreurs liées aux faux positifs (FP). Dans notre enquête en ligne, nous avons constaté que les mauvaises identifications peuvent même être le fait d'observateurs chevronnés, de sorte qu'il est nécessaire d'élaborer des méthodes pour corriger les erreurs liées aux FP. Dans la présente étude, nous avons modélisé les erreurs liées aux FP et aux FN de relevés d'oiseaux au moyen d'un modèle à états multi-détections (MEMD). Nous avons trouvé que la modélisation des deux types d'erreurs diminuait le taux d'occupation (ψ) comparativement aux modèles ne tenant compte que des FN dans 84 % des jeux de données d'observations, ce qui indique que ψ peut comporter un biais important dans le cas d'études ne corrigeant pas les deux types d'erreurs. Nos données tirées d'enregistreurs autonomes (EA) présentaient deux états de détection, « confirmé » et « non-confirmé »; la confirmation reposait sur l'accord de deux interprètes et la simulation de performance du MEMD utilisant ce type de données issues d'EA. Nous avons constaté que le MEMD peut corriger correctement les erreurs liées aux FN et aux FP dans une grande étendue de taux d'observation et de taux de détection (d), et est approprié pour les données présentant des « détections confirmées ». Nous avons élaboré un modèle de classification binaire assignant le risque de biais de jeux d'observations fondé sur les paramètres de relevé et de modèle, et avons trouvé qu'un faible risque de biais ne peut pas être prédit par une seule variable ou valeur, mais se présente plutôt sous certaines combinaisons faiblement naïves du taux d'occupation (< ~0,2), du taux de détection (< ~0,2), du nombre de mentions confirmées (< ~20) et du taux élevé de FP (> ~0,07). Notre approche d'interprétation de données d'EA couplée à nos recommandations d'analyse devraient contribuer à réduire l'inflation possible de ψ résultant d'erreurs liées aux FP.

Key words

ARU; false negative; false positive; misclassification; occupancy modeling; songbird survey; survey design

Copyright © 2019 by the author(s). Published here under license by The Resilience Alliance. This article  is under a Creative Commons Attribution-NonCommercial 4.0 International License.  You may share and adapt the work for noncommercial purposes provided the original author and source are credited, you indicate whether any changes were made, and you include a link to the license.

Avian Conservation and Ecology ISSN: 1712-6568