Нейросеть обучили распознавать птиц по пению даже при наличии фонового шума

В последние годы автономные записывающие устройства (Autonomous recording unit или ARU) упростили запись тысяч часов звуков в лесах. Эти данные используют для лучшего понимания работы экосистем, отслеживания поведения животных и птиц, их количества, определения критических мест обитания и т.д. Например, если в лесу много дятлов, то в нем полно сухостоя.

Однако изучение аудиоданных вручную занимает огромное количество времени, а специалисты по пению птиц встречаются не часто. Помочь в этом может искусственный интеллект. Занимающееся ИИ подразделение Google представило нейросеть, способную быстро и с высокой точностью классифицировать пернатых по пению.

Аудиоклассификация видов птиц на основе машинного обучения (ML) оказалась сложной: птицы часто поют вместе, нет четких записей голосов отдельных птиц, на которых можно было бы обучить нейросеть, ИИ часто не слышат голоса распространенных видов, так как обучены искать более редкие и т.д.

Поэтому исследователи разработали новый неконтролируемый метод, называемый смешанным инвариантным обучением разделения звуков на аудиозаписях (MixIT). Исходный код есть на GitHub.

MixIT может разделять одноканальные записи на несколько отдельных дорожек с трелями птиц, а также различает фоновый шум. Для этого нейросети «скормили» записи с ARU пения птиц из Xeno-Canto и Macaulay Library. Затем доработали алгоритм распознавания трелей EfficientNet. Исследователи разделили звук на пятисекундные сегменты, а затем создали мел-спектрограммуСпектрограмма, где частота выражена не в Гц, а в мелах.  каждого сегмента. Классификатор EfficientNet идентифицировал виды птиц по изображениям мел-спектрограммы, обучаясь на аудиозаписях из Xeno-Canto и Macaulay Library.

«Мы подготовили два отдельных