Practice: HARKBird（野鳥のコミュニケーションの観測）
HARKBird チュートリアル
HARKBird はHARK講習会の受講生であった鈴木麗璽先生によって開発されました。
野鳥のコミュニケーションだけでなくサルのコミュニケーションの研究にも活用されています。
「複雑系」としての歌う鳥の集団の理解
- 鳥類（鳴禽類）の鳴き声
- 歌：繁殖期における異性に対するアピールや縄張りの主張
- 地鳴き：警戒，社会的結合等の明示的な役割
- 例：時間的重複回避：近隣の個体同士で同時に歌うのを回避
[Cody and Brown 1969, Suzuki and Cody 2015, Suzuki et al. 2017]
- 屋外フィールドで、シジュウカラ（Coal Tit），キビタキ（Narcissus Flycatcher），オオルリ（Blue-and-White Flycatcher） が鳴くタイミングを聞き分け、
時間グラフを求め、鳴かない時間、単独で鳴く時間、鳴き声が重複する時間を求める。
- 単独で鳴く時間はチャンスレートよりも高いことがわかる。
- 実際、有効移動エントロピーを求めると、オオルリは多種を気にしないが、キビタキは気にすることがグラフから読み取れる。
- 問題：観測コスト・定量化の難しさ
- いつどこで誰が鳴いたかを詳細に把握する必要
- 単一マイクでの録音・人間による観測の限界
生態音響学（Ecoacoustics）
- 音に注目した生態・社会環境の理解と応用
[Farina and Gage 2017]
- 様々な時間・空間スケールにおける自然音と人工音，その相互作用，それを取り囲む環境との関係
- 音の役割
- 生物の相互作用理解のための分析対象
- 環境の質を計測するためのてがかり（アセスメント）
「野鳥は環境のバロメーター」
- ARU（autonomous recording unit）の普及による長期自動観測への期待
マイクアレイの応用も検討されてはいるが実応用は限定的であった
HARKBird の開発
HARKBirdを用いた音源定位・分析
- フィールドにおいてPCと市販のマイクロホンアレイを用いて録音し，HARKを利用して簡易な音源定位・分離分析を行うために必要な機能を備えることを目指して開発
[Suzuki et al. 2017, Sumitani et al. 2019]
- 機能： 録音・再生・分割，音源定位，音源分離，可視化，アノテーション
- 手法： 短時間フーリエ変換によって得た各チャネルのスペクトログラムからMUSIC（Multiple Signal Classification）法を用いて音源定位を行い，その定位結果をもとにGHDSS（Geometric High order Decorrelation based Source Separation）法を用いて各音源方向に対応した音源を分離
HARKBird の活用例
- スピーカから再生されるライバルの鳴き声に対するウグイスの反応（鳴き声の方向分布）の定量的抽出
[Suzuki et al. 2018]
- 2種類の鳴き声
- H型（高い歌）： 縄張り宣言・求愛
- L型（低い歌）： 他個体への警戒
- 実験結果
- プレイバックなし： ２種の歌を一定一で歌う傾向
- プレイバックあり： 一つの知見：L型（警戒）を主に歌い、頻繁に移動
- より攻撃的な条件にすると、より攻撃的な反応が返る
Reiji Suzuki, Shinji Sumitani, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno: Field observations of ecoacoustic dynamics of a Japanese bush warbler using an open-source software for robot audition HARK, Journal of Ecoacoustics, 2: #EYAJ46 (11 pages) (2018/06).
HARKBird 4.0
最近の進展
- HARKがWindows上のWSL2で動作可能になり、HARKBirdもWSL2上で動作
録音のみ調整中
- 2つのマイクアレイによる同時録音からの2次元定位
- tkinterでのGUI実装
HARKBirdNode：野外録音用ノードの制作
- Raspberry Pi4，USBマイクアレイ（TAMAGO; システムインフロンティア社），モバイルバッテリを用いた野外録音ノードを制作・試用中
- インターフェース
- スマートフォンやPCとWiFiで接続
- USBメモリへのファイル保存
- 機能
- マイクアレイ録音
- ファイル一覧・ダウンロード
- 音コンパス（リアルタイムMUSICスペクトル表示）
うｎ
- システム設定（スマートフォンとの時刻同期など）
HARKBirdを使ってみよう
HARKBird の起動
- インストール （VMWareのHARKにはインストール済み）
harkbird.zipを名古屋大学からダウンロード
https://sites.google.com/view/alcore-suzuki/home/harkbird
zipを任意の場所で展開
install.batをクリックして実行
起動
スタートアップ画面
使い方 １： ワーキングホルダ（WF）
- 操作・生成するファイルやフォルダの場所を指定
loadボタンを押して，/home/hark/hb_tutorial_2024/recordings/ を選択***.wavファイルが見えるはず
example_jbwa.pbh12.wav: 名大演習林での実験で録音したファイルの一部example_mic*.wav: ホシワキアカトウヒチョウの鳴き声のプレイバック実験の一部（マイク2つ）
使い方 ２： Recording タブ
- PCに接続したマイクアレイで録音
- デバイスID（
plughw:1,0）の設定を確認
- ファイル名＋自動日時付加
- デバイス名とマイクチャネル数
- コンソールウィンドウを閉じて録音停止
- WFに保存
使い方 ３： Play タブ
- WF内の録音ファイルを再生
- WFからファイルを選択し，Playボタンを押すと，ウィンドウが出て再生開始
- 停止はコンソールウィンドウごと閉じる
- 録音ファイルの編集
Volume change：音量（dB）の増減Cut：開始時刻（秒）と期間（秒）を指定して切りだし- 実行後は
loadボタンでWFを再読み込み 
練習 １： HARKBird 4.0 を使う
- 手元のTAMAGOで録音し，日付のついたファイル名の音声ファイルを作成する．これを再生してみる．
- （次の内容に向けて）
example_jbwa.pbh12.wav を35db音量を上げ，聴いてみる．
使い方 ４： Localize タブ
- HARKを用いて音源定位
- WF内の録音を選択しLocalizeボタンを押す
- タブ内で定位パラメータを設定可能
- 設定のファイルの読み込み（
Load）
- ファイル保存（
Save as）
- デフォルト値設定（
Save as default）
- 音源定位実施中ウィンドウで定位状況が表示
- WF内に“localized_ファイル名”というフォルダが生成
- 音源定位関連ファイルが生成
- 定位結果CSVファイル，分離音, ネットワーク，パラメータetc.
使い方 ５： Annotate タブ (1)
- 定位結果の可視化とアノテーション
- WF内の定位結果フォルダを選択
- タブ内の
data frame リストから定位結果ファイルを選択
- デフォルトの分離音のデータである
df_separated.csv を選択
Annotate ボタンを押す
- アノテーション用ウィンドウが開く
- グラフウィンドウ：定位結果の表示
- 定位音源：矩形で定位開始方位・時刻と定位期間を表示
- クリックで選択，ドラッグで移動，端をドラッグで開始・終了期間調整
- コントロールウィンドウが開く
Source info: クリックで選択した音源の情報表示・再生，改変Source edit: 選択音源の編集- クラス番号ボタン：選択音源の分類クラス番号を設定（初期値0）
Classify with a click チェックボックス： ONで音源クリック時にクラス番号（チェックボックス左）を割り当て- 新規音源追加，選択音源削除，info上で書き換えた音源情報に更新
View control：表示範囲・倍率を変えて結果を確認 
File： 結果をファイルに保存- Color Scale Options： スペクトログラム・MUSICスペクトルのカラースケールの最大・最小を自動・手動で設定
練習 ２： 鳴き声の分類を行う
hb_tutorial_2024フォルダの df_separated_annotated.csv を localized… フォルダにコピー- 定位結果ファイルに指定してアノテーションツールを起動
- 次の結果と表示が得られる。
使い方 ５： Annotate タブ (2)
Classify ボタンで UMAP（次元圧縮）と HDBSCAN（クラスタリング）を使った簡易半自動分類
マイク２つを使った２次元定位機能
pip install pyproj
入力：
- 2か所で同時に行った録音ファイルの定位・アノテーション結果
- マイク位置（緯度経度/XY座標（m））
- 磁北偏差情報
出力結果
- クラス0以外の音源に関して，各マイクで定位時刻が重複しかつクラスが同じ音源情報で三点測量の要領で定位
- マイクの中点を中心とした分布が出力される
練習 ３： プレイバック音の二次元定位
ホシワキアカトウヒチョウの録音で2次元定位する
example_mic1.wav，example_mic2.wav をそれぞれ音源定位THRESH=27，あとはデフォルト設定で
- それぞれの定位結果をアノテーションツールでプレイバック音のみを
1 にラベル付け
Save as ボタンで df_separated_annotated_1.csv として各定位結果フォルダに保存- （設定済）2DLocalizeタブ上で，
Loadボタンを押して for_2d_spto.jsonを選択し，設定を読み込む
カリフォルニアでの録音のマイク位置や磁北偏差の情報
Localize2D を実行recordingsフォルダにoutdir が作成され，結果のPDFなどが出力
positions.csv： 各音源について定位時間の重複があり三点測量できたすべての位置情報positions.pdf： ：そのうちマイク1に関してクラス0（デフォルト）に分類されている音源を除く位置情報をマイク間の中点を中心にしてプロット
自然： AI技術で歌う鳥の相互作用を理解
生成AIの社会への浸透
- その先にある生態への影響
- 生成AIを介した人工システムと実生態の相互の影響の理解の必要性・応用の可能性
- “Vocal Interactivity in-and-between Humans, Animals, and Robots” [Roger et al., 2016]
- “AI and the Doctor Dolittle challenge” [Yovel and O. Rechavi 2023]
- 実生態と同等の質や複雑さを表現可能なエージェントベースモデルをつくりたい
- 新奇でリアルな生成音を利用して人工システムと実生態のギャップを埋める
生成AIによる仮想鳥類音声の進化過程や野外鳥類の生態に与える影響の理解
- リアルな鳥の鳴き声を進化させたい
- 仮想の鳥の鳴き声をリアルな鳥はどう受け止めるか
- 鈴木麗璽: ロボット聴覚に基づくマルチスケール野外鳥類観測とこれから, 第64回AIチャレンジ研究会予稿集 (SIG-Challenge-064-10), pp. 24-31 (2024/03/27).
- Reiji Suzuki, Zachary Harlow, Kazuhiro Nakadai and Takaya Arita Toward integrating evolutionary models and field experiments on avian vocalization using trait representations based on generative models, Proceedings of 4th International Workshop on Vocal Interactivity in-and-between Humans, Animals and Robots, pp. 69-73 (2024/09/10).
ホシワキアカトウヒチョウ（Spotted Towhee (Pipilo maculatus)）の歌の生成モデル
- 約1000個のホシワキアカトウヒチョウの歌をフィールド録音から抽出
Blue Oak Ranch Reserve, UC Berkeley, May 2022
変分オートエンコーダ (Variational Auto Encoder) によるスペクトログラム画像を2次元に圧縮・展開
生成音の傾向
- 原点を中心に明瞭に再構成
- いくつかの種類のオリジナル歌の特徴を反映
生成音の明瞭さが野生個体に与える影響
- 再構成の明瞭さが異なる3種の生成音を，複数の野生個体のなわばり付近においてプレイバック
- HARKBirdとマイクアレイ2個を用いて個体の鳴き返し歌の位置を定位
- 明瞭な歌 (0, 0)： 近傍の複数個体の鳴き返しを誘引
- 構造の崩れた歌： 一個体がスピーカ付近に接近し動きながら鳴き返し
- ほぼノイズに近い歌 (-20, 0)： 一個体が距離を置いて鳴き返し
⇒ 反応の大きさは再生音の明瞭さに反比例し，ノイズのような生成音でも影響がある可能性を示唆
講習会の目次
以上で講習会は終了です。お疲れ様。
