LinuxでUSBカメラ映像をストリーミングかつ録画する

 USBカメラの映像をネットワーク越しにストリーミング視聴できるようにしつつ、24時間録画する方法についてメモ。GStreamerを使用した。

ハードウェア

  • Raspberry Pi 3
  • Logitech C920（H264エンコーダ付き)

ストリーミング方法

検討したプロトコルが以下の4つ。
  • HLS
  • DASH
  • RTMP
  • RTSP
前者2つはHTTPベースなので扱いが楽。ただしレイテンシが数十秒レベルとだいぶ長め。

RTMPはFlashでよく使われていたプロトコル。まぁ新しく使う理由はあまりない。GStreamerにデフォルトでプラグインがあるので、別のサーバに映像を送るのに使えるかもしれない。例えば、NGINXのRTMPモジュールで受けて、HLSで再送するなど。レイテンシ低い。

RTSPはよくIPカメラとかで使われているイメージ。レイテンシ低くて良い。ただしGStreamerから使うのはすこし面倒。

今回はHLSを使うことにした。GStreamerにデフォルトでプラグインがあるので楽だったので。

録画先

NASをCIFSマウントしてそこにMP4ファイルを書き込むことにした。SDカードに直接書き込むのは寿命の観点から避ける。

同様に、HLSの書き込み先もSDカードは避け、メモリ上にした。
 mount -t tmpfs -o size=100M /mnt/tmp

USBカメラの接続

Raspberry pi上にはUbuntu Serverをインストールした。ドライバは標準で含まれているので、カメラを接続するだけで認識された。

以下はカメラの確認のための手順。

  1. dmesgコマンドでカメラが認識されたことの確認
  2. lsusbコマンドで同様の確認
  3. ls /dev/video*でデバイスファイルが存在することの確認
  4. ファイルパーミッションの設定。今回は自ユーザをvideoグループに追加した。audioグループにも入れておくと良い。
  5. v4l2-ctl --allでカメラ情報の確認。APTでv4l2-toolsをインストールすること。
  6. v4l2-ctl --info --list-formatsで対応フォーマットの確認。
なお、C920は2020年頃からH264のサポートを辞めたそうなので注意。もしH264がサポートされていない場合、Raspberry pi上でのエンコードが必要となる。どのくらいの速度がでるのかは試していないので不明。

次にマイクの確認
sudo apt install alsa-utils
sudo arecord -l

GStreamerのセットアップ

基本的にすべてAPTでインストールできる。
sudo apt install gstreamer1.0-tools gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-alsa
使ったコマンドは
 gst-launch-1.0 -e v4l2src device=/dev/video0 ! video/x-h264,framerate=15/1 ! tee name=v ! queue ! h264parse ! mux.video_0 alsasrc device="default:CARD=C920" ! voaacenc ! aacparse ! queue ! tee name=a ! mux.audio_0 mp4mux name=mux ! filesink location=/mnt/videos/`date +%y%m%d%H%M`.mp4 buffer-size=1000000 v. ! queue ! h264parse ! mpegtsmux ! hlssink location=/mnt/tmp/segment%05d.ts playlist-location=/mnt/tmp/playlist.m3u8 max-files=5 playlist-length=2 playlist-root="http://192.168.0.40/" target-duration=2

コマンドの詳細は公式ドキュメントを参照してほしい。

躓いたポイント

暗い環境下でのC920の動作

30FPSを指定していても、暗い環境では15FPSに自動的に下がるらしい。結果として音声とタイミングが合わなくなり、以下のエラーが出る。
WARNING: Can't record audio fast enough
Dropped *** samples. This is most likely because downstream can't keep up and is consuming samples too slowly.
いろいろ設定を試したが、この動作を無効にすることはできなかった。最終的に常に15FPSで録画することで回避した。

ファイル名に時間を付けて分割保存

Splitmuxsinkを使えば一定時間あるいはサイズごとに映像をファイルに分割して保存できるらしい。ただし、gst-launchコマンドからは連番での保存でしかできない。

あまり時間を使いたくなかったので、シェルスクリプトで一定時間ごとにgst-launchコマンドを叩き直すことにして回避した。きちんと対処するならばCでプログラムを書く必要がありそう。

Comments

Post a Comment

Popular posts from this blog

WSL2上でSSH経由のSOCKSプロキシを作りWindowsから使う

Image
少し難しかったのでメモ。（主にWindowsのUIが） ゴール Windows上のブラウザから、他のサーバー経由でWebにアクセスする。例えば特定のIPアドレスからの接続を許可しているような場合に有効。 VPNやHTTPプロキシを使用しても同じようなゴールを達成できるが、今回はSSHクライアントで標準にサポートされているSOCKSプロキシを使う。プロキシとなるサーバに特別な設定が不要なので簡単。 WSL2上での操作 "-D" オプションを使いながらSSH接続する。 ssh <hostname> -D 1080 これだけで指定したポートでSOCKSプロキシを使うことができる。 試しに使ってみるには、例えば curl --socks5-hostname localhost:1080 www.google.com -vv ここまでは簡単。 Windows上での操作 難しいのがSOCKSプロキシを使うためのWindowsの設定。Settings->Network & Internet->Proxy 結論から言うと、Proxy serverのアドレスとして"socks=localhost"と入力するとよい。 この書き方はStack overflowのどこかで見かけた。動くとも思ってなかったので元URLのメモもしていなかった。このような書き方に関する公式ドキュメントはどこかにはあるのだろうが、自分はまだ見つけられていない。 なお、一度Saveして設定を閉じ、また同じ設定を開くと、アドレスが以下のように変化する。 しかし、このままSaveすると動作しないので、毎回手動で書き直すことが必要となる。 設定後、ブラウザを普通に起動しWebページにアクセスすると、自動的にSSH経由のSOCKSが使われる。
Read more

Raspberry pi 4とUbuntu Server 20.04 64bitでRaspberry pi cameraを使う

過去には少し面倒な手順が必要だったようだが、現在では簡単。ファームウェアの更新も必要ない。 セットアップ手順 通常通りRaspberry piを起動後、/boot/firmware/config.txtを編集。以下の2行を[all]セクションに追加して再起動。 start_x=1 gpu_mem=128 start_xはカメラドライバ入りファームウェアをロードするための設定。正しく設定できれば、dmesgでstart_xファームウェアがロードされたことを確認できる。 [    0.052141] raspberrypi-firmware soc:firmware: Attached to firmware from 2021-01-08 14:32, variant start_x gpu_memはカメラの動作に必要なメモリの設定。デフォルトでは70M程度が確保されるらしいが、それでは不足らしい。上の例では128MBを確保している。 最初はconfig.txt内のコメント通りにusercfg.txtを編集して試したが、なぜかうまくいかなかった。原因は調べていないが、とりあえずconfig.txtの編集で問題なく動いている。 これらのオプションの詳細については、以下の公式ドキュメントを参照。 https://www.raspberrypi.org/documentation/configuration/config-txt/boot.md その他注意点 大きすぎる解像度でのキャプチャをリクエストすると、以下のようなエラーがでてフリーズする。 Message from syslogd@ubuntu at Mar 30 03:18:03 ...  kernel:[ 9504.087329] watchdog: BUG: soft lockup - CPU#2 stuck for 22s! [sshd:2699] 解像度を低くするか、もしかしたらメモリ容量を増やすと改善するかもしれない。詳しくは調べていない。
Read more