22 KiB

Raw Permalink Blame History Unescape Escape

画像をキャプチャする - Wio Terminal

このレッスンでは、Wio Terminalにカメラを追加し、画像をキャプチャします。

ハードウェア

Wio Terminalにはカメラが必要です。

使用するカメラはArduCam Mini 2MP Plusです。このカメラはOV2640イメージセンサーをベースにした2メガピクセルのカメラで、SPIインターフェースを介して画像をキャプチャし、I2Cを使用してセンサーを設定します。

カメラを接続する

ArduCamにはGroveソケットがありません。その代わり、GPIOピンを介してSPIとI2Cバスに接続します。

タスク - カメラを接続する

カメラを接続します。

ArduCamの底部のピンをWio TerminalのGPIOピンに接続する必要があります。正しいピンを見つけやすくするために、Wio Terminalに付属しているGPIOピンステッカーをピンの周りに貼り付けます：

ジャンパーワイヤーを使用して、以下の接続を行います：

ArduCAMピン	Wio Terminalピン	説明
CS	24 (SPI_CS)	SPIチップセレクト
MOSI	19 (SPI_MOSI)	SPIコントローラー出力、ペリフェラル入力
MISO	21 (SPI_MISO)	SPIコントローラー入力、ペリフェラル出力
SCK	23 (SPI_SCLK)	SPIシリアルクロック
GND	6 (GND)	グラウンド - 0V
VCC	4 (5V)	5V電源供給
SDA	3 (I2C1_SDA)	I2Cシリアルデータ
SCL	5 (I2C1_SCL)	I2Cシリアルクロック

GNDとVCCの接続はArduCamに5Vの電源を供給します。ArduCamは5Vで動作しますが、Groveセンサーは3Vで動作します。この電源はデバイスを供給するUSB-C接続から直接供給されます。

💁 SPI接続では、ArduCamのピンラベルとコードで使用されるWio Terminalのピン名は古い命名規則を使用しています。このレッスンでは新しい命名規則を使用しますが、コード内でピン名を使用する場合は例外です。

Wio Terminalをコンピュータに接続できます。

デバイスをプログラムしてカメラに接続する

Wio Terminalをプログラムして、接続されたArduCAMカメラを使用できるようにします。

タスク - デバイスをプログラムしてカメラに接続する

PlatformIOを使用して新しいWio Terminalプロジェクトを作成します。このプロジェクトをfruit-quality-detectorと名付け、setup関数にシリアルポートを設定するコードを追加します。
WiFiに接続するコードを追加し、WiFiの認証情報をconfig.hというファイルに保存します。必要なライブラリをplatformio.iniファイルに追加するのを忘れないでください。
ArduCamライブラリはArduinoライブラリとしてplatformio.iniファイルからインストールできません。代わりに、GitHubページからソースコードをインストールする必要があります。以下の方法で取得できます：
- https://github.com/ArduCAM/Arduino.gitからリポジトリをクローンする
- GitHubのリポジトリページgithub.com/ArduCAM/Arduinoにアクセスし、Codeボタンからコードをzip形式でダウンロードする
このコードからArduCAMフォルダのみが必要です。このフォルダ全体をプロジェクトのlibフォルダにコピーします。

⚠️ フォルダ全体をコピーする必要があります。コードはlib/ArduCamに配置されるようにしてください。ArduCamフォルダの内容だけをlibフォルダにコピーするのではなく、フォルダ全体をコピーしてください。
ArduCamライブラリコードは複数の種類のカメラに対応しています。使用するカメラの種類はコンパイラフラグを使用して設定します。これにより、使用しないカメラのコードを削除してライブラリをできるだけ小さく保つことができます。OV2640カメラ用にライブラリを設定するには、以下をplatformio.iniファイルの末尾に追加します：
```
build_flags =
    -DARDUCAM_SHIELD_V2
    -DOV2640_CAM
```
これにより、2つのコンパイラフラグが設定されます：
- ARDUCAM_SHIELD_V2 - ライブラリにカメラがArduinoボード（シールド）上にあることを伝えます。
- OV2640_CAM - ライブラリにOV2640カメラ用のコードのみを含めるよう指示します。

srcフォルダにcamera.hというヘッダーファイルを追加します。このファイルにはカメラと通信するコードが含まれます。このファイルに以下のコードを追加します：

#pragma once

#include <ArduCAM.h>
#include <Wire.h>

class Camera
{
public:
    Camera(int format, int image_size) : _arducam(OV2640, PIN_SPI_SS)
    {
        _format = format;
        _image_size = image_size;
    }

    bool init()
    {
        // Reset the CPLD
        _arducam.write_reg(0x07, 0x80);
        delay(100);

        _arducam.write_reg(0x07, 0x00);
        delay(100);

        // Check if the ArduCAM SPI bus is OK
        _arducam.write_reg(ARDUCHIP_TEST1, 0x55);
        if (_arducam.read_reg(ARDUCHIP_TEST1) != 0x55)
        {
            return false;
        }

        // Change MCU mode
        _arducam.set_mode(MCU2LCD_MODE);

        uint8_t vid, pid;

        // Check if the camera module type is OV2640
        _arducam.wrSensorReg8_8(0xff, 0x01);
        _arducam.rdSensorReg8_8(OV2640_CHIPID_HIGH, &vid);
        _arducam.rdSensorReg8_8(OV2640_CHIPID_LOW, &pid);
        if ((vid != 0x26) && ((pid != 0x41) || (pid != 0x42)))
        {
            return false;
        }

        _arducam.set_format(_format);
        _arducam.InitCAM();
        _arducam.OV2640_set_JPEG_size(_image_size);
        _arducam.OV2640_set_Light_Mode(Auto);
        _arducam.OV2640_set_Special_effects(Normal);
        delay(1000);

        return true;
    }

    void startCapture()
    {
        _arducam.flush_fifo();
        _arducam.clear_fifo_flag();
        _arducam.start_capture();
    }

    bool captureReady()
    {
        return _arducam.get_bit(ARDUCHIP_TRIG, CAP_DONE_MASK);
    }

    bool readImageToBuffer(byte **buffer, uint32_t &buffer_length)
    {
        if (!captureReady()) return false;

        // Get the image file length
        uint32_t length = _arducam.read_fifo_length();
        buffer_length = length;

        if (length >= MAX_FIFO_SIZE)
        {
            return false;
        }
        if (length == 0)
        {
            return false;
        }

        // create the buffer
        byte *buf = new byte[length];

        uint8_t temp = 0, temp_last = 0;
        int i = 0;
        uint32_t buffer_pos = 0;
        bool is_header = false;

        _arducam.CS_LOW();
        _arducam.set_fifo_burst();

        while (length--)
        {
            temp_last = temp;
            temp = SPI.transfer(0x00);
            //Read JPEG data from FIFO
            if ((temp == 0xD9) && (temp_last == 0xFF)) //If find the end ,break while,
            {
                buf[buffer_pos] = temp;

                buffer_pos++;
                i++;

                _arducam.CS_HIGH();
            }
            if (is_header == true)
            {
                //Write image data to buffer if not full
                if (i < 256)
                {
                    buf[buffer_pos] = temp;
                    buffer_pos++;
                    i++;
                }
                else
                {
                    _arducam.CS_HIGH();

                    i = 0;
                    buf[buffer_pos] = temp;

                    buffer_pos++;
                    i++;

                    _arducam.CS_LOW();
                    _arducam.set_fifo_burst();
                }
            }
            else if ((temp == 0xD8) & (temp_last == 0xFF))
            {
                is_header = true;

                buf[buffer_pos] = temp_last;
                buffer_pos++;
                i++;

                buf[buffer_pos] = temp;
                buffer_pos++;
                i++;
            }
        }

        _arducam.clear_fifo_flag();

        _arducam.set_format(_format);
        _arducam.InitCAM();
        _arducam.OV2640_set_JPEG_size(_image_size);

        // return the buffer
        *buffer = buf;
    }

private:
    ArduCAM _arducam;
    int _format;
    int _image_size;
};

これはArduCamライブラリを使用してカメラを設定し、必要に応じてSPIバスを介して画像を抽出する低レベルコードです。このコードはArduCamに特化しているため、現時点ではその動作について心配する必要はありません。

main.cppで、他のincludeステートメントの下にこの新しいファイルを含めるコードを追加し、カメラクラスのインスタンスを作成します：
```
#include "camera.h"

Camera camera = Camera(JPEG, OV2640_640x480);
```
これにより、JPEG形式で640x480の解像度で画像を保存するCameraが作成されます。より高い解像度（最大3280x2464）もサポートされていますが、画像分類器ははるかに小さい画像（227x227）で動作するため、より大きな画像をキャプチャして送信する必要はありません。
以下のコードを追加してカメラをセットアップする関数を定義します：
```
void setupCamera()
{
    pinMode(PIN_SPI_SS, OUTPUT);
    digitalWrite(PIN_SPI_SS, HIGH);

    Wire.begin();
    SPI.begin();

    if (!camera.init())
    {
        Serial.println("Error setting up the camera!");
    }
}
```
このsetupCamera関数は、SPIチップセレクトピン（PIN_SPI_SS）を高に設定してWio TerminalをSPIコントローラーとして構成することから始まります。その後、I2CとSPIバスを開始します。最後に、カメラクラスを初期化してカメラセンサーの設定を構成し、すべてが正しく配線されていることを確認します。
この関数をsetup関数の最後で呼び出します：
```
setupCamera();
```
このコードをビルドしてアップロードし、シリアルモニターの出力を確認します。Error setting up the camera!というメッセージが表示された場合は、ArduCamのすべてのケーブルが正しいピンに接続されていること、ジャンパーケーブルが正しく接続されていることを確認してください。