Intel Neural Compute Stick2(NCS2)を使ってラズパイをドーピング　AIマシンとして活用しよう

sudo mkdir -p /opt/intel/openvino
mkdir ~/download
cd ~/download
wget https://storage.openvinotoolkit.org/repositories/openvino/packages/2021.4.2/l_openvino_toolkit_runtime_raspbian_p_2021.4.752.tgz
sudo tar -xf l_openvino_toolkit_runtime_raspbian_p_2021.4.752.tgz --strip 1 -C /opt/intel/openvino
echo "source /opt/intel/openvino/bin/setupvars.sh" >> ~/.bashrc
source /opt/intel/openvino/bin/setupvars.sh
sudo usermod -a -G users "$(whoami)"
sh /opt/intel/openvino/install_dependencies/install_NCS_udev_rules.sh

sudo apt update
sudo apt install -y python3-pip
sudo apt install -y libopencv-dev
sudo apt install -y python3-numpy
pip3 install pillow

cd ~/
wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2021.4/models_bin/3/face-detection-retail-0004/FP16/face-detection-retail-0004.bin
wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2021.4/models_bin/3/face-detection-retail-0004/FP16/face-detection-retail-0004.xml
wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2021.4/models_bin/3/age-gender-recognition-retail-0013/FP16/age-gender-recognition-retail-0013.bin
wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2021.4/models_bin/3/age-gender-recognition-retail-0013/FP16/age-gender-recognition-retail-0013.xml
wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2021.4/models_bin/3/emotions-recognition-retail-0003/FP16/emotions-recognition-retail-0003.bin
wget https://storage.openvinotoolkit.org/repositories/open_model_zoo/2021.4/models_bin/3/emotions-recognition-retail-0003/FP16/emotions-recognition-retail-0003.xml

import cv2
import numpy as np
from PIL import ImageFont, ImageDraw, Image
import argparse
import sys
from openvino.inference_engine import IECore

# 画像読み込み
frame_png =  cv2.imread("frame_main.png", cv2.IMREAD_UNCHANGED)
face_png =   cv2.imread("frame_face.png", cv2.IMREAD_UNCHANGED)
gender_png = cv2.imread("frame_gender.png", cv2.IMREAD_UNCHANGED)

# コマンド引数の設定
parser = argparse.ArgumentParser(description='Object Detection')
parser.add_argument('-i',type=str,help='input JPG file path.(FullPath)',required=True)
parser.add_argument('-o',type=str,help='output JPG file path.(FullPath)',required=True)
args = parser.parse_args()
input_file_path=args.i
output_file_path=args.o

# IEコア初期化
ie = IECore()

# ターゲットデバイスの指定 
devname='MYRIAD'
 
# モデルの読み込み（顔検出） 
net = ie.read_network(model='face-detection-retail-0004.xml',
                    weights='face-detection-retail-0004.bin')
exec_net = ie.load_network(network=net,device_name=devname)
 
# モデルの読み込み（感情分類） 
net_emotion = ie.read_network(model='emotions-recognition-retail-0003.xml', 
                            weights='emotions-recognition-retail-0003.bin')
exec_net_emotion = ie.load_network(network=net_emotion,device_name=devname)
 
# モデルの読み込み（年齢・性別）
net_gender = ie.read_network(model='age-gender-recognition-retail-0013.xml',
                           weights='age-gender-recognition-retail-0013.bin')
exec_net_gender = ie.load_network(network=net_gender,device_name=devname)


### 半透明画像を合成する関数 ###
def overlayImage(src, overlay, location):
    overlay_height, overlay_width = overlay.shape[:2]

    # 背景をPIL形式に変換
    src = cv2.cvtColor(src, cv2.COLOR_BGR2RGB)
    pil_src = Image.fromarray(src)
    pil_src = pil_src.convert('RGBA')

    # オーバーレイをPIL形式に変換
    overlay = cv2.cvtColor(overlay, cv2.COLOR_BGRA2RGBA)
    pil_overlay = Image.fromarray(overlay)
    pil_overlay = pil_overlay.convert('RGBA')

    # 画像を合成
    pil_tmp = Image.new('RGBA', pil_src.size, (255, 255, 255, 0))
    pil_tmp.paste(pil_overlay, location, pil_overlay)
    result_image = Image.alpha_composite(pil_src, pil_tmp)

    # OpenCV形式に変換
    return cv2.cvtColor(np.asarray(result_image), cv2.COLOR_RGBA2BGRA)


### メイン処理 ###

# 画像ファイルを読み込む
frame = cv2.imread(input_file_path)
 
# 入力データフォーマットへ変換 
img = cv2.resize(frame, (300, 300))   # サイズ変更 
img = img.transpose((2, 0, 1))        # HWC > CHW 
img = np.expand_dims(img, axis=0)     # 次元合せ 
 
# 推論実行（顔認識）
out = exec_net.infer(inputs={'data': img})
 
# 出力から必要なデータのみ取り出し 
out = out['detection_out']
out = np.squeeze(out) #サイズ1の次元を全て削除 
 
# 画像から検出された顔領域に対して一番認識率の高い一人分のみ対象に選択
detection = out[0]

# 顔の認識率を取得
confidence = float(detection[2])

# バウンディングボックス座標を入力画像のスケールに変換 
xmin = int(detection[3] * frame.shape[1])
ymin = int(detection[4] * frame.shape[0])
xmax = int(detection[5] * frame.shape[1])
ymax = int(detection[6] * frame.shape[0])
 
# 顔認識率のconf値が0.4より大きい場合のみ感情・性別・年齢の推論を実施 
if confidence > 0.4:
    # 画面外座標の場合エラーにならないよう補正 
    if xmin < 0:
        xmin = 0
    if ymin < 0:
        ymin = 0
    if xmax > frame.shape[1]:
        xmax = frame.shape[1]
    if ymax > frame.shape[0]:
        ymax = frame.shape[0]

    # 顔領域のみ切り出し 
    frame_face = frame[ ymin:ymax, xmin:xmax ]
 
    # 入力データフォーマットへ変換 
    img = cv2.resize(frame_face, (64, 64))   # サイズ変更 
    img = img.transpose((2, 0, 1))           # HWC > CHW 
    img = np.expand_dims(img, axis=0)        # 次元合せ 
    img2 = cv2.resize(frame_face, (62, 62))  # サイズ変更 
    img2 = img2.transpose((2, 0, 1))         # HWC > CHW 
    img2 = np.expand_dims(img2, axis=0)      # 次元合せ 
            
    # 推論実行（感情）
    out = exec_net_emotion.infer(inputs={'data': img})

    # 推論実行（性別・年齢）
    out2 = exec_net_gender.infer(inputs={'data': img2})
            
    # 出力から必要なデータのみ取り出し 
    out = out['prob_emotion']
    out = np.squeeze(out)       # 不要な次元の削減 

    age = out2['age_conv3']
    gender = out2['prob']
    age = np.squeeze(age)       # 不要な次元の削減
    gender = np.squeeze(gender) # 不要な次元の削減
            
    # 年齢取得
    age = int(age * 100)
            
    # 性別取得
    gender_labels = ['Female', 'Male']
    gender_rate = int(gender[gender.argmax()]*100)
    gender = gender_labels[gender.argmax()]

    # 顔部分のロックオン画像表示
    frame = overlayImage(frame, face_png, (xmin + int((xmax-xmin)/2)-98, ymin + int((ymax-ymin)/2) -102))

    # 性別・年齢の表示画像を描画
    frame = overlayImage(frame, gender_png, (490, 15))

    # 性別・年齢のテキストを描画
    text=str(gender) + ' [' + str(gender_rate) + '%]' + '  AGE : ' + str(age)
    cv2.putText(frame, text, (530, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.56, (255, 255, 255), 1, cv2.LINE_AA)
            
    # 感情分析の棒グラフを表示 
    rect_x = 180
    rect_y = 333
    for i in range(5):
        cv2.rectangle(frame, (rect_x+1, rect_y+1), (rect_x + int(400 * out[i])+1, rect_y + 15+1), color=(0, 0, 0), thickness=1)
        cv2.rectangle(frame, (rect_x, rect_y), (rect_x + int(400 * out[i]), rect_y + 15), color=(252, 255, 119), thickness=-2)
        rect_y = rect_y + 24 

# 枠フレーム画像を合成
frame = overlayImage(frame, frame_png, (0, 0)) 
# ファイル出力して終わり    
cv2.imwrite(output_file_path, frame)

cd ~/
unzip image.zip

python3 emotion.py -i sample.jpg -o result.jpg