トップページ人工知能,実世界DB顔情報(顔検出,顔識別、表情判定,顔のクラスタリングや類似度や分類,肌色部分の抽出,瞳孔の検出,顔姿勢の推定)顔識別,顔検出,顔のランドマーク(Python,Dlib, ageitgey/face_recognition を使用)

顔識別,顔検出,顔のランドマーク(Python,Dlib, ageitgey/face_recognition を使用)

利用条件などは利用者において確認してください

【サイト内の関連ページ】

参考 Web ページ: https://github.com/ageitgey/face_recognition

前準備

Python のインストール,pip と setuptools の更新,Python 開発環境

Python の URL: http://www.python.org/

【Python, pip の使い方】

Python, pip は,次のコマンドで起動できる.

Python 開発環境のインストール】

Python 用 numpy, pillow, opencv-python のインストール

Windows の場合

コマンドプロンプト管理者として実行し,次のコマンドを実行.

Windows での pip の実行では,コマンドプロンプト管理者として実行することにする。

[image]

python -m pip install -U pip setuptools
python -m pip install -U numpy pillow opencv-python keras 

Ubuntu の場合

端末で,次のコマンドを実行.

sudo apt -y update
sudo apt -y install python3-numpy python3-pil python3-opencv python3-keras 

ageitgey/face_recognition のインストール

まだインストールしていない場合には、次の手順でインストールする Windows での手順を示す.Ubuntu の場合も同様の手順になる.

  1. Windows で,コマンドプロンプト管理者として実行する.

    [image]
  2. face_recognition のインストール準備
    mkdir c:\pytools
    cd c:\pytools
    rmdir /s /q face_recognition
    
  3. face_recognition のインストール

    このとき,Dlib もインストールされる.

    cd c:\pytools
    git clone https://github.com/ageitgey/face_recognition
    cd face_recognition
    python setup.py build
    python setup.py install 
    

ageitgey/face_recognition で顔識別を行ってみる

ファイルとディレクトリの準備

  1. Windows のコマンドプロンプトを開く
  2. 2つのディレクトリ known_people, unknown_pictures を作る

    コマンドプロンプトで次のコマンドを実行

    mkdir c:\pytools\face_recognition\known_people
    mkdir c:\pytools\face_recognition\unknown_pictures
    

    [image]
  3. 顔画像の準備

    c:\pytools\face_recognition\examples にある顔画像のファイル 「biden.jpg」と「obama.jpg」を,先ほど作成した ディレクトリ known_people の下にコピー

    copy c:\pytools\face_recognition\examples\biden.jpg c:\pytools\face_recognition\known_people
    copy c:\pytools\face_recognition\examples\obama.jpg c:\pytools\face_recognition\known_people
    

    [image]
  4. Windows で、ディレクトリ known_people の下に 2つの画像ファイルがあることを確認

    [image]
  5. c:\pytools\face_recognition\examples にある顔画像のファイル 「two_people.jpg」を,先ほど作成した ディレクトリ unknown_pictures の下にコピー

    copy c:\pytools\face_recognition\examples\two_people.jpg c:\pytools\face_recognition\unknown_pictures
    

    [image]
  6. Windows で、ディレクトリ unknown_pictures の下に画像ファイルがあることを確認

    [image]

顔識別、顔検出のコマンド

顔識別を行ってみる

unknown_pictures の下にある画像ファイルを、 known_people 下の画像ファイルを照合して顔識別を行うコマンド

cd c:\pytools\face_recognition
face_recognition --show-distance true known_people unknown_pictures

[image]

顔検出を行ってみる

cd c:\pytools\face_recognition
face_detection --model cnn unknown_pictures

表示される4つの数字は、顔領域の座標値

[image]

顔識別、顔検出の Python プログラム

  1. Windows で,コマンドプロンプト管理者として実行する.

    [image]
  2. 顔検出の Python プログラム

    Python プログラムを動かす.

    C:/pytools/face_recognition/unknown_pictures」のところは、実際に作成したディレクトリに書き換えて実行すること.ディレクトリの切れ目に「\」でなく「/」を使うのは Python の流儀.

    import face_recognition
    image = face_recognition.load_image_file("C:/pytools/face_recognition/unknown_pictures/two_people.jpg")
    face_locations = face_recognition.face_locations(image, model="cnn")
    print(face_locations)
    

    [image]
  3. 画像表示(顔の部分の切り出し表示)

    プログラムは、https://github.com/ageitgey/face_recognition/blob/master/examples/find_faces_in_picture.py  のものを一部変更したものを掲載している

    C:/pytools/face_recognition/unknown_pictures」のところは、実際に作成したディレクトリに書き換えて実行すること.ディレクトリの切れ目に「\」でなく「/」を使うのは Python の流儀.

    import face_recognition
    import PIL
    import cv2
    
    F = "C:/pytools/face_recognition/unknown_pictures/two_people.jpg"
    
    image = face_recognition.load_image_file(F)
    face_locations = face_recognition.face_locations(image, model="cnn")
    
    def box_label(bgr, x1, y1, x2, y2, label): 
        cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
        cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
        cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)
    
    bgr = cv2.imread(F)
    for face_location in face_locations:
        top, right, bottom, left = face_location
        box_label(bgr, left, top, right, bottom, 'face')
    
    cv2.imshow('', bgr)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    

    画像が表示されるので確認. このあと,ウインドウの右上の「x」をクリックしない.画面の中をクリックしてから,何かのキーを押して閉じる

    [image]
    [image]
  4. 顔のランドマークの Python プログラム

    chin, left_eyebrow, right_eyebrow, nose_bridge, left_eye, right_eye の情報が表示される

    「face_landmarks_list = face_recognition.face_landmarks(image)」の行を, 次のように書き換えると改善するかどうかは未確認(いずれ確認したい)
    
    
    import face_recognition
    image = face_recognition.load_image_file("C:/pytools/face_recognition/unknown_pictures/two_people.jpg")
    face_locations = face_recognition.face_locations(image, model="cnn")
    face_landmarks_list = face_recognition.face_landmarks(image, face_locations=face_locations)
    for i in face_landmarks_list:
        print(i)
    

    [image]
  5. 顔のランドマークについてについて画像表示

    プログラムは、https://github.com/ageitgey/face_recognition/blob/master/examples/find_faces_in_picture.py  のものを一部変更したものを掲載している

    C:/pytools/face_recognition/unknown_pictures」のところは、実際に作成したディレクトリに書き換えて実行すること.ディレクトリの切れ目に「\」でなく「/」を使うのは Python の流儀.

    import face_recognition
    import PIL
    import cv2
    
    F = "C:/pytools/face_recognition/unknown_pictures/two_people.jpg"
    
    image = face_recognition.load_image_file(F)
    face_locations = face_recognition.face_locations(image, model="cnn")
    face_landmarks_list = face_recognition.face_landmarks(image, face_locations=face_locations)
    
    def box_label(bgr, x1, y1, x2, y2, label): 
        cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
        cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
        cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)
    
    bgr = cv2.imread(F)
    for i in face_landmarks_list:
        for j in i.keys():
            for k in (i[j]):
                cv2.circle(bgr, (k[0], k[1]), 2, (255, 0, 0), -1)
    
    cv2.imshow('', bgr)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    

    画像が表示されるので確認. このあと,ウインドウの右上の「x」をクリックしない.画面の中をクリックしてから,何かのキーを押して閉じる

    [image]
    [image]
  6. 顔のランドマークの Python プログラムで、左目(lefteye)と左の眉(left_eyrbrow)を表示
    import face_recognition
    image = face_recognition.load_image_file("C:/pytools/face_recognition/unknown_pictures/two_people.jpg")
    face_locations = face_recognition.face_locations(image, model="cnn")
    face_landmarks_list = face_recognition.face_landmarks(image, face_locations=face_locations)
    for i in face_landmarks_list:
        print(i['left_eye'])
        print(i['left_eyebrow'])
    

    [image]
  7. 左目(lefteye)と左の眉(left_eyrbrow)のランドマークについて画像表示

    プログラムは、https://github.com/ageitgey/face_recognition/blob/master/examples/find_faces_in_picture.py  のものを一部変更したものを掲載している

    C:/pytools/face_recognition/unknown_pictures」のところは、実際に作成したディレクトリに書き換えて実行すること.ディレクトリの切れ目に「\」でなく「/」を使うのは Python の流儀.

    import face_recognition
    import PIL
    import cv2
    
    F = "C:/pytools/face_recognition/unknown_pictures/two_people.jpg"
    
    image = face_recognition.load_image_file(F)
    face_locations = face_recognition.face_locations(image, model="cnn")
    face_landmarks_list = face_recognition.face_landmarks(image, face_locations=face_locations)
    
    def box_label(bgr, x1, y1, x2, y2, label): 
        cv2.rectangle(bgr, (x1, y1), (x2, y2), (255, 0, 0), 1, 1)
        cv2.rectangle(bgr, (int(x1), int(y1-25)), (x2, y1), (255,255,255), -1)
        cv2.putText(bgr, label, (x1, int(y1-5)), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0,0,0), 1)
    
    bgr = cv2.imread(F)
    for i in face_landmarks_list:
        for j in i['left_eye']:
            cv2.circle(bgr, (j[0], j[1]), 2, (0, 255, 0), -1)
        for j in i['left_eyebrow']:
            cv2.circle(bgr, (j[0], j[1]), 2, (0, 0, 255), -1)
    
    
    cv2.imshow('', bgr)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    

    画像が表示されるので確認. このあと,ウインドウの右上の「x」をクリックしない.画面の中をクリックしてから,何かのキーを押して閉じる

    [image]
    [image]
  8. 2つの顔画像が同一人物かを識別する Python プログラム

    2つの顔画像を比べる

    import face_recognition
    picture_of_obama = face_recognition.load_image_file("C:/pytools/face_recognition/known_people/obama.jpg")
    obama_face_encoding = face_recognition.face_encodings(picture_of_obama)[0]
    
    biden_picture = face_recognition.load_image_file("C:/pytools/face_recognition/known_people/biden.jpg")
    biden_face_encoding = face_recognition.face_encodings(biden_picture)[0]
    
    results = face_recognition.compare_faces([obama_face_encoding], biden_face_encoding)
    print(results)
    

    [image]
  9. 2つの顔画像が同一人物かを識別する Python プログラム

    https://github.com/ageitgey/face_recognition に掲載の写真から切り取った、次の写真を使ってみる

    [image]

    上の画像ファイルを、C:/pytools/face_recognition/unknown_pictures の下に,104.png という名前で保存しておく

    今度は True と表示される

    import face_recognition
    picture_of_obama = face_recognition.load_image_file("C:/pytools/face_recognition/known_people/obama.jpg")
    obama_face_encoding = face_recognition.face_encodings(picture_of_obama)[0]
    
    another_picture = face_recognition.load_image_file("C:/pytools/face_recognition/unknown_pictures/104.png")
    another_face_encoding = face_recognition.face_encodings(another_picture)[0]
    
    results = face_recognition.compare_faces([obama_face_encoding], another_face_encoding)
    print(results)
    
    [image]
  10. 以上の実験後は,画像ファイルを置いたディレクトリを消去しておく
    rmdir /s /q known_people
    rmdir /s /q unknown_pictures