丝袜美腿剧情演绎国产原创 ,中文字幕搜索

構(gòu)建一個計算機(jī)視覺項(xiàng)目

2022-07-11 13:57

磐創(chuàng)AI

關(guān)注

你想創(chuàng)建一個應(yīng)用程序來檢測一些東西嗎？貓和狗，檢測水果的成熟程度，在圖片中找到品牌？

如果你的答案是需要，那么這篇文章就是為你準(zhǔn)備的！

將向你展示如何為你的探測器創(chuàng)建一個應(yīng)用程序，并把它放到互聯(lián)網(wǎng)上，讓每個人都能看到。

你將能夠上傳一個測試圖像，模型將返回預(yù)測框和標(biāo)簽。

免責(zé)聲明：你需要在你的電腦中安裝git才能將文件上傳到HuggingFace Spaces。如果你沒有，不要擔(dān)心！安裝起來很容易。

這將是項(xiàng)目的工作流程：

首先，你必須為你的項(xiàng)目收集圖像。你想從長頸鹿中發(fā)現(xiàn)斑馬嗎？首先需要獲取這兩種動物的圖像。無論你想檢測什么，你都需要它的圖像。這個點(diǎn)在工作流程中是白色的，這意味著你必須在你的計算機(jī)中完成工作。

標(biāo)簽圖像在工作流中顯示為藍(lán)色，這是因?yàn)槟銓⑹褂肈atature的標(biāo)簽工具。Datature是一家專門為數(shù)據(jù)標(biāo)簽和模型訓(xùn)練構(gòu)建用戶友好工具的公司。

你還將使用Datature來訓(xùn)練模型。

一旦模型訓(xùn)練好了，你就把它下載到你的電腦上，把所有的文件放在一起（這些文件我會提供給你）

當(dāng)所有文件放在一起時，你將把它們上傳到HuggingFace Spaces，你的模型就可以使用了！

1．找到圖片

在計算機(jī)視覺項(xiàng)目中，我們需要做的第一件事是收集圖像。如果我們想要訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)，我們需要成千上萬張圖像。

幸運(yùn)的是，Datature使用非常先進(jìn)的模型，而且可能是預(yù)訓(xùn)練的，這意味著如果我們從頭開始訓(xùn)練模型，我們只需要需要的一小部分圖像。

每個類大約有100個圖像就足夠了。例如，如果你想要檢測t恤和褲子，你將需要100個t恤和100個褲子的圖像。當(dāng)然，這個例子也適用于其他情況。例如，你可以有100張貓和狗的圖片，所以你可以有100張貓的例子，也可以有100張狗的例子。

如果有類不平衡是可以的，例如如果你的項(xiàng)目檢測晴天和陰天，你可以有120張晴天的圖片和100張陰天的圖片。大約100張就足夠了。

收集所有的圖像并存儲在你的計算機(jī)的一個文件夾中。

2．標(biāo)記圖像

在Datature中創(chuàng)建一個帳戶，并為你的用例創(chuàng)建一個項(xiàng)目。

這篇博文詳細(xì)介紹了如何：

創(chuàng)建Datature Nexus賬戶（免費(fèi)試用）

創(chuàng)建一個項(xiàng)目

上傳圖片

創(chuàng)建類

注釋圖片

在圖像中創(chuàng)建矩形框

為每個框分配一個類

對于每個圖像，你將注釋一個框（對象在哪里？）和一個類（對象是什么？）

只閱讀標(biāo)簽部分，之后，在項(xiàng)目概述中，你應(yīng)該看到你的圖像統(tǒng)計，標(biāo)簽分布等。例如，項(xiàng)目概述應(yīng)該是這樣的：

在這個例子中，我有一個名為香蕉的項(xiàng)目，我標(biāo)記了16張圖片，我有3類：成熟的、可食用的和無效的。這只是一個示例，所以請確保每個類至少有100個示例！

3．訓(xùn)練模型

一旦我們有了圖像，我們就可以訓(xùn)練我們的模型了！我們將不得不在Nexus中創(chuàng)建一個“工作流”。

構(gòu)建訓(xùn)練工作流程：選擇訓(xùn)練－測試分割比，選擇增強(qiáng)，選擇模型設(shè)置

訓(xùn)練模型

監(jiān)控模型：損失、精度、召回

導(dǎo)出模型

模型將需要大約1小時來訓(xùn)練，之后你應(yīng)該看到這個

進(jìn)入Artifacts并下載TensorFlow模型

當(dāng)計算機(jī)中導(dǎo)出了一個．zip文件時，這一部分就完成了。

4．創(chuàng)建一個HuggingFace帳戶

模型是經(jīng)過訓(xùn)練的，我們把它以．zip的形式下載到我們的電腦上。但我們?nèi)绾闻c它交互呢？

我們可以通過上傳照片到HuggingFace Spaces與它交互。我們還需要一些網(wǎng)站前端的代碼。

Huggingface Spaces是Huggingface旗下的一個網(wǎng)站，人們可以在這里展示自己的模型，并與他們交互。

這些是創(chuàng)建步驟

1．創(chuàng)建Huggingface帳戶

2．創(chuàng)建一個Space

3．為Space寫一個名字。記住，這個網(wǎng)站將是公開的，所以選擇一個與應(yīng)用程序相匹配的名字！例如：香蕉分析或類似的東西

4．選擇Streamlit作為空間SDK

5．選擇public

6．Space使用完成后，將存儲庫克隆到本地計算機(jī)中的一個文件夾中

7．可選的README．md

5．收集所有文件并上傳至HuggingFace空間

現(xiàn)在，我們的計算機(jī)中有了屬于Space的文件夾。我們必須復(fù)制所有文件，并使用git將所有文件上傳到Space。

首先，復(fù)制模型文件（saved＿model／ folder， label＿map．pbtxt）到文件夾

然后，在這個https：／／gist．github．com／anebz／2f62caeab1f24aabb9f5d1a60a4c2d25文件夾中創(chuàng)建3個文件

app．py

此文件包含用于上傳圖像、加載模型、進(jìn)行預(yù)處理和從模型獲得預(yù)測的代碼。

注意那些帶有＃TODO的行，你必須修改它們！

特別是color＿map，它們是每個類的方框的顏色。打開文件label＿map．pbtxt查看給每個類分配了什么label＿id，并使用這個label＿id為顏色分配RGB值。

在這個例子中，我只有2個類，因此只有2種顏色。如果你有更多的類，按照示例的格式添加更多行：

1：［255， 0， 0］，

記住，除了最后一行以外，每一行的末尾都應(yīng)該有一個逗號！

import cv2
import numpy as np
from PIL import Image
import streamlit as st
import tensorflow as tf
from tensorflow．keras．models import load＿model
＃ most of this code has been obtained from Datature＇s prediction script
＃ https：／／github．com／datature／resources／blob／main／scripts／bounding＿box／prediction．py
st．set＿option（＇deprecation．showfileUploaderEncoding＇， False）
＠st．cache（allow＿output＿mutation＝True）
def load＿model（）：
return tf．saved＿model．load（＇．／saved＿model＇）
def load＿label＿map（label＿map＿path）：
＂＂＂
Reads label map in the format of ．pbtxt and parse into dictionary
Args：
label＿map＿path： the file path to the label＿map
Returns：
dictionary with the format of ｛label＿index：｛＇id＇： label＿index，＇name＇： label＿name｝｝
＂＂＂
label＿map ＝｛｝

with open（label＿map＿path，＂r＂） as label＿file：
for line in label＿file：
if ＂id＂ in line：
label＿index ＝ int（line．split（＂：＂）［－1］）

label＿name ＝ next（label＿file）．split（＂：＂）［－1］．strip（）．strip（＇＂＇）

label＿map［label＿index］＝｛＂id＂： label＿index，＂name＂： label＿name｝
return label＿map

def predict＿class（image， model）：
image ＝ tf．cast（image， tf．float32）

image ＝ tf．image．resize（image，［150， 150］）

image ＝ np．expand＿dims（image， axis ＝ 0）

return model．predict（image）
def plot＿boxes＿on＿img（color＿map， classes， bboxes， image＿origi， origi＿shape）：
for idx， each＿bbox in enumerate（bboxes）：
color ＝ color＿map［classes［idx］］
＃＃ Draw bounding box
cv2．rectangle（
image＿origi，
（int（each＿bbox［1］＊ origi＿shape［1］），
int（each＿bbox［0］＊ origi＿shape［0］），），
（int（each＿bbox［3］＊ origi＿shape［1］），
int（each＿bbox［2］＊ origi＿shape［0］），），
color，
2，
）

＃＃ Draw label background
cv2．rectangle（
image＿origi，
（int（each＿bbox［1］＊ origi＿shape［1］），
int（each＿bbox［2］＊ origi＿shape［0］），），
（int（each＿bbox［3］＊ origi＿shape［1］），
int（each＿bbox［2］＊ origi＿shape［0］＋ 15），），
color，
－1，
）

＃＃ Insert label class ＆ score
cv2．putText（
image＿origi，
＂Class：｛｝， Score：｛｝＂．format（
str（category＿index［classes［idx］］［＂name＂］），
str（round（scores［idx］， 2）），
），
（int（each＿bbox［1］＊ origi＿shape［1］），
int（each＿bbox［2］＊ origi＿shape［0］＋ 10），），
cv2．FONT＿HERSHEY＿SIMPLEX，
0．3，
（0， 0， 0），
1，
cv2．LINE＿AA，
）
return image＿origi
＃ Webpage code starts here
＃TODO change this
st．title（＇YOUR PROJECT NAME＇）
st．text（＇made by XXX＇）
st．markdown（＇＃＃ Description about your project＇）
with st．spinner（＇Model is being loaded．．．＇）：
model ＝ load＿model（）
＃ ask user to upload an image
file ＝ st．file＿uploader（＂Upload image＂， type＝［＂jpg＂，＂png＂］）
if file is None：
st．text（＇Waiting for upload．．．＇）

else：
st．text（＇Running inference．．．＇）

＃ open image

test＿image ＝ Image．open（file）．convert（＂RGB＂）

origi＿shape ＝ np．a(chǎn)sarray（test＿image）．shape

＃ resize image to default shape

default＿shape ＝ 320

image＿resized ＝ np．a(chǎn)rray（test＿image．resize（（default＿shape， default＿shape）））
＃＃ Load color map

category＿index ＝ load＿label＿map（＂．／label＿map．pbtxt＂）
＃ TODO Add more colors if there are more classes
＃ color of each label． check label＿map．pbtxt to check the index for each class
color＿map ＝｛
1：［255， 0， 0］，＃ bad －＞ red
2：［0， 255， 0］＃ good －＞ green
｝
＃＃ The model input needs to be a tensor

input＿tensor ＝ tf．convert＿to＿tensor（image＿resized）

＃＃ The model expects a batch of images， so add an axis with ｀tf．newaxis｀．

input＿tensor ＝ input＿tensor［tf．newaxis，．．．］
＃＃ Feed image into model and obtain output

detections＿output ＝ model（input＿tensor）

num＿detections ＝ int（detections＿output．pop（＂num＿detections＂））

detections ＝｛key： value［0，：num＿detections］．numpy（） for key， value in detections＿output．items（）｝

detections［＂num＿detections＂］＝ num＿detections
＃＃ Filter out predictions below threshold
＃ if threshold is higher， there will be fewer predictions
＃ TODO change this number to see how the predictions change
confidence＿threshold ＝ 0．8

indexes ＝ np．where（detections［＂detection＿scores＂］＞ confidence＿threshold）
＃＃ Extract predicted bounding boxes

bboxes ＝ detections［＂detection＿boxes＂］［indexes］

＃ there are no predicted boxes
if len（bboxes）＝＝ 0：
st．error（＇No boxes predicted＇）

＃ there are predicted boxes
else：
st．success（＇Boxes predicted＇）

classes ＝ detections［＂detection＿classes＂］［indexes］．a(chǎn)stype（np．int64）

scores ＝ detections［＂detection＿scores＂］［indexes］

＃ plot boxes and labels on image
image＿origi ＝ np．a(chǎn)rray（Image．fromarray（image＿resized）．resize（（origi＿shape［1］， origi＿shape［0］）））

image＿origi ＝ plot＿boxes＿on＿img（color＿map， classes， bboxes， image＿origi， origi＿shape）
＃ show image in web page
st．image（Image．fromarray（image＿origi）， caption＝＂Image with predictions＂， width＝400）

st．markdown（＂＃＃＃ Predicted boxes＂）

for idx in range（len（（bboxes）））：
st．markdown（f＂＊ Class：｛str（category＿index［classes［idx］］［＇name＇］）｝， confidence score：｛str（round（scores［idx］， 2））｝＂）