[ARKit]8-對裸眼3D效果一次不太成功的嘗試

時間 2019-11-07

標籤 arkit 裸眼 3d 效果一次成功嘗試欄目職業生涯简体版

原文原文鏈接

說明

ARKit系列文章目錄git

The Parallax View

The Parallax View是個國外開發者開發的好玩的軟件,它利用iPhoneX實現了裸眼3D的效果. github

其實它是利用了iPhone X的ARKit面部追蹤接口和TrueDepth傳感器。

經過追蹤用戶的頭部運動，肯定眼睛在三維空間中的確切位置。

而後生成實時響應用戶位置的影像，從而爲用戶帶來一種3D影像的錯覺。

原理特色

經過使用ARKit和iPhone X進行3D頭部追蹤來得到深度幻象。swift

爲得到最佳效果，應該只打開一隻眼睛（該應用容許選擇要追蹤的眼睛，或者能夠嘗試自動選擇眼睛）session

經過跟蹤用戶頭部方向和位置，能夠找到3D中的眼睛位置。app

應用能夠在該顯示器上呈現從該位置看到的正確視圖。框架

爲了呈現該視圖，使用離軸投影（非對稱相機平截頭體）。編輯器

這給人一種錯覺，即物體出如今屏幕的前面和後面。post

模仿

受此啓發,我嘗試在非iPhoneX設備上用人臉識別框架來實現低精度的裸眼3D效果. 原理是:測試

利用人臉識別,檢測人臉位置;
將人臉的二維位置轉換到3維空間中(z軸固定,xy按比例轉換);
將轉換後的3D座標賦值給攝像機;

本來打算,用識別出人臉的大小,作爲依據來判斷攝像機在z軸上的位置,但測試中發現,人臉識別出的大小變化很大,無規律可轉換.ui

創建模型

本身用SceneKit的編輯器搭建了一個場景,裏面有多根高度不一樣的柱子.

人臉識別

原來覺得蘋果的新框架Vision會更好,結果在個人iPhone SE上很是卡,並且Vision框架在識別人臉時對方向有要求,須要指定方向.全部最後仍是使用了AVFoundation中的metadataObjectTypes來識別.

if session.canAddOutput(metaDataOutput) {
       session.addOutput(metaDataOutput)
}
 //7.AVFoundation框架識別類型
metaDataOutput.metadataObjectTypes = [.face]
複製代碼

在代理方法中處理識別到的人臉:

//AV框架人臉識別
func metadataOutput(_ output: AVCaptureMetadataOutput, didOutput metadataObjects: [AVMetadataObject], from connection: AVCaptureConnection) {
    
    for obj in metadataObjects {
        if obj.type == .face {
            print("face---\(obj.bounds)")
            // 座標轉換
            let oldRect = obj.bounds;
            let w = oldRect.size.height * self.previewView.bounds.size.width;
            let h = oldRect.size.width * self.previewView.bounds.size.height;
            let x = oldRect.origin.y * self.previewView.bounds.size.width;
            let y = oldRect.origin.x * self.previewView.bounds.size.height;
            
            // 添加矩形
            rectLayer.frame = CGRect(x: x, y: y, width: w, height: h)
            rectLayer.isHidden = false
            
            //湊出合理的數據
            let cameraX = (oldRect.origin.y - 0.3) * 2
            let cameraY = (0.4 - oldRect.origin.x) * 2
            // 移動攝像機
            self.cameraNode.position = SCNVector3(cameraX, cameraY, 20)
            
        }else {
            rectLayer.isHidden = true
        }
    }
}

複製代碼