MS PhotoSynth는 저리가!!!!

제가 마이크로소프트의 기술력에 관해서는 여러번 칭찬을 했었는데요, 그중에서도 포토싱쓰(PhotoSynth)는 포토싱크 - 경복궁, 구글어스와 PhotoSynth를 합친다면? 과 같은 글을 보시면 알겠지만, 엄청나게 뛰어난 기술입니다.

일반적으로 사진을 찍어 3D로 만들기 위해서는 우선 사진을 찍는 지점을 정확하게 측량한 뒤 사진을 찍고, 이것을 입체도화기(StereoPlotter)라는 기계로 도화(plotting)를 해야 합니다. 보통 이런 기술을 지상사진측량(Close Range Photogrametry)라고 하죠.

포토싱쓰의 경우에는 일반인이 아무렇게나 찍은 사진을 조합하여 사진촬영지점을 역계산하고, 이것을 사용하여 3D 위치를 계산하는 것입니다. <- 말은 무척 쉽네요 :-) 그런데, 제가 구독하고 있는 Slashgeo: Industry에서 흥미로운 기사를 발견했습니다. 포토싱쓰보다 훨씬 뛰어난 기술이 개발되었다는 것입니다. 일단, Recreating cities using online photos라는 기사에 나온 사진을 보시죠.

위의 사진은 8명의 사진사가 촬영한 56장의 사진으로 Pisa Duomo를 3D로 복원한 모델입니다.
Pisa Duomo는 피사의 사탑으로 유명한 곳이죠. (사진을 보시려면 여기로) 왼쪽 아래는 레이저스캐너로 복원한 모델이고, 오른쪽 아래는 이 둘을 비교한 것입니다. 90%가 12cm이내의 차이를 보인다고 합니다.

이 툴은 Photo Tourism라고 하며, 개발 책임자는 University of Washington의 Steve Seitz이라고 합니다. 바티칸에 있는 베드로 성당의 경우 50명이 찍은 151장의 사진을 사용해 3D로 복원했는데, 물론 전과정이 완전 자동이고, 겨우 2시간뿐이 안걸렸다고 합니다. Photo Tourism을 누르면 직접 실행시켜 볼 수 있습니다. 다만, 속도가 좀 느리니 인내심을 가지시길...

다음은 이 기술과 관련된 논문입니다.

• "Multi-View Stereo for Community Photo Collections" (PDF format, 8 pages, 8.75 MB)
• "Scene Summarization for Online Image Collections" (PDF format, 8 pages, 2.27 MB)

또다른 3차원 모델을 보고 싶으시면 아래 링크를 클릭해보세요.

• Images associated with the UW news release
  
• Multi-View Stereo for Community Photo Collections
  
• Community Photo Collections

민, 푸른하늘
===
via Recreating Cities Using Online Photos
워싱턴대학에서 개발했다는데, 오른쪽 위에 Microsoft 로고가 붙어있네요...

자동 3D 모델링 - Google PhotoSketch(?)

제 블로그에 들르시는 분들이라면 PhotoSynth하면 익숙한 이름일 겁니다. 또, Sketchup도 익숙하실테고요. PhotoSketch는 바로 이 두 가지 멋진 프로그램의 기능을 합친 소프트웨어입니다. (현재 개발중으로 아래 쪽에 있는 비디오만 공개되어 있습니다.)

구글어스와 버추얼어스는 현재 3D모델을 구축에 다른 접근방법을 사용하고 있습니다. 구글어스는 주로 기존 기업에서 제작한 3D 모델을 구입하거나 구글 매니아들이 자발적으로 만든 모델로 구글어스를 채워가고 있고, 버추얼어스는 자체적으로 항측회사를 구입하여 3D 모델을 제작하고 있는데, 내년까지 500개 시를 제작할 예정이라고 합니다. 현재 상황으로 보면 3D 모델 제작기술은 버추얼어스가 앞서있다고 할 수 있죠.

어쨌든 3D 모델을 만드는 것은 쉬운 일이 아닙니다. 아무리 구글에서 Sketchup같은 훌륭한 프로그램을 제공했더라도, 3D모델, 특히 사진 Texture까지 입힌 모델을 만들기는 만만치 않은 작업이죠. 하지만, PhotoSketch를 이용하면 이 작업이 상당히 간단하게 해결될 수 있을 듯 합니다.

먼저 마이크로소프트의 PhotoSynth를 보면, 사용자가 일반 카메라로 아무렇게나 찍은 여러사진을 조합해서 Point Cloud (점의 위치)를 계산하고, 카메라의 위치 및 자세를 계산해 줍니다. 이러한 기능이 PhotoSketch에 내장이 되어 있습니다.

<하얀 공처럼 생긴 부분이 카메라 촬영 위치>

다음으로 이러한 Point Cloud를 사용하여 3D 모델을 만드는 것은 사용자가 해야 합니다. 하지만, Sketchup을 사용하면 대략적인 3D 모델은 쉽게 제작할 수 있습니다. 특히 점들의 위치가 나타나 있으므로 사진 한장만 가지고 제작하는 것보다는 훨씬 쉽게 제작할 수 있습니다. (3D 모델이 별도로 있을 경우에는 이 과정을 생략할 수 있습니다.)

이러한 과정을 거쳐 만들어진 3D 모델에 사진 텍스춰를 씌워주는 것은 자동으로 PhotoSynth가 해결해 줍니다.

아래는 PhotoSketch를 소개하는 Presentation 동영상입니다. 길이가 너무 길기는 하지만, 3D 모델 제작에 관심있는 분들이라면 천천히 보시면 도움이 될 것 같습니다.



뒤쪽에 있는 내용은 동영상에 나온 내용중, 제가 필요하다고 생각되는 부분만 정리한 것인데, 너무 기술적이라서 그냥 참고삼아 넣어둡니다.

민, 푸른하늘
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
====
이 글은 Google (?) PhotoSketch - Rapid Photo Modelling을 참고로 작성하였습니다.

====
----PhotoSketch----
Automated Texture Mapping - 여러장의 사진을 사용하여 3D 모델제작
GPS 필요없음. 캘리브레이션이 되어 있지 않은 일반 카메라를 사용

기존 방법 -
Active Sensing(Laser Scanning, Flash Laser), - 정확도 5mm
Passive Sensing - 정확도 5cm
Passive Sensing 에서 3장 이상 멀티뷰 스테레오
둘다 Heavyweight Model - 260MB (포인트의 수 1000만개)
웹에서는 lightweight model로 충분 -> 800kb

멀티뷰 Geometry 알고리듬
- Automatically extract salient features using SIFT
- Feature correspondence among image pairs
- Initialize camera pose and structure from first two image frames
- Recover camera pose from remaining images
- Bundle Adjustment is Key component for redistributing global errors

PhotoSketch는 lightweight 텍스춰 3D모델 제작툴
- MicroSoft PhotoSynth의 자동 카메라 캘리브레이션과 구글 스케치업의 간편함을 통합한 툴

-3D 모델이 있을 경우 자동으로 텍스춰링
- 없을 경우에는 캘리브레이션 자동 - 사용자가 3D 모델 구축 - 자동 텍스춰링 : 반자동

비디오 영상으로도 3차원 모델 제작 가능

항공사진측량과의 비교
- 매뉴얼이 많음
- 사진이 많을 때 작업하기 힘듦
- 대부분 기본 3차원 도형을 입력하는 방법임
- 실루엣기반이 작은 객체에는 적용하기 힘듦
- 경험이 많은 사람 필요

PhotoSchetch
- 캘리브래이션이 자동임
- 2D 스케치를 기반으로 함 사출방식 - 사진을 기반으로

구글어스와 PhotoSynth를 합친다면?

현재 구글에서는 구글어스와 파노라미오를 합쳐서 그 지역에서 찍은 많은 사진들을 볼 수 있게 만들어 주고 있습니다. 그런데, 등록되어 있는 사진들을 하나하나씩 클릭해 본다는 게 쉽지 않습니다. 만약 구글어스나 VirtualEarth같은 지도서비스가 PhotoSynth 기술이 결합된다면... 정말 환상적인 서비스가 될 수 있지 않을까요?

먼저 구글어스에서 찾은 성 마르코 광장(Piazza San Marco)입니다. 이 위치를 택한 것은 당연히 PhotoSynth 모델이 있기 때문입니다. :-) 직접 확인하시고 싶으시면 구글어스에서 'Piazza San Marco, Venice'로 검색해 보시면 됩니다.


아래 그림은 동일한 지역에 대해 Geographic Web 레이어를 켜고, 그중 하나의 사진을 클릭한 것입니다. 보시는 바와 같이 카메라 아이콘이 무척 많습니다. 많은 사람들이 자신이 찍은 사진을 위치와 함께 등록한 것이죠. (파노라미오(Panoramio)가 사진을 구글어스에 등록하는 사이트 입니다.) 보기도 지저분하고... 하나씩 클릭해 가면서 그곳이 어떻게 생겼는지 알기는 너무 힘듧니다. :-(


한편, 마이크로소프트의 Photosynth에서 성 마르코 광장의 모델은 아래와 같습니다. (최대한 구글어스 영상과 비슷하게 맞춰봤습니다. 이 그림만으로는 Photosynth의 위력을 알기 힘드실테고 직접 링크를 눌러보시길 바랍니다.)


예를 들면, 버추얼어스이든 구글어스이든 PhotoSynth 모델이 있는 곳에 아이콘 하나를 만들어 두고, 그 아이콘을 누르면 무한정 많은 사진들이 연결되어 뜬다고 생각하면? 정말 간편하면서도 환상적인 그림이 그려지지 않으세요?

현재 PhotoSynth는 홈페이지에 소개된 것처럼 "Photosynth Technology Preview"에 불과합니다. 수 GB에 달하는 사진을 서로 연결해서 3차원 공간에 연결시키고, 이것을 마우스 클릭 몇번만으로 전체 사진을 마음대로 조작할 수 있다는 것만으로도 환상적이지만, 아직 본격적인 서비스는 시작하지도 않았다는 것입니다.
====
마이크로소프트에서 PhotoSynth에 사용되는 기반 기술로 보이는 Seadragon이라는 기술을 선보였습니다. (최근 많이 "삘" 받고 있는 Photosynth와 Seadragon 서비스 를 참조하세요.) 저는 오늘에야 본 것이지만, 벌써 오래전부터 개발하고 있을 것이라고 보이는데, 하여튼, 수많은 사진을 쉽게 열람할 수 있는 기술입니다. 몇 GB에 달하는 이미지를 매우 부드럽게 스크롤링하고, 확대 축소를 할 수 있습니다. (동영상을 끌어 오려고 했는데 잘 안되네요... 위 링크에 들어가서 꼭 동영상을 보시기 바랍니다.)

누구나 디지털카메라를 가지게 된 요즘은 여행 한번만 다녀와도 보통 1-2GB정도의 사진이 생기게되어, 이 사진들을 하나하나씩 들여다보는 것도 쉽지 않게 되었는데, 이 기술을 사용하면 정말 쉽게 사진을 관리하고 볼 수 있을 것 같습니다.

현재는 SDK를 공개하지 않고 있는데, 현재 안정화작업중이고 곧 발표될 예정이라니, 많은 기대를 가져도 좋지 않을까 생각해 봤습니다.

민, 푸른하늘

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.