1208 인공지능을위한딥러닝(FIR) ㅋㅋㅋㅋㅋ팀 Ruinan Zhao published on 2022-12-07Rethinking Data-augmentation Fixing Resolution[1] Image Super-Resolution[2] 적용? Super-Resolution는 이미지 size 2x 4x 올려가는데 미세 정봈까지 정확하게 나올 수 있는 CV 연구입니다. 3D GAN[3] 걱용? Inpaint[4] 적용? Rethinking EfficientNet[5] Compound Model Scaling: depth，width，resolution ($\phi$) 어떤 depth，width，resolution 파라메타가 좋고 빠를까 $\phi$ 통해서 바꿀 수 있다. 사용한 factorized hierarchical search space 방법은 Mnasnet[6] 같다. EfficientNet v2[7] Progressive Learning: Training 과정 중 이미지의 크기 및 model 강한 정규화를 적용하아 하는것을 제안한다. ex-work yolo-v5 사용해서 작은 이미지 dataset 만들었다.
1207 의료영상처리 PBL Ruinan Zhao published on 2022-12-06Solution fix video input $\rightarrow$ depth/motion [논문] HyperNeRF https://hypernerf.github.io/ Main point: HyperNeRF proposes to align frames towards a hyperspace for topologically varying scenes. Video of the HyperNeRF project: [논문] ECCV 2022(oral) PREF: Predictability Regularized Neural Motion Fields Your browser doesn't support embedded videos, but don't worry, you can download it and watch it with your favorite video player! PREF Overview: Real-time Solution? history video + flame input $\rightarrow$ depth/motion 향후 계획: demo of our solution
1130 의료영상처리 PBL Ruinan Zhao published on 2022-11-22구조 Plan A: camera 원래 고정 위지에 둘려서 사진 찍는다. Plan B: camera 이렇게 둘려서 사진 찍는다. 정확한 data 만들기: 헤드세 위에 lightmouse를 불혀서 2mm 정확한 data 만들 수 있다? method NeRF는 Mesh나 Point Cloud, Voxel 등으로 표현되는 3D Object 자체를 렌더링하는것이 아닌,3D Object를 바라본 모습(이미지)들을 예측할 수 있는 모델을 만드는 것이 목표입니다. NeRF를 사용하면 모든 방향의 정보 data 생성할 수 있다. 문제: FPS 얼마 필요할까요? 필요한 FPS 속도에 따라서 NeRF based reconstruction method를 찾아서 pose estimation를 할 생각이다.
RGB-D image super-resulation by NeRF Ruinan Zhao published on 2022-11-22Background RGB-D data image super-resulation NeRF Model overview Method Scene Representation render color as a weighted sum of radiance values along a ray.[1] Degradation Model High-order degradation Model[2] Sampling Networks and Training Experiments Datasets and Implementation Comparisons with prior works Ablation studies Conclusion References [1] Azinović D, Martin-Brualla R, Goldman D B, et al. Neural RGB-D surface reconstruction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 6290-6301.