林春雨

基本信息

个人简介

研究领域细化

• 三维视觉（图像点云标定融合，双目深度估计，RGB-D数据处理，基于深度学习的3D点云目标检测，基于深度学习的三维物体尺寸感知，三维重建，虚拟视点生成）
• 图像视频编解码（图像编解码，3D视频编解码，基于深度学习的全景图像视频编码，HEVC/H.265，容错视频编解码，流媒体传输等）
• 基于视觉的ADAS及自动驾驶（3D环视辅助驾驶、机器人导航定位及路径规划（强化学习）、三维障碍物检测、多传感器融合、行人检测及姿态估计，车道线检测，停车位检测等，虚拟数据到真实数据迁移算法，自动驾驶场景物体自动标注）
• 虚拟现实及增强现实中的视觉算法研究（虚拟现实相机，全景图像拼接，增强现实中的平面检测，虚拟视角合成，神经网络辐射场NERF等）

招生专业

• 新一代电子信息技术（含量子技术等）硕士
• 软件工程硕士
• 人工智能硕士
• 大数据技术与工程硕士
• 新一代电子信息技术（含量子技术等）博士
• 人工智能博士
• 计算机科学与技术硕士
• 计算机技术博士
• 计算机技术硕士
• 计算机科学与技术博士
• 软件工程博士

科研项目

• 重点资助项目: 自动驾驶场景的多传感器联合自动标定研究, 2023-2026
• 自然科学横向项目: 2023年“英才计划”北京交通大学组织实施工作, 2023-2023
• 自然科学横向项目: 智能驾驶场景下的自动标注关键技术研发, 2022-2024
• 自然科学横向项目: 图像与毫米波雷达数据融合采集及标注, 2022-2024
• 国家自然科学基金“面上”: 鱼眼图像处理的关键技术研究, 2022-2025
• 自然科学横向项目: 基于RGBD的静态物体云端三维重建原型系统开发, 2021-2022
• 自然科学横向项目: 多源信息融合障碍物检测系统, 2019-2023
• 国家自然科学基金“面上”: 深度神经网络辅助的交互式多视点视频技术研究, 2019-2022
• 自然科学横向项目: TOF超分和边缘优化技术合作项目, 2019-2020
• 其它: 虚拟现实视频的获取及编码算法, 2019-2021
• 国家重点研发计划-任务: 公共路权运行环境下行人运动状态感知、态势分析、风险辨识及预警技术, 2018-2020
• 自然科学横向项目: 中兴产学研项目-神经网络压缩算法FPGA实现, 2018-2020
• 基础研究项目: VR视频的高效模型表示及流式传输, 2018-2020
• 重大资助项目: 基于人工智能的轨道交通安全, 2018-2024
• 国家自然科学基金“面上”: 沉浸式3D全景视频的表示编码及传输, 2018-2021
• 重点资助项目: 面向轨道交通的跨视域多场景视频内容分析与安全, 2017-2019
• 教育部: 多媒体数字取证技术与语义实时处理技术在新型不良信息治理中的应用, 2017-2020
• 自然科学横向项目: 环视3D全景辅助汽车驾驶系统, 2016-2017
• 自然科学横向项目: 汽车全自动泊车系统, 2016-2017
• 自然科学横向项目: 汽车高级驾驶辅助系统（ADAS） , 2016-2022
• 国家自然科学基金: 基于DASH的交互式三维视频系统建模, 2016-2018
• 基础研究项目: MPTCP框架下多视点视频的可靠编码, 2015-2017
• 国家自然科学基金"青年基金": 三维视频显著对象编码及可靠传输, 2015-2017
• 博士点基金: 结合深度图特性的3D视频的鲁棒编码, 2014-2016
• 国家重点实验室: 面向交通安全监控的3D视频编码, 2013-2014
• 自然科学类人才基金项目: 立体视频中深度信息的提取及其鲁棒编解码, 2012-2014
• 国家自然科学基金“重大”（课题）: 基于对象和MacroCube 的三维视频的编码和理解, 2013-2017

教学工作

• 本科课程 C语言程序设计
• 本科课程 专业实践与训练
• 研究生课程 数字视频处理
• 研究生课程 计算机视觉中的多视几何

论文/期刊

近年来，课题组围绕图像视频处理，三维视觉处理，自动驾驶和辅助驾驶以及虚拟现实等领域在IEEE TPAMI、TIP、TITS、TCSVT、TMM等著名国际期刊以及CVPR、ICCV、ECCV、AAAI、ACMMM、ICRA等著名国际会议上发表论文，部分论文列表如下：

DBLP查看最新论文列表

期刊论文：

1. Zhijie Shen, Chunyu Lin*, Junsong Zhang, Lang Nie, Kang Liao, Yao Zhao, 360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception, in Transactions on Pattern Analysis and Machine Intelligence, EARLY ACCESS, 2024.

2. Lang Nie , Chunyu Lin*, Kang Liao , Shuaicheng Liu , Yao Zhao, “Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond," in Transactions on Pattern Analysis and Machine Intelligence, EARLY ACCESS, 2024.

3. K. Liao, X. Xu, C. Lin*, W. Ren, Y. Wei and Y. Zhao, “Cylin-Painting: Seamless 360° Panoramic Image Outpainting and Beyond," in IEEE Transactions on Image Processing, vol. 33, pp. 382-394, 2024.

4. L. Nie, C. Lin*, K. Liao, S. Liu and Y. Zhao, "Deep Rotation Correction Without Angle Prior," in IEEE Transactions on Image Processing, vol. 32, pp. 2879-2888, 2023.

5. C. Zhang, C. Lin*, K. Liao, Lang Nie, Yao Zhao, As-Deformable-As-Possible Single-image-based View Synthesis without Depth Prior[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2023, early access.

6. Haojie Liu, Kang Liao, Chunyu Lin*, Yao Zhao, Yulan Guo, Pseudo-lidar point cloud interpolation based on 3d motion representation and spatial supervision, IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 7, pp. 6379-6389, 2022.

7. M. Liu, S. Jin, C. Yao, C. Lin, Y. Zhao. Temporal Consistency Learning of Inter-Frames for Video Super-Resolution[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022.

8. Z. Shen, C. Lin*, L. Nie, et al. Neural Contourlet Network for Monocular 360 Depth Estimation[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(12): 8574-8585.

9. C. Zhang, C. Lin*, K. Liao, S. Huang and Y. Zhao, "Monocular Pseudo-LiDAR Point Cloud Extrapolation Based on Iterative Hybrid Rendering," in IEEE Transactions on Intelligent Transportation Systems, 2022 early access.

10. Z. Zheng, C. Lin*, L. Nie, et al. Bi-Projection for 360° Image Object Detection Bridged by RoI Searcher[J]. Journal of Visual Communication and Image Representation, 2022, 89: 103660.

11. L. Nie, C. Lin*, K. Liao, et al. Learning Edge-preserved Image Stitching from Multi-scale Deep Homography[J]. Neurocomputing, 2022, 491: 533-543.

12. L. Nie, C. Lin*, K. Liao, et al. Depth-Aware Multi-Grid Deep Homography Estimation with Contextual Correlation[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(7): 4460-4472.

13. Keyao Zhao, Chunyu Lin*, Kang Liao, Shangrong Yang, Yao Zhao, Revisiting Radial Distortion Rectification in Polar-coordinates: A New and Efficient Learning Perspective, IEEE Transactions on Circuits and Systems for Video Technology, 2021.

14. Lang Nie, Chunyu Lin*, Kang Liao, Shuaicheng Liu, and Yao Zhao, Unsupervised deep image stitching: reconstructing stitched features to images, IEEE Transactions on Image Processing, vol. 30, pp. 6184-6197, 2021.

15. Kang Liao, Chunyu Lin*, Yao Zhao, and Moncef Gabbouj, Distortion rectification from static to dynamic: A distortion sequence construction perspective, IEEE Transactions on Circuits and Systems for Video Technology, vol. 30, no. 11, pp. 3870-3882, 2021.

16. Xue Zhang, Gene Cheung, Yao Zhao, Patrick Le Callet, Chunyu Lin, Jack Z. G. Tan, Graph Learning Based Head Movement Prediction for Interactive 360 Video Streaming. IEEE Trans. Image Process. 30: 4622-4636, 2021.

17. Keyao Zhao, Kang Liao, Chunyu Lin*, Meiqin Liu, and Yao Zhao, “Joint distortion rectification and super-resolution for self-driving scene perception,” Neurocomputing, vol. 435, pp. 176–185, 2021.

18. Kang Liao, Chunyu Lin*, and Yao Zhao, “A deep ordinal distortion estimation approach for distortion rectification,” IEEE Trans. Image Process., vol. 30, pp. 3362–3375, 2021.

19. Chunlan Zhang, Kang Liao, Chunyu Lin*, and Yao Zhao, “Pseudo-lidar point cloud magnification,” Neurocomputing, vol. 422, pp. 129–138, 2021.

20. Ning Yu, Chunyu Lin*, Yao Zhao, Meiqin Liu, and Xue Zhang, “360 video compression based on sphere-rotated frame prediction,” IET Image Process., vol. 14, no. 12, pp. 2711–2718, 2020.

21. Lang Nie, Chunyu Lin*, Kang Liao, Meiqin Liu, and Yao Zhao, “A view-free image stitching network based on global homography,” J. Vis. Commun. Image Represent., vol. 73, pp. 102950, 2020.

22. Kang Liao, Chunyu Lin*, Yao Zhao, Moncef Gabbouj, Yang Zheng, OIDC-Net: Omnidirectional Image Distortion Correction via Coarse-to-Fine Region Attention. J. Sel. Topics Signal Processing 14(1): 222-231 (2020).

23. Shangrong Yang, Chunyu Lin*, Kang Liao, Yao Zhao, Meiqin Liu, Unsupervised fisheye image correction through bidirectional loss with geometric prior. J. Vis. Commun. Image Represent. 66: 102692 (2020).

24. Haojie Liu, Kang Liao, Chunyu Lin*, Yao Zhao, Meiqin Liu, PLIN: A Network for Pseudo-LiDAR Point Cloud Interpolation. Sensors 20(6): 1573 (2020).

25. Kang Liao, Chunyu Lin*, Yao Zhao, Moncef Gabbouj, DR-GAN: Automatic Radial Distortion Rectification Using Conditional GAN in Real-Time. IEEE Trans. Circuits Syst. Video Techn. 30(3): 725-733 (2020).

26. Kang Liao, Chunyu Lin*, Yao Zhao, Mai Xu, Model-Free Distortion Rectification Framework Bridged by Distortion Distribution Map. IEEE Trans. Image Process. 29: 3707-3718 (2020).

27. Jian Jin, Jie Liang, Yao Zhao, Chunyu Lin, Chao Yao, Lili Meng, Pixel-Level View Synthesis Distortion Estimation for 3D Video Coding. IEEE Trans. Circuits Syst. Video Technol. 30(7): 2229-2239 (2020)

28. Xue Zhang, Laura Toni, Pascal Frossard, Yao Zhao, Chunyu Lin, Adaptive Streaming in Interactive Multiview Video Systems. IEEE Trans. Circuits Syst. Video Techn. 29(4): 1130-1144 (2019).

29. Jian Jin, Jie Liang, Yao Zhao, Chunyu Lin, Chao Yao, Anhong Wang, A Depth-Bin-Based Graphical Model for Fast View Synthesis Distortion Estimation. IEEE Trans. Circuits Syst. Video Technol. 29(6): 1754-1766 (2019)

30. C. Lin, Y. Zhao, J. Xiao and T. Tillo, "Region-based multiple description coding for multiview video plus depth video," in IEEE Transactions on Multimedia, vol.20, no.5, pp.1209-1223, 2018.

31. Y. Gao, C. Lin*, Y. Zhao, X. Wang, S. Wei and Q. Huang, "3-D Surround View for Advanced Driver Assistance Systems," in IEEE Transactions on Intelligent Transportation Systems, vol. 19, no. 1, pp. 320-328, Jan. 2018.

32. Qian Li, Chunyu Lin*, Yao Zhao, Geometric Features-Based Parking Slot Detection. Sensors 18(9): 2821, pp.1-16, 2018.

33. Xue Zhang, Yao Zhao, Tammam Tillo, Chunyu Lin, A packetization strategy for interactive multiview video streaming over lossy networks. Signal Processing 145: 285-294 (2018).

34. Yan Dong, Chunyu Lin*, Yao Zhao, Chao Yao, Depth map upsampling using joint edge-guided convolutional neural network for virtual view synthesizing, Journal of Electronic Imaging, vol.26, no.4, pp.1- 9, 2017.

35. Hongyun Lin, Chunyu Lin*, Yao Zhao, Anhong Wang, 3D saliency detection based on background detection, Journal of Visual Communication and Image Representation, vol. 48, pp.238-253, 2017.

36. Meiqin Liu, Yao Zhao, Jie Liang, Chunyu Lin, Huihui Bai, Chao Yao,Depth map up-sampling with fractal dimension and texture-depth boundary consistencies. Neurocomputing 257: 185-192 (2017).

37. C. Yao, J. Xiao, T. Tillo, Y. Zhao, C. Lin and H. Bai, "Depth Map Down-Sampling and Coding Based on Synthesized View Distortion," in IEEE Transactions on Multimedia, vol. 18, no. 10, pp. 2015-2022, Oct. 2016.

38. J. Jin, A. Wang, Y. Zhao, C. Lin and B. Zeng, "Region-Aware 3-D Warping for DIBR," in IEEE Transactions on Multimedia, vol. 18, no. 6, pp. 953-966, June 2016.

39. Chao Yao, Tammam Tillo, Yao Zhao, Jimin Xiao, Huihui Bai, Chunyu Lin, Depth Map Driven Hole Filling Algorithm Exploiting Temporal Correlation Information. IEEE Trans. Broadcast. 60(2): 394-404 (2014)

40. Chunyu Lin, Yao Zhao, Tillo, T. , and Jimin Xiao, Multiple Description Coding for Stereoscopic Videos with Stagger Frame Order, IEEE Transactions on Circuits and Systems for Video Technology, vol.25,no.6,pp.1016-1025, 2015.

41. J. Xiao, T. Tillo, C. Lin, Y. Zhang and Y. Zhao, "A Real-Time Error Resilient Video Streaming Scheme Exploiting the Late- and Early-Arrival Packets," in IEEE Transactions on Broadcasting, vol. 59, no. 3, pp. 432-444, Sept. 2013.

42. J. Xiao, T. Tillo, C. Lin and Y. Zhao, "Dynamic Sub-GOP Forward Error Correction Code for Real-Time Video Applications," in IEEE Transactions on Multimedia, vol. 14, no. 4, pp. 1298-1308, Aug. 2012.

43. Chunyu Lin, Tillo, T. , Yao Zhao and Byeungwoo Jeon, Multiple Description Coding for H.264/AVC With Redundancy Allocation at Macro Block Level, IEEE Transactions on Circuits and Systems for Video Technology, vol.21, no.5, pp.589-600, 2011.

会议论文：

1. Jiyuan Wang, Chunyu Lin, Lang Nie, Shujuan Huang, Yao Zhao, Xing Pan, Rui Ai, WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions. ICRA2024

2. Zhijie Shen, Zishuo Zheng, Chunyu Lin, Lang Nie, Kang Liao, Shuai Zheng, Yao Zhao, Disentangling Orthogonal Planes for Indoor Panoramic Room Layout Estimation with Cross-Scale Distortion Awareness, CVPR2023.

3. Lang Nie, Chunyu Lin*, Kang Liao, Shuaicheng Liu, Yao Zhao, Learning Thin-Plate Spline Motion and Seamless Composition for Parallax-Tolerant Unsupervised Deep Image Stitching, ICCV2023.

4. Shangrong Yang, Chunyu Lin*, Kang Liao, Yao Zhao , Dual Diffusion Architecture for Fisheye Image Rectification: Synthetic-to-Real Generalization, ICCV2023.

5. Kang Liao, Lang Nie, Chunyu Lin, Zishuo Zheng, Yao Zhao, RecRecNet: Rectangling rectified wide-angle images by thin-plate spline model and DoF-based curriculum learning, ICCV2023.

6. Zisong Chen, Chunyu Lin, Nie Lang, Kang Liao, Yao Zhao, Unsupervised OmniMVS: Efficient Omnidirectional Depth Inference via Establishing Pseudo-Stereo Supervision, ACMMM2023.

7. S. Yang, C. Lin*, K. Liao, et al. Spatiotemporal Deformation Perception for Fisheye Video Rectification[C]//Proceedings of the AAAI Conference on Artificial Intelligence, AAAI2023

8. Z. Zheng, C. Lin*, L. Nie, et al. Complementary Bi-Directional Feature Compression for Indoor 360deg Semantic Segmentation With Self-Distillation[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. WACV2023: 4501-4510.

9. M. Hong, Y. Lu, N. Ye, C. Lin, Q. Zhao, S. Liu. Unsupervised Homography Estimation with Coplanarity-Aware GAN[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). 2022: 17663-17672.

10. Z. Shen, C. Lin*, K. Liao, et al. PanoFormer: Panorama Transformer for Indoor 360°Depth Estimation[C]//Proceedings of the European Conference on Computer Vision(ECCV). 2022: 195-211.

11. L. Nie, C. Lin*, K. Liao, et al. Deep Rectangling for Image Stitching: A Learning Baseline[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). 2022: 5740-5748.

12. C. Zhang, C. Lin*, K. Liao, et al. SivsFormer: Parallax-Aware Transformers for Single-image-based View Synthesis[C]//2022 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). IEEE, 2022: 47-56.

13. K. Liao, C. Lin*, Y. Wei, et al. Towards Complete Scene and Regular Shape for Distortion Rectification by Curve-Aware Extrapolation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision(ICCV). 2021: 14569-14578.

14. K. Liao, C. Lin*, L. Liao, et al. Multi-Level Curriculum for Training a Distortion-Aware Barrel Distortion Rectification Model[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision(ICCV). 2021: 4389-4398.

15. S. Yang, C. Lin*, K. Liao, et al. Progressively Complementary Network for Fisheye Image Rectification using Appearance Flow[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). 2021: 6348-6357.

16. Zhijie Shen, Chunyu Lin*, Lang Nie, Kang Liao, Yao Zhao, Distortion-Tolerant Monocular Depth Estimation on Omnidirectional Images Using Dual-Cubemap. ICME 2021,2021.

17. Lei Zhang, Kang Liao, Chunyu Lin*, Meiqin Liu, Yao Zhao,Image Outpainting with Depth Assistance. PRCV 2021: 275-286 

专著/译著

1. 林春雨，Cock,Slowack,Lambert,Walle.Chater 13 in book Advanced Video Communications over Wireless Networks[M]。国外:Taylor & Francis Inc，2013-02

专利

1.         一种基于旋转的多描述视频编解码方法、装置及系统, PCT/CN2012/084216

2.         延迟约束条件下基于系统RS码的视频编解码系统及其方法, CN102404572 B

3.         基于旋转的多描述视频编解码系统 201110444699.7

4.         图像集中的图像的编码方法和解码方法 201610010094X

5.         一种HEVC帧内编码的快速模式决策算法及其应用  2013103539989

6.        一种深度图像的后处理方法   2015100096901

软件著作权

获奖与荣誉

• 2011年度北京交通大学优秀博士论文
• 2010年  IIHMSP2010国际会议最佳论文奖
• 2012年 北京市科学技术一等奖（rank6）
• 2016年 北京交通大学优秀教学成果奖二等奖 (rank5)
• 2016年  握奇奖教金
• 2017年 北京交通大学“三育人”先进个人
• 2018年 优秀研究生班主任
• 2018年 北京交通大学信息所年度优秀论文奖
• 2019年 华为奖教金
• 2014 2016 2017 2018 2019 2020  2021 2023八年度共七次指导学生获国家级大学生创新训练计划项目
• 2015 2019 2020 2021 2022 2023年度指导学生获北京市级大学生创新训练计划项目
• 2015年 指导学生入围第八届全国大学生创新创业年会，国家级二等奖
• 2017年 指导学生入围第十届全国大学生创新创业年会，国家级一等奖
• 2021年 教育部高等学校科学研究优秀成果奖（科学技术）二等奖
• 2021年 北京市普通高校优秀本科毕业设计（论文）优秀指导教师
• 2021年 第三届中国研究生人工智能大赛 二等奖 优秀指导教师
• 2021年 “挑战杯”首都大学生课外学术科技作品竞赛“揭榜挂帅”专项奖 二等奖（指导教师）
• 2021年 院师德师风先进个人
• 2023年 北京交通大学优秀教师
• 2023年 第五届中国研究生人工智能大赛二等奖 指导教师
  
• 2023年 中国图象图形学学会 科技进步二等奖
• 2024年 北京交通大学优秀共产党员

社会兼职

• IEEE Member，电子学会会员，中国图像图形学学会高级会员
• 中国图象图形学报编委
• 中国图像图形学学会学术会议与交流工委会秘书长
• NCIG2018展览主席，ICIG2019出版主席，NCIG2020出版主席，PRCV2021出版主席
• PCM2015 APASIAP2016 ICIG2017 分论坛主席
• CVPR,ICCV,ECCV,Nips,AAAI,ACMMM,ICME,ICIP等TPC
• IEEE TCSVT, TMM, TIP,TITS, TIM,SPL, JVCIR, PR, PR Letter, TWireless, MTP, KIIS, JEL, EURASIP Journal on Image and Video Processing, EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING 等期刊审稿人
• 电子学报，计算机学报，通信学报，软件学报，信号处理，计算机工程与应用，计算机科学与探索等期刊审稿人

已毕业研究生学生去向

林鸿运      字节跳动

董燕         中国建设银行河北省分行

沈新宇      中国移动通信集团有限公司河北分公司

苏群          北京快手科技有限公司

李雅茹       中国移动研究院

王旭东       书行科技有限公司（小红书）

李倩          小米通讯技术有限公司->蔚来汽车

于宁          北京快手科技有限公司

管文华       山西省公务员

郑阳          山东省公务员

李诗媛       北京三快在线科技有限公司（美团）
刘豪杰       百度在线网络技术(北京)有限公司

孙琦           海康威视

黄旭东        华为技术有限公司

赵珂瑶        京东

张磊           中国人寿

郑子硕        新石器无人车

陈子松        小米通讯技术有限公司

覃雷栋       北京鑫洋泉电子科技有限公司

王会心        中电信人工智能科技（北京）有限公司

本科生培养

自定义四