안녕하세요. AI Robotics KR 운영진 김지원입니다.
적외선 카메라(Infrared camera)도 파장에 따라 카메라가 나뉜다는 사실을 알고 계신가요? 대표적으로 많이 사용되는 적외선 카메라의 종류로는 약 700~1000nm 파장 대역을 캡처하는 NIR 카메라와 약 8000~15000nm 파장 대역을 캡처하는 LWIR(FIR) 카메라가 있으며 이외에도 SWIR, MIR 등 적외선 파장 내 다양한 파장 대역을 캡처하는 카메라가 존재합니다.
멀티스펙트럴 센서 연구는 이처럼 다양한 파장 대역에서 획득한 데이터를 융합하여 사용함으로써 RGB 카메라보다 더욱 강인한 환경인지를 목표로 하고 있습니다.
최근 자동차 분야에서는 RGB 카메라와 LWIR 카메라를 함께 사용하는 연구가 활발하게 이뤄졌으며, 이를 반증하듯 아래와 같이 LWIR 카메라를 이용해 취득한 데이터셋들이 많이 공개됐습니다.
KAIST Multispectral Pedestrian Detection Benchmark (https://soonminhwang.github.io/rgbt-ped-detection/)
Teledyne FLIR Thermal Dataset (https://www.flir.eu/oem/adas/adas-dataset-form/)
ViViD++: Vision for Visibility Dataset (https://visibilitydataset.github.io/1_about.html)
Stereo Thermal Dataset (https://sites.google.com/view/rpmsthereo/)
이 외에도 다양한 분야에서 LWIR 카메라를 적용하기 위한 연구를 수행하고 있으며, 최근 아마존 자회사인 Zoox에서 공개한 영상 영상(https://youtu.be/5E2NYmgvo3E?t=135)에서 확인할 수 있는 것처럼 열화상 카메라 솔루션은 학계뿐만 아니라 산업계에서도 활발히 사용되고 있음을 확인할 수 있습니다.
반면, 다른 파장 대역을 캡처하는 NIR 카메라는 어떻게 활용되고 있을까요? NIR 카메라는 실제 가시광선과 매우 근접한 파장 대역으로 RGB 카메라와 유사한 특징을 가지고 있습니다. 저조도 환경에서 NIR 카메라를 사용하기 위해서는 추가적인 IR LED가 필요하며, 광원에 따라 인식거리가 제한적입니다. 이러한 이유로 NIR 카메라는 CCTV, Depth 카메라, 얼굴인식 분야에서 제한적으로 활용되고 있습니다.
서론이 길었는데요. 본 게시글에서는 최근 자동차 분야에서도 NIR 카메라를 활용하기 위한 흥미로운 연구 및 시도들이 눈에 띄어 이를 공유드리고자 합니다.
"NIR 카메라를 이용한 보행자 인식 데이터셋, NIRPed"
paper : https://ieeexplore.ieee.org/document/10077447
data : https://github.com/XiaobiaoDai/NIRPed
아래 사진에서 자동차에 장착된 IR LED가 보이시나요? 처음 해당 논문을 접했을 때, 저는 IR LED의 크기를 보고 놀랐습니다. NIRPed의 저자는 자동차에 엄청난 크기의 IR LED를 추가적으로 장착하여 NIR 카메라의 인식 거리 확보하였고, 해당 셋업은 기존 LWIR 카메라 연구들 보다 더 먼 거리의 객체도 검출 할 수 있음을 주장합니다.
더불어 아래 내용과 같이 기존 NIR 카메라도 자동차 분야에서 충분히 활용할 수 있음을 입증하기 위해 무려 3년간 다양한 환경의 데이터를 수집하였다고 합니다.
"we planned a very rich data collection environment, including cold and hot seasons, sunny and rainy weather conditions, big and small cities, densely populated urban, university campuses, and sparsely populated suburb areas. In addition, we let the car drive at a normal speed, taking into account the impact of vehicle speed on imaging quality. From 2018 to 2021, we obtained 29 data sequences to achieve data balance in various environments. {...}"
저는 처음 NIRPed 논문을 보며 "모든 자동차에 논문과 같은 IR LED 셋업을 구축할 수 없는데, 해당 연구는 어떻게 활용하지?" 라고 생각하며 안타까웠는데, 이후 한 유튜브 영상을 180도 바뀌게 됩니다.
"Kyocera's Automotive Night Vision System (https://www.youtube.com/watch?v=2qW5oSAYplk) "
해당 유튜브 영상의 내용을 요약하면 "한 회사에서 자신들이 처음으로 자동차 헤드라이트에 IR LED를 통합했다"는 내용입니다. 해당 영상을 보며 들었던 생각은 "실제 자동차 헤드라이트에 IR LED가 적용된다면 상대편 차량을 방해하지 않고, IR 광원을 충분히 방사할 수 있어 NIRPed 연구에서 큰 IR LED가 없어도 해당 연구를 활용할 수 있겠다"입니다. 더불어 NIR 카메라는 열화상 카메라와 다르게 일반 유리를 투과 할 수도 있어 특별한 장치없이 실내에 장착할 수 있고, 크기와 가격도 저렴하다는 특징을 가지고 있습니다.
최근 멀티스펙트럴 분야 연구들을 살펴보던 중 제가 생각했던 것보다 NIR 카메라에 더욱 흥미로운 점들을 알게돼, 본 게시글을 작성하였습니다. 이러한 연구들을 통해서 실제 적외선 카메라를 포함한 멀티스펙트럴 센서가 다양한 시스템에 많이 활용되면 좋겠습니다.
- 다음주에는 김태경 운영진님이 글을 포스팅해주실 예정입니다.
Hello. This is Kim Ji-won, a member of the AI Robotics KR team. Are you aware that cameras can be divided according to the wavelength of the infrared camera? Some commonly used types of infrared cameras include NIR cameras, which capture wavelengths in the range of approximately 700 to 1000 nm, and LWIR (FIR) cameras, which capture wavelengths in the range of approximately 8000 to 15000 nm. There are also cameras that capture various wavelength ranges within the infrared spectrum, such as SWIR and MIR cameras.
Research on multispectral sensor aims to combine data acquired from various wavelength ranges to create a more robust environment compared to RGB cameras. In recent years, research on the combined use of RGB cameras and LWIR cameras in the automotive field has been actively conducted, and many datasets acquired using LWIR cameras have been made available. Some of these datasets include the KAIST Multispectral Pedestrian Detection Benchmark, the Teledyne FLIR Thermal Dataset, the ViViD++: Vision for Visibility Dataset, and the Stereo Thermal Dataset.
Furthermore, research on applying LWIR cameras in various fields is being carried out. As evidenced by a video released by Zoox, a subsidiary of Amazon, thermal camera solutions are being widely used not only in academia but also in the industry. On the other hand, how are NIR cameras, which capture different wavelength ranges, being utilized? NIR cameras operate in a wavelength range very close to visible light and have similar characteristics to RGB cameras. To use NIR cameras in low-light environments, additional IR LEDs are required, and the recognition range is limited depending on the light source. For these reasons, NIR cameras are selectively used in CCTV, depth cameras, and facial recognition fields.
In this post, I would like to share interesting research and attempts in the automotive field to utilize NIR cameras. One such example is the NIRPed dataset, which focuses on pedestrian recognition using NIR cameras. The paper and data for NIRPed can be found in the provided links. In the NIRPed paper, the authors achieved extended recognition distance by incorporating large-sized IR LEDs into cars, which surprised me when I first encountered the paper. Additionally, they collected data in various environments over a period of three years to demonstrate the ample usability of NIR cameras in the automotive field.
While initially thinking that it would be impractical to implement the same IR LED setup as described in the NIRPed paper in every car, my perspective changed completely after watching a YouTube video. The video showcased Kyocera's Automotive Night Vision System, which integrated IR LEDs into car headlights for the first time. This made me realize that if IR LEDs are integrated into actual car headlights, it would be possible to emit IR light without interfering with other vehicles, allowing the utilization of NIRPed research without the need for large IR LEDs. Furthermore, NIR cameras can penetrate regular glass without special devices, making them easy to install indoors and also cost-effective in terms of size and price.
Recently, while exploring research in the multispectral field, I discovered more interesting aspects of NIR cameras than I had initially thought, which prompted me to write this post. I hope that through these studies, including the practical application of infrared cameras, multispectral sensors will be widely utilized in various systems.
- Next week, our team member Kim Tae-kyung will be posting an article.
[Translated by ChatGPT]
안녕하세요. AI Robotics KR 운영진 김지원입니다.
적외선 카메라(Infrared camera)도 파장에 따라 카메라가 나뉜다는 사실을 알고 계신가요? 대표적으로 많이 사용되는 적외선 카메라의 종류로는 약 700~1000nm 파장 대역을 캡처하는 NIR 카메라와 약 8000~15000nm 파장 대역을 캡처하는 LWIR(FIR) 카메라가 있으며 이외에도 SWIR, MIR 등 적외선 파장 내 다양한 파장 대역을 캡처하는 카메라가 존재합니다.
멀티스펙트럴 센서 연구는 이처럼 다양한 파장 대역에서 획득한 데이터를 융합하여 사용함으로써 RGB 카메라보다 더욱 강인한 환경인지를 목표로 하고 있습니다.
최근 자동차 분야에서는 RGB 카메라와 LWIR 카메라를 함께 사용하는 연구가 활발하게 이뤄졌으며, 이를 반증하듯 아래와 같이 LWIR 카메라를 이용해 취득한 데이터셋들이 많이 공개됐습니다.
KAIST Multispectral Pedestrian Detection Benchmark (https://soonminhwang.github.io/rgbt-ped-detection/)
Teledyne FLIR Thermal Dataset (https://www.flir.eu/oem/adas/adas-dataset-form/)
ViViD++: Vision for Visibility Dataset (https://visibilitydataset.github.io/1_about.html)
Stereo Thermal Dataset (https://sites.google.com/view/rpmsthereo/)
이 외에도 다양한 분야에서 LWIR 카메라를 적용하기 위한 연구를 수행하고 있으며, 최근 아마존 자회사인 Zoox에서 공개한 영상 영상(https://youtu.be/5E2NYmgvo3E?t=135)에서 확인할 수 있는 것처럼 열화상 카메라 솔루션은 학계뿐만 아니라 산업계에서도 활발히 사용되고 있음을 확인할 수 있습니다.
반면, 다른 파장 대역을 캡처하는 NIR 카메라는 어떻게 활용되고 있을까요? NIR 카메라는 실제 가시광선과 매우 근접한 파장 대역으로 RGB 카메라와 유사한 특징을 가지고 있습니다. 저조도 환경에서 NIR 카메라를 사용하기 위해서는 추가적인 IR LED가 필요하며, 광원에 따라 인식거리가 제한적입니다. 이러한 이유로 NIR 카메라는 CCTV, Depth 카메라, 얼굴인식 분야에서 제한적으로 활용되고 있습니다.
서론이 길었는데요. 본 게시글에서는 최근 자동차 분야에서도 NIR 카메라를 활용하기 위한 흥미로운 연구 및 시도들이 눈에 띄어 이를 공유드리고자 합니다.
"NIR 카메라를 이용한 보행자 인식 데이터셋, NIRPed"
paper : https://ieeexplore.ieee.org/document/10077447
data : https://github.com/XiaobiaoDai/NIRPed
아래 사진에서 자동차에 장착된 IR LED가 보이시나요? 처음 해당 논문을 접했을 때, 저는 IR LED의 크기를 보고 놀랐습니다. NIRPed의 저자는 자동차에 엄청난 크기의 IR LED를 추가적으로 장착하여 NIR 카메라의 인식 거리 확보하였고, 해당 셋업은 기존 LWIR 카메라 연구들 보다 더 먼 거리의 객체도 검출 할 수 있음을 주장합니다.
더불어 아래 내용과 같이 기존 NIR 카메라도 자동차 분야에서 충분히 활용할 수 있음을 입증하기 위해 무려 3년간 다양한 환경의 데이터를 수집하였다고 합니다.
"we planned a very rich data collection environment, including cold and hot seasons, sunny and rainy weather conditions, big and small cities, densely populated urban, university campuses, and sparsely populated suburb areas. In addition, we let the car drive at a normal speed, taking into account the impact of vehicle speed on imaging quality. From 2018 to 2021, we obtained 29 data sequences to achieve data balance in various environments. {...}"
저는 처음 NIRPed 논문을 보며 "모든 자동차에 논문과 같은 IR LED 셋업을 구축할 수 없는데, 해당 연구는 어떻게 활용하지?" 라고 생각하며 안타까웠는데, 이후 한 유튜브 영상을 180도 바뀌게 됩니다.
"Kyocera's Automotive Night Vision System (https://www.youtube.com/watch?v=2qW5oSAYplk) "
해당 유튜브 영상의 내용을 요약하면 "한 회사에서 자신들이 처음으로 자동차 헤드라이트에 IR LED를 통합했다"는 내용입니다. 해당 영상을 보며 들었던 생각은 "실제 자동차 헤드라이트에 IR LED가 적용된다면 상대편 차량을 방해하지 않고, IR 광원을 충분히 방사할 수 있어 NIRPed 연구에서 큰 IR LED가 없어도 해당 연구를 활용할 수 있겠다"입니다. 더불어 NIR 카메라는 열화상 카메라와 다르게 일반 유리를 투과 할 수도 있어 특별한 장치없이 실내에 장착할 수 있고, 크기와 가격도 저렴하다는 특징을 가지고 있습니다.
최근 멀티스펙트럴 분야 연구들을 살펴보던 중 제가 생각했던 것보다 NIR 카메라에 더욱 흥미로운 점들을 알게돼, 본 게시글을 작성하였습니다. 이러한 연구들을 통해서 실제 적외선 카메라를 포함한 멀티스펙트럴 센서가 다양한 시스템에 많이 활용되면 좋겠습니다.
Hello. This is Kim Ji-won, a member of the AI Robotics KR team. Are you aware that cameras can be divided according to the wavelength of the infrared camera? Some commonly used types of infrared cameras include NIR cameras, which capture wavelengths in the range of approximately 700 to 1000 nm, and LWIR (FIR) cameras, which capture wavelengths in the range of approximately 8000 to 15000 nm. There are also cameras that capture various wavelength ranges within the infrared spectrum, such as SWIR and MIR cameras.
Research on multispectral sensor aims to combine data acquired from various wavelength ranges to create a more robust environment compared to RGB cameras. In recent years, research on the combined use of RGB cameras and LWIR cameras in the automotive field has been actively conducted, and many datasets acquired using LWIR cameras have been made available. Some of these datasets include the KAIST Multispectral Pedestrian Detection Benchmark, the Teledyne FLIR Thermal Dataset, the ViViD++: Vision for Visibility Dataset, and the Stereo Thermal Dataset.
Furthermore, research on applying LWIR cameras in various fields is being carried out. As evidenced by a video released by Zoox, a subsidiary of Amazon, thermal camera solutions are being widely used not only in academia but also in the industry. On the other hand, how are NIR cameras, which capture different wavelength ranges, being utilized? NIR cameras operate in a wavelength range very close to visible light and have similar characteristics to RGB cameras. To use NIR cameras in low-light environments, additional IR LEDs are required, and the recognition range is limited depending on the light source. For these reasons, NIR cameras are selectively used in CCTV, depth cameras, and facial recognition fields.
In this post, I would like to share interesting research and attempts in the automotive field to utilize NIR cameras. One such example is the NIRPed dataset, which focuses on pedestrian recognition using NIR cameras. The paper and data for NIRPed can be found in the provided links. In the NIRPed paper, the authors achieved extended recognition distance by incorporating large-sized IR LEDs into cars, which surprised me when I first encountered the paper. Additionally, they collected data in various environments over a period of three years to demonstrate the ample usability of NIR cameras in the automotive field.
While initially thinking that it would be impractical to implement the same IR LED setup as described in the NIRPed paper in every car, my perspective changed completely after watching a YouTube video. The video showcased Kyocera's Automotive Night Vision System, which integrated IR LEDs into car headlights for the first time. This made me realize that if IR LEDs are integrated into actual car headlights, it would be possible to emit IR light without interfering with other vehicles, allowing the utilization of NIRPed research without the need for large IR LEDs. Furthermore, NIR cameras can penetrate regular glass without special devices, making them easy to install indoors and also cost-effective in terms of size and price.
Recently, while exploring research in the multispectral field, I discovered more interesting aspects of NIR cameras than I had initially thought, which prompted me to write this post. I hope that through these studies, including the practical application of infrared cameras, multispectral sensors will be widely utilized in various systems.
[Translated by ChatGPT]