Research Article

Journal of the Korean Geosynthetics Society. 30 December 2025. 19-30
https://doi.org/10.12814/jkgss.2025.24.4.019

ABSTRACT


MAIN

  • 1. 서 론

  • 2. 연구 방법 및 절차

  •   2.1 연구 프레임워크

  •   2.2 연구 대상 선정 및 데이터 수집

  •   2.3 데이터 전처리

  •   2.4 딥러닝 모델 학습

  •   2.5 성능 평가 방법

  • 3. 실 험

  •   3.1 실험 개요

  •   3.2 데이터셋 구성

  •   3.3 전처리 적용 결과

  •   3.4 딥러닝 모델 학습

  •   3.5 성능 평가

  • 4. 결 론

1. 서 론

교량을 포함한 사회기반시설의 노후화는 전 세계적으로 가속화되고 있으며, 이는 잠재적 사회 리스크로 부상하고 있다. 이에 따라 구조물의 안전성을 확보하기 위한 장기적이고 지속적인 구조 건전성 모니터링(Structural Health Monitoring, SHM)의 필요성이 크게 대두되고 있다(Frangopol and Liu, 2007; Biondini and Frangopol, 2018). 기존의 정기 점검 위주의 관리 방식은 특정 시점의 상태만을 평가하므로, 시간의 흐름에 따라 누적되는 재료의 열화나 예측 불가능한 외부 하중에 의한 손상을 실시간으로 감지하는 데 본질적인 한계를 가진다. 따라서 상시 모니터링 기반의 선제적 유지관리 패러다임으로의 전환이 요구되고 있다(Brownjohn, 2007).

국내외에서 발생한 다수의 교량 붕괴 사고는 이러한 패러다임 전환의 필요성을 명확히 보여준다. 2023년 발생한 성남 정자교 붕괴 사고는 콘크리트 열화와 철근 부착력 상실이 주된 원인으로 지목되었으며(MOLIT, 2023), 이는 유지관리 시스템의 부재가 불러온 예견된 재난이었다. 해외에서도 이탈리아 제노바 모란디 교량(2018), 미국 미니애폴리스 I-35W 교량(2007) 붕괴 등은 각각 케이블 부식과 설계 결함이라는 기술적 원인과 더불어, 점검 시스템의 사각지대와 같은 구조적 문제가 복합적으로 작용한 결과였다. 이러한 사례들은 공통적으로 간헐적인 정기 점검만으로는 예측 불가능한 재난을 예방할 수 없으며, 구조물의 동적 거동을 지속적으로 추적할 수 있는 상시 모니터링 체계의 중요성을 시사한다(Ji, 2021).

상시 모니터링을 구현하기 위해 다양한 기술이 활용되어 왔으나, 각각 뚜렷한 한계를 지니고 있다. 선형 가변 차동 변압기(Linear Variable Differential Transformer, LVDT), 변형률 게이지, 가속도계와 같은 접촉식 센서는 특정 지점에서 정밀한 데이터 취득이 가능하지만, 설치 및 유지보수에 높은 비용이 수반되며 계측 지점이 국소적으로 한정된다는 단점이 있다. 최근 대안으로 부상한 드론 기반 영상 계측은 접근이 어려운 구간의 데이터를 비접촉 방식으로 수집할 수 있는 장점이 있으나(Panigati et al., 2025; Ellenberg et al., 2015; Hoskere et al., 2019), 비행시간의 제약, 기상 조건의 영향, 그리고 기체 진동으로 인한 데이터 안정성 문제로 인해 장기적이고 연속적인 모니터링에는 적합하지 않다(Feroz and Dabous, 2021).

따라서 상시 모니터링을 구현하기 위한 다양한 기술적 접근이 시도되어 왔으나, 기존에 사용되는 장비들은 본질적으로 상시 모니터링에 적합하지 않은 한계를 지니고 있다. LVDT와 다이얼 게이지는 교량의 특정 지점에서 변위를 정밀하게 측정할 수 있는 전통적인 센서 장치로, 구조 실험에 적합한 정밀도를 가진다. 그러나 이러한 장치는 기준이 될 수 있는 고정식 플랫폼을 반드시 필요로 하며, 센서의 양 끝을 각각 기준점과 측정점에 견고하게 부착해야 하는 설치상의 제약이 존재한다. 또한 센서의 구조적 특성으로 인해 두 지점 사이의 유효 길이를 현장 조건에 맞추어 자유롭게 조정하기 어렵다. 와이어 방식의 연결 장치를 사용해 단점을 보완하기도 하지만, 이 경우 측정 정확도와 내구성이 저하될 수 있다. 이러한 문제점은 현장 접근성이 떨어지거나 기준점 확보가 어려운 교량에서 LVDT류 센서 활용의 큰 단점으로 작용한다.

변형률 게이지와 가속도계 기반의 계측도 광범위하게 활용된다(Rizzo et al., 2021). 변형률 계측은 부재의 응력·휨 거동과 직접적으로 연결되어 국부 상태를 민감하게 포착하지만, 접착·배선·전원 등 유지관리 수요가 누적되고 장기 노출 시 접착부 열화와 케이블 손상이 신뢰성 저하로 이어질 수 있다(Yeum and Dyke, 2015). 가속도계는 고빈도의 샘플링을 통해 동적 응답을 포착하는 데 유리하나, 변위를 직접 측정하지 않기 때문에 누적 오차가 발생하기 쉬워 저주파 영역의 절대 변위 추정에는 한계가 있다(Menghini et al., 2024). 결과적으로 전통적 센서군은 정밀도와 신뢰성에서 강점을 보이지만, 이러한 한계들로 인해 광역 교량 모니터링에 그대로 확장하기는 한계가 존재한다(Choi et al., 2021).

이러한 배경에서, 본 연구는 기존 모니터링 기술의 한계를 극복할 대안으로 컴퓨터 비전을 활용하는 프레임워크를 제안하고자 한다. 컴퓨터 비전은 컴퓨터가 이미지나 비디오 등을 분석하는 기술로 CCTV(Closed-Circuit Television) 등을 통해 수집할 수 있는 영상 데이터 분석 또한 컴퓨터 비전의 분석 대상이 될 수 있다.

기존의 컴퓨터 비전 기반 모니터링 연구들은 고정밀 측정을 위해 특수 마커를 부착하거나(Ri et al., 2023; Huang et al., 2022), 두 대 이상의 카메라 동기화 및 정밀 보정이 필요한 스테레오 비전 방식을 주로 사용했다(Huang et al., 2022; Lee and Shinozuka, 2006). 이러한 시스템은 고가의 특수 장비 및 복잡한 설치 작업을 요구하여 광범위한 적용에 경제적 부담이 크다. 또한, 최근 대안으로 부상한 드론 기반 영상 계측은 비행 시간 제약이나 기상 조건의 영향으로 장기적이고 연속적인 상시 모니터링에는 적합하지 않다는 한계가 있다(Panigati et al., 2025).

본 연구의 핵심 기술인 디지털 이미지 상관법(Digital Image Correlation, DIC)은 비접촉, 고정밀의 장점을 가지나, 현장 적용 시 기존 비전 기반 연구와 유사한 두 가지 주요 기술적 제약에 직면한다. DIC 연구들 역시 고정밀 확보를 위해 인공 마커 부착을 필요로 하거나, 복잡한 다중 카메라 시스템에 의존하는 경향이 있었다(Mousa et al., 2021; Sutton, 2008).

본 연구는 이러한 기존 비전 기반 연구들의 기술적, 경제적 제약을 근본적으로 해소한다. CCTV는 교통 관제, 방범 등 다양한 공공 목적으로 이미 사회 전반에 광범위하게 구축되어 있어 추가적인 설치 비용 부담이 적고, 고정된 위치에서 장기간 연속적인 영상 데이터 확보가 가능하여 교량의 동적 거동을 지속적으로 모니터링하는 데 적합하다 (Ellenberg et al., 2015; Choi et al., 2021; Mousa et al., 2021). 따라서 본 연구에서는 CCTV 영상에 인공 마커를 사용하지 않고 (Barros et al., 2022) 교량 표면의 고유한 패턴(천연 마커)을 활용하는 DIC를 적용하여 구조물의 미세 변위를 나타내는 시계열 특징을 추출한다. DIC의 고질적인 문제인 미세 진동 성분은 밴드패스 필터링 및 상호상관 기반의 정밀한 전처리 과정을 통해 효과적으로 제거되었으며, 이 정제된 특징은 장기 의존성 학습에 특화된 딥러닝 모델(LSTM/GRU)의 입력으로 사용되어 기존 DIC의 한계를 극복하고 교량의 실제 변위를 예측하는 새로운 접근법을 제안하고자 한다. 이 방법론은 비접촉, 저비용, 상시 모니터링의 장점을 통합하여 기존 기술의 한계를 극복하고, 사회기반시설 안전 관리의 효율성과 예방적 기능을 극대화하는 것을 목표로 한다.

2. 연구 방법 및 절차

2.1 연구 프레임워크

본 연구에서 제안하는 CCTV 영상 기반 교량 변위 모니터링 방법론의 전체적인 절차는 Fig. 2과 같다. 제안된 프레임워크는 크게 (1) 데이터 수집, (2) 데이터 전처리, (3) 딥러닝 모델 학습 및 (4) 성능 평가의 네 단계로 구성된다.

https://cdn.apub.kr/journalsite/sites/kgss/2025-024-04/N0150240403/images/kgss_2025_244_019_F1.jpg
Fig. 1.

Principle of digital image correlation

https://cdn.apub.kr/journalsite/sites/kgss/2025-024-04/N0150240403/images/kgss_2025_244_019_F2.jpg
Fig. 2.

Proposed research framework

데이터 수집을 위해 모니터링 대상 교량의 특정 구간을 촬영한 CCTV 영상과 동일 지점에서 접촉식 변위 센서를 통해 측정한 기준 변위(Ground truth) 데이터를 동시 수집한다. 이 후 데이터 전처리 단계에서 수집된 영상으로부터 DIC 기법을 적용하여 프레임별 미세 변위를 나타내는 시계열 특징 벡터를 추출한다.

DIC는 객체 표면의 고유한 패턴(또는 인공적으로 부여된 스페클 패턴)을 자연 마커로 활용하여, 변형 전후의 이미지 간의 상관관계를 분석함으로써 변위장을 계산하는 광학적 계측 기법으로(Bruck et al., 1989; Hild and Roux, 2006) Fig. 1은 DIC의 작동 원리를 보여준다. DIC는 기준 이미지(Reference image) 내에 설정된 관심 영역(Region of Interest, ROI)을 다수의 부분 집합(Subset)으로 분할하는 것에서 시작한다. 이후, 변형된 이미지(deformed image) 전체에서 각 부분 집합과 가장 높은 유사도를 보이는 위치를 탐색한다. 이때 유사도 평가는 주로 정규화 상호상관(Normalized Cross-Correlation, NCC) 계수를 이용하며, NCC 값이 최대가 되는 지점의 이동 벡터를 해당 부분 집합의 변위로 산출한다. 이 과정을 모든 부분 집합에 대해 반복하면 전체 ROI에 대한 2차원 변위장을 얻을 수 있다. 또한, 보간 기법을 통해 픽셀 이하 단위(Sub-pixel)의 정밀도를 확보할 수 있다(Feng et al., 2018; Yoneyama et al., 2012).

이후, 영상 데이터와 센서 데이터 간의 시간적 불일치를 해소하기 위해 상호상관(Cross-Correlation) 기반의 동기화를 수행하고, 고주파 노이즈 제거를 위해 Band-Pass 필터링을 적용한다. 또 모델 학습 및 예측 단계에서는 전처리된 DIC 특징 벡터 시계열을 입력으로, 동기화된 센서 변위 값을 레이블(label)로 사용하여 딥러닝 모델을 학습시킨다.

성능 평가: 학습된 모델을 이용하여 새로운 영상 데이터로부터 교량의 변위를 예측하고, 이를 실제 센서 계측값과 비교하여 제안된 방법론의 정확도를 정량적으로 평가한다(Feng and Feng, 2018; Choi et al., 2021; Luo et al., 2023).

2.2 연구 대상 선정 및 데이터 수집

2.2.1 연구대상

본 연구는 서울특별시 강변북로에 위치한 서빙고 고가차도를 대상으로 수행되었다. 교량은 2경간 연속 강거더 형식으로 각 경간 길이는 45m(45m + 45m)이다. 대상 교량은 도심 주요 간선도로에 위치하여 상시 교통 하중이 발생하는 환경이며, 교량 하부의 콘크리트 표면 패턴이 뚜렷하여 영상 기반 계측에 유리한 조건을 갖추고 있다(Fig. 3).

https://cdn.apub.kr/journalsite/sites/kgss/2025-024-04/N0150240403/images/kgss_2025_244_019_F3.jpg
Fig. 3.

Irregular ceiling geometry and surface pattern of the bridge

2.2.2 접촉식 변위 계측

데이터 수집은 2025년 6월 18일 약 2시간(12:00–14:00) 동안 상시 교통 하중 조건에서 진행되었다. 데이터 수집 시점의 현장 기상은 맑음으로 관측되었으며, 평균 기온 28.5°C, 평균 풍속 2.4m/s, 강수량 0mm이었다. 교량의 실제 변위는 서빙고 고가차도 상행선 S3 경간 중앙부 하단에 설치된 5개의 접촉식 변위계(KYOWA DTK-A-50)를 통해 계측되었다(Fig. 4). 데이터는 측정기(EDX-200A)를 사용하여 1 kHz로 샘플링되었으며, 50 Hz 저역통과필터를 적용한 후 500 Hz로 다운샘플링하여 저장되었다. 이 데이터는 딥러닝 모델의 학습 및 검증을 위한 참값(Ground truth)으로 활용되었다. 사용된 주요 계측 장비의 사양은 Table 1과 같다.

https://cdn.apub.kr/journalsite/sites/kgss/2025-024-04/N0150240403/images/kgss_2025_244_019_F4.jpg
Fig. 4.

Bridge displacement measurement equipment based on contact-type sensors and field installation

Table 1.

Model specifications of contact-type sensors

Category Model Capapcity Manufacturer
Sensor Displacement transducer DTK- A- 50 50㎜ KYOWA
ELECTRONIC INSTRUMENTS
Measuring equipment Static/dynamic 
testing machine
EDX- 200A ±500k×10-6 Strain

또한 동일 구간에 대해서 고정된 위치에서 촬영한 영상을 수집하여 영상 기반 분석에 활용하였다. 이를 위해 소니(Sony)사의 a7C 카메라(24.2 MP, 풀프레임 센서)를 현장에 설치하여 촬영하였다(Fig. 5). 촬영한 영상은 후술할 컴퓨터 비전 기반 변위 측정 모델의 입력값이 된다.

https://cdn.apub.kr/journalsite/sites/kgss/2025-024-04/N0150240403/images/kgss_2025_244_019_F5.jpg
Fig. 5.

Camera installed at the field site

2.2.3 디지털 이미지 상관법(DIC)

본 연구에서는 교량 하부 표면의 고유한 요철 및 패턴을 자연 마커로 활용하여 ROI를 설정하고, 연속된 프레임 간의 DIC 분석을 통해 각 프레임의 수평 및 수직 방향 변위 시계열 데이터를 추출하였다. 이 데이터는 딥러닝 모델의 입력 특징(Feature)으로 사용되었다.

2.3 데이터 전처리

수집된 신호에는 장기 추세에 해당하는 저주파 성분과 센서 및 영상 처리 과정에서 발생한 고주파 잡음이 포함된다. 본 연구에서는 교량의 동적 거동을 반영하는 주파수 성분만을 보존하기 위해 밴드 패스 필터링을 적용하였다. 필터는 2차 Butterworth 구조를 사용하고, 위상 왜곡을 방지하기 위해 전후방 처리 기반의 0-위상 방식으로 구현하였다. 이를 통해 신호대잡음비가 개선되고 상호상관 기반 시간 정렬에서 피크가 명확해졌으며, 학습 단계에서도 불필요한 주파수 성분이 억제되어 모델 성능의 안정성이 향상되었다.

DIC와 접촉식 센서를 통해 수집된 변위 데이터는 측정 방식과 단위가 상이하여 직접 비교하거나 모델 입력으로 활용할 경우 왜곡이 발생한다. 예를 들어 특정 신호가 다른 신호에 비해 값의 크기가 훨씬 크면 학습 과정에서 해당 신호가 과도하게 반영되어 모델 성능이 저하될 수 있다. 이를 방지하기 위해 본 연구에서는 모든 시계열 데이터를 평균 0, 분산 1의 범위로 변환하는 표준 정규화 과정을 수행하였다.

정규화는 다음과 같이 정의된다.

(1)
xt*=xt-μσ

여기서 xt*는 정규화된 신호, xt는 원 신호, μ는 신호의 평균, σ는 표준편차를 나타낸다.

이 과정을 통해 데이터 간 스케일 차이가 제거되어 동일한 기준에서 해석이 가능하며, 딥러닝 모델의 수렴 속도와 학습 안정성이 개선된다. 또한 다른 계측 방식에서 얻은 신호를 비교할 때도 왜곡 없이 패턴을 분석할 수 있게 된다.

영상 기반 DIC 데이터와 접촉식 센서 데이터는 계측 방식과 장치 특성 차이로 인해 시간축이 완전히 일치하지 않을 수 있다. 이러한 불일치는 동일한 교량 응답을 다르게 기록하게 만들어 분석 정확도를 저하시킨다. 따라서 본 연구에서는 Cross-correlation을 이용하여 두 신호 간의 시간 지연을 추정하고 보정하였다.

두 시계열 x(t),y(t)에 대한 이산 Cross-correlation은 다음과 같이 정의된다.

(2)
Rxy(τ)=tx(t)y(t+τ)

여기서 τ는 지연을 의미하며, Rxy(τ)가 최대가 되는 지점에서의 τ를 두 신호 간 최적 지연으로 판단하였다.

본 연구에서는 DIC와 센서 데이터 모두 동일한 전처리 과정을 거친 뒤 상호상관 분석을 수행하였고, 추정된 지연만큼 신호를 보정하여 동일한 시간축에서 정렬하였다. 이를 통해 이후 학습 단계에서 입력과 타깃의 정확한 매핑이 가능해졌으며, 상관 계수의 최대값을 기준으로 동기화 품질도 검증할 수 있었다.

2.4 딥러닝 모델 학습

추출된 DIC 기반 시계열 특징으로부터 실제 교량 변위를 예측하기 위해 순환 신경망(Recurrent Neural Network, RNN) 계열의 딥러닝 모델을 적용하였다. RNN은 순차적 데이터의 시간적 종속성을 학습하는 데 특화된 아키텍처이다. 본 연구에서는 장기 의존성 문제 해결에 탁월한 성능을 보이는 Long Short-Term Memory(LSTM) 모델과, 보다 간결한 구조로 연산 효율성을 높인 Gated Recurrent Unit(GRU) 모델을 채택하여 성능을 비교 분석하였다.

LSTM은 순환 신경망의 한 종류로, 입력 게이트·망각 게이트·출력 게이트의 조합을 통해 장기 의존성을 효과적으로 학습할 수 있다. 이러한 구조는 시계열 데이터의 시간적 종속성을 안정적으로 반영할 수 있어, 교량 변위와 같이 연속적 변화가 중요한 문제에 적합하다.

또한, GRU는 LSTM의 게이트 구조를 단순화하여 연산 효율성을 높인 순환 신경망이다. 갱신 게이트와 리셋 게이트를 사용하여 시계열 내 장기 의존성과 단기 변화를 동시에 학습할 수 있으며, 비교적 적은 매개변수로도 안정적인 시계열 예측이 가능하다. 각 모델의 구조는 Fig. 6과 같다.

https://cdn.apub.kr/journalsite/sites/kgss/2025-024-04/N0150240403/images/kgss_2025_244_019_F6.jpg
Fig. 6.

Core architecture of applied deep learning (a) LSTM, (b) GRU

본 연구의 입력은 DIC로부터 얻은 프레임 기반 시계열로, 구조응답 신호와 교통 하중의 준주기성등이 공존하는 시변 시계열 데이터이다. 이러한 특성상 시간 의존성과 장·단기 기억이 요구되므로, 게이트 메커니즘으로 기울기 소실을 완화하는 LSTM/GRU가 적합하다. 특히 제한된 데이터 규모(단일 교량·2시간)에서는 파라미터 효율이 높은 LSTM/GRU가 Self-attention 기반 모델보다 과적합 위험이 낮다. 대안으로 1D-CNN/TCN은 충분한 리셉티브 필드 확보가 선행되어야 하고, ARIMA류는 비선형·비정상 응답을 포괄하기 어렵다. 따라서 본 연구는 LSTM과 GRU를 대표 모델로 채택하였다.

모델의 입력은 특정 시간 윈도우(Time window) 내의 연속된 DIC 특징 시퀀스로, 출력은 해당 시점의 교량 변위 추정값으로 설정하였다. 모델의 일반화 성능을 확보하고 과적합(Overfitting)을 방지하기 위해 데이터 정규화(Normalization)와 조기 종료(Early stopping) 기법을 적용하였다. 학습률, 배치 크기, 은닉층의 노드 수 등 주요 하이퍼파라미터는 그리드 서치(Grid search)를 통해 최적화하였다.

2.5 성능 평가 방법

본 연구에서는 영상 기반 딥러닝 모델의 교량 변위 예측 성능을 정량적으로 검증하고, 공학적 실용성 및 모델의 안정성 측면에서 평가하기 위해 평균 절대 오차(Mean Absolute Error, MAE), 평균 제곱 오차(Mean Squared Error, MSE), 그리고 평균 제곱근 오차(Root Mean Square Error, RMSE)를 핵심 지표로 사용하였다.

MAE는 예측값과 참값 간의 절대적 차이를 평균으로, 모델의 정확도를 직관적으로 나타낸다. 이 지표는 오차의 크기를 실제 측정 단위(mm)로 제시하여, 제안된 방법론의 평균적인 오차 수준을 공학적으로 해석하는 데 필수적이다.

MSE는 예측 오차를 제곱하여 평균낸 값으로, 본 연구에서 LSTM 및 GRU 모델 학습 시 손실 함수로 사용되었다. MSE는 미분이 용이하여 경사 하강법 기반의 딥러닝 모델 최적화에 가장 적합하며, 큰 오차에 높은 가중치를 부여하여 모델이 학습 과정에서 극단적인 오차를 줄이도록 유도한다. 따라서 이 지표는 모델이 최적화 과정을 통해 목표한 성능 달성 정도를 정량적으로 보여주는 역할을 함으로서 RMSE 및 MAE와 함께 모델 학습의 적합성을 통계적으로 검증하는 중요한 관점을 제공한다.

RMSE는 MSE에 제곱근을 취한 값으로, MAE와 마찬가지로 측정값과 동일한 단위(mm)로 오차를 표현하면서도 오차 제곱의 평균에 제곱근을 취함으로써 상대적으로 큰 오차에 더 민감하게 반응하는 특성을 갖는다. 교량 안전 관리는 예측의 안정성이 매우 중요하므로, RMSE를 통해 소수의 큰 오차가 포함된 예측의 안정성 및 공학적 정밀도를 효과적으로 검증하였다. 각 평가 지표는 다음과 같이 정의된다.

(3)
MAE=1ni=1nyi-yi^
(4)
MSE=1ni=1nyi-yi^2
(5)
RMSE=1ni=1nyi-y^i2

여기서 yi는 참값, y^i는 모델의 예측값, n은 전체 데이터 수를 의미한다.

3. 실 험

3.1 실험 개요

본 절에서는 제안된 영상 기반 변위 계측 방법을 실제 교량 현장 데이터로 검증하였다. 실험의 목적은 영상 기반 Feature로부터 추정된 변위가 접촉식 계측 결과와 통계적으로 유의한 상관성을 보임을 확인하는 것에 있다. 이를 위해 동일한 구간에서 확보한 영상 데이터와 변위 데이터를 시간적으로 동기화하고, DIC 기반 Feature 추출 및 AI 모델 학습을 수행하였다.

3.2 데이터셋 구성

본 실험에서는 2025년 6월 18일 서빙고 고가차도 상행선 S3 경간에서 약 2시간 동안(12:00–14:00) 수집된 영상 및 변위 계측 데이터를 사용하였다(Table 2). 영상 데이터는 3840×2160 해상도, 29.8 fps 조건으로 촬영되었으며, 변위 데이터는 동일 구간에 설치된 접촉식 변위계로 계측되었다. 변위 데이터는 초당 500회(500Hz) 주기로 수집되었으며, 두 데이터는 타임스탬프를 기준으로 정밀 동기화를 수행하여 동일한 시간축에서 비교 가능하도록 구성하였다. 최종적으로 확보된 데이터셋은 학습·검증·시험 세트로 분할되어 인공지능 모델의 성능 평가에 활용되었다.

Table 2.

Example of raw sensor data

FileNm No Num G4L_1 G4R_2 G5L_3 G5R_4 Mean
4 6 1186960 2373.92 -0.8982 -0.936 -0.8373 -0.8616
4 6 1186961 2373.922 -0.899 -0.9366 -0.8398 -0.8632
4 6 1186962 2373.924 -0.9001 -0.9379 -0.8424 -0.8647
4 6 1186963 2373.926 -0.9015 -0.9399 -0.8442 -0.8665
4 6 1186964 2373.928 -0.9031 -0.9425 -0.847 -0.8684
4 6 1186965 2373.93 -0.9049 -0.9455 -0.8491 -0.8704
4 6 1186966 2373.932 -0.9069 -0.9484 -0.8511 -0.8722
4 6 1186967 2373.934 -0.9092 -0.9512 -0.853 -0.8743
4 6 1186968 2373.936 -0.9116 -0.9537 -0.855 -0.8768
4 6 1186969 2373.938 -0.9141 -0.956 -0.8573 -0.8791
4 6 1186970 2373.94 -0.9165 -0.9574 -0.8595 -0.8812
4 6 1186971 2373.942 -0.9187 -0.9588 -0.8621 -0.8835
4 6 1186972 2373.944 -0.9202 -0.9601 -0.8647 -0.8857
4 6 1186973 2373.946 -0.9224 -0.9614 -0.8674 -0.8876
4 6 1186974 2373.948 -0.9248 -0.963 -0.87 -0.8899
4 6 1186975 2373.95 -0.9256 -0.9651 -0.8726 -0.8921
4 6 1186976 2373.952 -0.9273 -0.9677 -0.8748 -0.8931

영상은 센서를 부착하여 변위를 계측한 구간을 ROI로 설정하여 분석에 활용하였다. ROI 영역은 그레이스케일 변환과 정규화를 거쳐 DIC 입력으로 변환되었으며, 조명 조건 변화에 따른 민감도를 완화하였다. 이후 ROI 내부를 일정 간격으로 나누어 격자망 형태로 격자점을 배치하였고(Fig. 8) 각 격자점 주변 패치를 추출하여 연속된 프레임 간 상호상관 분석을 수행하였다. 이를 통해 수평 및 수직 방향의 변위 시계열이 산출되었으며, 최종적으로 학습 데이터셋으로 구성되었다.

https://cdn.apub.kr/journalsite/sites/kgss/2025-024-04/N0150240403/images/kgss_2025_244_019_F7.jpg
Fig. 7.

Example of input image data

https://cdn.apub.kr/journalsite/sites/kgss/2025-024-04/N0150240403/images/kgss_2025_244_019_F8.jpg
Fig. 8.

Example of the ROI configuration and grid-point distribution

3.3 전처리 적용 결과

수집된 센서 및 영상 기반 데이터는 밴드패스 필터링과 정규화를 통해 학습에 적합한 형태로 변환되었다. 밴드패스 필터링을 통해 장기 추세와 고주파 잡음이 억제되었으며, 정규화를 통해 신호 간 스케일 차이가 제거되어 동일한 기준에서 비교가 가능해졌다.

특히 Cross-Correlation 기반 동기화 결과는 센서 변위 데이터와 영상 기반 Feature 간의 시간차가 약 –47.87초임을 보여주었다(Table 3). 동기화된 시계열의 최대 상관계수는 약 0.644로 나타나 두 데이터 간의 유의미한 상관성이 확인되었다. 이를 통해 DIC Feature와 센서 계측 데이터가 동일한 시간축에서 정렬되었으며, 이후 학습 모델의 입력으로 활용할 수 있는 기준이 확보되었다.

Table 3.

Results of cross-correlation

Frame offset Time shift (s) Correlation
-1148 -47.8732 0.6443
-1149 -47.9149 0.5243
-1208 -50.3753 0.3365
-1085 -45.2460 0.0957
-1000 -41.7014 0.0863
-194 -8.0901 0.0710

3.4 딥러닝 모델 학습

딥러닝 모델 학습은 PyTorch 기반 GPU 서버 환경에서 수행하였다. 입력 데이터는 영상으로부터 추출된 DIC 기반 변위 시계열이며, 출력은 접촉식 변위계로 계측한 실제 변위값으로 정의하였다. 비교 모델로 LSTM과 GRU를 채택하였으며, 두 모델 모두 은닉층 노드 수와 층수 등 주요 하이퍼파라미터를 그리드 서치를 통해 최적화하였다.

학습 과정에서 입력 시퀀스 길이는 60 프레임으로 설정하였고, 학습률은 0.001, 배치 크기는 32, 최대 300 Epoch로 지정하였다. 손실 함수는 평균제곱오차(MSE)를 사용하였으며, 과적합 방지를 위해 조기 종료 기법과 드롭아웃을 적용하였다. 전체 데이터는 학습 70 %, 검증 20 %, 시험 10 %의 비율로 분할하여 모델의 일반화 성능을 평가하였다. 성능 평가는 시험 데이터셋을 대상으로 수행하였으며, 평균 절대 오차(MAE), 평균 제곱근 오차(RMSE)를 지표로 사용하였다.

3.5 성능 평가

시험 데이터셋을 대상으로 LSTM과 GRU 모델의 변위 예측 성능을 평가한 결과는 Table 4와 같다. 앞서 언급하였듯이 데이터셋은 1회(2시간)의 실험으로 진행되어 일반화의 한계가 있지만, 그럼에도 일관되게 낮은 MAE와 RMSE를 보여, 제한된 표본임에도 유의미한 정밀도를 입증했다. 모든 계측 지점에서 GRU 모델이 LSTM 모델보다 낮은 MAE와 RMSE를 기록하며 더 우수한 예측 정확도를 보였다. GRU 모델의 전체 평균 MAE는 0.0864mm, 평균 RMSE는 0.1116mm로, 매우 높은 정밀도를 달성하였다.

Table 4.

Comparison of AI model performance

Measurement point LSTM GRU
MAE (mm) MSE (mm2) RMSE (mm) MAE (mm) MSE (mm2) RMSE (mm)
Girder 4 – Sensor 1 0.1696 0.0368 0.1920 0.0937 0.0146 0.1211
Girder 4 – Sensor 2 0.1572 0.0317 0.1781 0.0940 0.0149 0.1222
Girder 4 – Sensor 3 0.1484 0.0288 0.1698 0.0945 0.0148 0.1217
Girder 5 – Sensor 1 0.1007 0.0152 0.1236 0.0910 0.0140 0.1186
Girder 5 – Sensor 2 0.0890 0.0119 0.1093 0.0856 0.0125 0.1119
Mean 0.13300.02480.15460.08640.01410.1116

실험 결과는 GRU 모델이 본 연구의 교량 변위 예측 문제에서 LSTM보다 더 효과적임을 명확히 보여준다. 이는 GRU가 LSTM보다 더 적은 파라미터를 사용하여 모델이 더 단순하기 때문으로 해석할 수 있다. 교량의 동적 응답과 같은 물리적 시스템의 시계열 데이터는 극단적으로 긴 시간의 의존성보다는 비교적 짧은 시퀀스 내의 패턴이 중요할 수 있다. 이러한 경우, 상대적으로 단순한 구조의 GRU가 LSTM의 복잡성 없이도 충분한 성능을 발휘하며, 파라미터 수가 적어 과적합의 위험을 줄이고 더 나은 일반화 성능을 보인 것으로 판단된다.

제안된 GRU 모델이 달성한 평균 예측 오차(RMSE 0.1116mm)는 매우 의미 있는 수준으로, 미국 AASHTO LRFD 설계 기준에서는 교량의 사용성 확보를 위해 활하중 처짐을 스팬 길이(L)에 따라 L/800 등으로 제한하고 있다(Fu et al., 2015). 대상 교량의 경간은 L = 45m로, 허용 처짐은 L/800 기준 56.25mm이다. 본 모델의 예측 오차는 상기 허용 한계치 대비 약 0.20% 수준으로, 제안된 방법론이 실제 교량의 사용성 평가 및 안전 진단에 충분히 활용될 수 있는 정밀도를 가짐을 시사한다.

또한 제안된 DIC-딥러닝 프레임워크의 실용적 당위성인 실시간 모니터링 가능성을 입증하기 위해, GPU 환경에서 프레임당 처리 지연 시간을 측정하였다. 측정은 NVIDIA RTX 4090(24GB VRAM) 환경에서 수행되었으며 측정 결과, DIC 특징 추출 및 상관관계 계산에 소요되는 평균 처리 지연 시간(Latency)은 약 16.26ms/frame으로 확인되었다. 이는 본 실험 영상의 프레임 간 수집 시간(FPS 23.98, 약 41.7ms) 대비 현저히 짧은 수준이다. 이 결과는 DIC 기반 특징 추출 후의 딥러닝 예측 과정이 실시간 요구사항을 충분히 충족시키며, 특별히 고성능 서버나 데이터센터급 장비가 아님에도 저비용 CCTV 인프라를 활용한 광역 상시 모니터링 네트워크 구축의 실용적 당위성을 확보함을 뒷받침한다.

본 연구는 통제된 조건(맑은 날, 특정 시간대)에서 2시간 동안 수집된 데이터로 검증되었다. 하지만 실제 현장에 장기적으로 적용하기 위해서는 극복해야 할 과제들이 존재한다. 주야간의 조도 변화, 그림자, 우천 및 안개와 같은 기상 이변, 카메라 자체의 진동 등은 DIC 알고리즘의 정확도를 저하시킬 수 있는 주요 요인이다. 따라서 향후 연구에서는 이러한 환경적 변화에 강건한 특징 추출 알고리즘을 개발하거나, 환경 데이터를 모델의 추가 입력으로 활용하여 모델의 강건성을 높이는 방안에 대한 연구가 필요하다.

4. 결 론

본 연구는 고비용, 설치의 어려움, 국소 계측 등 기존 건전성 모니터링 기술이 가진 본질적인 한계를 극복하고자, 사회 전반에 이미 구축된 CCTV 인프라와 딥러닝 기술을 융합하는 혁신적인 접근법을 제안하였다. 실제 교량 환경에서 수행된 검증을 통해, 제안된 프레임워크가 기술적 타당성과 공학적 실용성을 모두 갖추었음을 입증하였다.

연구의 핵심 기여를 요약하면 다음과 같다. 첫째는 방법론적 혁신으로. CCTV 영상으로부터 DIC 기법으로 추출한 시계열 특징이 접촉식 센서로 측정한 실제 교량의 동적 거동과 0.644라는 높은 상관성을 보임을 정량적으로 확인하였다. 이는 저비용의 영상 데이터가 고가의 센서 데이터를 대체하여 구조물의 상태를 유의미하게 표현할 수 있다는 가능성을 실험적으로 증명한 것이다. 둘째, 알고리즘적 우수성을 확보하였다. 제안된 DIC-딥러닝의 하이브리드 모델은 평균 RMSE 0.1116mm라는 매우 낮은 오차 수준을 달성하며 교량의 미소 변위를 정밀하게 추정해냈다. 특히, 더 복잡한 구조의 LSTM 모델보다 우수한 성능을 보였는데, 이는 GRU의 간결한 아키텍처가 과적합을 방지하고 계산 효율성을 높여 실시간 모니터링이라는 목표에 더 부합함을 시사한다. 나아가, DIC 특징 추출 및 예측에 소요되는 프레임당 평균 처리 지연 시간은 16.26ms/frame로 측정되어 실시간 모니터링 환경의 요구 속도를 충분히 충족함을 정량적으로 입증하였다.

본 연구의 의의는 프레임워크는 고가의 장비나 복잡한 설치 과정 없이 기존의 사회적 자산인 CCTV를 재활용하므로, 개별 교량의 모니터링 비용을 획기적으로 절감할 수 있다는 것이다. 이는 한정된 예산으로 수많은 교량을 관리해야 하는 기관에게 도시 또는 국가 단위의 광역 모니터링 네트워크를 구축할 수 있는 현실적인 대안을 제시한다. 이러한 패러다임의 전환은 소수의 중요 교량만을 관리하던 기존 방식에서 벗어나, 모든 기반 시설을 상시 감시하는 예방적 유지관리 체계로 나아가는 중요한 첫걸음이 될 것이다.

본 연구는 향후 연구를 통해 해결해야 할 한계점 또한 내포하고 있다. 데이터 전처리 단계에서 밴드패스 필터링을 통해 고주파 잡음을 일부 제거했으나, 이는 카메라 자체의 미세 진동이나 바람 등에 의한 잔여 오차를 완전히 해소하지는 못한다. 따라서 향후 연구에서는 영상 안정화 알고리즘이나 적응형 필터링 등 더욱 정교한 기법을 적용하여 미세 진동 성분을 효과적으로 분리 및 상쇄함으로써 추가적인 오차 저감을 달성할 것이다. 본 연구는 제한된 환경 조건에서 수집된 데이터로 검증되었으므로, 향후 주야간의 급격한 조도 변화, 우천 및 안개와 같은 악천후, 계절에 따른 온도 변화 등 다양한 실제 환경 변수에 대한 모델의 강건성을 확보하는 연구가 수행되어야한다. 특히, 본 실험은 2시간 동안 맑은 날에 진행되어 그림자 및 조도 변화 등 광학적 변화에 대한 처리가 미흡했으므로, 향후 연구에서는 환경 변화에 강인한 이미지 전처리 알고리즘을 개발하여 DIC의 정확도를 저해하는 광학적 요인에 의한 오차를 보완할 것이다. 또한, 기상 데이터를 모델의 추가 입력으로 사용하는 다중 모달(Multi-modal) 접근법을 고려하거나 단일 교량에서의 성공적인 결과를 다양한 형식(강교, 사장교 등)과 규모의 교량에 적용하여 제안된 방법론의 일반화 성능을 검증하는 후속 연구가 필요하다.

나아가, 본 연구에서 제안된 컴퓨터 비전 기반의 비접촉 변위 모니터링 기술은 교량 구조물뿐만 아니라 터널 라이닝, 옹벽, 사면과 같은 지반 구조물 및 지반신소재를 적용한 시설물의 안전 관리 분야에도 폭넓게 활용될 수 있다. 특히, 물리적 센서 부착이 어렵고 미소 변위 감지가 중요한 지반 환경에서 본 기법은 비접촉식 계측의 효율성과 정밀도를 활용하여 토목 구조물의 장기 건전성 모니터링 및 지반 보강재 등의 현장 거동 분석에 새로운 기술적 대안을 제시할 수 있을 것으로 기대된다(Lee et al., 2025).

결론적으로, 본 연구는 CCTV와 딥러닝이라는 현대 기술을 융합하여 사회기반시설 안전 관리에 필요한 문제를 해결할 수 있는 새로운 길을 열었으며 이는 단순한 기술적 성과를 넘어, 더 안전하고 지속 가능한 스마트 시티를 구현하는데 기여할 수 있다.

Acknowledgements

This work was supported by a 2-Year Research Grant of Pusan National University

References

1

Barros, F., Sousa, P., Lobo, P., Tavares, P. J. and Moreira, P. M. G. P. (2022), “Displacement monitoring of a pedestrian bridge using 3D digital image correlation”, Procedia Structural Integrity, Vol.37, pp.880-887.

10.1016/j.prostr.2022.02.022
2

Biondini, F. and Frangopol, D. M. (2018), “Life-cycle performance of deteriorating structural systems under uncertainty: Review”, Structure and Infrastructure Engineering, Vol.14, No.7, pp.1023-1045.

3

Brownjohn, J. M. W. (2007), “Structural health monitoring of civil infrastructure”, Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, Vol.365, No.1851, pp.589-622.

10.1098/rsta.2006.1925
4

Bruck, H. A., McNeill, S. R., Sutton, M. A. and Peters, W. H. (1989), “Digital image correlation using Newton-Raphson method of partial differential correction”, Experimental Mechanics, Vol.29, No.3, pp.261-267.

10.1007/BF02321405
5

Choi, J., Kim, H. and Park, J. (2021), “Vision-based structural health monitoring using surveillance cameras: A review”, Sensors, Vol.21, No.19, 6650.

6

Ellenberg, A., Branco, L., Krick, A., Bartoli, I. and Kontsos, A. (2015), “Use of unmanned aerial vehicle for quantitative infrastructure evaluation”, Journal of Infrastructure Systems, Vol.21, No.3, 04014054.

10.1061/(ASCE)IS.1943-555X.0000246
7

Feng, D. and Feng, M. Q. (2018), “Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection - A review”, Engineering Structures, Vol.156, pp.105-117.

10.1016/j.engstruct.2017.11.018
8

Feroz, S. and Dabous, S. A. (2021), “UAV-based remote sensing applications for bridge condition assessment”, Remote Sensing, Vol.13, No.9, 1809.

10.3390/rs13091809
9

Frangopol, D. M. and Liu, M. (2007), “Life-cycle cost and performance of civil infrastructure: Trends and challenges”, Structure and Infrastructure Engineering, Vol.3, No.1, pp.29-41.

10.1080/15732470500253164
10

Fu, C. C., Zhao, G., Ye, Y. and Zhang, F. (2015), Serviceability-Related Issues for Bridge Live Load Deflection and Construction Closure Pours, Maryland State Highway Administration, Final Report No.MD-15-SHA-UM-3-12 (SP309B4M), p.77.

11

Hild, F. and Roux, S. (2006), “Digital image correlation: from displacement measurement to identification of elastic properties - a review”, Strain, Vol.42, No.2, pp.69-80.

10.1111/j.1475-1305.2006.00258.x
12

Hoskere, V., Park, J. W., Yoon, H. and Spencer, B. F. (2019), “Vision-based modal survey of civil infrastructure using unmanned aerial vehicles”, Journal of Structural Engineering, Vol.145, No.3, 04019006.

10.1061/(ASCE)ST.1943-541X.0002321
13

Huang, J., Shao, X., Yang, F., Zhu, J. and He, X. (2022), “Measurement method and recent progress of vision-based deflection measurement of bridges: a technical review”, Optical Engineering, Vol.61, No.7, 070901.

10.1117/1.OE.61.7.070901
14

Ji, B. (2021), “Machine Learning-based Concrete Crack Detection Framework for Facility Maintenance,” Journal of the Korean Geo-Environmental Society, Vol.22, No.10, pp.5-12.

15

Lee, J. J. and Shinozuka, M. (2006), “A vision-based system for remote sensing of bridge displacement”, NDT & E International, Vol.39, No.5, pp.425-431.

10.1016/j.ndteint.2005.12.003
16

Lee, S., Kim, Y., Kim, Y., Park, J. and Ji, B. (2025), “Advanced Rock Type Classification Using Deep Learning: A Data-Driven Approach to Tunnel Stability Monitoring and Maintenance,” Journal of the Korean Geosynthetics Society, Vol.24, No.1, pp.89-100.

17

Luo, K., Kong, X., Zhang, J., Hu, J., Li, J. and Tang, H. (2023), “Computer vision-based bridge inspection and monitoring: A review”, Sensors, Vol.23, No.18, p.7863.

10.3390/s2318786337765920PMC10534654
18

Menghini, A., Lanzano, G., Ditommaso, R., Monaco, M. and Dolce, M. (2024), “Estimating bridge stress histories at remote locations from accelerometers, compared to strain gauges”, Engineering Structures, Vol.322, 117429.

10.1016/j.engstruct.2024.118720
19

Ministry of Land, Infrastructure and Transport (MOLIT), (2023), Investigation Report on the Seongnam Jeongja Bridge Collapse, Ministry of Land, Infrastructure and Transport, Sejong.

20

Mousa, M. A., Yussof, M. M., Hussein, T. S., Assi, L. N. and Ghahari, S. (2021), “Application of digital image correlation in structural health monitoring of bridge infrastructures: A review”, Infrastructure, Vol.6, No.12, pp.176-194.

10.3390/infrastructures6120176
21

Panigati, T., Zini, M., Striccoli, D., Giordano, P. F., Tonelli, D., Limongelli, M. P. and Zonta, D. (2025), “Drone-based bridge inspections: Current practices and future directions”, Automation in Construction, Vol.173, 106101.

10.1016/j.autcon.2025.106101
22

Ri, S., Wang, Q., Tsuda, H., Shirasaki, H. and Kuribayashi, K. (2023), “Deflection Measurement of Bridge Using Images Captured Under the Bridge by Sampling Moiré Method”, Experimental Techniques, Vol.47, pp.1085-1095.

10.1007/s40799-022-00616-y
23

Rizzo, P., et al. (2021), “Challenges in bridge health monitoring: A review”, Sensors, Vol.21, No.14, 4671.

10.3390/s2113433634202875PMC8271940
24

Sutton, M. A. (2008), Digital Image Correlation for Shape and Deformation Measurements, In: Sharpe, W. N. (ed.), Springer Handbook of Experimental Solid Mechanics. Springer, Boston, pp.565-600.

10.1007/978-0-387-30877-7_20
25

Yeum, C. M. and Dyke, S. J. (2015), “Vision-based automated crack detection for bridge inspection”, Computer-Aided Civil and Infrastructure Engineering, Vol.30, No.10, pp.759-770.

10.1111/mice.12141
26

Yoneyama, S. and Ueda, H. (2012), “Bridge deflection measurement using digital image correlation with camera movement correction”, Materials Transactions, Vol.53, No.2, pp. 285-290.

10.2320/matertrans.I-M2011843
페이지 상단으로 이동하기