[Research] π¦ μ€λ§νΈ λμ κ΅ν΅, μ€μκ° λΉ λ°μ΄ν° μ²λ¦¬λ‘ λλνκ² κ΄λ¦¬νλ ν΅μ¬ μ λ΅! π
Published:
μλ νμΈμ! λμ곡νκ³Ό λ°μ΄ν° μ¬μ΄μΈμ€λ₯Ό 곡λΆνλ νλΆ μ°κ΅¬μμ λλ€. μ€λμ μ€λ§νΈ λμμ κ°μ₯ ν° κ³¨μΉ«κ±°λ¦¬ μ€ νλμΈ βκ΅ν΅ 체μ¦βμ ν΄κ²°νκΈ° μν μ€μκ° λΉ λ°μ΄ν° μ²λ¦¬ κΈ°μ μ λν λ Όλ¬Έμ ν¨κ» νν€μ³ λ³Ό κ±°μμ. κΈ°μ‘΄μ μμ±λ λ Όλ¬Έλ€κ³Ό κ²ΉμΉμ§ μμΌλ©΄μλ, μ€λ§νΈ λμμ ν΅μ¬ λ¬Έμ λ₯Ό ν΄κ²°νλ λ° μ€μν μμ¬μ μ μ£Όλ λ Όλ¬Έμ μ μ€νκ² κ³¨λΌλ΄€μ΅λλ€.
λ Όλ¬Έ μμ λ° λ§ν¬
- μμ : Real Time Big Data Processing for Smart City Traffic Management
- λ§ν¬: https://academic.naver.com/article.naver?doc_id=1100802423
ποΈ Problem (μ μ€μν΄?)
μμ¦ λμμμλ μλμ°¨κ° λ무 λ§μμ κ΅ν΅ 체μ¦μ΄ μ λ§ μ¬κ°νμ£ ? μΆν΄κ·Ό μκ°μ λ¬Όλ‘ μ΄κ³ μ£Όλ§μλ κΈΈμ΄ λ§νλ 건 μΌμμ΄ λμ΄λ²λ Έμ΄μ. μ΄λ° κ΅ν΅ 체μ¦μ μ°λ¦¬ μΆμ μ§μ λ¨μ΄λ¨λ¦΄ λΏλ§ μλλΌ, μμ²λ κ²½μ μ μμ€κ³Ό λκΈ°μ€μΌκΉμ§ μ λ°ν©λλ€. κΈ°μ‘΄μλ κ΅ν΅ λ°μ΄ν°λ₯Ό λͺ¨μμ νμ°Έ λ€μμΌ λΆμνλ βλ°°μΉ μ²λ¦¬(Batch Processing)β λ°©μμ΄ λ§μμ΄μ. νμ§λ§ κ΅ν΅ μν©μ μμκ°κ° λ³νκΈ° λλ¬Έμ, κ³Όκ±° λ°μ΄ν°λ§ κ°μ§κ³ λ μ€μκ°μΌλ‘ λ°μνλ λ¬Έμ λ₯Ό ν΄κ²°νκΈ° μ΄λ ΅μ΅λλ€. κ·Έλμ μ°λ¦¬λ μ§κΈ λΉμ₯, μμ§μ΄λ λμμ νκ΄κ³Ό κ°μ κ΅ν΅ νλ¦μ μ¦μ νμ νκ³ λμν μ μλ λλν λ°©λ²μ΄ νμν΄μ.
π Solution (μ΄λ»κ² νμμ΄?)
μ΄ λ Όλ¬Έμ μ€λ§νΈ λμμ κ΅ν΅ λ¬Έμ λ₯Ό ν΄κ²°νκΈ° μν΄ βμ€μκ° λΉ λ°μ΄ν° μ²λ¦¬(Real-Time Big Data Processing)βλ₯Ό ν΅μ¬ μ λ΅μΌλ‘ μ μν©λλ€. 볡μ‘ν λμ κ΅ν΅ λ°μ΄ν°λ₯Ό μΌμ, μΉ΄λ©λΌ, GPS λ± λ€μν IoT(μ¬λ¬Ό μΈν°λ·) μ₯μΉμμ μ€μκ°μΌλ‘ μμ§νκ³ , μ΄λ₯Ό λΉ λ₯΄κ² λΆμν΄μ μ¦κ°μ μΈ μμ¬κ²°μ μ λ΄λ¦΄ μ μλ μμ€ν μ ꡬμΆνλ κ±°μ£ .
ꡬ체μ μΌλ‘λ λ€μκ³Ό κ°μ λ¨κ³λ‘ μ§νλ©λλ€:
- λ°μ΄ν° μμ§: λλ‘ μ μ°¨λ μλ, κ΅ν΅λ, μ νΈλ± μν, μ¬μ§μ΄ λ μ¨ μ 보κΉμ§ λ€μν λ°μ΄ν°λ₯Ό μ€μκ°μΌλ‘ λͺ¨μλλ€.
- μ€μκ° μ²λ¦¬: μ΄λ κ² λͺ¨μΈ μμ²λ μμ λ°μ΄ν°λ₯Ό Apache Kafkaλ Apache Spark Streaming κ°μ λΆμ° μ€νΈλ¦Ό μ²λ¦¬ κΈ°μ μ νμ©ν΄μ μ§μ° μμ΄ λ°λ‘ λΆμν©λλ€. λ¨μν λ°μ΄ν°λ₯Ό λͺ¨μλλ κ²μ΄ μλλΌ, νλ₯΄λ λ¬Όμ²λΌ λμμμ΄ λ€μ΄μ€λ λ°μ΄ν°λ₯Ό κ³μν΄μ λΆμνλ κ±°μμ.
- κ΅ν΅ ν¨ν΄ λΆμ λ° μμΈ‘: λΆμλ λ°μ΄ν°λ₯Ό λ°νμΌλ‘ νμ¬ κ΅ν΅ 체μ¦μ μμΈμ νμ νκ³ , λ―Έλ κ΅ν΅ νλ¦μ μμΈ‘ν΄μ μ΅μ μ μ νΈλ± μ μ΄, κ²½λ‘ μλ΄ λ±μ μ μν©λλ€. μλ₯Ό λ€μ΄, νΉμ λλ‘μ μ°¨λμ΄ λͺ°λ¦΄ κ² κ°μΌλ©΄ 미리 λ€λ₯Έ κ²½λ‘λ₯Ό μΆμ²ν΄ μ£Όκ±°λ, μ νΈ μκ°μ μ‘°μ ν΄μ 체μ¦μ λΆμ°μν€λ μμ΄μ£ .
- μ¦κ°μ μΈ λμ: λΆμ κ²°κ³Όλ₯Ό λ°νμΌλ‘ κ΅ν΅ κ΄λ¦¬ μμ€ν μ΄ μλμΌλ‘ νΉμ κ΄λ¦¬μμ κ°μ νμ μ μνκ² κ΅ν΅ νλ¦μ μ΅μ ννλ λ° νμ©λ©λλ€.
μ΄ λ°©μμ κ³Όκ±° λ°μ΄ν°λ₯Ό νκΊΌλ²μ μ²λ¦¬νλ λ°°μΉ μ²λ¦¬μ λ¬λ¦¬, λ°μ΄ν°κ° λ€μ΄μ€λ μ¦μ μ²λ¦¬νκΈ° λλ¬Έμ ν¨μ¬ λ λΉ λ₯΄κ³ μ ννκ² λ³νμ λμν μ μλ€λ μ₯μ μ΄ μμ΄μ.
π‘ Result (κ²°κ³Όλ?)
μ΄λ¬ν μ€μκ° λΉ λ°μ΄ν° μ²λ¦¬ μμ€ν μ ν΅ν΄ μ€λ§νΈ λμλ μ¬λ¬ λ©΄μμ ν¬κ² κ°μ λ μ μμ΅λλ€.
- κ΅ν΅ μ²΄μ¦ μν: κ΅ν΅ μν©μ μ€μκ°μΌλ‘ νμ νκ³ μμΈ‘ν΄μ μ νΈλ±μ μ΅μ ννκ±°λ μ°ν κ²½λ‘λ₯Ό μλ΄ν¨μΌλ‘μ¨ μ²΄μ¦μ ν¨κ³Όμ μΌλ‘ μ€μΌ μ μμ΅λλ€.
- μ΄μ ν¨μ¨μ± μ¦λ: κ΅ν΅ κ΄λ¦¬ μμ€ν μ λ°μ μλκ° λΉ¨λΌμ§κ³ , μΈμ κ°μ μμ΄λ λ§μ λΆλΆμ μλνν μ μμ΄ λμ κ΅ν΅ μ΄μμ ν¨μ¨μ±μ΄ λμμ§λλ€.
- μμ μ± ν₯μ: μ€μκ°μΌλ‘ μν μν©(μ¬κ³ , λλ° μν©)μ κ°μ§νκ³ λΉ λ₯΄κ² λμνμ¬ μλ―Όλ€μ μμ μ λμ± ν보ν μ μμ΅λλ€.
- μ§μ κ°λ₯ν λμ: κ΅ν΅ μ²΄μ¦ κ°μλ κ³§ μ°λ£ μλΉμ νμ λ°°μΆλ κ°μλ‘ μ΄μ΄μ Έ, λμ± μΉνκ²½μ μ΄κ³ μ§μ κ°λ₯ν μ€λ§νΈ λμλ₯Ό λ§λλ λ° κΈ°μ¬ν©λλ€.
κ²°κ³Όμ μΌλ‘ μ΄ λ Όλ¬Έμ μ€μκ° λΉ λ°μ΄ν° μ²λ¦¬κ° λ¨μν κΈ°μ μ΄ μλλΌ, μ€λ§νΈ λμμ κ΅ν΅ λ¬Έμ λ₯Ό ν΄κ²°νκ³ μλ―Όλ€μ μΆμ λ μ’κ² λ§λλ βν΅μ¬ μ λ΅βμμ 보μ¬μ€λλ€.
π Growth (λ 곡λΆν κ²)
μ΄λ² λ Όλ¬Έμ ν΅ν΄ βμ€μκ° λΉ λ°μ΄ν° μ²λ¦¬βκ° μ€λ§νΈ λμ κ΅ν΅ κ΄λ¦¬μ μΌλ§λ μ€μνμ§ μκ² λμμ΄μ. μ¬κΈ°μ λ λμκ° κ³΅λΆνκ³ μΆμ ν€μλλ λ€μκ³Ό κ°μμ!
- λΆμ° μ€νΈλ¦Ό μ²λ¦¬ κΈ°μ : Apache Kafka, Apache Spark Streaming, Apache Flink λ± μ€μκ° λ°μ΄ν° μ²λ¦¬μ μ¬μ©λλ λ€μν νλ μμν¬μ κ·Έ μλ λ°©μμ λν΄ λ κΉμ΄ νκ³ λ€μ΄ λ³΄κ³ μΆμ΄μ.
- μ£μ§ μ»΄ν¨ν (Edge Computing): λͺ¨λ λ°μ΄ν°λ₯Ό ν΄λΌμ°λλ‘ λ³΄λ΄μ§ μκ³ , νμ₯(μ£μ§)μμ λ°μ΄ν°λ₯Ό 미리 μ²λ¦¬νλ κΈ°μ μ΄ κ΅ν΅ λ°μ΄ν°μ²λΌ μ€μκ°μ±μ΄ μ€μν λΆμΌμμ μ΄λ»κ² νμ©λ μ μλμ§ κΆκΈν©λλ€.
- κ΅ν΅ μμΈ‘ λͺ¨λΈ κ³ λν: λ¨μ μμΈ‘μ λμ΄, Graph Neural Networks(GNNs) κ°μ μ΅μ λ₯λ¬λ λͺ¨λΈμ νμ©νμ¬ λ³΅μ‘ν λμ λ€νΈμν¬μ κ΅ν΅ νλ¦μ λμ± μ ννκ² μμΈ‘νλ λ°©λ²μ μ°κ΅¬ν΄λ³΄κ³ μΆμ΄μ.
- λ°μ΄ν° νλΌμ΄λ²μ λ° λ³΄μ: μ€μκ°μΌλ‘ μμ§λλ λ―Όκ°ν κ΅ν΅ λ°μ΄ν°λ₯Ό μμ νκ² λ³΄νΈνλ©΄μ νμ©νκΈ° μν κΈ°μ μ , μ μ± μ λ°©μλ μ€μν μ£Όμ κ° λ κ² κ°μ΅λλ€.
μ€λ§νΈ λμκ° μ λ§ βμ€λ§νΈβν΄μ§κΈ° μν΄μλ μ΄λ κ² λμ 보μ΄μ§ μλ λ°μ΄ν° μ²λ¦¬ κΈ°μ μ΄ λ·λ°μΉ¨λμ΄μΌ νλ€λ κ±Έ λ€μ νλ² κΉ¨λ«λ κ³κΈ°κ° λμμ΅λλ€. λ€μ μ°κ΅¬ λ ΈνΈμμ λ ν₯λ―Έλ‘μ΄ μ£Όμ λ‘ μ°Ύμμ¬κ²μ!