크롤링 실시간 모니터링을 어떻게 구현하지?

1. 파이썬 크롤러 → DB에 저장 → DB의 데이터의 변화를 감지해서 spring이 처리 → slack이 메시지 전송
2. 파이썬 크롤러 → kafka → spring

이 두 개가 결국 같은 방법이었다. 1번 방법을 CDC라고 하는 것도 알게 되었다!!!

DB를 써야하나?

1. 원래 크롤링해온 걸 DB에 저장하지 않고 바로 Kafka의 토픽으로 보내서 슬랙 메시지로 보내고 싶었는데 이렇게 하면 크롤링한 게 새로 올라온 공지인지 원래 있던 공지인지, 수정여부 등을 알 수 없어서 DB에 저장하긴 해야할 것 같다.

Spring 쓰고 싶은데 어떡하지

쓰고 싶은 이유 1. 파이썬 잘 모름 구글링해서 어찌어찌 게시판 만들어보긴 했지만 그래도 자바를 더 잘 안다고 생각함….

1. 크롤러 → DB → Spring → 슬랙

이 구조로 하려고 했는데 Kafka에 메시지 전송하는 send_push 함수를 쓰면 단순 알림… 같은 건 바로 할 수 있는 것 같다. 굳이 스프링이라는 단계를 하나 더 번거롭게 거칠 필요가 없어보이는데

크롤링을

자바로 하는 거랑 파이썬으로 하는 거랑 뭐가 더 빠르지??

—> 자바는 나중에 다른 플젝에서 써보자. 아무리 자바가 쓰고 싶어도 효율성 측면에선 굳이 스프링을 거칠 이유가 없어보임.. while문 안에서 60초에 한 번씩 크롤링을 진행하고 BotService 파일에서는 크롤링한 데이터와 DB에 있는 데이터를 중복 검사, 수정 여부 검사하기. 이후에 새로운 데이터면 DB에 저장하고 Kafka에 메시지 날리도록 해서 슬랙봇 메시지 전송