<2월부터 현재까지 구현한 기능>
- IPO시장에서 가져오는 정보와 내가 워치리스트 그룹에 넣어놓는 두가지 방식으로 나눔
- 구글 랜덤 리뷰 크롤링 기능 구현
- 스케쥴링 기능을 정해진 스케쥴 (언제나, 매일, 격일, 주일, 격주, 달별)로 모아야하는 정보를 분류해 크롤링의 부담을 줄임
- 중간에 프로그램이 종료되더라도 다음 실행시 실패한 부분을 포함해 실행하는 기능을 구현
- 멀티 프로세싱을 통해 항상 크롤링이 필요한 부분과 스케쥴을 통해 관리하는 부분을 동시에 실행시키는 기능을 구현
- 실패시 텔레그램으로 실패 시점과 이유를 보내는 기능을 구현
<3월~4월간 구현할 기능>
- 뉴스 크롤링
- SNS(인스타, 유튜브, 페이스북, 트위터) 기능 구현
- 구글 리뷰 크롤러 캡챠를 방지할 대책 생각
- 체크 포인트, 에러 포인트 저장 기능 더 확실히 구현
- 클라우드 상에서 SEC크롤링, 웹에서 계속 모니터링 하는 프로그램 만들기, 본체과 클라우드간 통신하며 크롤링하는 병렬처리 구현
- VPN 혹은 browsermobproxy를 사용해서 IP 변경 및 헤더 추출하는 기능 구현
- 기본적인 재무 분석 프로그램 기능 구현 + UI
'도깨비 비서' 카테고리의 다른 글
| 2022-03-17 개발 일지 (0) | 2022.03.17 |
|---|---|
| 2022-02-09(데이터 크롤러 개발 일지) (0) | 2022.02.09 |