네이버, 카카오, 유튜브 API를 활용한 데이터 수집 성공기 판교 카페 우드진

파이썬 기초만 가지고 나만의 프로젝트를 시작

 

최종 목표는

파이썬 애니 웨어 서버에 업로드하여 나 혼자라도 보는 웹 서비스 하나 만들어보려고 한다.

 

1단계 : 네이버, 카카오, 유튜브 api 활용하여 데이터 수집하기

2단계 : 장고 관리자만으로 키워드 관리 메뉴 만들기 및 라즈베리파이 서버 1 연동

3단계 : 프라이빗 워드프레스닷컴 api 활용하여 데이터 관리 하기 

4단계 : 워드프레스 닷컴 & json 파일 관리 할 수 있는 장고 관리자 만들기

5단계 : 파이썬 애니 웨어 운영

6단계 : 서버 백업

 

일단 공부 삼아 만들고 있기 때문에 속도는 매우 느리다.

 

일단 1단계 2단계는 개발이 끝난 상태이다. 적용도 완료

 

라즈베리파이 서버 1번 수집기 전용

라즈베리파이 서버 2번 나만 접속할 수 있는 장고 웹

 

제작 기간 1주일 7월 1일 ~ 7월 5일

일단 키워드를 파이썬 단어 하나로 먼저 라즈베리파이 1번에 적용 완료 

 

제작 기간 1주일 7월 8일 ~ 7월 12일 

라즈베리파이 서버 2는 나만 접속할 수 있는 장고 웹 서버이다.

 

문제점

로컬은 당연히 접속되었지만 다른 컴에서는 접속을 할 수 없어 구글 검색해 보니 ALLOWED_HOSTS = ['*']  적용 후  python3 manage.py runserver 0.0.0.0:8000 입력해보라고 하여 입력했더니 음.... 

 

아래 이미지로 깨진다. 

그래 안되는 것보다 낫지 하면서 어떻게 하면 정상적으로 나올까?

 

열심히 검색하는 덕에 gunicorn 설치 오케이 pip install gunicorn 설치해서 해보았다. 하.... 

똑같이 아래 화면이... 

결국 왜 안 되는 이유는 구글 검색으로 찾았다. 정적파일 즉 해당되는 CSS 적용이 안되어서 깨짐 현상이 나오는 것!!

정적 파일 관리하기(이미지, 자바스크립트, CSS 등) | Django 문서 | Django (djangoproject.com)

정적 파일 관리하기(이미지, 자바스크립트, CSS 등) | Django 문서

찾아서 적용해보았더니 드디어 성공!!!

 

데이터베이스 서버를 적용하자 

생각보다 간단하게 설치가 쉬웠다. sudo apt install mariadb-server 입력하면 끝

 

하지만 역시나 어려운 것은 세팅!!

세팅하는데 2일을 잡아먹어버렸으니 ㅠ 그래도 성공 

 

그럼 장고 관리자에서 키워드 관리 할 수 있게 데이터베이스 테이블과 필드 값을 세팅해 주고 관리자 메뉴에 나올 수 있게 적용 완료 

 

1단계와 2단계 프로세스 정리

- 수집 서버는 장고 웹서버 원격 데이터 베이스에 접속해서 키워드 확인 하면서 긁어 오면서 json 파일로 저장하고 있다.

- 장고 웹 서버는 내가 키워드를 넣고 싶은게 있다면 접속해서 추가 삭제 하면 된다.

 

금요일 완성하여 오늘 아침에 확인해보니 잘 돌아가는 것을 확인하였다.

 

다음 작업 고민

 

키워드를 넣으면 넣을수록 그리고 최신 콘텐츠가 생기면 생길수록 데이터베이스 양은 자연적으로 많아지게 될 것이다. 

서버는 사용한 만큼 돈이 들어가기 때문에 돈 걱정이 크다. 

 

난 돈 없다.

 

그래서 열심히 해결 방법을 찾아보니 

 

워드프레스 닷컴 API 활용해서 데이터 관리 하면 될 것 같다. 

 

.

장고 웹서버 라즈베리파이는 재부팅이 잘 안 된다.

나중에 파이를 다른 걸로 교체해봐야겠다.

 

 

오늘도 머리 좀 식힐 겸 카페에서 프로젝트 작업에 대한 스토리를 작성해보았습니다.