Jupyter - Login 정보 session에 담기 / 로그인 후 크롤링 / 로그인 후 내 정보 크롤링

로그인하여 데이터 크롤링하기

• 특정한 경우, 로그인을 해서 크롤링을 해야만 하는 경우가 존재
• 예) 쇼핑몰에서 주문한 아이템 목록, 마일리지 조회 등
• 이 경우, 로그인을 자동화 하고 로그인에 사용한 세션을 유지하여 크롤링을 진행

 

로그인 후 데이터 크롤링 하는 방법

• endpoint 찾기 (개발자 도구의 network를 활용) 

• id와 password가 전달되는 form data찾기
• session 객체 생성하여 login 진행
• 이후 session 객체로 원하는 페이지로 이동하여 크롤링

- 강컴 닷컴 

로그인의 end point 는 action으로 값 넘겨주는 member_check.asp 

 

- endpoint 활용해서 url 작성 후 로그인 정보 입력

- session 생성 후 post로 값 넘겨주기

endpoint를 url 뒤에 입력해주기 (경로 파악 중요!)

 

- 로그인 후 mypage에서 나의 point 얼마인지 가져오기

---

한빛 출판사 로그인 후 마일리지 가져오기

- 로그인 endpoint 찾기

action 값이 # 으로 되어있으니까 javascript 경로에서 endpoint 확인

action값은 login_proc.php

 

- url 작성

- post data

- session 생성

- session post

 

- 로그인 후 mypage에서 마일리지 값 가져오기