팔로워

    [작업 완료] 트위터 특정 유저의 팔로워 목록 크롤러 개발 외주

    의뢰 내용 트위터의 특정 유저의 팔로워들의 아이디 크롤러 개발 문의드립니다. 구현 방식 Selenium을 이용해 트위터에 로그인합니다. 대상 유저의 팔로워 목록 URL 접근합니다. 트위터의 팔로워 목록은 N개 단위로 Ajax로 동기요청을 하는 방식이기에 Selenium 무한 스크롤링 기능을 구현해 모든 유저 리스트를 수신받은 뒤 크롤링을 진행합니다. 데이터의 양이 방대할 수 있기 때문에, 매 크롤링마다 가져온 N개의 유저 아이디를 즉각 파일데이터로 저장합니다. 작업 결과 고객 후기

    파이썬 Selenium 모듈을 이용한 트위터 팔로워 크롤러 개발

    실행 결과 해당 Python File이 위치한 경로에 export라는 디렉토리가 생성되고 export 디렉토리의 하위 txt파일로 targetName.txt라는 텍스트 파일이 생성되며, 해당 텍스트파일에는 targetName유저의 팔로워들의 ID가 아래와같이 저장됩니다. 개요 구글링을 꽤나 오랫동안 했지만, 파이썬의 Selenium 모듈을 이용하여 특정 유저의 팔로워 리스트를 추출하는 소스코드를 찾을수가 없어 직접 개발하였습니다. Twitter 공식 API센터에서 이와 유사한 내용을 얻을 수 있는 API가 존재하지만 1시간에 15명의 팔로워 리스트만을 반환해주는 API이기때문에 대량의 팔로워 리스트가 필요한 현재 상황에서 사용할 수 없다 판단하여 직접 스크래핑하게되었습니다. 전체 코드는 아래와 같습니다...