Outsourcing

  • [작업 완료] 요기요 매장 정보 크롤링 프로그램

    의뢰 내용 요기요 설정된 지역구 근처 모든 매장 정보 크롤링 프로그램 개발 문의드립니다. 구현 방식 사용자에게 지역구를 입력받거나 혹은 현재 위치를 GPS기반으로 찾아내 위치 설정 하는 로직을 구성했습니다. 요기요 웹 구조 특성상 모든 데이터를 한 번에 받아오는 방식이 아닌 유저가 스크롤하여 페이지를 내릴 때마다 Ajax 요청으로 받아오기에 최하단까지 무한 스크롤링하여 모든 데이터를 받아오는 로직을 구성했습니..

  • [작업 완료] 동아일보 뉴스 제목 및 날짜 크롤링 후 워드클라우드 생성 프로그램

    의뢰 내용 동아일보 뉴스 제목과 날짜 크롤링 후 워드클라우드 생성 프로그램 개발 문의드립니다. 구현 방식 selenium 모듈을 이용해 특정 키워드에 대해 10개단위의 게시글을 각 페이지별로 크롤링합니다. 작업 진행 현황을 알리기 위해 현재 몇 개의 기사가 수집되었는지 콘솔창에 표시합니다. 모든 크롤링 작업이 완료되면 어떤 기사가 크롤링되었는지 알리기 위해 기사 제목 및 작성일을 콘솔창에 표시합니다. 이후 수집된..

  • [작업 완료] 딥웹 모니터링 및 사고예측 분석 프로그램(OS) 개발

    의뢰 내용 딥웹에서 발생하는 각종 사고 (N번방 등)을 모니터링 및 예측 분석 프로그램 개발 문의드립니다. + 추가 문의 + 완성된 프로그램을 조금 더 보완하여, 일정 주기마다 자주 사용된 단어를 그래프로 표기하여 갱신해주는 프로그램으로 기능을 추가해주세요 구현 방식 딥웹은 일반적인 웹과 다르게 프록시 구성 없이 접근 할 수 없기에 Tor 프로토콜의 HTTP 신호를 송수신 할 수 있는 모듈을 개발하였습니다. 사용자가 지..

  • [작업 완료] 엑셀 데이터 SQLite 데이터베이스로 이식 자동화 프로그램

    의뢰 내용 엑셀 데이터를 SQLite 데이터베이스로 자동으로 이식해주는 프로그램 개발 문의드립니다. 구현 방식 Pandas 모듈을 이용해 엑셀 데이터 파일을 Pandas Data Frame으로 변환하였습니다. Pandas Data Frame으로 변환된 데이터를 Row별로 이용해 가져올 데이터만을 가져와 제거하거나 수치 연산 혹은 수정하여야 할 데이터를 가공하였습니다. SQLite3 모듈을 이용해 데이터베이스 테이블 생성 이후 정형화된 데이터를 데..

  • [작업 완료] 크롬 창 자동 새로고침 프로그램 개발 외주

    의뢰 내용 N개의 크롬 창 자동 새로고침 프로그램 개발 문의드립니다. 모든 크롬 창은 확장 플러그인이 로드 되어야 하며, 봇을 막는 기능이 탑재되어 있는 사이트를 우회할 수 있어야합니다. 구현 방식 사용자에게 몇 개의 크롬 창을 사용할것인지 입력받은 뒤 Selenium 모듈을 이용해 해당 갯수만큼의 크롬 창을 실행 단, 일반적인 Selenium으로는 봇을 막는 기능이 탑재되어 있는 사이트 우회가 불가능하기에 undetected-chro..

  • [작업 완료] 트위터 특정 유저의 팔로워 목록 크롤러 개발 외주

    의뢰 내용 트위터의 특정 유저의 팔로워들의 아이디 크롤러 개발 문의드립니다. 구현 방식 Selenium을 이용해 트위터에 로그인합니다. 대상 유저의 팔로워 목록 URL 접근합니다. 트위터의 팔로워 목록은 N개 단위로 Ajax로 동기요청을 하는 방식이기에 Selenium 무한 스크롤링 기능을 구현해 모든 유저 리스트를 수신받은 뒤 크롤링을 진행합니다. 데이터의 양이 방대할 수 있기 때문에, 매 크롤링마다 가져온 N개의 유저 아이디..

  • [작업 완료] 특정 키워드를 가진 네이버 블로그 상위글 크롤러 개발

    의뢰 내용 특정 키워드가 들어간 네이버 블로그 포스팅의 글들을 크롤링해서 pkl 데이터파일화 시키고싶습니다. 최종 개발된 프로그램 실행 시연 영상 구현 방식 Python Selenium 모듈을 이용해 대상 웹 페이지에서 데이터를 파싱 키워드별 포스팅 1000개씩을 수집한 뒤 List 형태로 저장합니다. Python pandas 모듈을 이용해 pkl 파일로 수집된 포스팅 리스트를 테이블화 합니다. Python pickle 모듈을 이용해 생성된 pkl 파일..

  • [작업 완료] 공공데이터를 이용한 코로나 확진자 정보 크롤러 개발

    의뢰 내용 코로나 확진자 정보를 알려주는 공공 데이터 사이트의 데이터를 크롤링해서 엑셀 파일 저장을 자동화해주는 크롤러 프로그램을 개발하고 프로그램 소스코드에 대한 기술 설명 PPT를 제작해주세요 구현 방식 Selenium 모듈을 이용해 실시간 확진자 정보 데이터(동적 데이터)를 크롤링합니다. bs4 모듈을 이용해 전체 HTML 파일에서 필요한 요소만 파싱한 뒤 리스트 변수에 저장합니다. openpyxl 모듈을 이용해 수집한..

Software Distribute

  • XTranslator - 구글, 파파고 번역을 동시에 이용하세요!

    ※ Windows System DLL과의 충돌로 인해 현재 작동하지 않습니다. ※ 최대한 빠르게 업데이트하여 수정하도록 하겠습니다. XTranslator 영문으로 작성된 문서를 읽다가 불편하여 구글번역, 네이버 파파고 번역을 이용해 번역작업을 하곤 하는데요, 각 번역기별로 장단점이 있어 개인적으로 둘 다 사용합니다. 헌데 웹상에 창을 계속 켜놓고 작업하자니 불편하여 구글, 파파고 번역을 동시에 이용할 수 있는 프로그램을 개발했습..

Popular Post

  • 데비안, 우분투, 라즈비안 계열 리눅스 패키지관리자 오류 E: Unable to locate package update 해결법

    명령어를 이용하여 복구하는 방법 아래 명령어를 쉘에서 실행시키면 정상적으로 패키지 업데이트가 작동할것이다. $ sudo apt-get autoremove && sudo apt-get -f install && sudo apt-get update && sudo apt-get upgrade -y /etc/apt/sources.list 파일을 수정하여 복구하는 방법 만약 위 명령어를 이용하더라도 해결되지 않는다면, 패키지 리소스를 수정해주어야한다. $ sudo cp /etc/apt/sources.list /etc/apt/sources.list..

  • Windows PC에 React를 설치하는 방법

    NodeJS 설치 React로 웹프로그램을 개발할 때 유용한 패키지를 설치하기 위해 NodeJS를 설치한다. NodeJS는 링크를 통해 다운로드받을 수 있으며, 가급적이면 최신버전보다는 안정적인 구버전(LTS)을 설치하는것을 권장한다. Yarn 설치 명령 프롬프트 이하 CMD에 아래 커맨드를 입력하고 실행한다. 만약 실행이 되지 않는다면 NodeJS가 정삭적으로 설치되었는지 확인하고 만약 정상적으로 설치되어있다면 컴퓨터를 재실행하여..

  • CVE-2020-1380 : 최근 수정 된 IE 제로 데이 분석

    Microsoft는 Internet Explorer 11, 특히 CVE-2020-1380 을 대상으로하는 제로 데이 취약점 1 개를 패치 했습니다 . Internet Explorer의 JavaScript 엔진 인 jscript9.dll의 UAF (use-after-free) 버그입니다. 지난 몇 년 동안 Internet Explorer에 대한 제로 데이 공격은 일반적으로 vbscript.dll 및 jscript.dll을 악용하여 쉘 코드를 실행하는 것을 관찰했습니다. 이번에는 대상이 jscript9.dll로 변경되고 최신 Java..

  • Python을 이용한 간단한 파일공유 웹서버 개발하기

    Python의 SimpleHTTPServer를 사용하는 이유 일반적으로 서버는 요청을 처리하고 네트워크를 통해 클라이언트에 데이터를 전달하는 컴퓨터 소프트웨어 또는 하드웨어입니다. 다양한 유형의 서버가 존재하며 가장 일반적인 서버는 웹서버, 데이터베이스 서버, 애플리케이션 서버 및 트랜잭션 서버이다. Apache, Nginx, Monkey, Jigsaw등 널리 사용되는 웹서버는 간단한 프로젝트를 테스트하기에는 비효율, 비적합하다. 또한 이러..

  • 데비안, 우분투, 라즈비안 계열 리눅스 부팅시 SSH Service 자동실행

    리눅스를 설치하고 난 직후에 별도의 설정이 없다면, SSH Service가 부팅시 Disable되어있을것이다. 대부분 리눅스를 서버로 사용할때는 별도의 모니터를 부착하지 않고 SSH를 이용해 원격 쉘을 통해 제어하게되는데, SSH가 자동으로 실행되어있지않다면 제어함에 있어 큰 불편함과 문제가 발생할것이다. SSH Service를 OS 부팅시 자동으로 실행하고싶다면 아래 명령어를 사용하면 된다. $ sudo systemctl enable ssh.service 위..

  • Windows PC에 패키지 관리자 Choco 설치방법

    패키지관리자란? 사용자가 설치하고자 하는 프로그램 이하 패키지를 쉽고 간편하게 설치하기위해 대부분의 OS는 패키지 관리자를 사용합니다. 예를들어 리눅스 운영체제의 yum, apt 그리고 Mac의 Homebrew가 이러한 패키지 관리자에 속한다. 리눅스의 yum, apt와같은 패키지관리자들은 대부분 OS를 처음 설치할 때 함께 설치되지만 Mac, Windows의 경우 외부 패키지관리자를 사용자가 직접 설치해야한다. 이 글에서는 Windows 시..

  • [작업 완료] 공공데이터를 이용한 코로나 확진자 정보 크롤러 개발

    의뢰 내용 코로나 확진자 정보를 알려주는 공공 데이터 사이트의 데이터를 크롤링해서 엑셀 파일 저장을 자동화해주는 크롤러 프로그램을 개발하고 프로그램 소스코드에 대한 기술 설명 PPT를 제작해주세요 구현 방식 Selenium 모듈을 이용해 실시간 확진자 정보 데이터(동적 데이터)를 크롤링합니다. bs4 모듈을 이용해 전체 HTML 파일에서 필요한 요소만 파싱한 뒤 리스트 변수에 저장합니다. openpyxl 모듈을 이용해 수집한..

  • Python과 C#을 이용한 소켓통신

    해당 포스트는 링크를 스크랩한 글이며 원작자는 명월님임을 안내드립니다. 아래 코드를 개인적으로 많이 사용하게 될것같아, 스크랩하였습니다. Python Server C# Client #Server.py # 소켓을 사용하기 위해서는 socket을 import해야 한다. import socket, threading; # binder함수는 서버에서 accept가 되면 생성되는 socket 인스턴스를 통해 client로 부터 데이터를 받으면 echo형태로 재송신하는 메소드이다. def binder(cli..

Latest Post

  • [작업 완료] 요기요 매장 정보 크롤링 프로그램

    의뢰 내용 요기요 설정된 지역구 근처 모든 매장 정보 크롤링 프로그램 개발 문의드립니다. 구현 방식 사용자에게 지역구를 입력받거나 혹은 현재 위치를 GPS기반으로 찾아내 위치 설정 하는 로직을 구성했습니다. 요기요 웹 구조 특성상 모든 데이터를 한 번에 받아오는 방식이 아닌 유저가 스크롤하여 페이지를 내릴 때마다 Ajax 요청으로 받아오기에 최하단까지 무한 스크롤링하여 모든 데이터를 받아오는 로직을 구성했습니..

  • [작업 완료] 동아일보 뉴스 제목 및 날짜 크롤링 후 워드클라우드 생성 프로그램

    의뢰 내용 동아일보 뉴스 제목과 날짜 크롤링 후 워드클라우드 생성 프로그램 개발 문의드립니다. 구현 방식 selenium 모듈을 이용해 특정 키워드에 대해 10개단위의 게시글을 각 페이지별로 크롤링합니다. 작업 진행 현황을 알리기 위해 현재 몇 개의 기사가 수집되었는지 콘솔창에 표시합니다. 모든 크롤링 작업이 완료되면 어떤 기사가 크롤링되었는지 알리기 위해 기사 제목 및 작성일을 콘솔창에 표시합니다. 이후 수집된..

  • [작업 완료] 딥웹 모니터링 및 사고예측 분석 프로그램(OS) 개발

    의뢰 내용 딥웹에서 발생하는 각종 사고 (N번방 등)을 모니터링 및 예측 분석 프로그램 개발 문의드립니다. + 추가 문의 + 완성된 프로그램을 조금 더 보완하여, 일정 주기마다 자주 사용된 단어를 그래프로 표기하여 갱신해주는 프로그램으로 기능을 추가해주세요 구현 방식 딥웹은 일반적인 웹과 다르게 프록시 구성 없이 접근 할 수 없기에 Tor 프로토콜의 HTTP 신호를 송수신 할 수 있는 모듈을 개발하였습니다. 사용자가 지..

  • [작업 완료] 엑셀 데이터 SQLite 데이터베이스로 이식 자동화 프로그램

    의뢰 내용 엑셀 데이터를 SQLite 데이터베이스로 자동으로 이식해주는 프로그램 개발 문의드립니다. 구현 방식 Pandas 모듈을 이용해 엑셀 데이터 파일을 Pandas Data Frame으로 변환하였습니다. Pandas Data Frame으로 변환된 데이터를 Row별로 이용해 가져올 데이터만을 가져와 제거하거나 수치 연산 혹은 수정하여야 할 데이터를 가공하였습니다. SQLite3 모듈을 이용해 데이터베이스 테이블 생성 이후 정형화된 데이터를 데..

  • VSCode (Visual Studio Code) 주석 단축키

    macOS : Command + /(슬래시) Windows/Linux : Ctrl + /(슬래시) 언어에 맞게 주석처리를 해주는 유용한 기능입니다. 선택한 영역의 라인에 각각 모두 한 줄 주석을 달아주며, 이미 주석이 존재한다면 주석을 제거해주는 단축키입니다.

  • VSCode (Visual Studio Code) HTML 자동 완성 (템플릿)

    코드 입력란에 HTML:5 입력 후 Enter키를 누르면 빠르게 HTML 템플릿을 구성할 수 있습니다.

  • VSCode(Visual Studio Code) 알아두면 유용한 단축키

    Linux와 Windows 운영체제에서는 동일한 단축키 조합이지만, macOS에서는 Ctrl키가 Command키로 대체됩니다. 검색 관련 단축키 키 조합 내용 Ctrl + E 파일명 검색 Ctrl + Shift + F 현재 열려있는 워크스페이스를 기준으로 모든 파일에서 특정 문자열을 모두 검색 Ctrl + F 현재 열려있는 문서 파일을 기준으로 특정 문자열을 검색 Ctrl + D 검색한 문자열이 복수일 경우 검색한 문자열을 순차적으로 다음 문자열로 이동 Ctrl +..

  • macOS에서 VSC(Visual Studio Code)설정 초기화 혹은 완전삭제 하는 방법

    프로그래밍할 때 반드시 사용하는 IDE중 하나인 vscode에서 작업을 하다보면 때때로 설정이 너무 지저분하거나, 확장 플러그인의 꼬임으로 인해서 초기화를 해주어야 할 때가 있습니다. VSC 설정 및 설치된 확장 플러그인 목록 완전 제거 방법 반드시 관리자(root)가 아닌 일반 사용자(User)로 진행해야합니다. rm -rf ~/.vscode 위 커맨드를 터미널에서 실행할 경우 VSC의 모든 설정 및 확장 플러그인을 완벽하게 제거가 가능합..