pyenv 사용하는 방법 (추천) https://apple.stackexchange.com/questions/237430/how-to-install-specific-version-of-python-on-os-x brew install pyenv pyenv install 3.9.6 pyenv virtualenv 3.9.6 venv pyenv loca...

기능 selenium을 이용해서 스크롤하기 google news의 경우 스크롤을 해야 추가로 기사가 로딩된다. 기사 내용을 title, href로 pandas DataFrame으로 저장 implicitly_wait을 이용해 로딩을 대기 time.sleep()과 다르게 로딩되면 추가로 ...

들어가며 Prophet을 이용해서 시계열 예측을 할 수 있다고 해서 조사를 해봤다. 처음에는 어떤 이벤트가 영향을 주었는지에 대해서 조사를 해보다. 가설검증하는게 쉽지 않아. 역으로 내가 타겟으로 하는 이벤트를 예측해보고, 예측한 값과는 차이가 존재한다면? 그때는 그 시점에서 특정 이벤트가 있지 않았을까 역으로 찾아보려고 했다. Prophet 장점...

Example examples census_report Default from pandas_profiling import ProfileReport pr = ProfileReport(pdf2) pr.to_file(output_file="feature_profiling.html") # Disable samples, correlation...

기술 문서 테크닉 코딩 테크닉 테스팅 테크닉 Verification 테크닉 Continuous Integration (CI) 테크닉 기술 1 버전관리를 1.1.0 과 같이 minor, subversion, sub-subversion으로 나누어서 관리, minor는 아키텍쳐의 변화가 있거나 코드에서 많은 변화가 있을때, s...

Kubernetes 컨테이너 플랫폼, 마이크로서비스 플랫폼, 이식성 있는 클라우드 플랫폼 Stateless, Stateful, 데이터 처리등 다양한 어플리케이션 타입을 컨테이너로 구동할 수 있게 해줌 stateless: 프로세스 또는 애플리케이션은 격리된 것으로 간주 (자동판매기와 같은) - 상태가 필요 없는 ...

준비 Kafka Client Kafkacat cp-helm-charts cp-helm-charts Kafka 설치할때 사용 Default Configuration cp-helm-charts에서 제공하는 기본 구성을 사용하여 kafka를 설치하고 Kafkacat을 사용하여 연결 시도 Extern...

L4/L7 (로드밸런서) 부하 분산, 로드밸런싱은 셋이상의 중앙처리장치 혹은 저장장치와 같은 컴퓨터 자원들에게 작업을 나누는 것을 의미 로드밸런서 종류 운영체제 로드밸런서: 물리적 프로세서 간에 작업을 스케줄링 네트워크 로드밸런서 L4(Transport Layer) Tran...

set hive.auto.convert.join=false; set hive.tez.container.size=32000; set hive.tez.java.opts=-Xmx24000m; set tez.am.java.opts=-Xmx24000m; set tez.runtime.io.sort.mb=12000; set tez.task.resource.memo...

Gunicorn WSGI (Web Server Gateway Interface) 웹 어플리케이션이 웹서버와 통신하기 위한 인터페이스 def app(environ, start_response): """Simplest possible application object""" data = b'Hell...