파이썬에서 Docker https://github.com/PatrickKalkman/python-docker Alpine을 사용하면 사이즈 작게 python docker를 만들 수 있음 기본값으로 container는 root로 동작 하지만 container의 root와 host의 root가 같은것은 아니다. ...
[Python] TF Serving with Docker
https://medium.com/tensorflow/serving-ml-quickly-with-tensorflow-serving-and-docker-7df7094aa008 Production에 서빙할때 reproducible enforces isolation secure TF Serving with Docker tensor...
[Python] Selenium을 이용해서 Youtube 데이터 가져오기
기능 Youtube 데이터 스크랩 좋아요, 싫어요, 댓글, 뷰개수, 제목 결과를 pandas DataFrame으로 저장 코드 #IMPORT THESE PACKAGES import selenium from selenium import webdriver import pandas as pd #OPTIONAL...
[Python] Functools
참고 https://towardsdatascience.com/functools-an-underrated-python-package-405bbef2dd46
[Python] Decorators
Decorator 동작 이해 class Decorator: def __init__(self, function): self.function = function def __call__(self, *args, **kwargs): print('preprocessing') if False: ...
[Python] M1에서 파이썬 패키지 설치 오류 및 설치 방법
M1이 아직 개발하는데 장애물이 있구나 M1이 아니라면 문제 없을 것을… 장비 욕심에.. numpy와 같은 패키지도 M1 에서 pip로 설치할때 에러가 발생하고 있었다. https://github.com/numpy/numpy/issues/17807 https://github.com/numpy/numpy/issues/17784 https:...
VS Code Extentions
Python Docstring Generator 코드 작성한 이후에 문서 작성할때 템플릿 형태로 제공 (기본값은 구글포맷) [cmd] + [shift] + p -> Generate Docstring def func(key=1): """[summary] Args: key (int, optional): [...
[Shell] 날짜 범위 지정해서 실행
입력 staratdate enddate startdate='20210701' enddate='20210707' enddate=$( date -d "$enddate + 1 day" +%Y%m%d ) # rewrite in YYYYMMDD format ...
[Hive] External Partitioned Table (CREATE, INSERT, ALTER)
External Partitioned Table 생성 CREATE DATABASE {db} LOCATION 'hdfs://<hdfs_path>'; DROP TABLE {db}.{table}; CREATE EXTERNAL TABLE {db}.{table} ( COl1 STRING, COl2 STRING, ) PARTITIO...
[Hive] 변수, 파라미터 사용하는 방법
beeline에서 파라미터 넘길때 beeline --hivevar DATE='2021-01-01' -f query.hql 하이브 쿼리 # query.hql set DATE; SELECT * FROM TABLE WHERE date='${hivevar:DATE}' 이때 set DATE;를 잊지말자 (응용) 실행하는 스크립트 (날...