한개의 언어로 자막을 만들고 여러 국가의 자막을 만드는 방법을 찾아보니 생각보다 복잡하고 정확하게 그 기능이 가능한 사이트를 찾지 못했다. 아무래도 서비스를 제공하는 제공자 입장에서 이것저것 덕지덕지 붙이다보니 제공하기 어려웠을듯, 추가로 만드는데 어렵지 않아서 사람들이 각자 만들어서 사용할 수도… 일단 FCPX에서 캡션을 생성해보고 어떤 파일의 포맷...
TFDS를 이용한 mnist 분류기 만들기
TFDS https://homl.info/tfds 'abstract_reasoning', 'aeslc', 'aflw2k3d', 'ai2_arc', 'amazon_us_reviews', 'anli', 'arc', 'bair_robot_pushing_small', 'beans', 'big_patent', 'bigearthnet', 'billsum', ...
Tensorflow 데이터 로딩 및 전처리 파이프라인 구현하기
tensorflow를 사용하면서 가장 까다로운 부분이 입력데이터 파이프라인 처리해서 모델까지 데이터 흐르는 구간을 만드는게 아닌가 싶다. 데이터의 양이 많을때, 적을때, 그리고 형태에 따라 다양하게 구현을 해야하기 때문에 A라는 방법을 써서 구현하다 보면 모델에 데이터를 넣는 부분이 막힐때가 있다. 그래서 텐서플로우에서 입력데이터를 어떻게 처리해야 하...
[LeetCode] 901. Online Stock Span (Python)
https://leetcode.com/problems/online-stock-span/ 문제 이해가… 일부 주식에 대한 일일 시세를 수집하고 현재 날짜의 해당 주식 가격 범위를 반환하는 StockSpanner 클래스를 작성 주식 가격 범위는: 주식 가격이 오늘 가격보다 작거나 같은 최대 연속 일수 (오늘부터 뒤로 이동) Problem ...
A/B 테스트에서 두 표본평균 사이의 차이를 어떻게 비교할까? (t-distribution와 t-test)
T-분포 t 분포는 정규분포와 생김새가 비슷하지만 꼬리 부분이 약간 더 두껍고 길다. 표본통계량의 분포를 설명하는데 광범위하게 사용 표본 평균의 분포는 일반적으로 t분포와 같은 모양, 표본의 크기에 따라 다른 계열의 t분포가 있다. 표본이 클수록 더 정규분포를 닮은 t분포가 형성된다. 표본분포를 근사화하기 위한 수학적 기법과 t분...
A/B 테스트 통계적 유의성(statistical significance)과 유의성 검정, p-value의 의미
실험설계 실험설계는 모든 응용 연구 분야에서 통계분석의 토대 실험설계는 어떤 가설을 확인하거나 기각하기 위한 목표 실험설계 가설을 세운다 > 실험을 설계한다 > 데이터 수집 > 추론 및 결론 도출 A/B 검정 그룹 A와 그룹 B를 비교하는데 사용하는 검정통계량 또는 측정 지표에...
A/B Test Significance in Python
A/B 테스트를 이용해 얻은 지표를 python을 통해서 통계적 유의성을 확보하기 위한 과정 아래와 같은 상황이 주어졌다고 가정해보자 사용자가 1000명 있을때 A로 550명, B로 450명이 노출되었을때 A사이트에서 48명이 전환, B사이트에서 56명이 전환 Is this a statistically significant result? 통계적...
A/B 테스트를 위한 이론 정리 (확률, 통계)
통계 추론 전형적인 통계 추론 과정 가설을 세운다 > 실험을 설계한다 > 데어터를 수집한다 > 추론 및 결론을 도출한다. 용어 정리 처리 (treatment) 처리군 (treatment group) 대조군 (control group) 랜덤화 (randomizatio...
ES의 index가 자동으로 지워졌다(?) (malware meow bot의 공격)
갑자기 es에 있었던 인덱스에 데이터가 사라졌다! 지금 현재 logstash에서 데이터가 추가되면 es의 index에 데이터를 넣는 구조로 되어있다. 데이터가 사라진게 아니라 인덱스가 지워지고, logstash에서 자동으로 인덱스를 생성하고 이후 데이터를 넣어준 사건이다. 결론은 es instance가 meow-bot 공격받기 전에 권한 설정을 해야 ...
elasticsearch에서 자주 사용하는 api 모음
http://localhost:9200/_cat을 들어가면 사용가능한 목록이 나온다. check document counts http://localhost:9200/_cat/count/graphapt-rent check cluster health https://localhost:9200/_cat/_health