그냥 사는 이야기

현재 런칭 직전의 신규 개발 프로젝트가 있습니다. 인프라를 구성중에 있는데 장애 발생시 장애로 잠시 기다려 달라는 페이지로 failover 하도록 하려고 합니다. AWS에서 배포 준비중인데 우리가 필요한 상황에 딱 맞게 도움을 준 글이 있어 이를 번역하여 기록합니다. 이 글은 How do I configure my website to fail over to an S3 bucket when a Route 53 health check fails? 을 번역한 것입니다. Route53에서 헬스 체크에 실패한 웹사이트를 S3 버킷(정적 페이지)으로 장애 조치되도록 구성하려면 어떻게 해야 하나요? 사전 확인 사항 Amazon Route 53 호스트 영역으로 활성화 되어 있어야 합니다. 웹사이트의 동적 버전을 Ama..

구조화 혹은 반구조화된 다양한 형태의 아주 방대한 데이터를 처리하려고 합니다. 이 데이터를 분석하고 BI(Business Intelligence)를 도출하여 활용할 수 있는 시스템을 구축해야 합니다. 그리고 표준 SQL 쿼리로 처리가 가능해야 합니다. 물론 쿼리 성능이 좋아야겠죠. 그렇다면 아래의 2가지 서비스를 고려해 볼 수 있습니다. Amazon EMR Amazon EMR은 방대한 양의 데이터를 처리하고 분석하기 위해 AWS에서 Apache Hadoop 및 Apache Spark와 같은 빅데이터 프레임워크 실행하는 것을 간소화하는 관리형 클러스터 플랫폼입니다. 이러한 프레임워크와 관련 오픈 소스 프로젝트(예: Apache Hive 및 Apache Pig)를 사용하여 분석 및 비즈니스 인텔리전스 워크로..

What is Forced Unit Access (FUA)? FUA란 write 명령을 직접 스토리지에 사용하는 것을 말하며 디스크 캐시 사용 여부와는 관계 없습니다. SCSI T10스펙에서 처음 나왔으며,(WRITE DMA FUA EXT 3Dh, WRITE DMA QUEUED FUA EXT 3Eh, WRITE MULTIPLE FUA EXT CEh) 와 같은 SCSI 명령어들이 있습니다. FUA는 디스크 미디어에 직접 쓰기가 마무리 되어야 하므로 flush 같은 명령이 떨어지기 전에 파워문제가 발생해도 data에 consistent를 보장할 수 있습니다. SCSI에서 나온 스펙이지만 이 후에 ATA T7(2002)스펙에도 포함 되었습니다. (이상 위키내용 발췌) Windows 윈도우즈에서는 Transac..

volatile 키워드가 어떤 동작을 하는 것인지 부터 살펴보고 Interlocked계열 (Linux에서는 atomic 계열)과 연관성을 살펴보겠습니다. volatile 이란? 우선 서광열님의 C/C++ volatile 키워드을 보면 volatile에는 크게 2가지 기능이 있습니다. 가시성(visibility) 재배치 방지(barrirer reordering) Visibility 레지스터 내용이 아닌 메모리에서 값을 매번 새로 읽어옵니다. 그렇기 때문에 멀티스레드 환경에서 다른 스레드에서도 이런 공유변수 값을 메모리에서 직접 본다는 것을 의미합니다. 이것을 이해하면서 volatile란 이름은 왜 휘발성일까라는 고민이 어느 정도 해결되었습니다. 매번 보고 나면 휙 날아가버린다가 아닐까? MMIO의 예제도 ..

Ubuntu 18.04에서 mysql 8.x를 설치하려고 할 때 key값 에러로 인하여 실패할 때가 있습니다. 물론, community edition으로 설치하는 과정중에서도 발생합니다. 최신의 mysql이 필요치 않다면 일반적인 repo에서 설치하면 5.x 버전으로 구할 수도 있습니다. 하지만 최신 버전으로 설치하려고 하면 일부 우분투 머신에서 이런 문제를 만날 수 있습니다. 이 문제도 해결하기 위해 일반적인 mysql 8.x 설치 과정부터 살펴 보려합니다. Mysql 8.x Install A Quick Guide to Using the MySQL APT Repository 에서 언급한 대로 한다면, 아래의 단계로 진행하면 됩니다. Step 1: Download the MySQL Repositories..

tendermint의 멀티노드 테스트 환경을 구축하기 위해 docker를 사용하는 과정을 정리해 보았습니다. docker 에서 실행 golang image container ~:>docker run -it --rm golang root@5b612c38d7fd:/go# root@5b612c38d7fd:/go# export REPO=github.com/tendermint/tendermint root@5b612c38d7fd:/go# go get $REPO package github.com/tendermint/tendermint: no Go files in /go/src/github.com/tendermint/tendermint root@5b612c38d7fd:/go# ls bin src root@5b612c3..

tensorflow-gpu 설치 Tensorflow를 간만에 해보려고 하는데 이번엔 nvidia 그래픽카드가 있으므로 gpu버전으로 설치해보았습니다. 그리고 꽤 힘들었습니다. tensorflow cpu버전 설치 GPU를 사용하지 않는 시스템이라면 아래처럼 CPU 버전으로 설치하면 됩니다. pip install tensorflow hello world를 실행해보면 import tensorflow.compat.v1 as tf with tf.Session() as sess: hello = tf.constant("Hello World!") print(sess.run(hello)) warning이 꽤 있지만 hello world를 잘 출력합니다. warning은 다음에 보기로 하고 tensorflow-gpu 버전..

id - 사용자 ID 정보를 표시한다. umask - 기본 파일 퍼미션을 설정한다. su - 다른 사용자로 쉘을 실행한다. sudo - 다른 사용자로 명령어를 실행한다. chmod - 파일 모드를 변경한다. chown - 파일 소유자를 변경한다. chgrp - 파일 그룹 소유자를 변경한다. passwd - 사용자 비밀번호를 변경한다. 소유자, 그룹 멤버, 기타 사용자 $ file /etc/shadow /etc/shadow: regular file, no read permission $ less /etc/shadow /etc/shadow: Permission denied 자신의 사용자 ID 정보를 확인하기 위해서는 id 명령어를 사용한다. $ id uid=1000(ubuntu) gid=1000(ubuntu..