동시성

동시성이 필요한 이유

동시성은 결합(coupling)을 없애는 전략이다. 즉, 무엇과 언제를 분리하는 전략이다. 스레드가 하나인 프로그램은 무엇과 언제가 서로 밀접하다.
무엇과 언제를 분리하면 애플리케이션 구조와 효율이 극적으로 나아진다. 구조적인 관점에서 프로그램은 거대한 루프 하나가 아니라 작은 협력 프로그램 여럿으로 보인다. 따라서 시스템을 이해하기가 쉽고 문제를 분리하기도 쉽다.

구조적 개선만을 위해 동시성을 채택하는 건 아니다. 어떤 시스템은 응답 시간과 작업 처리량 개선으로 인해 직접적인 동시성 구현이 불가피하다.

동시성의 특징

• 동시성이 항상 성능을 높여주는 것은 아니다. 대기 시간이 아주 길어 여러 스레드가 프로세서를 공유할 수 있거나, 여러 프로세서가 동시에 처리할 독립적인 계산이 많은 경우에만 성능이 높아진다.

• 동시성을 구현하면 설계가 변한다. 단일 스레드 시스템과 다중 스레드 시스템은 설계가 다르다. 일반적으로 무엇과 언제를 분리하면 시스템 구조가 크게 달라진다.

• 웹 또는 EJB 컨테이너를 사용하더라도 동시성을 이해해야 한다. 컨테이너가 어떻게 동작하는지, 어떻게 동시 수정, 데드락 등과 같은 문제를 피할 수 있는지를 알아야만 한다.

• 동시성은 다소 부하를 유발한다. 성능 측면에서 부하가 걸리며, 코드도 더 짜야 한다.

• 동시성은 복잡하다. 간단한 문제라도 동시성은 복잡하다.

• 일반적으로 동시성 버그는 재현하기 어렵다. 그래서 진짜 결함으로 간주되지 않고 일회성 문제로 여겨 무시하기 쉽다.

• 동시성을 구현하려면 흔히 근본적인 설계 전략을 재고해야 한다.

동시성 방어 원칙

단일 책임 원칙(SRP)

SRP는 주어진 메서드, 클래스, 컴포넌트를 변경할 이유가 하나여야 한다는 원칙이다. 동시성은 복잡성 하나만으로도 따로 분리할 이유가 충분하다. 즉, 동시성 관련 코드는 다른 코드와 분리해야 한다는 뜻이다.

자료 범위를 제한하자

공유 객체를 사용하는 코드 내 임계영역을 synchronized 키워드로 보호하라고 권장한다. 이런 임계영역의 수를 줄이는 기술이 중요하다. 공유 자료를 수정하는 위치가 많을수록 다음 가능성도 커진다.
자료를 캡슐화하고 공유 자료를 최대한 줄이자.

자료 사본을 사용하자

공유 자료를 줄이려면 처음부터 공유하지 않는 방법이 제일 좋다. 어떤 경우에는 객체를 복사해 읽기 전용으로 사용하는 방법이 가능하다. 어떤 경우에는 각 스레드가 객체를 복사해 사용한 후 스레드가 해당 사본에서 결과를 가져오는 방법도 가능하다.
공유 객체를 피하는 방법이 있다면 문제를 일으킬 가능성도 아주 낮아진다. 그러나 객체를 복사하는 시간과 부하가 있다면 복사 비용이 진짜 문제인지 실측해볼 필요가 있다. 하지만 사본으로 동기화를 피할 수 있다면 내부 잠금을 없애 절약한 수행 시간이 사본 생성과 가비지 컬렉션에 드는 부하를 상쇄할 가능성이 크다.

스레드는 가능한 독립적으로 구현하자

다른 스레드와 자료를 공유하지 않는다. 각 스레드는 클라이언트 요청 하나를 처리한다. 모든 정보는 비공유 출처에서 가져오며 로컬변수에 저장한다. 그러면 각 스레드는 다른 스레드와 동기화할 필요가 없어진다.
독자적인 스레드로, 가능하면 다른 프로세서에서 돌려도 괜찮도록 자료를 독립적인 단위로 분할하자.

라이브러리를 이해하자

자바 5로 스레드 코드를 구현한다면 다음을 고려해야 한다.

• 스레드 환경에 안전한 컬렉션을 사용한다.
• 서로 무관한 작업을 수행할 때는 executor 프레임워크를 사용한다.
• 가능하다면 스레드가 차단되지 않는 방법을 사용한다.
• 일부 클래스 라이브러리는 스레드에 안전하지 못하다.

스레드 환경에 안전한 컬렉션

java.util.concurrent 패키지가 제공하는 클래스는 다중 스레드 환경에서 사용해도 안전하며, 성능도 좋다. 실제로 ConcurrentHashMap은 거의 모든 상황에서 HashMap보다 빠르다. 동시 읽기/쓰기를 지원하며, 자주 사용하는 복합 연산을 다중 스레드 상에서 안전하게 만든 메서드로 제공한다.

실행 모델을 이해하자

다중 스레드 애플리케이션을 분류하는 방식은 여러 가지다.

기본 용어

용어	설명
한정된 자원(Bound Resource)	다중 스레드 환경에서 사용하는 자원으로, 크기나 숫자가 제한적이다. 데이터 베이스 연결, 길이가 일정한 읽기/쓰기 버퍼 등이 예다.
상호 배제(Mutual Exclusion)	한 번에 한 스레드만 공유 자료나 공유 자원을 사용할 수 있는 경우를 가리킨다.
기아(Starvation)	한 스레드나 여러 스레드가 굉장히 오랫동안 혹은 영원히 자원을 기다린다. 예를 들어, 짧은 스레드에게 우선순위를 준다면, 짧은 스레드가 지속적으로 이어질 경우, 긴 스레드가 기아 상태에 빠진다.
데드락(Deadlock)	여러 스레드가 서로가 끝나기를 기다린다. 모든 스레드가 각기 필요한 자원을 다른 스레드가 점유하는 바람에 어느 쪽도 더 이상 진행하지 못한다.
라이브락(Livelock)	락을 거는 단계에서 각 스레드가 서로를 방해한다. 스레드는 계속해서 진행하려 하지만, 공명(resonance)으로 인해, 굉장히 오랫동안 혹은 영원히 진행하지 못한다.

생성자-소비자

하나 이상 생성자 스레드가 정보를 생성해 버퍼나 대기열에 넣는다. 하나 이상 소비자 스레드가 대기열에서 정보를 가져와 사용한다. 생산자 스레드와 소비자 스레드가 사용하는 대기열은 한정된 자원이다. 생산자 스레드는 대기열에 빈 공간이 있어야 정보를 채운다. 즉, 빈 공간이 생길 때까지 기다린다. 소비자 스레드는 대기열에 정보가 있어야 가져온다. 즉, 정보가 채워질 때까지 기다린다. 대기열을 올바로 사용하고자 생산자 스레드와 소비자 스레드는 서로에게 시그널을 보낸다. 생산자 스레드는 대기열에 정보를 채운 다음 소비자 스레드에게 “대기열에 정보가 있다”는 시그널을 보낸다. 소비자 스레드는 대기열에서 정보를 읽어들인 후 “대기열에 빈 공간이 있다”는 시그널을 보낸다. 따라서 잘못 하면 생산자 스레드와 소비자 스레드가 둘다 진행 가능함에도 불구하고 동시에 서로에게서 시그널을 기다릴 가능성이 존재한다.

읽기-쓰기

읽기 스레드를 위한 주된 정보원으로 공유 자원을 사용하지만, 쓰기 스레드가 이 공유 자원을 이따금 갱신한다고 하자. 이런 경우 처리율이 문제의 핵심이다. 처리율을 강조하면 기아 현상이 생기거나 오래된 정보가 쌓인다. 갱신을 허용하면 처리율에 영향을 미친다. 쓰기 스레드가 버퍼를 갱신하는 동안 읽기 스레드가 버퍼를 읽지 않으려면, 마찬가지로 읽기 스레드가 버퍼를 읽는 동안 쓰기 스레드가 버퍼를 갱신하지 않으려면, 복잡한 균형잡기가 필요하다. 대개는 쓰기 스레드가 버퍼를 오랫동안 점유하는 바람에 여러 읽기 스레드가 버퍼를 기다리느라 처리율이 떨어진다.
따라서 읽기 스레드의 요구와 쓰기 스레드의 요구를 적절히 만족시켜 처리율도 적당히 높이고 기아도 방지하는 해법이 필요하다. 간단한 전략은 읽기 스레드가 없을 때까지 갱신을 원하는 쓰기 스레드가 버퍼를 기다리는 방법이다. 하지만 읽기 스레드가 계속 이어진다면 쓰기 스레드는 기아 상태에 빠진다. 반면, 쓰기 스레드에게 우선권을 준 상태에서 쓰기 스레드가 계속 이어진다면 처리율이 떨어진다. 양쪽 균형을 잡으려면 동시 갱신 문제를 피하는 해법이 필요하다.

식사하는 철학자들 문제

둥근 식탁에 철학자 한 무리가 둘러앉았다. 각 철학자 왼쪽에는 포크가 놓였다. 식탁 가운데는 스파게티 한 접시가 놓였다. 철학자들은 배가 고프지 않으면 생각하며 시간을 보낸다. 배가 고프면 양손에 포크를 집어들고 스파게티를 먹는다. 양손에 포크를 쥐지 않으면 먹지 못한다. 왼쪽 철학자나 오른쪽 철학자가 포크를 사용 중이라면 그 쪽 철학자가 먹고 나서 포크를 내려놓을 때까지 기다려야 한다. 음식을 먹고 나면 포크를 내려놓고 배가 고플 때까지 다시 생각에 잠긴다.
여기서 철학자를 스레드로, 포크를 자원으로 바꿔 생각하면 된다. 많은 기업 애플리케이션에서 여러 프로세스가 자원을 얻으려 경쟁한다. 주의해서 설계하지 않으면 데드락, 라이브락, 처리율 저하, 효율성 저하 등을 겪는다.

동기화하는 메서드 사이에 존재하는 의존성

동기화하는 메서드 사이에 의존성이 존재하면 동시성 코드에 찾아내기 어려운 버그가 생긴다. 자바 언어는 개별 메서드를 보호하는 synchronized라는 개념을 지원한다. 하지만 공유 객체 하나에는 동기화된 메서드 하나만 사용하는게 좋다.

공유 객체 하나에 여러 메서드가 필요한 상황

• 클라이언트에서 잠금 : 클라이언트에서 첫 번째 메서드를 호출하기 전에 서버를 잠근다. 마지막 메서드를 호출할 때까지 잠금을 유지한다.
• 서버에서 잠금 : 서버에다 “서버를 잠그고 모든 메서드를 호출한 후 잠금을 해제하는” 메서드를 구현한다. 클라이언트는 이 메서드를 호출한다.
• 연결 서버 : 잠금을 수행하는 중간 단계를 생성한다. ‘서버에서 잠금’ 방식과 유사하지만 원래 서버는 변경하지 않는다.

동기화하는 부분을 작게 만들자

자바에서 synchronized 키워드를 사용하면 락을 설정한다. 같은 락으로 감싼 모든 코드 영역은 한 번에 한 스레드만 실행 가능하다. 락은 스레드를 지연시키고 부하를 가중시킨다. 그러므로 synchronized 문을 남발하면 안된다. 반면, 임계영역은 반드시 보호해야 한다. 따라서 코드를 짤 때는 임계영역 수를 최대한 줄여야 한다. 그렇다고 임계영역의 크기가 커서도 안된다. 경쟁이 늘어나고 프로그램 성능이 떨어진다.

올바른 종료 코드는 구현하기 어렵다

올바른 종료 코드는 구현하기 어렵다. 흔히 발생하는 문제가 데드락이다.
종료 코드를 개발 초기부터 고민하고 동작하게 구현하자. 이때 이미 나온 알고리즘을 검토하자.

스레드 코드 테스트하기

문제를 노출하는 테스트 케이스를 작성하자. 프로그램 설정과 시스템 설정과 부하를 바꿔가며 자주 돌리자. 테스트가 실패하면 원인을 추적하자. 다시 돌렸더니 통과하더라는 이유로 그냥 넘어가서는 안 된다.

말이 안 되는 실패는 잠정적인 스레드 문제로 취급하자

다중 스레드 코드는 때때로 ‘말이 안 되는’ 오류를 일으킨다. 스레드 코드의 버그는 수백만 번에 한 번씩 드러나기도 한다. 실패를 재현하기 아주 어렵다. 그래서 단순한 ‘일회성’ 문제로 치부하고 무시한다. ‘일회성’ 문제를 계속 무시한다면 잘못된 코드 위에 코드가 계속 쌓인다. 시스템 실패를 ‘일회성’이라 치부하지 말자.

다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자

스레드 환경 밖에서 생기는 버그와 스레드 환경에서 생기는 버그를 동시에 디버깅하지 말자. 먼저 스레드 환경 밖에서 코드를 돌리자. 일반적인 방법으로, 스레드가 호출하는 POJO를 만든다. POJO는 스레드를 모른다. 따라서 스레드 환경 밖에서 테스트가 가능하다.

다중 스레드를 쓰는 코드 부분을 다양한 환경에 쉽게 끼워 넣을 수 있도록 스레드 코드를 구현하자

다중 스레드를 쓰는 코드를 다양한 설정으로 실행하기 쉽게 구현하자.

• 한 스레드로 실행하거나, 여러 스레드로 실행하거나, 실행 중 스레드 수를 바꿔본다.
• 스레드 코드를 실제 환경이나 테스트 환경에서 돌려본다.
• 테스트 코드를 빨리, 천천히, 다양한 속도로 돌려본다.
• 반복 테스트가 가능하도록 테스트 케이스를 작성한다.

다중 스레드를 쓰는 코드 부분을 상황에 맞춰 조정할 수 있게 작성하자

적절한 스레드 개수를 파악하려면 상당한 시행착오가 필요하다.
스레드 개수를 조율하기 쉽게 코드를 구현하자. 프로그램이 돌아가는 도중에 스레드 개수를 변경하는 방법도 고려해보자. 프로그램 처리율과 효율에 따라 스스로 스레드 개수를 조율하는 코드도 고민해보자.

프로세서 수보다 많은 스레드를 돌려보자

시스템이 스레드를 스와핑할 때도 문제가 발생한다. 스와핑을 일으키기 위해 프로세서 수보다 많은 스레드를 돌려보자. 스와핑이 잦을수록 임계영역을 빼먹은 코드나 데드락을 일으키는 코드를 찾기 쉬워진다.

다른 플랫폼에서도 돌려보자

운영체제마다 스레드를 처리하는 정책이 달라 다중 스레드 코드는 플랫폼에 따라 다르게 돌아간다. 따라서 코드가 돌아갈 가능성이 있는 플랫폼 전부에서 테스트를 수행해야한다.

코드에 보조 코드를 넣어 돌려, 강제로 실패를 일으키게 해보자

흔히 스레드 코드는 오류를 찾기가 쉽지 않다. 간단한 테스트로는 버그가 드러나지 않는다.
보조 코드를 추가해 코드가 실행되는 순서를 바꿔보자. 예를 들어, Object.wait(), Object.sleep(), Object.yield(), Object.priority() 등과 같은 메서드를 추가해 코드를 다양한 순서로 실행해보자.
각 메서드는 스레드가 실행되는 순서에 영향을 미친다. 따라서 버그가 드러날 가능성도 높아진다. 잘못된 코드라면 가능한 초반에 실패하는 편이 좋다.