Home AWS AWS EC2에 forward proxy 서버 만들기(squid proxy)

AWS EC2에 forward proxy 서버 만들기(squid proxy)

2021년 1월 26일

6754

squid proxy를 이용하여 ec2 장비에 forward proxy를 만드는 방법에 대해 실습해 보겠습니다. forward proxy란 사용자가 특정 사이트에 직접 접속하는게 아니라 proxy가 대신 사이트에 연결하여 받은 결과를 클라이언트에게 전달하는 것 입니다. forward proxy는 대개 캐슁 기능을 가지고 있어 자주 요청되는 컨텐츠에 대해 빠른 응답속도 및 결과를 얻을 수 있습니다. 또한 보안이 매우 중요한 환경에서 외부와의 통신을 proxy를 통해 제한하는데도 사용할 수 있습니다.

Squid Proxy

http://www.squid-cache.org/

Squid 프록시는 HTTP, HTTPS, FTP 등을 지원하는 웹용 캐싱 프록시입니다. 자주 요청하는 웹 페이지를 캐싱하고 재사용하여 대역폭을 줄이고 응답 시간을 개선할 수 있습니다. Squid는 광범위한 액세스 제어를 제공하며 훌륭한 서버 가속기로 동작할 수 있습니다. Windows를 포함한 대부분의 사용 가능한 운영 체제에서 실행될 수 있어 범용적으로 사용할 수 있습니다.

Proxy 설치를 위한 EC2 생성

squid를 설치할 EC2장비를 생성합니다.

EC2 – Launch Instance – Amazon Linux 2 AMI (HVM) select

Choose an Instance Type
- t2.micro
Configure Instance Details
- Network : 생성할 VPC 선택
- Subnet : private 망에서만 사용할 것이면 private subnet을 공용으로 사용할 것이면 public subnet을 선택. 실습에서는 public subnet으로 세팅
- Auto-assign Public IP : Enable
Add Tags
- Key : Name / Value : Proxy1
Configure Security Group
- Create a new security group
- Security group name : proxy-sg
- Add Rule
  - Squid 서버에 접속할 수 있도록 아래 정보로 Security Group을 생성합니다. 서비스에 사용시엔 보안을 위해 proxy default port를 변경하고, Source의 경우도 필요한 대역으로 한정하여 생성하는 것이 좋습니다.
  - Port Range : 3128
  - Source : 0.0.0.0/0
Review Instance Launch
- Launch를 클릭하고 장비 접속시 필요한 key pair를 세팅한 후에 Launch Instances를 클릭하여 EC2 장비를 생성합니다.

EC2에 Squid Proxy 설치

yum 으로 설치

$ ssh -i ssh-key파일.pem ec2-user@ec2-public-ip-address
$ sudo yum install squid -y

source compile로 설치

http://www.squid-cache.org/Versions/에서 stable 버전을 다운받아 설치합니다.

$ wget http://www.squid-cache.org/Versions/v4/squid-4.16.tar.gz
$ tar xvfz squid-4.16.tar.gz
$ cd squid-4.16/
$ ./configure --prefix=설치위치
$ make
$ make install

config 수정

/etc/squid/squid.conf 내용을 필요에 따라 수정합니다.

/etc/squid/squid.conf를 열어보면 제일 상단에 proxy에 접근할 수 있는 소스 네트워크 목록이 보입니다. 여기에 속해있는 ip대역만이 squid proxy에 요청을 보낼 수 있습니다. 기본 설정은 aws내에서 사용할 수 있는 3가지 CIDR(10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16) 대역이 세팅되어 있습니다.

acl localnet src 10.0.0.0/8    # RFC1918 possible internal network
acl localnet src 172.16.0.0/12 # RFC1918 possible internal network
acl localnet src 192.168.0.0/16        # RFC1918 possible internal network
acl localnet src fc00::/7       # RFC 4193 local private network range
acl localnet src fe80::/10      # RFC 4291 link-local (directly plugged) machines

만약 위의 ip 대역이 아닌곳에서 접근이 필요하면 다음과 같이 src(source) 대역을 추가하고 squid를 재시작하면 됩니다.

# 설정파일을 열고 acl localnet 항목을 하나 추가한다.
$ vi squid.conf
acl localnet src 접근_IP_CIDR 대역
# 설정을 적용한다.
$ sudo systemctl restart squid

Squid 시작/활성화

$ sudo systemctl start squid
$ sudo systemctl enable squid
# 상태 확인
$ sudo systemctl status squid
 squid.service - Squid caching proxy
   Loaded: loaded (/usr/lib/systemd/system/squid.service; enabled; vendor preset: disabled)
   Active: active (running) since 화 2021-06-22 09:46:57 UTC; 12min ago
  Process: 2079 ExecStart=/usr/sbin/squid $SQUID_OPTS -f $SQUID_CONF (code=exited, status=0/SUCCESS)
  Process: 2073 ExecStartPre=/usr/libexec/squid/cache_swap.sh (code=exited, status=0/SUCCESS)
 Main PID: 2106 (squid)
   CGroup: /system.slice/squid.service
           ├─2106 /usr/sbin/squid -f /etc/squid/squid.conf
           └─2109 (squid-1) -f /etc/squid/squid.conf

 6월 22 09:46:57 ip-10-235-16-114.ap-northeast-2.compute.internal systemd[1]: Starting Squid caching proxy...
 6월 22 09:46:57 ip-10-235-16-114.ap-northeast-2.compute.internal squid[2106]: Squid Parent: will start 1 kids
 6월 22 09:46:57 ip-10-235-16-114.ap-northeast-2.compute.internal systemd[1]: Started Squid caching proxy.
 6월 22 09:46:57 ip-10-235-16-114.ap-northeast-2.compute.internal squid[2106]: Squid Parent: (squid-1) process 2109 started
Hint: Some lines were ellipsized, use -l to show in full.

Proxy 테스트

해당 장비에 접속하여 특정 사이트의 정보를 요청하면 결과를 받을 수 있습니다.

$ curl -x localhost:3128 https://www.google.com
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="ko"><head><meta content="text/html; charset=UTF-8" http-equiv="Content-Type"><meta content="/logos/doodles/2021/get-vaccinated-wear-a-mask-save-lives-june-22-6753651837109280-law.gif" itemprop="image"><meta content="&#44032;&#44620;&#50868; &#53076;&#47196;&#45208;19 &#48177;&#49888; &#51217;&#51333;&#49548;&#47484; &#54869;&#51064;&#54616;&#49464;&#50836;" property="twitter:title"><meta content="&#44032;&#44620;&#50868; &#53076;&#47196;&#45208;19 &#48177;&#49888; &#51217;&#51333;&#49548;&#47484; &#54869;&#51064;&#54616;&#49464;&#50836;. #GoogleDoodle" property="twitter:description"><meta content="&#44032;&#44620;&#50868; &#53076;&#47196;&#45208;19 &#48177;&#49888; &#51217;&#51333;&#49548;&#47484; &#54869;&#51064;&#54616;&#49464;&#50836;. #GoogleDoodle" property="og:description"><meta content="summary_large_image" property="twitter:card"><meta content="@GoogleDoodles" property="twitter:site"><meta content="https://www.google.com/logos/doodles/2021/get-vaccinated-wear-a-mask-save-lives-june-22-6753651837109280-2xa.gif" property="twitter:image"><meta content="https://www.google.com/logos/doodles/2021/get-vaccinated-wear-a-mask-save-lives-june-22-6753651837109280-2xa.gif" property="og:image"><meta content="1000" property="og:image:width"><meta content="400" property="og:image:height"><meta content="https://www.google.com/logos/doodles/2021/get-vaccinated-wear-a-mask-save-lives-june-22-6753651837109280-2xa.gif" property="og:url"><meta content="video.other" property="og:type"><title>Google</title><script nonce="y74VleE93FhDVzSGp6dx6w==">(function()

Proxy 접속 로그 확인

/var/log/squid 하위에서 접속 로그를 확인할 수 있습니다.

$ sudo tail -f /var/log/squid/access.log
2021/07/28 06:09:48 127.0.0.1 TCP_MISS/200:HIER_DIRECT "CONNECT www.google.com:443 HTTP/1.1" 200 3824 "curl/7.61.1" "-"

EC2 이미지 생성

동일한 설정의 Squid 장비를 여러대 생성해야 할때 이미 설치된 EC2를 활용할 수 있도록 이미지를 생성해 둡니다.

EC2 – proxy-1 체크
Actions – Image and templates – Create Image – 각 항목에 적당한 내용 입력 후 Create Image를 클릭하여 이미지 생성

생성이 완료되면 EC2 – Images – AMIs에서 확인할 수 있습니다.

EC2 이미지로 추가 Proxy 생성

EC2 – Images – AMIs에 접속하여 생성된 이미지를 확인하고 proxy-image를 체크한 후 Launch를 클릭합니다. 위에서 첫번째 Proxy를 생성할때와 유사한 화면이 노출되며 적절하게 내용을 작성한 후 Launch Instance를 클릭하여 새로운 EC2 인스턴스를 생성합니다. 최초 생성시와 다른 점은 이미지를 적용하였기 때문에 Squid Proxy가 설치된 상태로 EC2가 생성된다는 점입니다.

장비에 접속하여 테스트를 해보면 Proxy기능이 작동하는 것을 확인 할 수 있습니다.

# 두번째 장비 접속
$ ssh -i ssh-key파일.pem ec2-user@두번째장비ec2-public-ip-address
# Proxy 테스트
$ curl -x localhost:3128 https://www.google.com

LoadBalancer 적용

여러대의 proxy 서버를 단일 endpoint로 사용하기 위해 LoadBalancer를 생성합니다. Network LoadBalancer를 다음과 같이 생성합니다.

EC2 – Load Balancers – Create Load Balancer – Network Load Balancer – Create
LoadBalancerName : squid-proxy
Scheme : Internet-facing 선택
VPC : default
Mappings : az선택 후 public subnet 선택
Listener and Routing
Port : 3128
forward to – Create Target Group를 선택
Target Group – 로드 밸런싱할 EC2서버의 집합
- 위에서 생성한 두개의 squid ec2 Instance선택하여 타겟 그룹을 생성합니다.
- TargetGroupName : squid-taget-group
- Port : 3128 입력 후 Next
- Available Instances에서 위에서 생성한 squid-proxy-1,2 ec2를 선택 후 Ports for the selected instances에 3128 port를 입력.
- Include as pending below 클릭하여 서버를 추가하고 Create target group 클릭하여 Target Group 생성을 완료합니다.
Target Group을 로드 밸런서에 적용
- LoadBalancer 설정 화면으로 돌아와 Listener – Forward to 리스트 갱신 후 위에서 생성한 Target Group을 지정합니다.
- Create load balancer를 눌러 로드밸런서를 생성 합니다. 생성이 완료되면 상태가 Provisioning -> Active로 변경됩니다.
security_group inbound rule 추가
- 만약 squid 서버의 security_group 설정이 기본적으로 inbound에 대해서 모두 막혀 있을경우엔 로드밸런서가 squid 서버에 접근할 수 있도록 squid서버의 security_group – inbound rule에 로드밸런서 VPC의 CIDR에 대해서 3128 port를 개방해야 합니다. 실습에서는 proxy-sg를 생성시 모든 IP(0.0.0.0) 대역에 대해서 3128 port를 개방했으므로 따로 처리할 필요는 없습니다.

LoadBalancer 테스트

로드 밸런서의 DNS name으로 proxy설정을 한 후 정상 작동하는지 확인합니다.

$ curl -x squid-proxy-99815861995ce0b2.elb.ap-northeast-2.amazonaws.com:3128 https://www.google.com
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="ko"><head><meta content="text/html; charset=UTF-8" http-equiv="Content-Type"><meta content="/images/branding/googleg/1x/googleg_standard_color_128dp.png" itemprop="image"><title>Google</title><script nonce="TG5k+YhFbwFNjTkkWSjSDQ==">(function(){window.google={kEI:'5P0AYb2tOdeK-Aa5wI3gBQ',kEXPI:'0,772215,1,530320,56873,954,5104,207,4804,2316,383,246,5,1354,5251,1122515,1197727,556,88,328896,51223,16115,28684,17572,4859,1361,9290,3025,4749,7994,4841,4020,978,13228,2676,1171,4192,6430,7432,7096,4516,2778,919,910,4171,1593,1279,2212,531,148,1943,6297,3514,606,2023,1777,520,14670,605,2622,2845,7,4774,7580,5096,7876,5037,3407,908,2,941,2614,3783,9359,3,346,230,6459,149,13975,4,1528,2304,1236,5226,577,4683,2015,4067,14308,2658,4242,2459,654,32,13628,2305,638,1494,5586,10535,665,2521,3273,2563,4094,18,2239,881,6,908,3,3541,1,14263,447,1814,283,912,5992,12526,2,1394,2806,1715,2,3057,2538,2,1,3,3623,4798,619,1312,1532,2379,1804,618,1274,4578,2051,1646,172,5552,2,1040,1160,1269,17,3409,2,399,1311,292,177,2022,182,2719,4545,3,123,4607,743,13,1448,86,3088,585,463,2538,2,6,2299,119,1037,1353,6,125,593,305,1510,426,554,57,1163,18,140,190,566,2,322,93,833,288,74,214,53,1055,330,1251,1598,1468,74,2062,528,1089,521,696,592,363,1615,351,1,146,76,2,4,913,6,159,228,1655,11,6,5602310,3904,190,36,220,59,1,5996809,153,2800543,882,444,1,2,80,1,1796,1,9,2,2551,1,748,141,795,563,1,4265,1,1,2,1331,3299,843,2609,155,17,13,72,139,4,2,20,2,169,13,19,46,5,39,96,548,29,2,2,1,2,1,2,2,7,4,1,2,2,2,2,2,2,353,513,186,1,1,158,3,2,2,2,2,2,4,2,3,3,235,34,10,40,17,15,11,8,23654757,299865,2867253,1171784,7,2307,338,3,1454,960,1074,5,1707',kBL:'hWJ9'};google.sn='webhp';google.kHL='ko';})();(function(){
var f=this||self;var h,k=[];function l(a){for(var b;a&&(!a.getAttribute||!(b=a.getAttribute("eid")));)a=a.parentNode;return b||h}function m(a){for(var b=null;a&&(!a.getAttribute||!(b=a.getAttribute("leid")));)a=a.parentNode;return b}
function n(a,b,c,d,g){var e="";c||-1!==b.search("&ei=")||(e="&ei="+l(d),-1===b.search("&lei=")&&(d=m(d))&&(e+="&lei="+d));d="";!c&&f._cshid&&-1===b.search("&cshid=")&&"slh"!==a&&(d="&cshid="+f._cshid);c=c||"/"+(g||"gen_204")+"?atyp=i&ct="+a+"&cad="+b+e+"&zx="+Date.now()+d;/^http:/i.test(c)&&"https:"===window.location.protocol&&(google.ml&&google.ml(Error("a"),!1,{src:c,glmm:1}),c="");

Proxy 증설

Proxy를 사용하는 서비스가 많아 현재 장비로 트래픽을 감당하기 힘들 경우엔 위에서 생성한 EC2 이미지로 Proxy 서버를 추가로 생성한 다음 로드밸런서 TargetGroup에 추가하여 처리량을 확장할 수 있습니다.

기타 추가 설정

Version 정보 노출 숨기기

Server version
응답헤더를 통한 버전정보가 노출되지 않도록 설정 합니다.

Via version
프록시에서만 사용되는 헤더로 요청 / 응답시 사용됨에 따라, 버전정보가 노출되지 않도록 설정 합니다.

$ vi /etc/squid/squid.conf

# via version off via off
# Server version off 
httpd_suppress_version_string on 
reply_header_access Server deny all
# Cache version off
reply_header_access X-Cache deny all reply_header_access X-Cache-Lookup deny all

Error Page
기본 Error Page시 사용시 Footer를 통한 버전정보가 노출되지 않도록 설정 합니다. Error page template 위치 확인 후 아래와 같이 실행 합니다.
기본 위치 : /usr/share/squid/errors

$ sudo -i grep -rli "Generated %T by %h (%s)" /usr/share/squid/errors/ | sudo -i xargs sed -i 's/Generated %T by %h (%s)/./g'

LogFormat 설정

기본 로그 포맷을 보기 편한 형태로 설정합니다.
http://www.squid-cache.org/Doc/config/logformat/

$ vi /etc/squid/squid.conf
logformat customformat %{%Y/%m/%d %H:%M:%S}tl %>a %Ss/%03>Hs:%Sh "%rm %ru HTTP/%rv" %>Hs %<st "%{User-Agent}>h" "%{Referer}>h" access_log /var/log/squid/access.log customformat

ACL 설정

출발지(src)를 내부서버 대역이나 특정 IP로 제한하여 proxy에 요청하는 클라이언트를 제한 할 수 있습니다. 또한 목적지(dst)를 제한하여 proxy가 요청할 수 있는 목적지 사이트도 제한할 수 있습니다.

$ vi /etc/squid/squid.conf
acl SSL_ports port 443
acl Safe_ports port 80 8080

# Method Setting
acl Safe_methods method GET POST PUT OPTIONS CONNECT

http_access deny !Safe_ports

http_access allow localhost manager
http_access deny manager

include /etc/squid/in-outbound-acl.conf

// 나머지 설정 생략

in-outbound-acl.conf

# proxy에 접근할 수 있는 아이피 대역 설정- server
acl src_service_vpc src 10.249.0.0/18

# proxy에 접근할 수 있는 아이피 대역 설정 - office
acl src_office src 203.123.171.170/32

# proxy에서 요청할 수 있는 destination 도메인 설정
acl dst_google dstdomain www.google.com
acl dst_naver dstdomain www.naver.com

http_access allow Safe_methods src_service_vpc dst_google
http_access allow Safe_methods src_office dst_google
http_access allow Safe_methods src_service_vpc dst_naver
http_access allow Safe_methods src_office dst_naver