AI 시대를 위한 봇 정책 업데이트
2026년을 대비해 명확한 입장을 담아 robots.txt를 업데이트했습니다. 검색 엔진과 소셜 프리뷰어(Facebook, LinkedIn, Twitter, Slack, Discord 및 유사 서비스)는 명시적으로 허용합니다. AI 학습용 크롤러는 허용되지 않습니다.
FourA의 최신 업데이트 및 개선 사항
2026년을 대비해 명확한 입장을 담아 robots.txt를 업데이트했습니다. 검색 엔진과 소셜 프리뷰어(Facebook, LinkedIn, Twitter, Slack, Discord 및 유사 서비스)는 명시적으로 허용합니다. AI 학습용 크롤러는 허용되지 않습니다.
이전에는 Twitter, Slack, LinkedIn 또는 Discord에서 FourA 링크를 공유하면 하나의 기본 카드로만 표시되었습니다. 이제 모든 공개 페이지는 올바른 제목과 칩이 포함된 고유한 미리보기 이미지를 갖습니다. 작은 디테일이지만, 누군가 우리 링크를 공유할 때마다 매번 노출됩니다.
두 개의 채용 공고가 포함된 /jobs 페이지를 새로 개설했습니다. SaaS를 짜깁기하는 대신 실제 시스템을 직접 구축하는 것을 좋아하신다면 확인해 보세요. 우리는 모든 레이어를 내부에서 직접 개발하고, 끊임없이 배포하며, OSS를 일급 구성원으로 대우합니다.
작동하지 않는 proxy가 picker에 고정되어 절대 제거되지 않음으로써, 지속적인 부하 상황에서 response time을 지연시키는 두 가지 경로를 발견했습니다. 두 문제 모두 해결되었습니다. 자체 부하 테스트 결과, p95는 5초 이상에서 500ms 미만으로 떨어졌고 실패율은 8%에서 0%가 되었습니다.
스마트 피커, 라운드 2. 새로운 proxy를 발견함에 따라 working pool이 계속 커졌고, 속도가 느린 proxy가 로테이션에 다시 유입되기도 했습니다. 이제는 실시간으로 이를 제외하므로, 10분 동안 실행하든 10시간 동안 실행하든 response time이 일정하게 유지됩니다.
기존에는 proxy 선택이 무작위로 이루어졌습니다. 이제 Proxy Finder는 각 목적지별로 어떤 proxy의 성능이 좋았는지 기억하고, 해당 proxy를 먼저 선택합니다. 초기 request는 여전히 몇 개의 샘플을 수집하여 상태를 파악합니다. 그 이후에는 반복되는 대상에 대해 더 안정적인 response time과 줄어든 느린 응답(slow tails)을 확인할 수 있습니다.
배포 프로세스를 강화했습니다. Single, Proxy Finder 또는 Browser의 새 버전을 배포할 때, 로드 밸런서는 트래픽을 라우팅하기 전에 각 새 인스턴스가 실제로 준비될 때까지 대기합니다. 배포 기간 동안 발생하던 일시적인 연결 끊김 현상이 사라졌습니다.
이제 proxy 조회 시 국가 및 대륙 필드가 더 정확해졌습니다. 더 무거운 geo 데이터 소스를 authoritative 소스로 승격하고, 더 가벼운 소스는 fallback으로 전환했습니다. 이전에는 국가 간에 빈번히 바뀌던 국경 지역 IP가 이제 변동 없이 유지됩니다. Proxy Finder에서 국가별로 필터링하면 결과가 더 안정적으로 나타날 것입니다.
stale 탭이나 느린 callback 이후 로그인 시 raw 400 페이지로 이동했다면, 이제 이 문제가 해결되었습니다. session 불일치를 감지하여 잘못된 cookie를 삭제하고, 로그인 화면으로 다시 이동시킵니다. 매번 오류 없이 깔끔하게 처리됩니다.
신규 proxy는 검증을 통해 실제 작동이 확인될 때까지 Proxy Finder에서 비활성 상태로 유지됩니다. 이번 수정 전에는 응답 여부가 확인되기도 전에 새로 임포트된 proxy가 실제 request에 선택될 수 있었고, 이는 첫 번째 시도 성공률을 떨어뜨렸습니다. 이제 이 문제는 해결되었습니다.
작동하지 않는 소스 피드 2개를 정리하고 25개의 신규 피드를 추가했습니다. 입력 검증도 한층 강화되어, IPv4가 아닌 호스트와 알 수 없는 프로토콜은 풀에 절대 진입할 수 없습니다. 그 결과, 더 크고 깨끗해진 풀이 Proxy Finder에 공급됩니다.
서비스가 일시적으로 사용 불가능할 때는 503을, response를 파싱할 수 없을 때는 502를 반환합니다. 두 코드 모두 기존의 일반적인 500 코드를 대체합니다. 이제 재시도 로직에서 상태 코드를 신뢰할 수 있습니다.
Proxy Finder가 이제 재시작 후에도 랭킹 데이터를 유지합니다. 배포 후, 피커가 다시 웜업되기를 기다리는 대신 검증된 양호한 proxy를 통해 request가 즉시 라우팅됩니다. 이전에는 재시작 후에 발생하던 첫 번째 request의 속도 저하 현상이 사라졌습니다.
Proxy Finder는 이제 검증된 신규 proxy를 점진적으로 가져오므로, 새로운 IP가 검증된 후 수 초 내에 rotation에 투입됩니다. 유효하지 않은 proxy도 동일한 주기로 제외됩니다. 방금 작동을 멈춘 proxy로 인해 간혹 retry가 발생했다면, 이제 그 시간 간격이 더 줄어들었습니다.
Single, Proxy Finder, Browser는 Overview 탭에서 각각 고유한 필터 칩을 제공합니다. 하나를 선택하면 해당 제품의 요약, 타임라인, 결과만 확인할 수 있습니다. Activity 행에는 일치하는 색상의 기호가 표시되므로 테이블을 빠르게 훑어볼 수 있습니다.