Промени

Когато защитена от Cloudflare цел връщаше реална страница за геоблокиране (451) след успешно преминаване на проверката, продуктът Browser го отчиташе като 200, тъй като watcher твърдо кодираше статуса на преминаване. Сега watcher чете действителния Document след проверката, така че 200 си остава 200, 451 се показва като 451, а Auto отхвърля грешното съдържание и продължава да търси изход, който наистина отговаря на вашите правила validate.

Клавишната комбинация Cmd+K (Ctrl+K) вече отваря командната палитра и модалния прозорец за търсене независимо от клавиатурната подредба. Преди отчитахме въведения символ (к при кирилица), така че потребителите с нелатинска подредба не получаваха нищо. Сега отчитаме физическия клавиш. Това е коригирано в основния сайт, блога и документацията.

Едно студено решаване с Auto може да отнеме няколко минути и заявката вече остава отворена за целия си бюджет. Грешките от всеки слой се връщат като JSON, който вашият клиент може да анализира.

Сайтовете с възможност за преизползване на cookie (bet365 беше тестовият случай) задържаха скъпото решаване през браузър на 15 кредита за request, вместо да паднат до евтиното преиграване за 2 кредита след първото решаване. Два бъга: блокировката се задействаше при всякаква временна транспортна грешка, а успешното преиграване в браузъра никога не опресняваше session cookie-тата. И двата са поправени. Повтарящите се request-и към сайт с преизползваемо cookie вече струват 2 кредита след първото решаване, точно както предполага ценообразуването.

Затегнахме cross-origin достъпа, така че само foura.ai да може да извиква API с credentials. Също така подсилихме филтъра за входящи данни на metrics endpoint и премахнахме fallback secret, предназначен само за разработка. Съществуващите интеграции не се променят.

Ако сте задали validate.status.accept за даден request, системата третира приетия отговор, различен от 200, като пълен успех. Activity все още ги маркираше като неуспешни, което изкривяваше статистиката ви за използване. Резултатите вече следват вашето решение за validate, така че приет от вас статус 403 се показва като успех, а не като App Fail.

Ако сте скрейпвали кирилски, китайски, японски или други страници извън UTF-8 през Single, тялото се връщаше като mojibake. Принудително декодирахме всеки response като UTF-8, преди да видите необработените байтове. Сега четем кодирането (charset) от response (Content-Type, след това <meta charset>, след което fallback към UTF-8) и го декодираме правилно. Благодарим на Александър Кънчев (Sensika) за докладването на това.

Някои proxy-та в мрежата всъщност не препращат вашия request. Те го връщат обратно като plaintext server dump и се опитват да извлекат това, което е вътре. Вече засичаме този модел, преди response да достигне до вашия код, така че Single, Browser и Proxy Finder връщат коректна грешка (или retry) вместо този боклук.

Отстранихме забавяне, което караше новооткритите proxies да чакат, преди да бъдат валидирани. Proxy Finder вече ги проверява веднага, така че pool-ът остава по-свеж с повече активни, работещи proxies в ротация.

Playground вече проследява правилно атрибута Domain, така че host-only cookies остават на своя хост. Изгледът Parsed ги отбелязва със значка HO, а Raw съвпада с това, което upstream е изпратил.

Всяко поле в Playground вече е съобразено със схемата: Browser налага GET, скрива текстовото поле за тялото, а разделът Raw показва точния JSON, който достига до API, плюс curl команда за възпроизвеждане.

С unblocker: true, Single и Proxy Finder вече пренасят пълния подпис на Unblocker до самия източник, така че anti-bot стените, които го проверяват, да пропуснат заявката.

Някои Cloudflare сайтове връщат 200 OK, но внедряват фонов скрипт, който издава истинската cf_clearance cookie малко по-късно. Преди Browser връщаше страницата преди тази cookie да е пристигнала, оставяйки jar-а празен. Сега Browser изчаква събитието за cookie, така че получавате чиста cf_clearance, която можете да преиграете през Single или Proxy.

Бутонът „Older“ в блога преди ви връщаше обратно на страница 1. Пагинацията вече се намира на URLs /blog/page/N/ с номерирана навигация, така че действително да можете да разглеждате по-стари публикации. Благодарим на Владимир Петров.

Браузърът вече обработва всяка заявка чрез JavaScript енджина, така че Cloudflare проверките и страниците с много JS се визуализират според очакванията.