亚洲国产天堂久久九九九_亚洲精品综合一区二区三区_亚洲国产激情在线一区_成人18xxxx网站

檢測抓取攻擊的類型有哪些?

Web 抓取攻擊,或簡稱為“抓取”,發(fā)生在機(jī)器人自動從您的網(wǎng)站收集數(shù)據(jù)時,通常是出于惡意目的,如內(nèi)容轉(zhuǎn)售和降價。爬蟲機(jī)器人模仿真實用戶在常規(guī)瀏覽器上訪問網(wǎng)站,在那里他們提取機(jī)器人程序員想要存儲在本地數(shù)據(jù)庫中的數(shù)據(jù)。

檢測抓取攻擊的類型有哪些?-南華中天

爬蟲與其他類型的機(jī)器人有何不同?

與不需要執(zhí)行很多請求的scalpers這樣的機(jī)器人相反,抓取程序經(jīng)常需要發(fā)出數(shù)百萬個請求來抓取網(wǎng)頁。盡管他們執(zhí)行的請求量很大,但 Scraper 機(jī)器人被設(shè)計為有利可圖。

例如,與剝頭皮機(jī)器人相比,爬蟲可能使用質(zhì)量較低的代理,但它們傾向于使用與其他機(jī)器人相同的底層技術(shù)。爬蟲可以基于自動化(無頭)瀏覽器,或者它們可以利用 HTTP 客戶端,如 aiohttp 和 Axios。爬蟲機(jī)器人可以定制,或者欺詐者可以利用不同的專門框架,例如 Scrapy,使爬蟲的創(chuàng)建更容易。許多機(jī)器人即服務(wù) (BaaS)也專門用于抓取——他們所要做的就是使用 API 來抓取網(wǎng)站。

如何檢測抓取攻擊?

與其他類型的攻擊一樣,可以使用三種主要類型的信號檢測抓取攻擊:

  • 行為
  • 名聲
  • 簽名

行為

可以在服務(wù)器端和客戶端收集行為信號。在服務(wù)器端,該引擎分析用戶如何瀏覽網(wǎng)站或移動應(yīng)用程序,以檢測一段時間內(nèi)請求數(shù)量中的可疑異常值——因為機(jī)器人發(fā)出請求的速度比任何人都快得多。

在客戶端,JavaScript(用于網(wǎng)站)或 SDK(用于移動應(yīng)用程序)將收集瀏覽器中事件的詳細(xì)信息,例如點(diǎn)擊、觸摸事件、打字速度和鼠標(biāo)移動。然后可以通過機(jī)器學(xué)習(xí) (ML) 模型分析這些細(xì)節(jié),以檢測交互是否與人類行為一致。

名聲

信譽(yù)信號僅在服務(wù)器端以不同的粒度級別(如 IP 地址或用戶會話)和時間窗口(如分鐘、小時、天或月)計算。有了信譽(yù)信號,檢測引擎可以使用先驗知識來調(diào)整決策。例如,如果某個自治系統(tǒng)經(jīng)常與數(shù)據(jù)抓取相關(guān)聯(lián),ML 模型將決定更積極地阻止來自該系統(tǒng)的流量。

由于抓取工具需要擴(kuò)大攻擊規(guī)模才能抓取數(shù)千或數(shù)百萬頁,因此他們往往嚴(yán)重依賴代理。最先進(jìn)的爬蟲使用住宅代理來訪問類似于人類用戶的 IP 地址。這就是為什么能夠檢測代理以阻止爬蟲很重要的原因。

簽名

簽名信號在服務(wù)器端和客戶端都被收集,可以包括:

  • HTTP 指紋:HTTP 標(biāo)頭的詳細(xì)信息(服務(wù)器端)。
  • TLS 指紋:在 TLS 握手(服務(wù)器端)期間提取的元數(shù)據(jù)。
  • 瀏覽器指紋:JavaScript (JS) 收集有關(guān)操作系統(tǒng) (OS)、瀏覽器和設(shè)備(客戶端,在瀏覽器中)的信息。
  • 移動指紋:SDK 收集有關(guān)操作系統(tǒng)和設(shè)備(客戶端,在移動應(yīng)用程序中)的信息。

最徹底的檢測將始終利用瀏覽器和移動指紋,因為使用 JS 或 SDK 制作的高級解決方案可以檢測流行的無頭瀏覽器和自動化框架,如無頭 Chrome、Puppeteer、Playwright和Selenium。

客戶端挑戰(zhàn)還可以幫助檢測和跟蹤旨在繞過傳統(tǒng)機(jī)器人檢測技術(shù)的爬蟲經(jīng)常使用的修改后的機(jī)器人框架,尤其是:

  • 傀儡師額外隱身
  • 修改后的 Selenium ChromeDriver
  • 修改編劇

關(guān)于抓取檢測和保護(hù)的問題和誤解

大多數(shù)網(wǎng)站和移動應(yīng)用程序都實施了針對爬蟲的反制措施,其中包括驗證碼、速率限制、Web 應(yīng)用程序防火墻 (WAF) 等。但一些常見的反制措施不足以保護(hù)您的網(wǎng)站免受復(fù)雜的爬蟲攻擊——更糟糕的是,其中一些可能會產(chǎn)生誤報。

傳統(tǒng)的 CAPTCHA 是否足以對抗爬蟲?

不會。大多數(shù)爬蟲可以偽造傳統(tǒng)的驗證碼,使用基于人工智能的圖像或音頻識別或驗證碼農(nóng)場,人類工人代表機(jī)器人解決驗證碼挑戰(zhàn)。最重要的是,向用戶顯示驗證碼(也稱為“誤報”)會顯著降低真實用戶的用戶體驗。

在我的網(wǎng)站和 API 端點(diǎn)上使用基于 IP 的速率限制可以確保我的安全嗎?

雖然基于 IP 的速率限制可以阻止最簡單的機(jī)器人程序(僅從一個或幾個 IP 運(yùn)行的機(jī)器人程序),但它無法捕捉到最復(fù)雜的爬蟲程序。復(fù)雜的爬蟲利用代理將他們的攻擊分布到數(shù)千個不同的 IP 地址。因此,每個 IP 地址僅發(fā)出少量請求,這使攻擊者能夠保持在速率限制閾值以下。

此外,阻止整個 IP 地址是危險的,因為許多 IP 地址被大量共享。事實上,大多數(shù)移動 IP 地址在任何給定時間都由成百上千的用戶共享。因此,阻止 IP 會導(dǎo)致許多誤報(挑戰(zhàn)真正的人類用戶),從而損害您的用戶體驗并使您的消費(fèi)者感到沮喪。

阻止來自數(shù)據(jù)中心 IP 的所有流量是否足以阻止爬蟲?

不幸的是,阻止所有數(shù)據(jù)中心 IP 流量是不夠的,更糟糕??的是,它會觸發(fā)誤報。許多合法流量來自數(shù)據(jù)中心 IP,包括 VPN 用戶和大公司代理。您不想阻止您的合法用戶。最重要的是,攻擊者可以訪問數(shù)百萬個住宅代理——而不僅僅是數(shù)據(jù)中心代理。一些代理服務(wù)以每 GB 帶寬幾美元的價格提供對住宅 IP 的訪問。因此,攻擊者可以使用屬于 Comcast、AT&T 和 Verizon 等知名互聯(lián)網(wǎng)服務(wù)提供商 (ISP) 的 IP ,就像您的真實用戶一樣。

如果我使用地理封鎖來阻止來自我的業(yè)務(wù)未開展業(yè)務(wù)的國家/地區(qū)的所有流量,爬蟲能否繞過它?雖然地理封鎖可能會阻止從單個 IP 或外國數(shù)據(jù)中心代理運(yùn)行的簡單爬蟲,但它不會阻止利用住宅代理的更復(fù)雜的攻擊者。住宅代理網(wǎng)絡(luò)允許欺詐者選擇位于特定國家/地區(qū)的代理。

我們在觀察到的是,大多數(shù)攻擊者選擇與他們所針對的網(wǎng)站位于同一國家/地區(qū)的代理——這有助于他們顯得更人性化并繞過地理封鎖技術(shù)。

地理封鎖也會產(chǎn)生誤報,因為您的一些用戶可能正在國外旅行或暫時居住。此外,請記住 IP 地址位置并非 100% 準(zhǔn)確。因此,IP 位置數(shù)據(jù)庫中可能存在一些國家/地區(qū)錯誤分類,地理封鎖可能會在這些 IP 上產(chǎn)生誤報。

我的 WAF 可以防止抓取嗎?

不,不完全是。WAF 無法與當(dāng)今復(fù)雜的爬蟲機(jī)器人相提并論,因為 WAF 旨在使用一組二進(jìn)制規(guī)則檢測和過濾惡意流量。盡管昨天的簡單機(jī)器人程序和已知威脅可能會受到 WAF 中指定規(guī)則的約束,但爬蟲現(xiàn)在可以輕松訪問使用代理和 ML 來模仿人類行為的復(fù)雜機(jī)器人程序。今天復(fù)雜的爬蟲可以輕松繞過基于規(guī)則的安全工具,如 WAF。

亚洲国产天堂久久九九九_亚洲精品综合一区二区三区_亚洲国产激情在线一区_成人18xxxx网站

      在线成人免费av| 女人帮男人橹视频播放| 在线观看av的网址| 日韩高清第一页| 男女无套免费视频网站动漫| 久久久久久久久久网| 欧美性受xxxx黑人猛交88| 一个色综合久久| 婷婷六月天在线| 99久久激情视频| 国产日韩一区二区在线| 人妻夜夜添夜夜无码av| 国产高清www| 欧美视频在线观看视频| 欧美黄色免费网址| 欧美女人性生活视频| 蜜桃传媒一区二区三区| 久久在线中文字幕| 日韩xxxx视频| 无码中文字幕色专区| 欧美久久久久久久久久久久久| 成人一级生活片| 久久人人爽人人爽人人av| 黄色一级片av| 丁香婷婷综合激情| 成人毛片一区二区| 成人观看免费完整观看| 激情综合在线观看| 亚洲熟妇av一区二区三区| 激情婷婷综合网| 欧美黄色性生活| 中文字幕国产高清| 男女激烈动态图| 国产成人一区二区三区别| 日本阿v视频在线观看| aa在线观看视频| www.日日操| 色网站在线视频| 免费一级淫片aaa片毛片a级| 少妇av一区二区三区无码| 精品久久久久av| 日韩欧美理论片| 日韩在线观看a| 国产麻花豆剧传媒精品mv在线| 三年中国国语在线播放免费| 一级做a免费视频| 人妻互换免费中文字幕| 色欲av无码一区二区人妻| 日本www.色| 免费成人进口网站| 日韩欧美一区二| 91精品无人成人www| 99热都是精品| 成年人免费在线播放| 在线黄色免费观看| 日本国产中文字幕| 男人天堂网视频| 黄色片免费网址| 久久久久久久久久久99| 国产九九在线视频| 日韩中文在线字幕| 四虎永久在线精品无码视频| 国产一级免费大片| 大j8黑人w巨大888a片| 在线看的黄色网址| www.国产二区| 天堂中文视频在线| av在线免费观看国产| 蜜臀av午夜一区二区三区| 欧美又黄又嫩大片a级| 成品人视频ww入口| 日本不卡一区二区在线观看| 老司机激情视频| 天堂av在线网站| 国产日韩亚洲欧美在线| 国内外成人激情视频| 男女视频在线看| 成人黄色大片网站| 91亚洲一区二区| 久久无码高潮喷水| 蜜桃视频成人在线观看| www.欧美日本| 97在线国产视频| 中文字幕一区二区在线观看视频 | 精品亚洲一区二区三区四区| 亚洲熟妇无码av在线播放| 欧美特级aaa| 欧美成人一区二区在线观看| 久久av喷吹av高潮av| 大香煮伊手机一区| 欧美精品一区二区三区三州| 天堂v在线视频| jizz大全欧美jizzcom| jizzjizz国产精品喷水| 六月婷婷激情网| 涩涩网站在线看| 日本新janpanese乱熟| 免费高清一区二区三区| 欧美日韩理论片| 午夜国产一区二区三区| 亚洲 自拍 另类小说综合图区 | 日本高清视频免费在线观看| www.xxx亚洲| 国产av麻豆mag剧集| 91成人在线视频观看| 一本色道久久亚洲综合精品蜜桃 | 亚洲熟妇无码av在线播放| www亚洲国产| 日本中文字幕观看| 在线视频日韩一区| 97在线免费公开视频| 国产不卡一区二区视频| 狠狠干视频网站| 最新中文字幕久久| 中文字幕第三区| 免费精品99久久国产综合精品应用| 草草久久久无码国产专区| 丝袜人妻一区二区三区| 警花观音坐莲激情销魂小说| 国产高清av片| 亚洲网中文字幕| 奇米777在线视频| 涩涩网站在线看| 中文字幕第88页| 少妇网站在线观看| 三级在线视频观看| 欧美三级午夜理伦三级富婆| 国产精品无码av无码| 国产精品69页| www.涩涩涩| 亚洲一级片av| 9999在线观看| 天天干天天色天天爽| 日本丰满少妇黄大片在线观看| www.欧美日本| 999香蕉视频| 网站一区二区三区| 可以看污的网站| 天天操夜夜操很很操| 日本一区二区免费高清视频| 日本在线视频www色| 成人午夜视频免费观看| 每日在线观看av| 欧美三级一级片| 黄色片在线免费| 五月花丁香婷婷| 欧美性受xxxx黑人猛交88| 亚洲黄色网址在线观看| 日韩网站在线免费观看| 亚洲国产精品久久久久婷蜜芽| 久久久久久久久久久久久国产精品 | 亚洲五月天综合| 午夜剧场高清版免费观看 | 韩国日本在线视频| 手机在线免费观看毛片| 亚洲欧美自拍另类日韩| 国产xxxxhd| 青春草国产视频| 国产熟人av一二三区| 久久这里只精品| 国产日产欧美一区二区| 草草视频在线免费观看| 欧美 国产 小说 另类| 高清av免费看| 99re6这里有精品热视频| 精品久久一二三| 日本黄色的视频| 天堂8在线天堂资源bt| av免费网站观看| 裸体裸乳免费看| 91猫先生在线| 国产又粗又猛大又黄又爽| 69sex久久精品国产麻豆| 成人羞羞国产免费网站| 91香蕉国产线在线观看| 欧美日韩黄色一级片| 999在线精品视频| 波多野结衣之无限发射| 国内外成人免费在线视频| 日本aa在线观看| 爆乳熟妇一区二区三区霸乳| avove在线观看| 一级特黄性色生活片| 久久久国内精品| 国产一二三区av| 婷婷无套内射影院| 国产黑丝在线视频| 国产免费成人在线| 男人的天堂视频在线| 久久午夜夜伦鲁鲁一区二区| 欧美大黑帍在线播放| www.久久91| 啊啊啊一区二区| 亚洲啊啊啊啊啊| 久久久久久久久久久久久久久国产| 黄色www网站| 五月天激情图片| 中文字幕成人免费视频| 日本熟妇人妻xxxxx| 免费看毛片的网址|