【ITBEAR】8月6日消息，近日云服务提供商Akamai发布了最新的SOTI报告，题为《侵蚀您的利润：网络爬虫程序对电商行业有何影响》。该报告对电商网站的69亿次请求进行了分析，结果显示人类访问和机器人“爬虫”的访问量各占半壁江山。而高风险爬虫活动占据了总爬虫活动的近三成，对企业运营构成严重威胁。
据ITBEAR了解，爬虫，即“Robot”，是一段模拟正常用户行为的代码，其执行任务时的高效和针对性使其能快速抓取目标信息。根据行为性质，爬虫可分为善意、中性和有害三类。其中，有害爬虫可能从事诸如撞库攻击、数据窃取等恶意行为。
在电商领域，不法分子利用爬虫技术抢购低价商品并转售赚取差价。此外，爬虫还可能导致电商网站资源消耗剧增，影响正常用户访问体验，并可能干扰市场营销分析工具的数据准确性。
Akamai北亚区技术总监刘烨指出，电商领域爬虫活跃的原因主要包括“爬虫即服务”(Scraper as a Service, SaaS)模式的便捷性，以及AI和机器学习技术的融入使得爬虫服务日益智能化。然而，这些爬虫越来越难以识别，尤其是采用“无头浏览器”等技术的爬虫，对传统安全手段构成挑战。
为应对这一挑战，刘烨建议电商企业首先识别爬虫，然后针对不同类型的爬虫采取相应的应对措施。Akamai则提出了双重应对策略：在边缘网络层面快速识别并限制恶意爬虫，同时结合机器学习和行为分析技术，提高识别精度，确保对潜在威胁的准确打击。这些策略不仅有助于抵御恶意爬虫，还能保障电商网站的稳定运行和数据安全。
