首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    2019年python爬虫-我破解了中文裁判网数据挖掘-反爬技术哪些事情

    从事了5年多的PHP研发和python大数据挖掘,其实在2010-2015年是电商时代,那个时候很多企业开发做电商平台,我负责研发最多也是电商项目,电商平台主要面临的是千万级的并发量、海量图片的存储、还有双十一或者节假日的秒杀活动高并发,这个也是最挑战技术的地方。做过日IP上千万的电商平台技术架构,接触过几百万并发的挑战,做过图片服务器分布式存储、分布式集群、搜索引擎、网络分布式节点架构。但是直到2015年开始 电商就慢慢走下坡了,互联网时代其实已经由电商时代升级到大数据时代。之前是我们说是it互联网,那么现在就是data互联网。大数据+人工智能是目前互联网最大的趋势。谁掌握了数据谁就掌握了财富。

    04

    idcmonitor测试IDC或VPS质量并生成测试报告

    公司业务发展过程中,随着用户规模的增长。不管是采用传统的idc模式,还是最近比较火的vps。作为运维,不免被老板灵魂拷问,哪家的vps比较好,哪家的idc比较好。价格上没什么好说的,谁高谁低,一幕了然。但是相同的价格下,要比较初一个优劣,肯定要用数据说话。 祭出搜索引擎,一顿搜索。找到了网络上存在的的一键测试脚本,然后再使用过程中,发现输出要不就是相对简单,要不就是很久没有更新了,部分功能失效。 服务器(vps)性能测试脚本汇总 给老板看总不能截几张图就完了吧。于是采众家之长,自己做了一个,起名idcmonitor。以后再也不担心老板要评估选点了。

    03
    领券