百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程文章 > 正文

他的爬虫软件助3000企业抓取数据 最高日采8000万条 营收50万元

qiyuwang 2024-10-25 16:38 12 浏览 0 评论

◆ “前嗅”创始人陈玉立

文| 铅笔道 记者 代伟

?导语

“前嗅”是一个大数据软件提供商,客户根据需求选择不同版本的爬虫软件(ForeSpider前嗅爬虫系统),在网站和数据平台采集所需的结构化或非结构化数据,该爬虫软件支持Cookie技术、Https安全协议、OAuth认证,内置有独立知识产权的JS引擎系统,“能精准提取所需数据”。

自去年6月网站上线以来,“前嗅”服务3000余家付费客户,公司总营收为50万元左右,已实现收支平衡。

“前嗅”创始人陈玉立现寻求天使轮融资,计划融资600万元,出让股份10%。

注:陈玉立承诺文中数据无误,为其真实性负责,铅笔道已备份录音速记,为内容客观性背书。

由于感觉不受重视,陈玉立带着自己独立开发的爬虫技术从上家公司撤出来,于2015年3月创立“前嗅”,旨在做一款大数据系统。

辞职后,陈玉立找来3位做技术的朋友,同年8月,“前嗅”正式运营。

陈玉立自投了50余万用来招揽人员和技术研发,同时,团队会接一些建网站的项目来获得收入。

去年6月,“前嗅”网站进入试运行阶段,用户可线上免费下载爬虫软件试用。两个月后,第一家客户在百度上看到“前嗅”网站,打来电话。

对方是一家面向高校老师的教育创业公司,想要抓取科研网站数据,“但是因为产品缺陷,我们抓取不了”,团队经过半个多月的优化,攻克关键词搜索、验证码开发等研究工作,产品终于完善。该爬虫软件支持Cookie技术、Https安全协议、OAuth认证,内置有独立知识产权的JS引擎系统,“能精准提取所需数据”。

当时“前嗅”用的是阿里最低级的服务器(1G内存,单核),每秒仅能访问100次左右。“如今我们只是将内存从1G提升到4G,每秒访问量能提升至10万次。”提速的原因在于团队研发的KSP语言,“性能优于PHP、JSP、ASP三大主流服务器脚本语言”。

客户根据需求选择不同版本的爬虫软件(ForeSpider前嗅爬虫系统),在网站和数据平台采集所需的结构化或非结构化数据,服务流程如下:

通过百度知道、知乎等推广方式,团队现有3000余家付费客户(如搜狗、岛津等),每月新增500个~1000个用户,“其中60%~80%会选择付费”。客户可根据不同需求选择不同版本软件,详情如下:

此外,“前嗅”还有10余家定制化客户,涵盖物流仓储、基因检测、病理头像分析等领域,团队根据项目收费(10万元~30万元)后,帮其采集数据搭建大数据应用系统。

自去年6月网站上线以来,公司总营收为50万元左右,已实现收支平衡。陈玉立现寻求天使轮融资,计划融资600万元,出让股份10%。

/The End/

编辑 罗正臣 校对 玛依热

相关推荐

基于Docker方式安装与部署Camunda流程引擎

1Camunda简介官网:https://docs.camunda.org/manual/7.19/installation/docker/Camunda是一个轻量级、开源且高度灵活的工作流和决策自...

宝塔Linux面板如何部署Java项目?(宝塔面板 linux)

通过宝塔面板部署Java还是很方便的,至少不需要自己输入tomcat之类的安装命令了。在部署java项目前,我还是先说下目前的系统环境,如果和我的系统环境不一样,导致部署不成功,那你可能需要去找其他资...

浪潮服务器如何用IPMI安装Linux系统

【注意事项】此处以浪潮服务器为例进行演示所需使用的软件:Chrome浏览器个人PC中需要预先安装java,推荐使用jdk-8u181-windows-x64.exe【操作步骤】1、在服务器的BIOS中...

Centos7环境Hadoop3集群搭建(hadoop集群环境搭建实验报告)

由于项目需要存储历史业务数据,经过评估数据量会达到100亿以上,在原有mongodb集群和ES集群基础上,需要搭建Hbase集群进行调研,所以首先总结一下Hadoop集群的搭建过程。一、三个节点的集群...

Hadoop高可用集群搭建及API调用(hadoop高可用原理)

NameNodeHA背景在Hadoop1中NameNode存在一个单点故障问题,如果NameNode所在的机器发生故障,整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNo...

使用Wordpress搭建一个属于自己的网站

现在开源的博客很多,但是考虑到wordpress对网站的seo做的很好,插件也多。并且全世界流量排名前1000万的网站有33.4%是用Wordpress搭建的!所以尝试用Wordpress搭建一个网站...

Centos 安装 Jenkins(centos 安装ssh)

1、Java安装查看系统是否已安装Javayumlistinstalled|grepjava...

Java教程:gitlab-使用入门(java中的git)

1导读本教程主要讲解了GitLab在项目的环境搭建和基本的使用,可以帮助大家在企业中能够自主搭建GitLab服务,并且可以GitLab中的组、权限、项目自主操作...

Dockerfile部署Java项目(docker部署java应用)

1、概述本文主要会简单介绍什么是Docker,什么是Dockerfile,如何安装Docker,Dockerfile如何编写,如何通过Dockerfile安装jar包并外置yaml文件以及如何通过do...

如何在Eclipse中搭建Zabbix源码的调试和开发环境

Zabbix是一款非常优秀的企业级软件,被设计用于对数万台服务器、虚拟机和网络设备的数百万个监控项进行实时监控。Zabbix是开放源码和免费的,这就意味着当出现bug时,我们可以很方便地通过调试源码来...

Java路径-02-Java环境配置(java环境搭建及配置教程)

1Window环境配置1.1下载...

35.Centos中安装python和web.py框架

文章目录前言1.Centos7python:2.Centos8python:3.进行下载web.py框架然后应用:4.安装好之后进行验证:5.总结:前言...

《我的世界》服务器搭建(我的世界服务器如何搭建)

1.CentOS7环境1.1更改YUM源#下载YUM源文件curl-o/etc/yum.repos.d/CentOS-Base.repohttps://mirrors.aliyun.com...

CentOS 7 升级 GCC 版本(centos7.4升级7.5)

1.GCC工具介绍GCC编译器:...

Linux安装Nginx详细教程(linux安装配置nginx)

环境准备1.因为Nginx依赖于gcc的编译环境,所以,需要安装编译环境来使Nginx能够编译起来。命令:yuminstallgcc-c++显示完毕,表示安装完成:2.Nginx的http模块需要...

取消回复欢迎 发表评论: