说起爬虫，目前存在许多流行的爬虫框架。其中最著名的莫过于Python语言方面的Scrapy，Java语言方面的Webcollector等。它们都是开源的轻量级爬虫工具，根据不同的使用场景、业务特点、开发人员的语言偏好，可以选择不同功能的开源框架。当然老司机，也可能自己开发一种爬虫功能框架，毕竟自己编写的才能够更好的配置、控制、使用爬虫，完成爬虫业务的需求。

  物理网时代(IOT)，设备供应商可以获得大量的GPS信息，移动物品的GPS信息尤其重要。通过研究GPS的轨迹，或停留位置等信息，可以获得对营销、售后、商业合作等重要的信息。

  市面上基本没有免费获取地理位置的方法，特别是对实时性要求比较高的情况下，基本上都是付费服务。   本文使用Google地图API，在实时性要求不太高的情况下，能够不断获取GPS对应地址位置信息。

  转载自：WGS84，GCJ02， BD09坐标转换

  当今数据作为一家公司最重要的资产，可被该公司用来租赁、买卖、二次开发等使用。但外部人员非合理使用该公司数据，可能构成违法犯罪行为。

  工作时用到写入Excel的场景，发现有Apache POI提供的jar包与JXL的jar包。实际操作时，个人感觉poi比较高大上，基本上能够实现excel的大部分功能，包括字体设置、表格设置等内容，但相对门槛较高，操作复杂。相比POI，JXL操作简单，容易入门，相比而言得到的EXCEL文档也是比简单，不需要特殊的格式化。

  简单的Java爬虫框架流程图，不包括容灾机制、异常处理等内容。

  判断一个GPS点是否位于某省市/区县内，通常可以调用地图API来解决，通过调用逆地理信息API，可以获得完整的地址信息，因此可以判断该GPS的省市/区县。

  免费代理，如西刺代理、快代理等代理网站公布的代理地址，常常存在几个问题：   1. 存在反扒措施，如限制爬虫频率、存在并发数限制、封IP等；   2. 免费代理存在时效性，无法长时间使用。   目前获得稳定性能的最佳途径就是购买代理服务资源，通过代理服务商给出的IP:Port，UserN

  ES是一个全文搜索引擎，同时也是一个NoSQL数据库，其存放数据方便与检索数据性能优越，受到普遍欢迎。