Python爬虫爬取高德地图数据制作高清无水印地铁线路图
本文介绍如何利用Python爬虫从高德地图获取地铁站点经纬度数据,并通过Arcpy生成Shapefile文件,最终制作出高清无水印的个性化地铁线路图。
前言:
网上下载的地铁线路图大多清晰度不足且带有水印,给视力不佳的用户带来不便。因此,制作个人专属的高清无水印地铁线路图显得尤为必要。美观与否并非首要考量,关键在于清晰展示所有站点信息。实现这一目标的核心在于获取准确的站点数据,有了数据,地图自然生成。经查询发现,高德地图虽提供地铁线路图,但无法直接导出图片或数据,故需通过技术手段自行抓取。下文将以西安地铁线路图为例,详细阐述具体实现方法。
一.高德地图数据爬取
1.爬取思路
首先,使用谷歌浏览器访问高德地图官网,点击顶部菜单栏中的“地铁”选项,进入地铁线路页面,网址为:http://map.amap.com/subway/index.html。

按下 F12 键或右键点击“检查”以打开开发者调试工具,随后点击 Network 选项卡。在网页界面中点击“西安”,可观察到箭头2处新增两行响应信息,鼠标左键点击箭头3处,即可看到真实的请求地址等详细信息。

复制该请求URL地址(例如:http://map.amap.com/service/subway?_1612234237437&srhdata=6101_drw_xian.json),在浏览器新标签页中打开,可以看到返回的是 json 格式数据,其中包含了各线路及站点的详细信息,这正是我们所需的数据。

可以将复制的 json 数据粘贴到在线 json 验证网站进行分析,以便后续解析数据(网址:http://www.json.cn/#)。如下图所示,展示的是1号线沣河森林公园站的相关信息,包括中文名称、经纬度(推测为火星坐标系)以及拼音名称等。

我们利用 python 编写的爬虫程序来抓取各线路各站点的名称及经纬度信息,并将结果导出至文本文件,供后续步骤使用。
2.python核心代码
获取网页内容:
def getHtml(url):
user_agent = random.choice(USER_AGENTS)
headers = {
"Host":"map.amap.com",
'User-Agent': user_agent
}
try:
response = requests.get(url, headers=headers)
#print(response.url)
text = response.content
return text
except:
print("爬取失败!")
解析json数据:
def parse_page(text):
lines_list = json.loads(text).get('l')
# 地铁线路信息表
lineInfo_list = []
for line in lines_list:
#每条线的信息集合
lineInfo = {}
lineInfo['ln'] = line.get('ln')
print(lineInfo['ln'])
#线路站点列表
station_list = []
st_list = line.get('st')
for st in st_list:
station_dict = {}
station_dict['name'] = st.get('n')
coord = st.get('sl')
station_dict['lat'] = coord.split(',')[0]
station_dict['lon'] = coord.split(',')[-1]
print("站名称:", station_dict['name'])
print("经度:", station_dict['lat'])
print("纬度:", station_dict['lon'])
station_list.append(station_dict)
#pass
print('-----------------------------------')
lineInfo['st'] = station_list
lineInfo['kn'] = line.get('kn')
lineInfo['ls'] = line.get('ls')
lineInfo['cl'] = line.get('cl')
lineInfo_list.append(lineInfo)
#返回各线路信息列表
return lineInfo_list
保存站点数据(站名称、经纬度):
def save_file(filename, lineInfo):
#print("开始写入文件......")
with open(filename, 'a', encoding='utf-8') as f:
for st in lineInfo['st']:
f.write(st['name'] + " " + st['lat'] + " " + st['lon'] + "\n")
#print("写入文件完成!")
爬取完成后,生成的数据如下:

二.生成shp文件并导出图片
主要思路:调用Arcpy函数生成shp文件——>点转线——>设置符号样式——>导出图片。
1.文本点生成shp代码
def create_shp(text,dirpath):
point_shpname = text.split('.')[0] + "_point.shp"
line_shpname = text.split('.')[0] + "_line.shp"
f = open(text, 'r')
lines = f.readlines()
spatRef = arcpy.SpatialReference(4326)
createFC = arcpy.CreateFeatureclass_management(dirpath, point_shpname, "POINT", "", "", "",spatRef)
arcpy.AddField_management(createFC, "name", "TEXT")
arcpy.AddField_management(createFC, "lat", "DOUBLE")
arcpy.AddField_management(createFC, "lon", "DOUBLE")
cur = arcpy.InsertCursor(createFC)
for line in lines:
info = line.strip().split(" ")
row = cur.newRow()
name = info[0]
point = arcpy.Point()
point.X = float(info[1])
point.Y = float(info[2])
pointGeometry = arcpy.PointGeometry(point)
row.shape = pointGeometry
row.name = name
row.lon = point.X
row.lat = point.Y
cur.insertRow(row)
#站点生成线
arcpy.PointsToLine_management(point_shpname, line_shpname)
2.Arcmap设置样式
将生成的点shp与线shp矢量文件加载到arcmap中,设置样式与符号大小,然后导出地图为图片。请注意,导出地图时图片分辨率应设置为300dpi。

最终,如下图所示,属于自己的地铁线路图便制作完成。虽然图片上传至微信后可能因压缩而变得模糊,但实际查看效果仍较为清晰。

到此这篇关于Python爬虫爬取属于自己的地铁线路图的文章就介绍到这了,更多相关Python爬取地铁线路图内容请搜索本站以前的文章或继续浏览下面的相关文章希望大家以后多多支持本站!
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









