Python轻松获取简书钻攻略

前言

2018年11月15日，简书迎来了重大变革，取消了原有的积分制度，转而采用去中心化的简书钻，每天发放一万简书钻。首先，简书详细说明了获取钻石的方式：通过写文和点赞，与过去通过阅读、评论、点赞、关注和写作获取不同数量积分的模式不同，现在的获取方式更为简单和便捷。其次，简书也指出，获取钻石的数量取决于用户的投票（钻石越多，投票权重越大）。简书每天公布前一天的排名，我们将通过编写代码获取2018年11月15日至2018年11月26日的数据，并进行分析。

为了获取简书钻的排行数据，我们采用了异步加载的爬虫技术，通过包获取数据。数据分为文章排名和用户排名，我们分别编写代码和存储。

以下是用于获取文章排名的代码：

import requests
import json
import csv
import time

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}

def get_info(url):
    res = requests.get(url, headers=headers)
    json_data = json.loads(res.text)
    notes = json_data['notes']
    for note in notes:
        title = note['title']
        author_nickname = note['author_nickname']
        author_fp = note['author_fp']
        voter_fp = note['voter_fp']
        fp = note['fp']
        print(title, author_nickname, author_fp, voter_fp, fp)
        writer.writerow([title, author_nickname, author_fp, voter_fp, fp])

if __name__ == '__main__':
    fp = open('article.csv', 'w+', encoding='utf-8')
    writer = csv.writer(fp)
    writer.writerow(['title', 'author_nickname', 'author_fp', 'voter_fp', 'fp'])
    urls = ['https://www.jianshu.com/asimov/fp_rankings/voter_notes?date={}'.format(i) for i in range(20181115, 20181127)]
    for url in urls:
        get_info(url)
        time.sleep(1)

以下是用于获取用户排名的代码，这部分代码还包括了对用户是否为简书会员的判断：

import requests
import json
import csv
import time
from lxml import etree

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}

def get_info(url):
    path = 'https://www.jianshu.com/u/'
    res = requests.get(url, headers=headers)
    json_data = json.loads(res.text)
    users = json_data['users']
    for user in users:
        slug = user['slug']
        author_url = path + slug
        style = jug_vip(author_url)
        author_nickname = user['nickname']
        author_fp = user['author_fp']
        voter_fp = user['voter_fp']
        fp = user['fp']
        print(author_nickname, author_url, author_fp, voter_fp, fp, style)
        writer.writerow([author_nickname, author_url, author_fp, voter_fp, fp, style])

def jug_vip(url):
    res = requests.get(url, headers=headers)
    html = etree.HTML(res.text)
    infos = html.xpath('//ul[@class="list user-dynamic"]/li')
    str = ''
    for info in infos:
        jug = info.xpath('string(.)').strip()
        str = str + jug
    if str.find('简书尊享会员') != -1:
        return '简书尊享会员'
    elif str.find('简书会员') != -1:
        return '简书会员'
    else:
        return '非会员'

if __name__ == '__main__':
    fp = open('user.csv', 'w+', encoding='utf-8')
    writer = csv.writer(fp)
    writer.writerow(['author_nickname', 'author_url', 'author_fp', 'voter_fp', 'fp', 'style'])
    urls = ['https://www.jianshu.com/asimov/fp_rankings/voter_users?date={}'.format(i) for i in range(20181115, 20181127)]
    for url in urls:
        get_info(url)
        time.sleep(1)

数据分析文章TOP10首先，我们来看看获取简书钻最多的前10篇文章。

这些文章的内容大多与简书钻的分享有关。由于简书钻是最近才开始运营的，跟随这一热点，文章的曝光率和投票数也会相应增加。

文章词云为了更全面地了解哪些文章容易上榜，我们制作了词云图来分析文章中的关键词。

通过关键词，我们可以将它们分为两类：

1. 与简书钻相关的关键词：比特币、Fountain（简书合作伙伴）、Poc社区等。
2. 干货相关文章：笔记导图（长期霸屏用户使用的标题：思维导图实战派_汪志鹏）。

初步分析表明，结合热点和自身行业背景，有助于文章上榜（当然，这并不简单）。

用户TOP10仅仅了解文章标题的规律，对于普通人来说，要上榜仍是困难的。接下来，我们通过分析上榜用户来寻找规律。首先是前10名用户。

这些用户在排行榜上名列前茅，大家可以参考这些用户平时的作品，进行学习。

霸屏用户通过12天的数据爬取，我们发现许多用户在这12天内都上了榜，这些霸屏用户让人羡慕。

'书院的夫子', 'linwood', '那個長江', '達士通人', '我是北崖君', '简书钻首席小管家', '宿醉弥生', '乐健君',
'思维导图实战派_汪志鹏', 'altcoin', '淡月6688', '临湖风徐徐道来', '小尘2016', '我是四海szw',
'中本葱老爷爷', 'weiblock', '蒋坤元', '且行且影', '荆白', '苍天鸭', '脸谱大叔', '肆月初陆',
'币圈Tesla', '无戒', '段维Tina', '紫萤石', '陈天宇123', 'Jianan嘉楠', '春木sky', '梦之蓝色',
'杀个程序猿祭天', '霖山', '雪球薅羊毛', 'Carykive', '木木大木木', '大琦有钻', '李砍柴', '杰夫1',
'写手圈', '静夜思007'

简书会员or非会员前文提到过，获取的钻石数量很大程度上取决于你已拥有的简书钻，而简书尊享会员通常拥有更多的简书钻，这导致上榜用户中，简书会员的比例相当高。

总结结合简书钻的热点来上榜，你是否也考虑成为简书尊享会员呢？当然，自身的努力同样重要，坚持写作，分享干货，这就是简书的精神。