全国Python职位数据分析
基于前程无忧职位数据,全国共有3万多条数据,爬取了其中1.2万条数据。根据每个职位的数据做统计分析,以此来看Python职位具体的情况,而非单看某些文章吹学Python可以如何如何。 [...]
基于前程无忧职位数据,全国共有3万多条数据,爬取了其中1.2万条数据。根据每个职位的数据做统计分析,以此来看Python职位具体的情况,而非单看某些文章吹学Python可以如何如何。 [...]
在Python安装了了matplotlib, plotly都可以比较方便绘制静态的图片,静态图片以特殊的字符串,保存在ipynb文件里面,而绘制动态图片需要安装插件。bokeh, pyecharts本身就是利用Javascript技术绘制动态的图片,而在JupyterLab里要加载使用的JS,也需要安装插件,或用一些方式来加载。 1.Matplotlib插件 [...]
这个数据科学项目由个人完成,注释比较完善,有目录与结论。涉及时间序列的处理,但有完善的地方,在结尾会补充。 总结 1.特征工程部分: 做这次考核作业用了4.5天时间,2天半的时间都在反复处理特征工程当中,1天半用来对比训练模型和做最后预测要提交的数据。 这次训练数据约25万多条,比较完好,821个店铺,分布在9个大区,103个城市当中。从不同店的客流图看 [...]
这个数据科学项目由个人完成,注释比较完善,有目录与结论,最后被老师评为机器学习章节考核的参考。 结论: 从连续型数据集来看,随机森林算法经过参数调整,测试集的准确度从85.95提升到了86.22,有一些效果,而AUC面积从0.9123提升到了0.9134,仅仅微微地提升。 从连续型数据集来看,梯度提升算法经过参数调整,测试集的准确度从86.57提升到了8 [...]
一、让JupyterLab识别不同的conda虚拟环境 我们会因为不同项目而配置不同的虚拟环境,很多因为要做数据分析而安装Anaconda,它的conda也可以为不同项目建立不同的虚拟环境。因为安装Anaconda后默认只有一个JupyterLab。建立其它虚拟环境之后,如果想使用JupyterLab跑这个项目,其实没有在每个不同的虚拟环境安装一个Jupyt [...]
查看当前核心环境,输入jupyter kernelspec list 如果系统还安装有Python2 则会在这里显示有python2。如果之前用过Pycharm按照它的提示安装过它的核心环境,也会有类似pycharm环境。而后者其实是同你的base或本机环境是同一个环境。如果是不小心添加的,可以用以下方式删除。 输入jupyter kernelspec re [...]
配置可远程访问的JupyterLab,就是在服务器安装并运行JupyterLab,然后在本地用浏览器访问JupyterLab进程。 方法如下: 1.服务器安装JupyterLab,并运行测试。 # pip安装 pip install jupyterlab # conda安装,与前者二选一 conda install jupyterlab # 运行测试 jup [...]
JupyterLab和JupyterNotebook都是一款交互式编辑器,很多人在用notebook做数据分析。而我初步学习数据分析时,看到notebook的界面感觉有点乱,在安装了插件之后,界面更是烦杂。当然网上配置notebook的文章比lab的要多很多,毕竟lab是新产品,知道和使用的人数会少一些。 接下来,我做数据分析的一段时间都是用着Pycharm [...]