安装JupyterLab插件渲染matplotlib, plotly, bokeh, pytecharts的动态图
在Python安装了了matplotlib, plotly都可以比较方便绘制静态的图片，静态图片以特殊的字符串，保存在ipynb文件里面，而绘制动态图片需要安装插件。bokeh, pyecharts本身就是利用Javascript技术绘制动态的图片，而在JupyterLab里要加载使用的JS，也需要安装插件，或用一些方式来加载。 1.Matplotlib插件 [...]
Windows系统下Python多线程的问题与解决方法
昨天定了篇关于《Windows系统下Python编码的问题与解决方法》，讲的是编码的问题。今天要讲Python在Windows系统下第二问题，多线程问题。面目前来看，其实Windows下Python编程多出来的问题，主要这两个：编码与多线程。 在使用用Socket来编程时，会出现OSError: [WinError 10048] 通常每个套接字地址(协议/网 [...]
Windows系统下Python编码的问题与解决方法
Window的图形界面，在使用数据分析绘制各种图片，并呈现结果的情况还是比较方便的。但是，代码是比在Linux的问题多一些，最常见的问题就是编码问题，中文Windows环境很多文本是用GBK编码，而在Python最好使用utf-8作为统一编码。 如果使用Windows10系统，网上有教程说可以通过“控制面板”，打开“区域”设置，找到“管理”选项卡，按“更改系 [...]
Pycharm和VS code使用正则表达式替换文本的技巧
正则表达式基本是所有编程语言支持的一种文本匹配规则，Python的标准库里也有正则的包re，用它来可以很方便编写文本匹配规则，用来写爬虫、做数据清洗等。另外，也有很多IDE在查找和替换文本时也只支持正则表达式的规则，这也就可以很方便批量去修改程序的语句。 在Flask开发过程中，例如要将前端HTML文件里的CSS、JS路经替换为模版语法的形式。 即要将< [...]
Linux screen命令详解：离线后继续原来的操作
一、背景 系统管理员经常需要SSH 远程登录到Linux服务器，有时要运行一些需要很长时间才能完成的任务，比如爬虫、系统备份、ftp传输等等。通常情况下我们都是为每个这样的任务开一个远程终端窗口，因为它们执行的时间太长了。必须等待它们执行完毕，在此期间不能关掉窗口或者断开连接，否则这个任务就会被杀掉，一切半途而废了。 二、简介 Screen是一款由GNU计划 [...]
解决INFO [alembic.runtime.migration] Will assume non-transactional DDL问题
最近在用Flask框架开发商城，数据库的表很多，也要根据业务类型调整数据库的结果，要对对moddel.py这些文件进行修改。然后在这次修改商城的数据表的字段过程中，在命令行输入flask db migrate后，发现以下信息，然后无法用flask db upgrade进行升级。 INFO [alembic.runtime.migration] Context [...]
解决前端网页单选框radio无法实现单选的问题
之前用Flask修改一个商城时，在网页模板中，写以下单选框代码： <div class="form-group"> <label for="address"><b>选择地址：</b></label> <ul id="address_list"> {% for address in add [...]
Google Python风格规范总结
这篇文章是根据Google开源项目风格指南总结而来，原文链接：https://zh-google-styleguide.readthedocs.io/en/latest/google-python-styleguide/python_style_rules/。因为大部分IDE都会有编程语言格式化插件，选择部分或全部代码即可一键格式化，例如Pycharm等。但 [...]
Google Python语言规范总结
这篇文章是根据Google开源项目风格指南总结而来，原文链接：https://zh-google-styleguide.readthedocs.io/en/latest/google-python-styleguide/python_language_rules/，对于自己经常没注意的地方或者少接触的地方，会多写一点。 1、使用模块的全路径名来导入每个模块。 [...]
Flask中用同一个模板去渲染搜索分页与非搜索分页
用Flask做一个显示项目列表中，通常要加上分页和搜索的功能，而搜索之后的分页功能与默认情况下分页功能的处理是不一样的，需要额外的处理。 以下是用户列表的视图函数： @admin_app.route('/user/list/', methods=['get', 'post']) def userList(): form = UserSearch() q = [...]
如何理解面向对象的相关概念
中国古代有个故事，叫做“白马非马”。它是公孙龙提出的哲学命题： 问：可以说白马与马不同吗？ 答：可以。 问：为什么？ 答：“马”是对物“形”方面的规定，“白马”则是对马“色”方面的 规定，对“色”方面的规定与对“形”方面的规定性，自然是不同的。「所以说，对不同的概念加以不同规定的结果」白马与马也是不同的。 有有兴趣再深入了解的，可以自行搜索“白马非马”。 这 [...]
基于日本店铺客流与天气数据，回归预测店铺未来两个月的客流
这个数据科学项目由个人完成，注释比较完善，有目录与结论。涉及时间序列的处理，但有完善的地方，在结尾会补充。 总结 1.特征工程部分： 做这次考核作业用了4.5天时间，2天半的时间都在反复处理特征工程当中，1天半用来对比训练模型和做最后预测要提交的数据。 这次训练数据约25万多条，比较完好，821个店铺，分布在9个大区，103个城市当中。从不同店的客流图看 [...]
基于美国人口普查数据，分类预测个人收入能否超过五万美元
这个数据科学项目由个人完成，注释比较完善，有目录与结论，最后被老师评为机器学习章节考核的参考。 结论： 从连续型数据集来看，随机森林算法经过参数调整，测试集的准确度从85.95提升到了86.22，有一些效果，而AUC面积从0.9123提升到了0.9134，仅仅微微地提升。 从连续型数据集来看，梯度提升算法经过参数调整，测试集的准确度从86.57提升到了8 [...]
Python的结构主义——Python学习的思维导图
经过差不多一年的学习，算是把网易微专业的《数据分析师》和《Python全栈工程师》这两门专业学完。 当中围绕Python这门语言的主要应用领域和IT相关领域记了不少思维导图笔记。包括有： 1.Python编程语言 2.数据结构与算法 3.前端基础Html、CSS、Javascript 4.网页开发框架Flask、Django 5.Linux服务器 6.数据库 [...]
解决selenium.common.exceptions.ElementNotInteractableException尝试使用Selenium和Python登录时元素不可交互的错误
第一次遇到这个错误是我尝试用Selenium登陆淘宝的时候，当里想无头模式去爬一些简单的信息，但要先过登陆这一关。Selenium的无头模式是控制浏览器去运行时，不显示运作时的界面，也避免了个人误操作。但如果在淘宝上登陆就会出现selenium.common.exceptions.ElementNotInteractableException的错误。 在St [...]